4.4.1 хүчинтэй байх хугацаа

Хүчинтэй байх хугацаа нь туршилтын үр дүн нь илүү ерөнхий дүгнэлт хэр дэмжих юм.

Ямар ч туршилт төгс биш, судлаачид аль болох асуудлыг тайлбарлах нь өргөн цар хүрээтэй үгсийн боловсруулсан байна. Хүчинтэй байх хугацаа нь тухайн туршилтын үр дүн нь зарим нь илүү ерөнхий дүгнэлтийг дэмжих нь хэр хэлнэ. Нийгмийн эрдэмтэд энэ нь үндсэн дөрвөн төрлийн руу хүчинтэй хувааж тус олсон байна: статистик дүгнэлт хүчинтэй байх, дотоод хүчин төгөлдөр хүчин төгөлдөр барьж, гадаад үндэслэл (Shadish, Cook, and Campbell 2001, Ch 2) . Эдгээр үзэл баримтлал мастер танд шүүмжлэлдээ ба туршилтын загвар, дүн шинжилгээ сайжруулах сэтгэцийн шалгах хуудсыг өгөх болно, мөн чи бусад судлаачидтай харилцах туслах болно.

Статистикийн дүгнэлт хүчинтэй туршилтын статистик дүн шинжилгээ хийх нь зөв хийгдсэн эсэхийг эргэн тойронд төв. Хүрээнд Schultz et al. (2007) зэрэг асуулт нь тэд зөв өөрсдийн п-цэнийг тооцсон эсэх төвийн байж болох юм. Статистик дүн шинжилгээ хийх нь энэ номын хүрээнээс гадуур юм, гэхдээ би туршилт боловсруулах, дүн шинжилгээ хийх шаардлагатай статистик зарчмууд дижитал нас нь өөрчлөгдөөгүй байна гэж хэлж болно. Гэсэн хэдий ч, тоон туршилт янз бүрийн мэдээлэл орчны шинэ статистик боломжийг бий болгох вэ (жишээ нь, эмчилгээний үр нөлөөг нэгэн төрлийн тооцоолох машин сургалтын арга хэрэглэн (Imai and Ratkovic 2013) ), шинэ тооцоолох бэрхшээл (жишээ нь, их хэмжээний туршилт хийгддэггүй (Higgins, Sävje, and Sekhon 2016) ).

Дотоод хүчин төгөлдөр туршилтын журам зөв хийсэн эсэхийг голчлон. -Ийн туршилтын руу буцах Schultz et al. (2007) , дотоод хүчинтэй байх тухай асуулт үр дүнд эмчилгээний хүргэх ба хэмжилт нь санамсаргүй эргэн тойронд төвлөрсөн юм. Жишээ нь, та эрдэм шинжилгээний туслах найдвартай цахилгаан метр уншиж чадахгүй гэж санаа зовж байж болох юм. Үнэндээ Шульц болон хамт олон энэ асуудлын талаар санаа зовж байсан ба тэд хоёр удаа уншиж метр дээжийг байв; Аз болоход, үр дүн нь үндсэндээ ижил байсан. Ер нь, Шульц болон түүний хамтрагчид "туршилт өндөр дотоод хүчин төгөлдөр байх юм шиг харагддаг боловч энэ нь үргэлж тийм биш юм; нарийн төвөгтэй талбар болон онлайн туршилт нь ихэвчлэн асуудал нь үнэндээ зөв хүмүүст нь зөв эмчилгээ хүргэх нь хүн болгонд үр дүнг хэмжих болгон ажиллуулах хэрэгтэй. Аз болоход, дижитал нас энэ нь түүнийг хүлээн авч, бүх оролцогчдын үр дүнг хэмжих ёстой хүмүүсийг зорилготой гэж эмчилгээ хүргэж байгаа эсэхийг хялбар болгодог, учир нь дотоод хүчин төгөлдөр-ий тухай асуудлыг багасгахад тусалж чадна.

Мэдээлэл, онолын бүтцэд хооронд тоглолтын эргэн тойронд үндэслэл төв байгуулах. Бүлэг 2-т дурьдсанчлан, барьж хийсвэр ойлголт нийгмийн эрдэмтэд талаар шалтгаан байна. Харамсалтай нь, эдгээр хийсвэр ойлголт нь үргэлж тодорхой тодорхойлолт, хэмжилт байхгүй байна. Руу буцах Schultz et al. (2007) , нийгмийн хэм хэмжээ цахилгааны хэрэглээг бууруулж чадна injunctive шаардлага "нийгмийн injunctive хэм хэмжээ" (жишээ нь, нэг emoticon) удирдаж байсан, "эрчим хүчний хэрэглээг" хэмжих эмчилгээ боловсруулах судлаачид шаарддаг. аналог туршилт, олон судлаачид өөрсдийн эмчилгээ боловсруулж, өөрсдийн үр дүнг хэмждэг. Энэ арга нь аль болох, туршилт хийсвэр барьж судалж байгаа таарахгүй гэдгийг баталгаажуулдаг. эмчилгээ хүргэх, үр дүнг хэмжих мэдээллийн системд үргэлж ашиглаж компани, засгийн газар нь судлаачид түнш дижитал туршилтаар, сорилт, туршилт болон онолын бүтцэд хооронд тоглолт бага хатуу байж болох юм. Тиймээс, би бүтцийг үндэслэл аналог туршилт илүү дижитал туршилт нь том асуудал байх хандлагатай болно гэж найдаж байна.

Эцэст нь хэлэхэд, гадаад хүчин төгөлдөр энэ туршилтын үр дүн нь өөр нөхцөл байдалд ерөнхийлж эсэхийг голчлон. Руу буцах Schultz et al. (2007) , нэг нь асууж болох юм нь үе тэнгийнхэндээ харилцаанд тэдний эрчим хүчний хэрэглээ болон injunctive хэм хэмжээ (жишээ нь, нэг emoticon) энэ нь өөр өөр байдлаар хийж байсан бол -reduce эрчим хүчний хэрэглээний дохио тухай энэ тэр санаа үзүүлдэг хүмүүс мэдээлэл өөр өөр тохиргоо? Хамгийн сайн боловсруулсан, сайн ажиллуулах туршилт, гадаад хүчинтэй байх тухай асуудал шийдвэрлэх хамгийн хэцүү байдаг. Урьд нь гадаад хүчинтэй байх талаар эдгээр маргаан байнга журам өөр өөр байдлаар хийж байсан бол, эсвэл өөр газарт, эсвэл өөр өөр хүнтэй болсон байна гэж ямар байхыг төсөөлөхийг хичээж өрөөнд сууж ард нь зүгээр л нэг баглаа байлаа. Аз болоход, дижитал насны эдгээр мэдээллийг үнэ төлбөргүй төсөөлөл цааш хөдөлж, туршлагын гадаад хүчин төгөлдөр байдлыг үнэлэх судлаачдад олгодог.

Үр дүнд учраас Schultz et al. (2007) , тиймээс сэтгэл хөдөлгөм байсан Opower нэртэй компани нь илүү өргөн эмчилгээ босгох гэж АНУ-д аж ахуйн хамтран. Загвар дээр үндэслэн Schultz et al. (2007) , Opower өөрчилж бүтээсэн хоёр гол модулиудыг нэг нь emoticon өөрийн хөрш нь өрхийн цахилгаан эрчим хүчний хэрэглээ харьцангуй байгаа бөгөөд нэг нь эрчим хүчний хэрэглээг бууруулах нь зөвлөгөө өгч байсан Нүүр хуудас Эрчим хүчний тайлан (Зураг 4.6). Дараа нь, судлаачид хамтран, Opower хяналттай туршилт Нүүр хуудас Эрчим хүчний тайлан нөлөөг үнэлэхийн тулд санамсаргүй гүйж. Энэ туршилт нь эмчилгээ нь ихэвчлэн хуучин хувцасны эмгэн дамжуулан бие бялдар ихэвчлэн хүргэж байсан ч шуудангаар-үр дүнг биет дэлхийн дижитал төхөөрөмж (жишээ нь, эрчим хүчний метр) ашиглан хэмжсэн байна. Харин гараар байшин бүрт очиж эрдэм шинжилгээний туслах нь энэ мэдээллийг цуглуулах илүү Opower туршилт бүх цахилгаан заалт хандахын тулд судлаачид хүч чадал өгөгч хүч компаниудтай хамтран хийсэн байна. Тиймээс эдгээр хэсэгчлэн дижитал хээрийн туршилт бага хувьсах зардлаар асар их хэмжээнд ажиллуулж байна.

Зураг 4.6: Нүүр хуудас Эрчим хүчний тайлан Allcott (2011) Нийгмийн харьцуулалт модуль болон үйл ажиллагааны үе шатууд модуль юм.

АНУ-ын 10 орчим хэрэгсэл компаниуд байсан 600,000 өрхийг хамруулан туршилтын эхний багц сард Allcott (2011) Нүүр хуудас Эрчим хүчний тайлан 1.7% -иар цахилгаан эрчим хүчний хэрэглээг бууруулж олдлоо. Өөрөөр хэлбэл, маш том, илүү их газар зүйн янз бүрийн судалгааны үр дүн нь үр дүнд чанарын төстэй байсан Schultz et al. (2007) . Харин, үр нөлөө нь хэмжээ бага байсан нь Schultz et al. (2007) тайлбарласан ба injective хэм хэмжээ нь нөхцөл байдал (emoticon нэг) -д өрх 5% нь тэдний эрчим хүчний хэрэглээг багасгана. Энэ зөрүүг нарийн шалтгаан нь тодорхойгүй байна, гэхдээ Allcott (2011) Их сургуулийн ивээн тэтгэсэн судалгааны нэг хэсэг болгож гараар бичсэн emoticon хүлээн авах нь нь олон нийтийн үйлдвэрлэсэн тайлангийн нэг хэсэг болгон хэвлэсэн emoticon хүлээн авах илүү зан нь том нөлөө байж болох юм гэж үзэж эрчим хүчний компани.

Цаашилбал, дараагийн судалгаа, Allcott (2015) нэмэлт 8 сая айл өрхийг хамарсан нэмэлт 101 туршилт дээр мэдээлсэн байна. Эдгээр нь дараагийн 101 туршилтаар Нүүр хуудас Эрчим хүчний тайлан хүмүүс цахилгаан эрчим хүчний хэрэглээг бууруулах шалтгаан хэвээр, харин нөлөө ч бага байсан юм. Энэ бууралт нь тодорхой шалтгаан нь мэдэгдэж байгаа биш, харин Allcott (2015) тайлангийн үр дүнг энэ нь үнэн хэрэгтээ оролцогчид өөр өөр төрлийн хэрэглэж байгаа юм, учир нь цаг хугацааны турш буурч байх бололтой гэж үзэж байна. Тодруулбал, илүү экологич нутагт хэрэгслүүд илүү байсан өмнөх хөтөлбөрийг батлах, тэдгээрийн худалдан авагчид эмчилгээ илүү хариуцлагатай байсан. бага байгаль орчны хэрэглэгчидтэй хэрэгслүүд хөтөлбөрийг баталсан учраас, түүний үр нөлөө буурах бололтой. Тиймээс, туршилт нь санамсаргүй байдалтай эмчилгээ, хяналтын бүлэг нь ижил төстэй байдаг гэдгийг баталгаажуулдаг шиг, судалгааны газарт санамсаргүй байдалтай тооцоо нь илүү ерөнхий хүн амд оролцогчдын нэг бүлэг нь ерөнхий болно гэж (буцаж дээж авах талаар Бүлэг 3 гэж бодож байна) баталгаажуулдаг. Судалгааны сайтууд санамсаргүйгээр дээж биш юм бол, дараа нь тугээмэл бүр нь төгс боловсруулж, туршилт-боломжгүй асуудалтай байж хийсэн.

Эдгээр 111 туршилтууд-10-д Allcott (2011) болон 101 Allcott (2015) АНУ-ын бүх өнцөг булан бүрээс 8.5 сая айл өрх -involved. Тэд тууштай Нүүр хуудас Эрчим хүчний тайлан цахилгааны дундаж хэрэглээ, Калифорни мужийн 300 орон сууц нь Шульц анхны үр дүн, хамт олон дэмждэг үр дүнг бууруулж байгааг харуулж байна. Зөвхөн эдгээр анхны үр дүнг хувилан олшруулж, гадна, дараагийн туршилт нь хүчин төгөлдөр хэмжээ байршлаар ялгаатай байгааг харуулж байна. туршилт Энэ багц нь бас хэсэгчлэн дижитал хээрийн туршилт тухай хоёр илүү ерөнхий оноо харуулж байна. Нэгдүгээрт, судлаачид туршилт ажиллаж байгаа зардал нь бага байх үед гадаад хүчин төгөлдөр-ий хаяг асуудлыг эмпирик боломжтой болж, үр дүн нь аль хэдийн нь өгөгдөл нь үргэлж дээр системээр хэмжиж байгаа бол байгаа энэ тохиолдож болно. Тиймийн тул, энэ судалгаа нь аль хэдийн бүртгэсэн байгаа нь бусад сонирхолтой, чухал зан нь харагдах гарч байх ёстой гэж, дараа нь энэ одоо байгаа хэмжих дэд бүтцийн орой дээр туршилт боловсруулах санал болгож байна. Хоёрдугаарт, туршилт нь энэ цогц дижитал хээрийн туршилт нь зөвхөн онлайн биш гэдгийг бидэнд сануулж, улам Би тэднийг барьсан орчинд мэдрэгч хэмжигдэх олон хүрэх үр дүнгийн хамт хаа сайгүй байх болно гэж найдаж байна.

хүчинтэй байх статистикийн дүгнэлт хүчинтэй байх, дотоод хүчин төгөлдөр дөрвөн төрөл, хүчин төгөлдөр барьж, гадаад хүчин төгөлдөр-хангах судлаачид тухайн туршилтын үр дүнг нь илүү ерөнхий дүгнэлтийг дэмжиж байгаа эсэхийг үнэлэхэд нь туслах сэтгэцийн шалгах хуудсыг. аналог насны туршилт харьцуулахад, дижитал нас туршилт онд гадаад хүчин төгөлдөр эмпирик шийдвэрлэхэд хялбар байх ёстой бөгөөд энэ нь дотоод хүчин төгөлдөр байдлыг хангах нь илүү хялбар байх ёстой. Нөгөө талаас, бүтцийг хүчинтэй байх асуудал байж магадгүй (хэдийгээр тэр Opower туршилт хэрэг биш юм) дижитал насны туршилт илүү хэцүү байх болно.