4.4.1 amal qilish muddati

Amal qilish tajriba natijalari ham umumiy xulosa qo'llab-quvvatlash qancha anglatadi.

Hech qanday tajriba mukammal emas va tadqiqotchilar yuzaga kelishi mumkin bo'lgan muammolarni aniqlash uchun keng qamrovli lug'at ishlab chiqdilar. Qadriyat , muayyan eksperiment natijalari qanday umumiy umumiy xulosani qo'llab-quvvatlaydigan darajada ekanligini anglatadi. Ijtimoiy olimlar haqiqiyligini to'rt asosiy turga bo'lishiga yordam berishdi: statistik xulosaning asosliligi, ichki kuchliligi, ishonchliligi va tashqi kuchliligi (Shadish, Cook, and Campbell 2001, chap. 2) . Ushbu tushunchalarni o'zlashtirish sizga eksperimentni loyihalash va tahlilini tanqid qilish va takomillashtirish uchun sizni ruhiy tekshiruv ro'yxati bilan ta'minlaydi va bu sizga boshqa tadqiqotchilar bilan aloqa qilishda yordam beradi.

Eksperimentning statistik tahlillari to'g'ri tekshiriladimi yoki yo'qligi haqida statistik natijalar amal qilish markazlari. Schultz et al. (2007) , bunday savol ularning \(p\) qiymatlari to'g'ri hisoblangan-qilmaydigan darajada markazlashtirishi mumkin. Tajribalarni loyihalashtirish va tahlil qilish uchun zarur bo'lgan statistik printsiplar ushbu kitobning doirasidan tashqarida, lekin ular raqamli davrda tubdan o'zgarib bo'lmagandi. Raqamli tajribalardagi ma'lumotlar muhiti, davolovchi ta'sirlarning heterojenitesini baholash uchun kompyuterni o'qitish usullaridan foydalanish kabi yangi imkoniyatlar yaratdi (Imai and Ratkovic 2013) .

Ichki amal qilish markazlari eksperimental protseduralar to'g'ri bajarilganmi yoki yo'qmi atrofida. Schultz et al. (2007) , ichki kuchga oid savollar randomizatsiya, davolanishni etkazish va natijalarni o'lchash bilan bog'liq bo'lishi mumkin. Misol uchun, tadqiqotchilarning elektr hisoblagichlarini ishonchli o'qimaganligi qiziqtirishi mumkin. Aslida, Schultz va hamkasblari bu muammo haqida qayg'urishdi va ular ikki marta o'qilgan metrlar namunasi bor edi; Yaxshiyamki, natijalar asosan bir xil edi. Umuman olganda, Schultz va uning hamkasblarining tajribasi yuqori ichki kuchga ega bo'lib tuyuladi, ammo bu har doim ham shunday emas: murakkab maydon va onlayn tajribalar ko'pincha to'g'ri odamlarga to'g'ri muolajani etkazib beradigan va har bir kishining natijalarini o'lchashda muammolarga duch keladi. Yaxshiyamki, raqamli yosh, ichki kuchlilik haqidagi xavotirlarni kamaytirishga yordam berishi mumkin, chunki endi davolashni qabul qilish va barcha ishtirokchilar uchun natijalarni o'lchashni ta'minlash osonroqdir.

Ma'lumotlar va nazariy konstruktsiyalar o'rtasidagi o'yin atrofidagi kuchlar markazlarini yaratish. 2-bobda muhokama qilinganidek, konstruktsiyalar ijtimoiy ixtirochilarning fikrini buzadigan mavhum tushunchalardir. Afsuski, bu mavhum kontseptsiyalar har doim aniq belgilash va o'lchovlarga ega emas. Schultz et al. (2007) , ogohlantiruvchi ijtimoiy me'yorlar elektrdan foydalanishni kamaytirishi mumkin bo'lgan da'vo tadqiqotchilarni "majburiy ijtimoiy me'yorlarni" (masalan, ogohlantirish) manipulyatsiya qilish va "elektrdan foydalanishni" o'lchash uchun mo'ljallangan usulni ishlab chiqishni talab qiladi. Analog tajribalarda, ko'pgina tadqiqotchilar o'zlarini davolash usullarini yaratdilar va o'z natijalarini o'lchadilar. Ushbu yondashuv imkon qadar iloji boricha, eksperimentlar o'rganilayotgan mavhum konstruktsiyalarga mos kelishini ta'minlaydi. Tadqiqotchilar korxonalar va hukumatlar bilan muolajalar olib borish va natijalarni o'lchash uchun har doim ma'lumot tizimlaridan foydalanish bo'yicha tadqiqot olib boradigan raqamli tajribalarda eksperiment va nazariy konstruktsiyalar o'rtasidagi o'yin kamroq bo'lishi mumkin. Shunday qilib, qurilma kuchliligi analog eksperimentlarga qaraganda raqamli tajribalarda katta tashvish bo'lishi mumkinligini o'ylayman.

Nihoyat, ushbu tajribaning natijalari boshqa holatlarga umumlashtirilishi mumkinmi degan atrofdagi tashqi kuchlanish markazlari. Schultz et al. (2007) , ushbu fikrni odamlar o'z tengdoshlari bilan munosabatlarda energiya iste'moli haqida ma'lumot berishlari va ogohlantiruvchi me'yorlar (masalan, bir gap) haqida ma'lumot berishlarini so'rashi mumkin - agar u boshqacha tarzda amalga oshirilsa, energiya iste'molini kamaytiradi boshqa muhitda. Ko'pgina yaxshi mo'ljallangan va yaxshi tashkillashtirilgan eksperimentlar uchun tashqi kuchliligi bilan bog'liq muammolarni hal qilish qiyin. O'tmishda tashqi kuchliligi haqidagi bu tortishuvlar, ko'pincha, tartib-qoidalar boshqacha tarzda yoki boshqa joyda yoki turli ishtirokchilar bilan amalga oshirilgan bo'lsa, nima bo'lishini tasavvur qilish uchun xonada o'tirgan bir guruh odamlardan ko'proq narsani o'z ichiga oladi . Yaxshiyamki, raqamli yosh tadqiqotchilarga ushbu ma'lumotlarsiz spekulyasiyalardan tashqariga chiqishga va tashqi ishonchliligini empirik tarzda baholashga imkon beradi.

Schultz et al. (2007) juda qiziqarli bo'lgan, Opower kompaniyasi, davolanishni yanada kengroq qilish uchun Qo'shma Shtatlardagi yordamchi tashkilotlar bilan hamkorlik qildi. Schultz et al. (2007) , Opower ikkita asosiy modulga ega bo'lgan uy xo'jaligi energiya hisobotlarini yaratdi: biri elektr energiyasidan foydalanishni o'z qo'shnilariga nisbatan va energiya iste'molini qisqartirish bo'yicha maslahatlar beradi (4.6-rasm). Keyinchalik, tadqiqotchilar bilan birgalikda, Opower ushbu Energiya hisobotlarining ta'sirini baholash uchun randomizatsiyalangan boshqariladigan eksperimentlarni o'tkazdi. Ushbu tajribalardagi muolajalar odatda jismoniy tarzda etkazilgan bo'lsa-da, odatda eskirib qolgan salyangoz xabarlari orqali - natijalar jismoniy dunyoda raqamli qurilmalar yordamida (masalan, elektr hisoblagichlari) o'lchandi. Bundan tashqari, ushbu ma'lumotni har bir uyga tashrif buyuradigan tadqiqotchi assistentlar bilan qo'lda to'plash o'rniga, Opower tajribalari tadqiqotchilarning quvvat o'qishga kirishlarini ta'minlaydigan elektr kompaniyalari bilan hamkorlikda amalga oshirildi. Shunday qilib, bu qisman raqamli yarim himoyachi tajribalari past o'zgaruvchan xarajatlarda katta hajmda amalga oshirildi.

Shakl 4.6: Asosiy energiya hisobotlarida Ijtimoiy taqqoslash moduli va Amaliy qadamlar moduli mavjud edi. Allcott (2011) , 1 va 2- Allcott (2011) tomonidan chiqarilgan.

10 ta turli xil saytlardan 600 ming Allcott (2011) o'z ichiga olgan birinchi tajriba to'plamida, Allcott (2011) energiya hisoboti elektr energiyasini sarflashni aniqladi. Boshqacha aytganda, juda katta va geografik jihatdan turli xil tadqiqotlar natijalari sifat jihatidan Schultz et al. (2007) . Keyinchalik, 101 ta turli xil saytlardan sakkiz million qo'shimcha uyni qamrab oladigan keyingi tadqiqotlarda, Allcott (2015) qayta hisob-kitob qilishicha, Home Energy Report elektr quvvati iste'molini doimiy ravishda pasaytirdi. Bu juda katta tajriba to'plami ham birorta eksperimentda ko'rinmasligi mumkin bo'lgan qiziqarli yangi naqshni kashf etdi: ta'sirning o'lchami keyingi tajribalarda pasaygan (rasm 4.7). Allcott (2015) ushbu pasayishning sababi shundaki, vaqt o'tishi bilan davolanish turli xil ishtirokchilarga qo'llanilgan. Keyinchalik, atrof-muhitga yo'naltirilgan iste'molchilarga ega bo'lgan kommunal xizmatlar bundan oldin dasturni ko'proq qabul qilishdi va ularning mijozlari davolanishga ko'proq javob berishdi. Ekologik jihatdan kamroq mijozlarga ega bo'lgan kommunal xizmatlar dasturini qabul qilib, uning samaradorligi pasayib ketdi. Shunday qilib, eksperimentlardagi tasodifiy tartibga solish davolash va nazorat guruhining o'xshashligini ta'minlaydi, tadqiqot uchastkalari bo'yicha tasodifiy baholash kiritish bir guruh ishtirokchilardan umumiy aholi soniga umumlashtirishga imkon beradi (masalan, namuna olish bo'yicha 3-bobga qarang). Agar izlanish ob'ektlari tasodifiy tanlanmagan bo'lsa, unda umumlashma, hatto yaxshi ishlab chiqilgan va o'tkaziladigan eksperimentlardan ham muammoli bo'lishi mumkin.

Shakl 4.7: Uy energiya hisobotini elektr energiyasiga bo'lgan ta'sirini sinab ko'rgan 111 ta tajribalarning natijalari. Dastur keyinroq qabul qilingan joylarda u kamroq ta'sir ko'rsatdi. Allcott (2015) ushbu naqshning asosiy manbasi ekologik jihatdan ko'proq mijozlarga ega bo'lgan saytlar bundan oldin dasturni qabul qilish ehtimoli ko'proq bo'lishini ta'kidlaydi. Allcott (2015) , 3-rasm.

Shu bilan birga 111 ta Allcott (2011) va 101 ta Allcott (2015) tajribalarida 111 ta tajriba Qo'shma Shtatlardagi 8,5 million uyni tashkil qildi. Ular doimiy ravishda Home Energy Reports kompaniyasining o'rtacha elektr iste'molini kamaytiradi, natijada Kaliforniya shtatidagi 300 ta uydan Schultz va uning hamkasblarining asl topilmalarini qo'llab-quvvatlovchi natijaga erishiladi. Ushbu asl natijalarni faqat takrorlashdan tashqari, kuzatuv tajribalari, ta'sir o'lchamlari joyga qarab o'zgarib borishini ham ko'rsatadi. Ushbu tajriba to'plami, qisman raqamli yarim himoyachi tajribalari haqida yana ikkita umumiy fikrni ham ko'rsatadi. Birinchidan, tadqiqotchilar eksperimentlar xarajati past bo'lganida tashqi kuchliligi bilan bog'liq tashvishlarni empirik tarzda ko'rib chiqishlari mumkin va bu natijalar allaqachon ma'lumotlar tizimida allaqachon o'lchanadigan bo'lsa paydo bo'lishi mumkin. Shu sababli, tadqiqotchilar allaqachon qayd etilgan boshqa qiziqarli va muhim xatti-harakatlarning kuzatuvida bo'lishi va keyin mavjud bo'lgan o'lchash infratuzilmasi ustida eksperimentlarni loyihalashtirishni nazarda tutadi. Ikkinchidan, bu tajriba to'plami bizni raqamli dala eksperimentlari onlayn emasligini eslatadi; borgan sari, ular qurilgan muhitda sezgichlar bilan o'lchanadigan ko'plab natijalar bilan hamma joyda bo'lishini kutmoqdaman.

To'rt turdagi amal qilish - statistika xulosasining haqiqiyligi, ichki kuchliligi, haqiqiyligini va tashqi kuchliligi - tadqiqotchilarga ma'lum bir eksperiment natijalari umumiy xulosani qo'llab-quvvatlayaptimi yoki yo'qligini baholash uchun aqliy nazorat ro'yxatini taqdim etadi. Raqamli yoshdagi eksperimentlarda analog tajribalar bilan taqqoslaganda, tashqi kuchliligini empirik tarzda ko'rib chiqish osonroq bo'lishi kerak va ichki kuchni ta'minlash ham osonroq bo'lishi kerak. Boshqa tomondan, raqamli yoshdagi eksperimentlarda, xususan, kompaniyalar bilan hamkorlikni o'z ichiga olgan raqamli tajriba bo'yicha tajribani kuchaytirish masalalari yanada murakkabroq bo'lishi mumkin.