4.4.1 amal qilish muddati
Amal qilish tajriba natijalari ham umumiy xulosa qo'llab-quvvatlash qancha anglatadi.
No tajriba mukammal bo'lib, tadqiqotchilar mumkin muammolarni tasvirlash uchun keng so'z ishlab chiqildi. Amal qilish, muayyan bir eksperiment natijalari ba'zi umumiy xulosa qo'llab-quvvatlash bo'lgan darajada nazarda tutadi. Ijtimoiy olimlar bu foydali to'rt asosiy turga haqiqiyligini bo'lish topdik: statistik xulosa amal, ichki amal haqiqiyligini qurish va tashqi amal (Shadish, Cook, and Campbell 2001, Ch 2) . Bu tushunchalarni o'zlashtirish sizga tanqid va tajriba dizayn va tahlil yaxshilash uchun bir ruhiy varag'i beradi, va u boshqa tadqiqotchilar bilan muloqot yordam beradi.
Statistik xulosa amal eksperiment statistik tahlil to'g'ri bajarilgan bo'lsin atrofida markazlari. Kontekstida Schultz et al. (2007) kabi savol, ular to'g'ri o'z p-qadriyatlarini hisoblangan yo'qmi markaziy mumkin. Statistik tahlil, bu kitobning doirasi, lekin men tajriba loyihalashtirish va tahlil qilish uchun zarur bo'lgan statistik tamoyillari raqamli yoshi o'zgardi yo'q, deb aytish mumkin. Shu bilan birga, raqamli tajribalar turli ma'lumotlar muhit yangi statistik imkoniyatlar yaratish bermaydi (masalan, davolash ta'siri heterojeniteyi taxmin qilish uchun mashina ta'lim usullari yordamida (Imai and Ratkovic 2013) ) va yangi hisoblash muammolar (masalan, katta tajribalar bilan to'sib (Higgins, Sävje, and Sekhon 2016) ).
Ichki amal eksperimental tartib to'g'ri bajarilgan bo'lsin atrofida markazlari. Tajriba qaytgan Schultz et al. (2007) , ichki amal haqida savollar, randomizasyonunda atrofida natijalari davolash yetkazib berish va o'lchov markazi edi. Misol uchun, siz tadqiqot yordamchilari ishonchli elektr metr o'qib qilmagan manfaatdor bo'lishi mumkin. Aslida, Shults va hamkasblari, bu muammo haqida tashvishli edi va ular ikki marta o'qib metr namunasi edi; Xayriyat, natijalar, aslida bir xil edi. Umuman olganda, Shults va hamkasblar "tajriba yuqori ichki haqiqiyligini ega ko'rinadi, lekin bu har doim ham shunday emas; murakkab faoliyat va onlayn tajribalar ko'pincha muammolar aslida to'g'ri odamlarga qarab davolash tug'ilishi va har bir kishi uchun natijalarini o'lchash ishlatish. u oson, uni qabul qilish uchun va barcha ishtirokchilar uchun natijalarini o'lchash kerak bo'lganlarga mo'ljallangan bo'lib davolash yetkazib ishonch hosil qiladi, chunki Yaxshiyamki, raqamli yoshi ichki amal xavotir kamaytirish yordam berishi mumkin.
Ma'lumotlar va nazariy tuzilmalar o'rtasidagi uchrashuvda atrofida amal qilish markazlari qurish. 2-dars muhokama kabi, tuzilmalar haqida ijtimoiy olimlar sababi mavhum tushunchalar. Afsuski, bu mavhum tushunchalar har doim ochiq-oydin tushuncha va o'lchov yo'q. Qaytib Schultz et al. (2007) , elektr foydalanish pasaytirish mumkin, ijtimoiy normalar ehtiyot da'vo (masalan, bir ifoda,) "ehtiyot ijtimoiy normalar" manipulyatsiya edi va "elektr foydalanish" o'lchash uchun bir davolash dizayni uchun tadqiqotchilari talab qiladi. analog tajribalarida, ko'p tadqiqotchilar o'z muolajalar mo'ljallangan va o'z natijalarini o'lchanadi. Bu yondashuv imkon qadar, tajribalar mavhum tuzilmalar o'rganilmoqda mos, ta'minlaydi. kompaniyalar yoki hukumat bilan tadqiqotchilar hamkor muolajalar etkazib va har doim-kuni foydalanadigan ma'lumotlar tizimlari natijalarini o'lchash uchun raqamli tajribalarida, eksperiment va nazariy tuzilmalar o'rtasidagi o'yin kamroq qattiq bo'lishi mumkin. Shunday qilib, men tuzilishi, amal qilish analog tajribalar ortiq raqamli tajribalar bir katta tashvish bo'lish istagi, deb kutadi.
Nihoyat, tashqi amal qilish, bu tajriba natijalari boshqa vaziyatlarga umumlashtirish etadimi atrofida markazlari. Qaytib Schultz et al. (2007) , bir, so'rash mumkin bo'ladi, ularning energiya tengdoshlari uchun munosabatlarga foydalanish va ehtiyot normalari (masalan, bir ifoda,) u bir xil tarzda amalga oshirildi, agar -reduce energiya foydalanish bir signali haqida, bu bir xil fikr-ta'minlash, odamlar axborot boshqacha sozlama? eng yaxshi mo'ljallangan va tajribalar yaxshi ishlaydigan, tashqi amal haqida xavotirlar hal qilish qiyin bo'lgan. Ilgari, tashqi amal haqida bu munozaralar tez-tez tartib boshqacha tarzda amalga, yoki boshqa joyda, yoki har xil odamlar bilan bo'lsa, nima bo'lar edi tasavvur harakat bir xonada o'tirgan odamlar faqat bir guruh bor edi. Yaxshiyamki, raqamli yoshi bu ma'lumotlar xoli taxminlar tashqarida harakat va empirik tashqi haqiqiyligini baholash tadqiqotchilari beradi.
Natijalarini, chunki Schultz et al. (2007) Opower ismli bir kompaniya yanada keng davolash joylamoqchi Amerika Qo'shma Shtatlarida kommunal bilan hamkorlik, shuning uchun qiziqarli edi. Dizayni asosida Schultz et al. (2007) , Opower ikki asosiy modul, bir so'zlardan bilan qo'shni bir xonadoningiz elektr foydalanish nisbatan ko'rsatgan bir va bir energiya hajmini kamaytirish uchun maslahatlar ta'minlash edi Bosh sahifa energiya hisobot (shakl 4.6) tayyorlangan Yaratgan. So'ngra, tadqiqotchilar bilan hamkorlikda, Opower Bosh sahifa energiya hisobotlar ta'sirini baholash uchun nazorat tajribalar randomize yugurib. Bu tajribalar ilovalar odatda eski moda spiral orqali jismoniy-odatda yetkazib berildi, hatto pochta-oqibat jismoniy dunyoda raqamli qurilmalar (masalan, elektr metr) yordamida topgan. Balki qo'l bilan har bir uy tashrif tadqiqot yordamchilari bilan bu ma'lumotlarni yig'ish ko'ra, Opower tajribalar, barcha quvvat o'qishlari kirish uchun tadqiqotchilar beruvchi elektr kompaniyalari bilan hamkorlikda amalga oshirildi. Shunday qilib, bu qisman raqamli dala tajribalari kam o'zgaruvchan xarajat katta miqyosda ishga tushirish edi.
Rasm 4.6: Bosh sahifa energiya hisobotlar Allcott (2011) bir Ijtimoiy solishtirish moduli va tadbirlar qadamlar moduli edi.
Amerika Qo'shma Shtatlari bo'ylab 10 kommunal korxonalar tomonidan xizmat 600,000 uy jalb tajribalari birinchi to'plamda, Allcott (2011) Bosh sahifa Energiya hisoboti 1,7% hisobidan elektr energiyasi iste'moli pastlatdi topildi. Boshqa so'zlar bilan aytganda, juda katta, yanada geografik turli o'rganish natijalari bo'yicha natijalariga sifat o'xshash edi Schultz et al. (2007) . Lekin, ta'sir hajmi kichik edi: ham Schultz et al. (2007) tavsiflovchi va injective normalari sharti (so'zlardan bir) uy xo'jaliklari 5% o'z elektr foydalanishni kamayadi. Bu farqni aniq sababi noma'lum, lekin Allcott (2011) bir universitet tomonidan homiylik bilan ishlashning bir qismi sifatida qo'lyozma ifoda qabul a bir ommaviy ishlab chiqarilgan hisoboti, bir qismi sifatida bosilgan ifoda qabul ortiq xatti ham katta ta'sir bo'lishi mumkin, deb mish- elektr kompaniyasi.
Bundan tashqari, keyingi tadqiqotlar, Allcott (2015) qo'shimcha 8 million uy xo'jaliklari jalb qo'shimcha 101 tajribalar haqida xabar qildi. Bu keyingi 101 tajribalarida Bosh sahifa Energiya hisoboti odamlar o'z elektr energiyasi iste'moli kamaytirish uchun sabab davom, lekin ta'siri ham kichikroq edi. Bu pasayishiga aniq sababi ma'lum emas, lekin Allcott (2015) hisoboti samaradorligi aslida ishtirokchilari har xil turdagi qo'llaniladigan chunki vaqt davomida kamayib kerak paydo bildiradi. Batafsil ravishda, yana ekolog joylarda kommunal ko'proq oldingi dastur qabul va ularning mijozlari davolash uchun ko'proq sezgir edi. kamroq ekologik mijozlar bilan kommunal dasturi qabul qilindi, uning samaradorligi kamayib borayotgan ko'rinadi. Shunday qilib, tajribalarida randomizasyon davolash va nazorat guruhi shunga o'xshash ekanligini ta'minlaydi kabi, tadqiqot saytlarda randomizasyon bashorat qilish (orqa namuna olish to'g'risida bob 3 deb o'ylayman) bir umumiy aholiga ishtirokchilar bir guruhdan umumiy mumkinligini ta'minlaydi. tadqiqot saytlar tasodifiy namuna bo'lmasa, u holda umumlashtirish, hatto bir mukammal mo'ljallangan va tajriba-mumkin muammoli bo'lishi o'tkazdi.
Birgalikda bu 111 tajribalar-10 Allcott (2011) va 101 Allcott (2015) Qo'shma Shtatlari bo'ylab taxminan 8,5 million uy xo'jaliklari -involved. Ular izchil Bosh sahifa Energy hisobotlar o'rtacha elektr energiyasi iste'moli, Kaliforniya 300 uylaridan original Schultz topilmalar va hamkasblarini qo'llab-quvvatlaydigan natija kamaytirish ekanligini ko'rsatadi. faqat bu original natijalarini ko'paytirish Beyond, amal-up tajribalar ham ta'sir hajmi mavqega ko'ra farq qiladi, deb ko'rsatadi. tajribalar, bu to'siq ham qisman raqamli dala tajribalari haqida yana ikkita umumiy ball ko'rsatadi. Birinchidan, tadqiqotchilar tajribalar yugurib narxi past bo'lsa, tashqi amal haqida manzili xavotir empirik imkoniyatiga ega bo'ladi, va natija allaqachon ma'lumotlar har doim-tizimi bilan o'lchanadi qilinmoqda bo'lsa, bu sodir bo'lishi mumkin. Shuning uchun, bu tadqiqot allaqachon qayd etilmoqda boshqa qiziqarli va muhim xulq uchun ogohlik bo'lishi, keyin bu mavjud o'lchash infratuzilmani ustiga tajribalar loyihalashtirish kerak. Ikkinchidan, tajribalar bu majmui raqamli dala tajribalari faqat onlayn emasligini eslatadi; tobora Men ular qurilgan muhitda Sensor bilan o'lchanardi ko'p natijalari bilan hamma joyda bo'ladi, deb kutadi.
amal qilish-statistik xulosa amal, ichki amal to'rt turlari, haqiqiyligini qurish, tashqi amal qilish-ta'minlash tadqiqotchilar alohida tajriba natijalari ham umumiy xulosa qo'llab-quvvatlash yoki yo'qligini baholash yordam berish uchun bir ruhiy nazorat ro'yxatini. analog yoshi tajribalar bilan solishtirganda, raqamli yoshi tajribalarida bu empirik tashqi haqiqiyligini hal qilish oson bo'lishi kerak va u ichki haqiqiyligini ta'minlash oson bo'lishi kerak. (Bu Opower tajribalar bilan ishi yo'q edi-da), boshqa tomondan, tuzilishi, amal qilish masalalari ehtimol raqamli yoshi tajribalar ko'proq qiyin bo'ladi.
