yanada sharh

Ushbu bo'limda hikoyasiga sifatida o'qish uchun emas, balki, bir yo'naltiruvchi sifatida foydalanish uchun mo'ljallangan.

• Kirish (bo'lim 4,1)

ijtimoiy tadqiqotlar nedensellik haqida savollar tez-tez murakkab va murakkab bo'ladi. Nedensel grafikalar asosida nedensellik uchun asosiy yondashuv uchun, qarang Pearl (2009) , va potentsial natijalari asosida bir asosiy yondashuv uchun, qarang Imbens and Rubin (2015) (va bu bobda texnik ILOVA). Bu ikki yondashuv o'rtasidagi Taqqoslash uchun, qarang Morgan and Winship (2014) . A confounder aniqlash uchun rasmiy yondashuv uchun, qarang VanderWeele and Shpitser (2013) .

bobda, men tajriba va nooziq-tajriba ma'lumotlari nedensel smeta qilish bizning qobiliyati o'rtasidagi yorqin liniyasi kabi tuyulardi nima yaratdi. Aslida esa, men farq blurrier, deb o'ylayman. Misol uchun, har bir kishi chekish biz odamlar chekish majbur bir randomize nazorat tajriba amalga hech qachon, hatto saraton sabab deb qabul qiladi. Non-empirik ma'lumotlar, nedensel smeta qilish haqida ajoyib kitob uzunligi davolash uchun qarang Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , va Dunning (2012) .

Boblari 1 va 2 Freedman, Pisani, and Purves (2007) tajribalarida, nazorat tajribalari o'rtasidagi farqlar bir aniq joriy taklif va nazorat tajribalar randomize.

Manzi (2012) randomize nazorat tajribalari falsafiy va statistik asoslarini bir ajoyib va o'qib joriy beradi. Bu, shuningdek, biznes tajriba kuchi qiziqarli real-jahon misollar beradi.

• Tajribalar nima? (Bo'lim 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) eksperimental loyihalash va tahlil statistik jihatlari yaxshi tanıtımları beradi. Iqtisodiyot: Bundan tashqari, juda ko'p turli sohalarda tajribalar foydalanish yaxshi davolash ham bor (Bardsley et al. 2009) , sotsiologiya (Willer and Walker 2007; Jackson and Cox 2013) , psixologiya (Aronson et al. 1989) , siyosiy fan (Morton and Williams 2010) , va ijtimoiy siyosat (Glennerster and Takavarasha 2013) .

ishtirokchisi ishga qabul qilish (masalan, namuna olish) ahamiyati eksperimental tadqiqotlar qadrlanadi yoshgacha odatda. Davolash ta'siri aholining turli jinsli bo'lsa Biroq, keyin namuna olish muhim ahamiyat kasb etadi. Longford (1999) u voqea namunalarini bilan aholi so'rov sifatida tajribalari o'ylab tadqiqotchilar uchun tarafdoridir qachon aniq, bu nuqtaga qiladi.

• Tajribalar ikki bosqichga: laboratoriya-dala va analog-raqamli (bo'lim 4,3)

Men laboratoriya va dala tajribalari o'rtasida taqdim Ikkilik bir oz soddalashtirilgan bo'ladi. Aslida, boshqa tadqiqotchilar dala tajribalari turli shakllarini ajratib xususan berayotib, batafsil tipolojilerin taklif qilgan (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Tadqiqot tajribalar va ijtimoiy tajribalar Survey tajribalar mavjud tadqiqotlarning infratuzilmasini yordamida tajribalar va muqobil versiyalari uchun javob solishtirish:. Bundan tashqari, u erda laboratoriya va dala Ikkilik ichiga aniq mos bo'lmagan, ijtimoiy olimlar tomonidan amalga oshirilgan tajribalar ikki boshqa turlari (ba'zi tadqiqot tajribalar bob 3 keltirilgan) Shu savollar; so'rov tajribalar haqida qo'shimcha ko'rish uchun Mutz (2011) . Ijtimoiy tajribalar davolash faqat bir hukumat tomonidan amalga oshirilishi mumkin, ayrim ijtimoiy siyosati tajribalar bor. Ijtimoiy tajribalar yaqindan baholash uchun dastur bog'liq. Siyosat tajribalar haqida qo'shimcha ma'lumot olish uchun, qarang Orr (1998) , Glennerster and Takavarasha (2013) , va Heckman and Smith (1995) .

Qog'ozlar bir qator Xulosa laboratoriya va dala tajribalari nisbatan qilgan (Falk and Heckman 2009; Cialdini 2009) va siyosiy fan o'ziga xos tajribalar natijalari jihatidan (Coppock and Green 2015) , iqtisodiyot (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) va psixologiya (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) laboratoriya va dala tajribalari natijalarini solishtirish uchun yaxshi tadqiqot dizayn taklif etadi.

Ular yaqindan ba'zan talab ta'siri deyiladi kuzatilmoqda bilaman, va ular psixologiya o'rganilgan, chunki ularning xatti o'zgaruvchan ishtirokchilari haqida xavotirlar (Orne 1962) va iqtisodiyot (Zizzo 2009) . asosan laboratoriya tajribalari bilan bog'liq bo'lsa-da, bu bir xil masalalar, shuningdek dala tajribalari muammolar olib kelishi mumkin. Aslida, talab ta'siri, shuningdek, ba'zan, bir dala tajriba kelib chiqadi muddatini, G'arb Electric kompaniyasining Hawthorne Ishlar da 1924 yilda boshlangan, ayniqsa, mashhur yoritish tajribalar Hawthorne ta'sir deyiladi (Adair 1984; Levitt and List 2011) . Har ikki talab ta'siri va Hawthorn ta'siri yaqindan 2-dars muhokama reaktiv o'lchov g'oyasi bilan bog'liq (shuningdek, Webb et al. (1966) ).

Dala tajribalari tarixi iqtisodiyot tasvirlangan qilingan (Levitt and List 2009) , siyosatshunoslik (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psixologiya (Shadish 2002) , va davlat siyosati (Shadish and Cook 2009) . dala tajribalari tez ko'zga ko'ringan bo'ldi ijtimoiy fanlar biri maydoni xalqaro rivojlanish bo'ladi. Iqtisodiyot doirasida bu ish ijobiy ko'rib chiqish uchun qarang Banerjee and Duflo (2009) , va tanqidiy baholash uchun qarang Deaton (2010) . Siyosiy fan bu ish bir ko'rib chiqish uchun qarang Humphreys and Weinstein (2009) . Nihoyat, dala tajribalari bilan ishtirok axloqiy muammolar siyosiy fan o'rganib chiqildi (Humphreys 2015; Desposato 2016b) va rivojlanish iqtisodiyot (Baele 2013) .

Bobda, men oldindan davolash axborot taxmin davolash ta'siri aniqlikni oshirish uchun foydalanish mumkin, deb taklif, lekin bu yondashuv haqida ba'zi munozaralar bor: Freedman (2008) , Lin (2013) , va Berk et al. (2013) ; ko'rish Bloniarz et al. (2016) Qo'shimcha ma'lumot olish uchun.

• Oddiy tajribalar orqasida Ko'chib (bo'lim 4,4)

amal, davolash ta'siri heterojenliğinin va mexanizmlar: Men uch tushunchalar haqida o'ylash uchun tanladingiz. Bu tushunchalar turli sohalarda turli nomlar bor. Misol uchun, psixologlar mediatorlar va Moderatorlar e'tibor oddiy tajribalar orqasida ko'chib o'tishga moyil (Baron and Kenny 1986) . mediatorlar g'oyasi men mexanizmlarini deganimiz bilan qo'lga qilinadi va Moderatorlar g'oyasi I tashqi amal qilish (turli vaziyatlarda ishlaydigan bo'lsa, masalan, eksperiment natijalari turli bo'ladi) va davolash ta'siri turlilik (ataydigan tomonidan qo'lga olindi masalan, boshqa odamlardan ko'ra, ba'zi odamlar) uchun katta ta'siri bor.

Tajriba Schultz et al. (2007) samarali choralar loyihalashtirish uchun foydalanish mumkin qanday ijtimoiy nazariyalar ko'rsatadi. Samarali choralar ishlab nazariyasi o'rni haqida ko'proq umumiy, mustaqil o'zgaruvchilar uchun, qarang Walton (2014) .

• Amal qilish muddati (Bo'lim 4.4.1)

Ichki va tashqi amal qilish tushunchalar birinchi joriy etildi Campbell (1957) . Qarang Shadish, Cook, and Campbell (2001) , batafsil tarixi va statistik xulosa amal, ichki amal qilish diqqat ishlab chiqish uchun haqiqiyligini va tashqi haqiqiyligini qurish.

Tajribalar statistik xulosa amal bilan bog'liq masalalar haqida umumiy ma'lumot uchun qarang: Gerber and Green (2012) (ijtimoiy fan nuqtai uchun) va Imbens and Rubin (2015) (a statistik nuqtai uchun). Onlayn dala tajribalari bilan, ayniqsa, yuzaga statistik xulosa amal ba'zi masalalar, masalan, qaram ma'lumotlar bilan ishonch intervallarni yaratish uchun hisoblash samarali usullari kabi masalalar ham o'z ichiga oladi (Bakshy and Eckles 2013) .

Ichki amal qilish murakkab dala tajribalari bilan ta'minlash uchun qiyin bo'lishi mumkin. Misol uchun, qarang Gerber and Green (2000) , Imai (2005) , va Gerber and Green (2005) ovoz berish haqida bir murakkab dala eksperiment amalga oshirish haqida munozara uchun. Kohavi et al. (2012) va Kohavi et al. (2013) onlayn dala tajribalarida interval amal muammolar yuzasidan joriy beradi.

ichki amal bilan bir katta tashvish randomizasyonunda bilan muammolar bo'ladi. potentsial randomizasyonunda bilan muammolarni aniqlash uchun bir yo'l kuzatiladigan taraflariga davolash va nazorat guruhlari bilan solishtirish emas. Nisbatan bunday bir muvozanat tekshirish deyiladi. Qarang Hansen and Bowers (2008) chexlar muvozanat va ko'rish uchun bir statistik yondashuv uchun Mutz and Pemantle (2015) balans tekshirish haqida xavotirlar uchun. Misol uchun, bir muvozanat yordamida tekshirish Allcott (2011) (; saytlarni 2, 6, va 8-jadval 2 qarang) randomizasyon OPower tajribalar ba'zi tajribalar uch to'g'ri amalga oshirilmagan deb ba'zi dalillar bor, deb topildi. Boshqa yondashuvlarga uchun, qarang Imbens and Rubin (2015) , 21-bobda.

ichki amal qilish bilan bog'liq boshqa asosiy tashvishlar bor: 1) davolash guruhida hamma aslida davolash olgan non-mosligini, bir tomonlama, ikki davolash guruhida hamma davolash va ba'zi qabul nodavlat rioya tomonlama, 2) nazorat guruhi odamlar davolash nazorat holatda odamlarga davolash holatda odamlardan sızıntıları davolash, natijalari, ayrim ishtirokchilari uchun o'lchanadigan emas 3) ishqalanish, va 4) aralashmaslik, qabul. Qarang Gerber and Green (2012) boblar 5, 6, 7, va bu masalalar har bir kuni yana 8.

Tuzilishi, amal haqida qo'shimcha ma'lumot olish uchun, qarang Westen and Rosenthal (2003) , va tuzilishi, katta ma'lumotlar manbalarda amal, ustida ko'proq uchun Lazer (2015) va bobdan 2.

Tashqi amal, bir tomoni bir aralashuvi sinov bo'ladi sekundlar. Allcott (2015) sayt tanlash tarafkashlik bir ehtiyot nazariy va empirik davolash imkonini beradi. Bu masala ham muhokama etiladi Deaton (2010) . Ko'p saytlar çoğaltıldığı tashqari, uy Energiya hisoboti aralashuvi ham mustaqil bir nechta tadqiqot guruhlar tomonidan berilgan (masalan, Ayres, Raseman, and Shih (2013) ).

• Davolash ta'siri turlilik (qism 4.4.2)

Dala tajribalari bilan davolash ta'siri heterojenliğinin ajoyib umumiy nuqtai uchun,-dars 12 ko'rib Gerber and Green (2012) . Tibbiy sinovlar davolash ta'siri heterojenliğinin tanıtımları uchun, qarang Kent and Hayward (2007) , Longford (1999) , va Kravitz, Duan, and Braslow (2004) . davolash ta'siri turlilik odatda oldindan davolash xususiyatlariga asoslangan farqlar haqida o'ylash. Agar post-davolash natijalari asosida heterojenliğinin manfaatdor bo'lsa, yanada murakkab yondashuvlar kabi asosiy tabaqalanishi kabi zarur (Frangakis and Rubin 2002) ; qarang Page et al. (2015) bir ko'rib chiqish uchun.

Ko'pchilik tadqiqotchilar chiziqli tushish yordamida davolash ta'siri heterojeniteyi tahmin, lekin yangi usullari masalan, mashina ta'lim tayanib Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , va Athey and Imbens (2016a) .

Chunki ko'p taqqoslash muammolari va ". Fishing» bir necha solishtirish haqida manzil xavotir yordam berishi mumkin statistik yondashuvlar turli bor ta'siri heterojenliğinin kashfiyotlari haqida ba'zi Skeptitsizm bor (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Baliq ovlash" haqida xavotirlar bir yondashuv psixologiya tobora keng tarqalgan bo'lib kelmoqda oldindan ro'yxatga olish, deb (Nosek and Lakens 2014) , siyosiy fan (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) va iqtisodiyot (Olken 2015) .

O'rganishga Costa and Kahn (2013) tajribada uy atigi yarim demografik ma'lumotlar bilan bog'liq bo'lishi mumkin edi. Bu tahlil bilan batafsil va iloji muammolar bilan qiziqib Readers original qog'oz murojaat kerak.

• Mexanizmlar (Bo'lim 4.4.3)

Mexanizmlar nihoyatda muhim, lekin ular o'rganish uchun juda qiyin bo'lishi. Mexanizmlari haqida tadqiqot yaqindan psixologiya mediatorlar o'rganish bilan bog'liq (balki qarang VanderWeele (2009) ikki g'oyalar o'rtasida aniq solishtirish uchun). Bunday ishlab yondashuv sifatida topish mexanizmlarini statistik yondashuvlar, Baron and Kenny (1986) , juda keng tarqalgan. Afsuski, bu tartib bir necha kuchli taxminlarga bog'liq ekan (Bullock, Green, and Ha 2010) va bir necha mexanizmlari mavjud bo'lsa, bir qancha vaziyatlarda kutish mumkin, azob (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) va Imai and Yamamoto (2013) ba'zi takomillashtirilgan statistik usullarini taklif etamiz. Bundan tashqari, VanderWeele (2015) sezuvchanlik tahlillari uchun keng qamrovli yondashuv, shu jumladan, muhim natijalar, bir qator kitob metrajli davolash taklif etadi.

Alohida yondashuv bevosita mexanizmi (masalan, berib dengizchilar vitamin C) manipulyatsiya harakat tajribalar qaratilgan. Afsuski, ko'p ijtimoiy fan sozlash bor, tez-tez bir necha mexanizmlari va boshqalarni o'zgartirishdan bir o'zgartirish muolajalar loyihalashtirish qiyin. Ba'zi yondashuvlar eksperimental o'zgartirish mexanizmlari bayon qilinadi qilish Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , va Pirlott and MacKinnon (2016) .

Tomonidan aytilganidek Nihoyat, mexanizmlari, shuningdek, ilm-fan falsafasi uzoq tarixga ega Hedström and Ylikoski (2010) .

• Mavjud muhitda foydalanish (bo'lim 4.5.1.1)

Kamsitish o'lchash uchun yozishmalar tadqiqotlar va audit tadqiqotlar foydalanish bo'yicha qo'shimcha ma'lumot olish uchun qarang: Pager (2007) .

• O'z tajriba qurish (bo'lim 4.5.1.2)

Agar qurish tajribalar ishtirokchilari yollashga eng keng tarqalgan yo'li Amazon mexanik Turk (MTurk) hisoblanadi. an'anaviy laboratoriya tajribalarida maoshli odamlar MTurk taqlid jihatlari ular xoli ko'p tadqiqotchilar uchun nima yo'q edi vazifalarni bajarish uchun, chunki allaqachon an'anaviy tezroq va arzonroq ma'lumotlarni to'plash natijasida inson fanlar tajribalar ishtirokchilari sifatida Turkers (MTurk kuni ishchilar) yordamida boshladi on-yotoqxonasida laboratoriya tajribalari (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk dan jalb ishtirokchilari bilan tajribalar eng katta kuchi logistika bor: ular tadqiqotchilar tez va kerak bo'lsa, ishtirokchilarni jalb qilish imkonini beradi. laboratoriya tajribalari ishlatish uchun hafta olishi mumkin va dala tajribalari-yuqoriga o'rnatish uchun oy olishi mumkin bo'lsa, MTurk dan ishga ishtirokchilari bilan tajribalar kun ichida ishlatish mumkin. Misol uchun, Berinsky, Huber, and Lenz (2012) 8 daqiqa tajribada ishtirok etish uchun bir kunda 400 mavzularni yollashga muvaffaq bo'ldi. Bundan tashqari, bu ishtirokchilari (boblarda 3 muhokama qilib, anketalar va ommaviy hamkorlik, jumladan, va 5) deyarli har qanday maqsadlarda ishga mumkin. yollash Bu oson tadqiqotchilar tez ketma-ket tegishli tajribalar ketliklar ishlatish mumkin, degan ma'noni anglatadi.

O'z tajribalar uchun MTurk dan ishtirokchilari tanlashning oldin, bilish to'rtta muhim narsa bor. Birinchidan, ko'p tadqiqotchilar Turkers jalb tajribalari bo'lmagan muayyan shubha bor. Bu Skeptitsizm xos emas, chunki, bu dalil bilan qarshi qiyin. Biroq, Turkers yordamida tadqiqotlar bir necha yil keyin, biz hozir bu Skeptitsizm ayniqsa zarur emas deb xulosa qilish mumkin. boshqa aholi va boshqa aholi dan natijalariga Turkers bilan tajribalar natijalarini taqqoslab ko'p tadqiqotlar uchun Turkers demografik solishtirish ko'p tadqiqotlar bor edi. Barcha bu ishni hisobga olib, men siz bu haqda o'ylash uchun eng yaxshi yo'l Turkers ko'p talabalar lekin bir oz ko'proq turli kabi, bir o'rinli qulaylik namuna deb deb o'ylayman (Berinsky, Huber, and Lenz 2012) . Shunday qilib, talabalar ba'zi uchun o'rtacha bir aholi emas, balki barcha eksperimental tadqiqot kabi, Turkers bir oqilona ba'zi aholi emas, balki barcha ilmiy-tadqiqot bor. Agar Turkers bilan ishlash uchun boryapmiz, unda bu qiyosiy tadqiqotlar ko'p o'qish va ularning nüansları tushunish mantiqiy.

Ikkinchidan, tadqiqotchilar Turk tajribalar ichki haqiqiyligini oshirish uchun eng yaxshi tajribalarni ishlab chiqilgan va siz haqida o'rganish va bu eng yaxshi tajribalarni amal kerak (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Misol uchun, Turkers yordamida tadqiqotchilar, ehtiyotkor ishtirokchilarini olib tashlash uchun Screeners foydalanish tavsiya etiladi (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (balki ko'rib DJ Hauser and Schwarz (2015b) va DJ Hauser and Schwarz (2015a) ). Agar beparvo ishtirokchilari olib tashlash bo'lmasa, keyin davolash har qanday ta'siri beparvo ishtirokchilarining joriy shovqin tomonidan yuvilib mumkin va amalda beparvo ishtirokchilari soni sezilarli bo'lishi mumkin. Huber va hamkasblari tajribasida (2012) ishtirokchilar taxminan 30% asosiy e'tibor Screeners olmadi. Turkers bilan umumiy yana bir muammo bo'lmagan sodda ishtirokchilari hisoblanadi (Chandler et al. 2015) .

Uchinchidan, raqamli tajribalar ba'zi boshqa shakllariga nisbiy, MTurk tajribalar o'lchovni mumkin emas; Stewart et al. (2015) har qanday vaqtda MTurk faqat haqida 7000 odamlar bor, deb taxmin qilmoqda.

Nihoyat, siz MTurk o'z qoidalari va normalariga bir jamoa, deb bilish kerak (Mason and Suri 2012) . Agar siz tajribalar ishlatish uchun ketayotganini bir mamlakat madaniyati haqida topishga harakat qilamiz Shu tarzda, siz madaniyat va Turkers normalari haqida qo'shimcha ma'lumot topishga harakat kerak (Salehi et al. 2015) . Va, siz noto'g'ri yoki axloqiy, bir narsa qilish bo'lsa Turkers sizning eksperiment haqida gapirganda bo'ladi, deb bilish kerak (Gray et al. 2016) .

MTurk ular kabi, laboratoriya-kabidir yo'qmi, sening tajribalar ishtirokchilarni jalb qilish uchun juda qulay yo'lidir Huber, Hill, and Lenz (2012) , yoki kabi yana sohasida o'xshash, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , va Mao et al. (2016) .

• O'z mahsulot qurish (bo'lim 4.5.1.3)

Agar siz o'z mahsulot yaratish uchun harakat qilish o'ylayotgan bo'lsangiz, men sizga MovieLens guruh tomonidan taklif maslahat o'qib, deb tavsiya Harper and Konstan (2015) . ularning tajribasidan asosiy tushuncha har bir muvaffaqiyatli loyiha uchun juda ko'p uzilishlar bor, deb hisoblanadi. Misol uchun, MovieLens guruhi, masalan, to'liq uzilishlar edi GopherAnswers boshqa mahsulotlar yo'lga (Harper and Konstan 2015) . bir mahsulotni qurish harakat esa ayb tadqiqotchi yana bir misol Arden deb nomlangan onlayn o'yin qurish Edward Castronova ning urinishdir. Fond $ 250,000 qaramay, loyiha flop edi (Baker 2008) . GopherAnswers va Arden kabi loyihalar afsuski ancha keng tarqalgan MovieLens kabi loyihalar ortiq bo'ladi. 1) ishtirokchilari, chunki u, masalan, ular pullik o'tmadingiz (ularni beradi nima mahsulotni foydalanish va ular emas: men muvaffaqiyatli takrorlab tajriba uchun mahsulotlar qurgan har qanday boshqa tadqiqotchilar bilmasdim, dedi Nihoyat, bu erda mening mezonlari ko'ngillilar fanni yordam) va 2) mahsulot bir nechta alohida eksperiment (turli ishtirokchisi ko'llar bilan, ya'ni emas, balki bir xil tajriba bir necha marta) uchun ishlatilgan. Agar boshqa misollarni bilsangiz, menga xabar bering iltimos.

• Kuchli bilan hamkor (Bo'lim 4.5.2)

Men texnologiyali kompaniyalari da, tez-tez muhokama Paster ning yonbosh g'oyasini eshitganman va u Google tadqiqot sa'y-harakatlarini tashkil yordam beradi (Spector, Norvig, and Petrov 2012) .

Bond va do'stlari "o'quv (2012) , shuningdek, ularni qabul qilganlar do'stlariga bu yordamni ta'sir aniqlash uchun harakat qiladi. Chunki tajriba dizayn, bu kishanlar bo'lur toza aniqlash qiyin; manfaatdor O'quvchilarning ko'rishingiz kerak Bond et al. (2012) , yanada puxta muhokama uchun. Bu tajriba ovoz rag'batlantirish harakatlari siyosiy fan tajribalar uzoq an'anasi bir qismi (Green and Gerber 2015) . Ular Paster ning kadranda, chunki bu get-out-ovoz tajribalar qismida keng tarqalgan. Bu xatti-o'zgarishi va ijtimoiy ta'siri haqida ko'proq umumiy nazariyalarini sinab ko'rish uchun qiziqarli xulq bo'lishi mumkin ovoz berish va ovoz berish oshirish sabablar juda ko'p odamlar bor, deb.

Boshqa tadqiqotchilar bunday siyosiy partiyalar, nodavlat notijorat tashkilotlari va biznes, hamkor tashkilotlar bilan dala tajribalari haqidagi maslahat ta'minladi (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Boshqalar tashkilotlar bilan hamkorlik tadqiqot dizaynlashtirilgan qanday ta'sir haqida maslahat taklif qilgan (Green, Calfano, and Aronow 2014; King et al. 2007) . Hamkorlik, shuningdek, axloqiy savollarga sabab bo'lishi mumkin (Humphreys 2015; Nickerson and Hyde 2016) .

• Tarkib tavsiya (bo'lim 4,6)

Agar tajriba ishlayotgan oldin bir tahlil rejasini yaratish boryapmiz, men siz hisobot ko'rsatmalarni o'qib boshlash, degan fikrdamiz. CONSORT ko'rsatmalar (sud jarayonlari jamlama Standard hisobot) tibbiyotda ishlab chiqilgan (Schulz et al. 2010) va ijtimoiy tadqiqot davomida tahrirlangan (Mayo-Wilson et al. 2013) . Qo'llanmalardan A tegishli majmui eksperimental Siyosiy fanlar jurnali muharrirlari tomonidan ishlab chiqilgan (Gerber et al. 2014) (shuningdek, Mutz and Pemantle (2015) va Gerber et al. (2015) ). Nihoyat, hisobot ko'rsatmalar psixologiya ishlab chiqildi (Group 2008) , shuningdek, qarang Simmons, Nelson, and Simonsohn (2011) .

Agar tahlil rejasini yaratish bo'lsangiz, siz oldindan ro'yxatga boshqalar natijalari ishonchini oshiradi, chunki uni-ro'yxatga oldindan o'ylab ko'rish kerak. Agar sherigi bilan ishlayotgan bo'lsa, Bundan tashqari, u natijalarini ko'rib, tahlil o'zgartirish uchun hamkorlik qobiliyatini cheklaydi. Pre-ro'yxatga psixologiya tobora keng tarqalgan bo'lib kelmoqda (Nosek and Lakens 2014) , siyosiy fan (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , va iqtisodiyot (Olken 2015) .

Oldindan tahlil rejasini yaratish, ba'zi tadqiqotchilar ham taxmin davolash ta'siri aniqlikni oshirish uchun tushish va tegishli yondashuvlarni foydalanish xabardor bo'lishi kerak, va bu yondashuv haqida ba'zi munozaralar bor: Freedman (2008) , Lin (2013) , va Berk et al. (2013) ; ko'rish Bloniarz et al. (2016) Qo'shimcha ma'lumot olish uchun.

Onlayn dala tajribalari uchun maxsus dizayn maslahat ham keltirilgan Konstan and Chen (2007) va Chen and Konstan (2015) .

• Nol o'zgarmaydigan iqtisodiy ma'lumotlarni yaratish (qism 4.6.1)

MusicLab tajribalar haqida qo'shimcha ma'lumot olish uchun, qarang Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , va Salganik (2007) . G'olibi-olish-barcha bozorlarda ko'proq uchun qarang: Frank and Cook (1996) . Undan umumiy untangling imkoniyat va malakalarning haqida qo'shimcha ma'lumot olish uchun, qarang Mauboussin (2012) , Watts (2012) , va Frank (2016) .

majburiy harbiy xizmat: tadqiqotchilar ehtiyotkorlik bilan foydalanish kerak ishtirokchisi to'lovlarni bartaraf qilish uchun boshqa bir yondashuv bor. ko'p onlayn dala tajribalari ishtirokchilari asosan qoplanadi hech qachon tajribalar olib ishlab chiqilgan va qilingan. Ushbu yondashuv misollar Restivo va van de Rijt ning o'z ichiga oladi (2012) Vikipediya va Bond va hamkasblarining ham mukofotlar haqida tajriba (2012) ovoz, odamlarni rag'batlantirish bo'yicha eksperiment. Bu tajribalar, albatta, nol o'zgaruvchan xarajatlarni yo'q, ular tadqiqotchilar uchun nol o'zgaruvchan xarajatlarni bor. Bu tajribalar ko'p qiymati har bir ishtirokchisi juda kichik bo'lsa-da, kichik xarajatlar ishtirokchilarning ulkan soni tez qo'shishingiz mumkin beriladigan. katta onlayn tajribalar ishlayotgan tadqiqotchilar, ko'pincha, ko'p odamlar uchun qo'llaniladigan qachon bu kichik ta'siri muhim bo'lishi mumkin, deb kichik hisoblab davolash ta'siri ahamiyatini oqlash. bir xil fikrlash tadqiqotchilar ishtirokchilari nazaringizni xarajatlarini uchun amal qiladi. Sizning tajribalar bir daqiqa isrof bir million kishini bersa, eksperiment biron-bir shaxsga juda zararli emas, lekin jami u vaqt deyarli ikki yillik behuda bo'ldi.

Ishtirokchilariga nol o'zgaruvchan xarajat to'lovni yaratish uchun yana bir yondashuv lotereya, shuningdek, tadqiqot tadqiqotlar ishlatilgan bir yondashuv foydalanish hisoblanadi (Halpern et al. 2011) . Nihoyat, loyihalashtirish haqida qo'shimcha ma'lumot olish uchun rohat, foydalanuvchi-tajribalar ko'rish Toomim et al. (2011) .

• , Almashtirish takomillashtirish va kamaytirish (Bo'lim 4.6.2)

Bu erda uch R asl ta'riflari bor Russell and Burch (1959) :

"O'zgartirish insentient materiallar ongli yashaydigan oliy hayvonlar uchun o'zgarishlarni anglatadi. Kamaytirish berilgan miqdori va aniq ma'lumot olish uchun ishlatiladi hayvonlar soni kamaytirish degan ma'noni anglatadi. Tozalash chalinish yoki hali ham foydalanish kerak bo'lganlar hayvonlarga qo'llaniladigan g'ayriinsoniy tartib og'irligiga har qanday pasayishiga degan ma'noni anglatadi. "

Men bob 6. tasvirlangan axloqiy tamoyillari bekor emas taklif uch R ning Balki, ular inson tajribalari mo'ljallangan uchun shu tamoyillar-ehson-, ayniqsa yanada ehtiyojini versiyasi biri hisoblanadi.

Hissiy muloqotda yuritganda, bu tajriba talqin yodda tutishimiz uch nodavlat axloqiy masalalar ham bor. Birinchidan, bu tajribalardan dolzarb details nazariy da'volar ulanish qanday aniq emas; Boshqa so'zlar bilan aytganda, qurilish muddati haqida savollar bor. 1) aniq emas, chunki ijobiy va salbiy so'z soni odamlar post so'zlar ularning his-tuyg'ular yaxshi ko'rsatkich ekanligini aslida ishtirokchilari hissiy holati yaxshi ko'rsatkich ekanligini aniq emas va 2) bu aniq emas tadqiqotchilar foydalanish, xususan, his-tuyg'u tahlil texnikasi ishonchli his-tuyg'ularini chiqarsa ega (Beasley and Mason 2015; Panger 2016) . Boshqa so'zlar bilan aytganda, bir tomonlama uzatish, bir yomon chora bo'lishi mumkin. Ikkinchidan, eksperiment dizayn va tahlil bizga eng ta'sir edi (ya'ni, davolash ta'siri heterojenliğinin hech tahlil bor) va mexanizmi bo'lishi mumkin, nima kim haqida hech narsa aytadi. Bu holda, tadqiqotchilar ishtirokchilari haqida ma'lumot poda bor edi, lekin ular aslida tahlil vidjet davolash qilindi. Uchinchidan, bu tajribada ta'sir hajmi juda kichik edi; davolash va nazorat qilish sharoitida o'rtasidagi farq haqida 1 1000 aytganda hisoblanadi. ularning qog'oz, Kramer va hamkasblari millionlab odamlar yuzlab, ularning News har kuni Feed kirish, chunki, bu kattaligi bir ta'siri muhimdir ishni qilish. Boshqa so'zlar bilan aytganda, ular jami katta bo'lgan har bir kishi uchun kichik ekanligini ham ta'sir bahslasha. Ushbu mustaqil o'zgaruvchilar qabul qilish edi, hatto agar bu hajmi ta'sir hissiy salbiy haqida umumiy ilmiy savolga doir muhim bo'lsa, u hali aniq emas. Kichik ta'siri muhim bo'lgan vaziyatlar haqida qo'shimcha ma'lumot olish uchun qarang: Prentice and Miller (1992) .

Birinchi R (zahira), jihatidan Hissiy Contagion tajriba taqqoslab (Kramer, Guillory, and Hancock 2014) va emotsional infeksiya tabiiy tajriba (Coviello et al. 2014) dan harakat bilan ishtirok savdo-off haqida umumiy saboq taklif etadi tabiiy tajribalar tajribalari (va nooziq-eksperimental ma'lumotlar tajribalar yaqin, deb harakat taalukli kabi boshqa yondashuvlar, 2-qism qarang). axloqiy foydalari bilan bir qatorda, non-eksperimental tadqiqotlar tajrib dan kommutatsiya ham ular texnik jihatdan safarbar olmaydi muolajalar o'rganish uchun tadqiqotchilari beradi. Bu axloqiy va moddiy-texnik manfaatlar Biroq, bir xarajat keladi. tabiiy tajribalar bilan tadqiqotchilar kam ishtirokchilari, randomizasyonunda yollashda kabi narsalar ustidan nazoratni va davolash tabiatini bor. Misol uchun, bir davolash sifatida yog'ingarchilik biri cheklash ham pozitifliğini oshiradi va salbiy kamayadi, deb hisoblanadi. empirik ishda, ammo, Kramer va hamkasblari mustaqil pozitifliğini va salbiy rostlash imkoniyatiga ega bo'ldi.

Tomonidan ishlatiladigan maxsus yondashuv Coviello et al. (2014) yanada ishlab chiqilgan edi Coviello, Fowler, and Franceschetti (2014) . Instrumental o'zgaruvchilar uchun joriy etish uchun ko'rish Angrist and Pischke (2009) (kam rasmiy) yoki Angrist, Imbens, and Rubin (1996) (yana formal). Instrumental o'zgaruvchilar bir shubha baho uchun qarang Deaton (2010) , va zaif asboblari (yomg'ir zaif vosita hisoblanadi) bilan instrumental o'zgaruvchilar uchun joriy etish uchun, qarang Murray (2006) .

Batafsil odatda, tabiiy tajribalar uchun yaxshi joriy etish hisoblanadi Dunning (2012) , va Rosenbaum (2002) , Rosenbaum (2009) , va Shadish, Cook, and Campbell (2001) tajribalar holda nedensel ta'sirini baholash haqida yaxshi g'oyalarni taklif etamiz.

Ikkinchi R (tozalash) jihatidan, xabarlar yanada rivojlantirishga xabarlar to'sib kelgan his-tuyg'ularga infeksiya dizaynini o'zgartirib hisobga ilmiy va moddiy-texnik savdo-off bor. Misol uchun, Yangiliklar Feed texnik amalga oshirish, bu xabarlar faollashtirish bilan bir eksperiment o'rniga xabarlar to'sib bilan tajriba qilishga sezilarli darajada oson qiladi ishi bo'lishi mumkin (xabarlar to'sib bilan tajriba haqida bir qatlam sifatida amalga oshirilishi mumkin, deb qayd asosiy tizimi o'zgartirishlar) uchun hech qanday ehtiyoj holda News Feed tizimining yuqori. Ilmiy Biroq, eksperiment tomonidan nazariyasi aniq boshqa ustida bir dizayn taklif qilmadi.

Afsuski, men to'sib va ​​Yangiliklar tasmasi mazmunini yanada yuksaltirish nisbiy afzalliklarga muhim oldin tadqiqot xabardor emasman. Bundan tashqari, men ularni kamroq zararli qilish uchun muolajalar yanada takomillashtirishdan haqida ko'p tadqiqotlar ko'rmadim; bir istisno emas Jones and Feamster (2015) Internet tsenzura o'lchash ishini ko'rib chiqadi, (I Encore o'rganishga munosabatlarga 6-bobda ham muhokama bir mavzu (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Uchinchi R (kamaytirish) jihatidan, an'anaviy energiya tahlil qilish uchun yaxshi joriy etish hisoblanadi Cohen (1988) . Pre-davolash omillar dizayn bosqichida va tajribalar tahlili bosqichida kiritilgan bo'lishi mumkin; Bob 4 Gerber and Green (2012) , ham yondashuvlarning uchun yaxshi joriy etish beradi va Casella (2008) yanada chuqur davolash imkonini beradi. randomizasyonunda bu oldindan davolash ma'lumot foydalanish usullari odatda yo eksperimental dizaynlashtirilgan yoki qatlamli eksperimental dizaynlashtirilgan (terminologiyasi jamoalar bo'ylab izchil foydalanilmaydi) bloklangan deyiladi; bu metodlarni chuqur bob 3. qarang muhokama qatlamli namuna olish metodlarni bilan bog'liq Higgins, Sävje, and Sekhon (2016) katta tajribalar bu dizaynlardan foydalanayotganini haqida ko'proq uchun. Pre-davolash omillar ham tahlil bosqichida kiritilgan bo'lishi mumkin. McKenzie (2012) batafsil dala tajribalari tahlil qilish farq-in-farqlar yondashuvni tekshirmoqda. Qarang Carneiro, Lee, and Wilhelm (2016) davolash ta'siri smeta ham aniqlikni oshirish, turli yondashuvlar o'rtasidagi savdo-off haqida ko'proq uchun. dizayn yoki tahlil bosqichi (yoki har ikkala) da oldindan davolash omillar o'z ichiga sinash uchun qaror qachon Nihoyat, o'ylab, bir necha omillar bor. Tadqiqotchilar, ular "baliq ovlash" emasligini ko'rsatish uchun kerakli bo'lgan muhitda (Humphreys, Sierra, and Windt 2013) , foydali bo'lishi mumkin dizayn bosqichida oldindan davolash omillar yordamida (Higgins, Sävje, and Sekhon 2016) . Ishtirokchilari, izchillik yetib logistika qiyin bo'lishi mumkin dizayn bosqichida oldindan davolash haqida ma'lumot foydalanib, ayniqsa, onlayn dala tajribalari, vaziyatlarda, masalan ko'rish Xie and Aurisset (2016) .

Bu farq-farqlar farqi-in-vositalarini ancha yanada samarali bo'lishi mumkin nima haqida sezgi bir oz qo'shib arziydi. Juda ko'p onlayn natijalari juda yuqori farq bor (qarang masalan, Lewis and Rao (2015) va Lamb et al. (2015) ) va vaqt davomida nisbatan barqaror bo'ladi. Bu holda, o'zgarish hisob statistik sinov kuchini oshirish, sezilarli darajada kichik farq bor. Bu tez-tez ishlatiladigan emas yaqinlashdi bir sababi raqamli yoshi oldin u oldindan davolash natijalarini ega umumiy emas edi, deb. bu haqda o'ylash A ko'proq aniq yo'l, o'ziga xos mashqlar muntazam vazn yo'qotish sabab yo'qligini o'lchash uchun tajriba tasavvur qilishdir. Agar farq-in-vositalar yondashuvni qilsangiz, siz smeta aholining massalari bilan o'zgaruvchanlik kelgan tomografiya bo'ladi. Agar farq-in-farq yondashuvni qilsangiz, biroq, og'irliklari bu tabiiy ravishda paydo o'zgarish olib oladi va yanada qulay davolash oqibatida bir farq aniqlash mumkin.

Sizning eksperiment ishtirokchilari sonini kamaytirish uchun bir muhim yo'li Kramer va hamkasblari tomonidan tabiiy eksperiment dan kuzatilgan ta'siri registri asosida amalga mumkin bo'lgan kuch-quvvat tahlil, olib borishdan iborat Coviello et al. (2014) , yoki Kramer tomonidan nodavlat eksperimental tadqiqot avvalroq (2012) (aslida bu ushbu bobning oxirida faoliyati bor). elektr tahlil, bu foydalanish xos bir oz farq qiladi, deb e'tibor bering. analog yosh tadqiqotchilar, umuman, ularning o'rganish juda kichik emas edi ishonch hosil qilish uchun kuch tahlil qildim (ya'ni, ostida ishlaydigan). Biroq, endi, tadqiqotchilar o'z o'rganish juda katta emas ishonch hosil qilish uchun kuch tahlil qilish kerak (ya'ni, ustidan-quvvat).

Zararsiz: Nihoyat, men to'rtinchi R qo'shib hisoblanadi. Bu ular original tadqiqot savol hal qilish kerak ko'ra tadqiqotchilar ko'proq empirik ma'lumotlar bilan o'zlarini topish bo'lsa, ular yangi savol so'rash ma'lumotlarni zararsiz kerak, deb. Masalan, Kramer va hamkasblari ularning tadqiqot savol hal qilish uchun zarur bo'lgandan ko'ra ko'proq ma'lumotlar bilan o'zlarini farq-in-farqlar estimator ishlatiladi va topganiga tasavvur. Balki to'la darajada ma'lumotlarni yordamida emas, balki ortiq, ular hissiy ifoda-davolash oldindan bir vazifasi sifatida ta'sir hajmini o'rganib mumkin edi. Xuddi Schultz et al. (2007) davolash ta'siri ehtimol Yangiliklar Feed ta'siri allaqachon baxtli (yoki xafa) xabar keladi, odamlar uchun turli edi, engil va og'ir foydalanuvchilar uchun turli xil ekan. "Baliq ovlash" ga olib kelishi mumkin Repurposing (Humphreys, Sierra, and Windt 2013) va "p-Hack" (Simmons, Nelson, and Simonsohn 2011) , lekin bu asosan halol hisobot kombinatsiyasi bilan adreslenebilir (Simmons, Nelson, and Simonsohn 2011) , oldindan ro'yxatga olish (Humphreys, Sierra, and Windt 2013) , va ustidan-uydirma oldini olish uchun harakat mashina ta'lim usullari.