Keyin nima deyish kerak

• Kirish (qism 4.1)

Ijtimoiy tadqiqotlarda sabablar haqida savollar ko'pincha murakkab va murakkab. Imbens and Rubin (2015) asoslanadigan asosli yondashuv uchun Pearl (2009) va potentsial natijalarga asoslangan asosli yondashuvni Imbens and Rubin (2015) ga qarang. Ushbu ikki yondashuv o'rtasida taqqoslash uchun, Morgan and Winship (2014) ga qarang. VanderWeele and Shpitser (2013) aniqlash uchun rasmiy yondashuv uchun, VanderWeele and Shpitser (2013) ga qarang.

Ushbu bobda eksperimental va tajribasiz ma'lumotlardan natija bashorat qilish qobiliyatimiz orasidagi yorqin chiziq kabi tuyulgan narsalarni yaratdim. Biroq, menimcha, aslida bu farq yanada loyqa. Misol uchun, har bir inson sigaretaning saraton kasalligiga sabab bo'lishini qabul qiladi, hatto odamlarni tutunni chekishga majbur qiladigan randomizatsiya qilingan tajriba hech qachon bajarilmagan. Eksperimental ma'lumotlardan natija bashorat qilish bo'yicha mukammal kitoblar uchun qarang: Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) va Dunning (2012) .

Freedman, Pisani, and Purves (2007) ning birinchi va ikkinchi boblari Freedman, Pisani, and Purves (2007) eksperimentlar, nazorat qilingan tajribalar va randomizatsiyalangan boshqariladigan tajribalar orasidagi farqlarga aniqlik kiritishni taklif qiladi.

Manzi (2012) tasodifiy boshqariladigan eksperimentlarning falsafiy va statistik asoslarini qiziqarli va o'qiy olish mumkin. Bundan tashqari, biznesda eksperimentlar o'tkazishning haqiqiy kuchiga oid qiziqarli misollarni taqdim etadi. Issenberg (2012) siyosiy kampaniyalarda eksperimentdan foydalanishga ajoyib kirishni ta'minlaydi.

• Tajribalar nima? (4.2-bo'lim)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008 va Athey and Imbens (2016b) eksperimental dizayn va tahlilning statistik aspektlarini yaxshi tanishtiradilar. Bundan tashqari, ko'plab sohalarda tajribalar (Bardsley et al. 2009) , sotsiologiya (Willer and Walker 2007; Jackson and Cox 2013) , psixologiya (Aronson et al. 1989) , siyosatshunoslik (Morton and Williams 2010) va ijtimoiy siyosat (Glennerster and Takavarasha 2013) .

Ishtirokchilarni jalb qilishning ahamiyati (masalan, namunalar) ko'pincha eksperimental tadqiqotlar uchun katta ahamiyatga ega emas. Shu bilan birga, agar davolanish samarasi aholi ichida heterojen bo'lsa, u holda namuna olish muhim ahamiyatga ega. Longford (1999) tadqiqotchilarni eksperimentlarni o'ylab topib, aholi so'rovini tez-tez ko'rib chiqishga da'vat etganda himoya qiladi.

• Tajriba ikki o'lchovi: laboratoriya va analog-raqamli (bo'lim 4.3)

Men laboratoriya va yarim tajribalar orasida doimiylik mavjudligini va boshqa tadqiqotchilar, xususan, turli xil dala tajribalari (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) batafsilroq tipologiyalarni taklif qildilar.

Bir nechta hujjat mavhum (Falk and Heckman 2009; Cialdini 2009) va siyosat fanida (Coppock and Green 2015) , iqtisod (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) va psixologiya (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) laboratoriya va yarim tajribalar natijalarini solishtirish uchun yaxshi loyiha taklif qiladi. Parigi, Santana, and Cook (2017) onlayn laboratoriya tajribalari laboratoriya va yarim tajribalarning ayrim xususiyatlarini qanday qilib birlashtirishi mumkinligini tasvirlaydi.

Muntazam ravishda kuzatilayotganligini bilganlari sababli ishtirokchilarning xatti-harakatlarini o'zgartirishi haqidagi xavotirlar ba'zan talabning ta'siri deb nomlanadi va ular psixologiya (Orne 1962) va iqtisod (Zizzo 2010) da o'rganilgan. Ko'pgina laboratoriya tajribalari bilan bog'liq bo'lsa-da, bu kabi muammolar, shuningdek, tajriba bo'yicha tajribaga ham olib kelishi mumkin. Aslida, talab qilinadigan ta'sirlar , ba'zida, G'arbiy elektr kompaniyasining "Hawthorne Works" (Adair 1984; Levitt and List 2011) da boshlangan mashhur yoritish tajribalarini keltiruvchi " Hawthorne effektlari" deb nomlanadi. Har ikki so'raladigan effekt va Hawthorne effektlari 2-bobda muhokama qilingan reaktiv o'lchash fikri bilan chambarchas bog'liq (shuningdek, Webb et al. (1966) ).

Dala eksperimentlari iqtisod (Levitt and List 2009) , siyosiy fanlar (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psixologiya (Shadish 2002) va davlat siyosati (Shadish and Cook 2009) . Dala eksperimentlari tezda taniqli bo'lgan ijtimoiy ilmning bir sohasi xalqaro rivojlanishdir. Iqtisodiyotda ushbu ishni ijobiy ko'rib chiqish uchun Banerjee and Duflo (2009) ga qarang va kritik baholash uchun Deaton (2010) ga qarang. Siyosatshunoslikka oid ushbu ishni ko'rib chiqish uchun Humphreys and Weinstein (2009) ko'rib chiqing. Nihoyat, tajriba sohasidagi ekspluatatsiya siyosatshunoslik (Humphreys 2015; Desposato 2016b) va rivojlanish iqtisodiyoti (Baele 2013) doirasida o'rganildi.

Ushbu bobda men oldingi davolanish ma'lumotlarini taxminiy davolash samaradorligini oshirish uchun ishlatish mumkinligini taklif qildim, ammo bu yondashuv haqida ba'zi bahslar mavjud; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) va Bloniarz et al. (2016) qo'shimcha ma'lumot olish uchun.

Nihoyat, laboratoriya sohasidagi o'lchovlarga to'g'ri kelmaydigan ijtimoiy olimlar tomonidan amalga oshiriladigan ikkita boshqa tajriba mavjud: tajriba tajribalari va ijtimoiy eksperimentlar. Surishtiruv eksperimentlari mavjud tadqiqotlarning infratuzilmasidan foydalangan holda tajribalar bo'lib, ular bir xil savollarning muqobil variantlariga javoblarni taqqoslash (ayrim tadqiqot tajribalari 3-bobda keltirilgan); tadqiqot tajribalari bo'yicha ko'proq ma'lumot olish uchun qarang. Mutz (2011) . Ijtimoiy eksperimentlar - bu muolajalar faqat hukumat tomonidan amalga oshirilishi mumkin bo'lgan ayrim ijtimoiy siyosatdir. Ijtimoiy eksperimentlar dasturni baholash bilan chambarchas bog'liq. Siyosat tajribalari haqida ko'proq ma'lumot olish uchun qarang. Heckman and Smith (1995) , Orr (1998) va @ glennerster_running_2013.

• Oddiy tajribalar ortida harakat (bo'lim 4.4)

Men uchta tushunchaga e'tibor qaratishni tanladim: haqiqiylik, davolanishning samaradorligi va mexanizmlarining heterojenligi. Bu tushunchalar turli sohalarda turli nomlarga ega. Misol uchun, psixologlar mediatorlar va moderatorlarga e'tibor berish orqali oddiy eksperimentlardan tashqarida harakat qilishadi (Baron and Kenny 1986) . Mediatorlarning g'oyasi mexanizm deb ataladigan narsadir. Moderatorlar fikri tashqi kuchliligini (masalan, agar turli xil vaziyatlarda amalga oshirilsa eksperiment natijalari turlicha bo'lishi mumkin) va davolash effektlarining heterojenitesini (ya'ni, Masalan, ayrim odamlar uchun boshqalarnikidan ko'ra ko'proq ta'sir qiladi).

Schultz et al. (2007) , ijtimoiy teoriyalarni samarali tadbirlarni ishlab chiqishda qanday foydalanish mumkinligini ko'rsatadi. Samarali tashabbuslarni ishlab chiqishda nazariyaning ahamiyati haqida ko'proq umumiy dalillar uchun qarang. Walton (2014) .

• Ishlash muddati (4.4.1-bo'lim)

Ichki va tashqi kuchning kontseptsiyalari birinchi bo'lib Campbell (1957) tomonidan kiritilgan. Shadish, Cook, and Campbell (2001) batafsilroq ma'lumot va statistik xulosaning amal qilishini, ichki kuchliligi, ishonchliligi va tashqi kuchliligini diqqat bilan o'rganish uchun qarang.

Eksperimentlarda statistik xulosaning amal qilishiga oid masalalarni ko'rib chiqish uchun Gerber and Green (2012) (ijtimoiy fanlar nuqtai nazaridan) va Imbens and Rubin (2015) (statistik nuqtai nazardan) ga qarang. Ayniqsa, onlayn tajriba asosida paydo bo'ladigan statistika xulosalarining amal qilishining ayrim masalalari, qaram ma'lumotlarga ishonch oralig'ini yaratish uchun hisob-kitob effektiv usullar (Bakshy and Eckles 2013) kabi masalalarni o'z ichiga oladi.

Ichki amalda murakkab tajriba sharoitida tajribani ta'minlash qiyin bo'lishi mumkin. Qarang, masalan, Gerber and Green (2000) , Imai (2005) va Gerber and Green (2005) , ovoz berish bo'yicha kompleks tajriba o'tkazish tajribasini muhokama qilish uchun. Kohavi et al. (2012) va Kohavi et al. (2013) onlayn-tajribalardagi intervalli amal qilishning qiyinchiliklariga kirishni ta'minlaydi.

Ichki amal qilish uchun asosiy tahdid - bu tasodifiy tartibsizlikni keltirib chiqarishi mumkin. Randomizatsiya bilan bog'liq muammolarni aniqlashning potentsial usullaridan biri davolash va nazorat guruhlarini kuzatiladigan xususiyatlarga solishtirishdir. Bunday taqqoslash muvozanat tekshiruvi deb ataladi. Balansni tekshirishga qaratilgan tashvishlar uchun Mutz and Pemantle (2015) balans tekshiruvlariga statistik yondoshuv uchun Hansen and Bowers (2008) ga qarang. Misol uchun, Allcott (2011) da muvozanat tekshiruvidan foydalanib, Allcott (2011) tasodifiy tartibga solinmaganligini aniqladi (2-jadvalga qarang, 2, 6 va 8-chi saytlar). Boshqa yondashuvlar uchun Imbens and Rubin (2015) 21-bobiga qarang.

Ichki amal qilish bilan bog'liq boshqa asosiy tashvishlar quyidagilardir: (1) davolash guruhidagi har bir kishi davolanmagan bo'lsa, bir tomonlama muvofiqlik; (2) davolanish guruhida davolanish guruhining hammasi ham, nazorat guruhiga davolanishni oladi, (3) ba'zi bir ishtirokchilar uchun natijalar o'lchanmaydi, va (4) davolanish holatidagi odamlardan davolanish holatidagi odamlarga nazoratni to'xtatib qo'yadigan aralashuv. Gerber and Green (2012) 5, 6, 7 va 8-boblariga qarang.

Qurilishning asosliligi haqida ko'proq ma'lumot olish uchun qarang: Westen and Rosenthal (2003) , va katta ma'lumot manbalarida, Lazer (2015) va bu kitobning ikkinchi bobida kuchliligi haqida ko'proq ma'lumot olish uchun.

Tashqi kuchlilikning bir tomoni - aralashuvning sinovdan o'tkazilishi. Allcott (2015) sayt tanlovi tanlovini diqqat bilan nazariy va empirik usul bilan ta'minlaydi. Ushbu masala Deaton (2010) da muhokama qilinadi. Tashqi kuchliligining yana bir jihati, xuddi shu aralashuvning muqobil operatsiyalari ham xuddi shunday ta'sirga ega bo'ladimi. Bunday holda Schultz et al. (2007) va Allcott (2011) , Opower tajribalari Schultz va uning hamkasblarining asl tajribalaridan (1,7% va 5%) nisbatan kichikroq hisoblangan ta'sirga ega ekanligini ko'rsatdi. Allcott (2011) kuzatuv tajribalari davolashning turli xil usullari bilan bog'liq bo'lganligi sababli kichikroq ta'sir ko'rsatdi: bir universitet tomonidan homiylik qilingan tadqiqotning bir qismi sifatida qo'l yozuvi bilan ifodalangan, ommaviy ishlab chiqarilgan elektr kompaniyasidan hisobot.

• Davolash effektlarining homogenligi (4.4.2-bo'lim)

Dala tajribalarida davolash effektlarining heterojenitesini mukammal ko'rish uchun Gerber and Green (2012) 12-bo'limiga qarang. Tibbiy tekshiruvlarda davolovchi ta'sirlarning heterojenitesini o'rganish uchun, Kent and Hayward (2007) , Longford (1999) va Kravitz, Duan, and Braslow (2004) . Davolash samaradorligining heterojenitesini hisobga olish odatda davolanishdan oldingi xususiyatlarga asoslangan farqlarga qaratiladi. Agar davolanishdan keyingi natijalarga asoslangan heterojenite qiziqtiradigan bo'lsa, unda asosiy (Frangakis and Rubin 2002) kabi murakkab yondashuvlar talab etiladi; ga qarang. Page et al. (2015) ko'rib chiqiladi.

Ko'pgina tadqiqotchilar rentgen regressiya yordamida davolash effektlarining heterojenitesini taxmin qiladilar, ammo yangi usullar kompyuterni o'rganishga tayanadi; qarang, masalan, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) va " Athey and Imbens (2016a) .

Ko'pgina taqqoslashdagi muammolar va "baliq ovlash" oqibatlari oqibatida bir nechta ta'sirlarning mavjudligi haqida ba'zi shubhalar mavjud. Ko'p sonli taqqoslash bilan bog'liq muammolarni hal qilishda yordam beradigan turli xil statistik yondashuvlar mavjud (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Baliq ovlash" haqidagi xavotirlardan biri oldingi ro'yxatga olish bo'lib, u psixologiya (Nosek and Lakens 2014) , siyosatshunoslik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , va iqtisodiyot (Olken 2015) .

Costa and Kahn (2013) tadqiqotida eksperimentdagi uy xo'jaliklarining faqat yarmi demografik ma'lumotlarga bog'liq bo'lishi mumkin. Ushbu tafsilotlar bilan qiziqqan kitobxonlar original qog'ozga murojaat qilishlari kerak.

• Mexanizmlar (4.4.3-bo'lim)

Mexanizmlar juda muhimdir, ammo ular o'qish uchun juda qiyin bo'ladi. Mexanizmlar haqidagi tadqiqot vositachilarni psixologiyada o'rganish bilan chambarchas bog'liq (lekin ikkala g'oyani aniq taqqoslash uchun VanderWeele (2009) ham VanderWeele (2009) ). Baron and Kenny (1986) ishlab chiqilgan yondashuv kabi mexanizmlarni topishga statistik yondashuvlar juda keng tarqalgan. Afsuski, bu tartiblar ba'zi bir kuchli taxminlarga (Bullock, Green, and Ha 2010) , ko'pgina mexanizmlar mavjud bo'lganda azob chekadi (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) va Imai and Yamamoto (2013) ba'zi takomillashtirilgan statistik usullarni taklif qiladi. Bundan tashqari, VanderWeele (2015) , sezgirlikni tahlil qilish bo'yicha kompleks yondashuvni o'z ichiga olgan bir qator muhim natijalar bilan kitob uzunligini davolashni taklif etadi.

Alohida yondashuv mexanizmni bevosita manipulyatsiya qilishga urinishlar (masalan, dengizchilarni S vitamini berish) bo'yicha tajribaga qaratilgan. Afsuski, ko'pgina ijtimoiy fanlarda ko'pincha ko'p mexanizmlar mavjud va boshqalarni o'zgartirmasdan o'zgarishlarni o'zgartirish qiyin. Mexanizmlarni eksperimental o'zgartirish bo'yicha ba'zi yondashuvlarni Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) va Pirlott and MacKinnon (2016) .

Faktoriy tajribalar bilan shug'ullanuvchi tadqiqotchilar turli hipotezani sinashdan tashvishlanishlari kerak; batafsilroq ma'lumot uchun Fink, McConnell, and Vollmer (2014) hamda List, Shaikh, and Xu (2016) qarang.

Nihoyat, mexanizmlar, shuningdek, Hedström and Ylikoski (2010) tomonidan ta'rif etilganidek, fan falsafasida ham uzoq tarixga ega.

• Mavjud muhitlardan foydalanish (4.5.1-bo'lim)

Xat-yozishni o'rganish va kamsitishni baholash uchun auditorlik ishlaridan foydalanish haqida ko'proq ma'lumot olish uchun Pager (2007) ga qarang.

• O'z tajribangizni yaratish (4.5.2-bo'lim)

Ishtirokchilarni siz yaratgan eksperimentlarga jalb qilishning eng keng tarqalgan usuli - Amazon Mechanical Turk (MTurk). MTurk an'anaviy laboratoriya tajribalarini moslashtiradi - odamlar uchun bepul qilmasliklari kerak bo'lgan topshiriqlarni bajarish uchun to'lashadi, chunki ko'plab tadqiqotchilar allaqachon Turkiyadan (MTurkdagi ishchilar) eksperimental qatnashchilar sifatida foydalanishni boshladilar, natijada ular tezroq va arzonroq ma'lumotlar to'plash mumkin (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Umuman olganda, MTurkdan jalb qilingan ishtirokchilarni ishlatishning eng katta afzalliklari logistikdir. Laboratoriya tajribalari bir necha hafta davom etishi mumkin va tajribalar maydonlarni o'rnatish uchun bir necha oy kerak bo'lishi mumkin, ammo MTurkdan jalb qilingan ishtirokchilar bilan tajribalar bir necha kun davomida bajarilishi mumkin. Misol uchun, Berinsky, Huber, and Lenz (2012) 8 daqiqalik eksperimentda ishtirok etish uchun bir kunda 400 ta sub'ektni ishga yollagan. Bundan tashqari, ushbu ishtirokchilar deyarli barcha maqsadlar uchun (shu jumladan, tadqiqotlar va ommaviy hamkorlik, 3 va 5-boblarda muhokama qilingan) jalb qilinishi mumkin. Ishga olishning ushbu qulaylik darajasi tadqiqotchilar tezkor ketma-ketlikda tajribalar ketma-ketligini boshqarishi mumkinligini anglatadi.

O'zingizning tajribangiz uchun MTurk ishtirokchilarini jalb qilishdan oldin siz bilishingiz kerak bo'lgan to'rtta muhim narsa bor. Birinchidan, ko'plab tadqiqotchilar Turkerlarni o'z ichiga olgan eksperimentlarning nonspesifik bo'lmagan ishonchiga ega. Bu shubhalar aniq emasligi uchun dalillarga qarshi turish qiyin. Biroq, Turkerni qo'llagan bir necha yillar mobaynida olib borilgan izlanishlar natijasida, biz bu shubha bilan asoslanmagan degan xulosaga kelishimiz mumkin. Turkerlarning demografikasini boshqa populyatsiyalar bilan taqqoslaydigan ko'plab izlanishlar olib borildi va Turkiyadagi eksperiment natijalarini taqqoslaydigan ko'plab tadqiqotlar boshqa populyatsiyalardan kelib chiqqan. Bu ishni nazarda tutgan holda, men sizning fikringizni bilishning eng yaxshi usuli - bu Turkiyalik talabalar kabi juda ko'p turli xil (Berinsky, Huber, and Lenz 2012) mos keluvchi qulaylik namunasi. Shunday qilib, talabalar ba'zi bir kishilar uchun oddiy aholi bo'lsa-da, tadqiqotchilarning barchasi emas, Turkerlar hammasi uchun emas, balki hamma uchun emas. Agar siz Turkerlar bilan ishlashni rejalashtirmoqchi bo'lsangiz, unda bu qiyosiy tadqiqotlar ko'plarini o'qib chiqing va ularning nuanslarini tushunib olasiz.

Ikkinchidan, tadqiqotchilar MTurk eksperimentlarining ichki kuchliligini oshirish bo'yicha eng yaxshi amaliyotlarni ishlab chiqdilar va bu eng yaxshi amaliyotlarni o'rganish va ularga rioya qilish kerak (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Misol uchun, Turkerlarni ishlatgan tadqiqotchilar e'tiborga olinmaydigan ishtirokchilarni (Berinsky, Margolis, and Sances 2014, 2016) olib tashlash uchun displeylar yordamida foydalanishga da'vat etiladi (shuningdek, DJ Hauser and Schwarz (2015b) va DJ Hauser and Schwarz (2015a) ). Agar e'tiborga olinmagan ishtirokchilarni tashlamasangiz, davolanishning har qanday ta'siri ular kiritgan shovqin bilan yuvilishi mumkin va amalda e'tiborga loyiq ishtirokchilar soni sezilarli bo'lishi mumkin. Huber va uning hamkasblari tomonidan o'tkazilgan tajribada (2012) ishtirokchilarning taxminan 30% asosiy diqqat e'tiborini tortgan. Turkerlar foydalanilganda ko'pincha paydo bo'ladigan boshqa muammolar sodda bo'lmagan ishtirokchilardir (Chandler et al. 2015) va pasayish (Zhou and Fishbach 2016) .

Uchinchidan, raqamli eksperimentlarning boshqa turlariga nisbatan MTurk tajribalari kengaytirilmaydi; Stewart et al. (2015) MTurkda har qanday vaqtda faqat taxminan 7000 kishi borligini taxmin qiladi.

Nihoyat, MTurk o'z qoidalari va me'yorlariga ega bo'lgan jamoa ekanligini bilishingiz kerak (Mason and Suri 2012) . Siz o'zingizning eksperimentlaringizni boshlashingiz kerak bo'lgan mamlakat madaniyatini o'rganishga harakat qilsangiz, Turkerlarning madaniyati va me'yorlari haqida ko'proq ma'lumotga ega bo'lishingiz kerak (Salehi et al. 2015) . Va siz bilishingiz kerakki, agar siz noto'g'ri yoki axloqsiz narsalar qilsangiz, Turkerlar sizning tajribangiz haqida gapiradi (Gray et al. 2016) .

MTurk, Huber, Hill, and Lenz (2012) kabi lab laboratoriyasidek, ishtirokchilarni tajribangizga jalb qilishning ajoyib usulidir yoki Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) va Mao et al. (2016) .

• O'z mahsulotingizni yarating (bo'lim 4.5.3)

Agar siz o'z mahsulotingizni yaratishga harakat qilmoqchi bo'lsangiz, men Harper and Konstan (2015) Konstandagi MovieLens guruhi tomonidan taqdim etilgan tavsiyalarni Harper and Konstan (2015) o'qishni maslahat beraman. Ularning tajribasidan asosiy tushunchalar shundaki, har bir muvaffaqiyatli loyiha uchun juda ko'p muvaffaqiyatsizliklar mavjud. Misol uchun, MovieLens guruhi GopherAnswers kabi boshqa mahsulotlarni ishga tushirgan (Harper and Konstan 2015) . Bir mahsulotni ishlab chiqarishga urinishda muvaffaqiyatsizlikka uchragan tadqiqotchi Edvard Castronovaning Arden deb nomlangan onlayn-o'yinni qurishga urinishi. 250 ming AQSh dollari miqdorida mablag 'ajratilgan bo'lsa-da, loyiha flop edi (Baker 2008) . GopherAnswers va Arden kabi loyihalar Afsuski, MovieLens kabi loyihalarga qaraganda ancha keng tarqalgan.

• Kuchli hamkor (4.5.4-bo'lim)

Men Pasterning Quadrant g'oyasini texnoparklarda tez-tez muhokama qilinganini eshitganman va bu Google (Spector, Norvig, and Petrov 2012) da tadqiqot ishlarini tashkil etishga yordam beradi.

Bond va uning hamkasblari tadqiqotlari (2012) ham ushbu muolajalarni ularni qabul qilganlarning do'stlariga ta'sirini aniqlashga urinmoqda. Eksperimentning dizaynidan kelib chiqqan holda, bu to'shamalar toza holda aniqlash qiyin; qiziqqan o'quvchilar Bond et al. (2012) batafsil muhokamasi uchun. Jones va uning hamkasblari (2017) 2012 yilgi saylovlarda juda o'xshash tajriba o'tkazgan. Ushbu tajribalar siyosat fanida ovoz berishni rag'batlantirish bo'yicha uzoq yillik an'analar an'analarining bir qismi (Green and Gerber 2015) . Ovoz berish tajribalari, odatda, Pasterning Quadrant'ida bo'lgani sababli keng tarqalgan. Boshqacha aytganda, ovoz berish va ovoz berishni ko'paytirishga undaydigan ko'plab odamlar xatti-harakatlar o'zgarishi va ijtimoiy ta'sir haqida umumiy nazariyani sinash uchun qiziqarli xatti-harakatlar bo'lishi mumkin.

Siyosiy partiyalar, nodavlat tashkilotlar va korxonalar kabi sherik tashkilotlar bilan tajriba o'tkazish bo'yicha maslahatlar uchun Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) va Gueron (2002) . Tashkilotlar bilan hamkorlik qanday tadqiqot usullariga ta'sir qilishi mumkinligi haqidagi fikrlarni King et al. (2007) va Green, Calfano, and Aronow (2014) . Hamkorlik, Humphreys (2015) va Nickerson and Hyde (2016) tomonidan muhokama qilingan axloqiy masalalarga ham sabab bo'lishi mumkin.

• Dizayn tavsiyalari (4,6 bo'lim)

Agar eksperimentni boshlashdan oldin tahlil rejasini tuzmoqchi bo'lsangiz, men sizni hisobot berish yo'riqnomalarini o'qish bilan boshlashni taklif qilaman. CONSORT (konsullik standartlari bo'yicha hisobot) qo'llanmalari tibbiyotda ishlab chiqilgan (Schulz et al. 2010) va ijtimoiy tadqiqotlar uchun o'zgartirilgan (Mayo-Wilson et al. 2013) . Eksperimental Siyosatshunoslik jurnalining (Gerber et al. 2014) (shuningdek, Mutz and Pemantle (2015) va Gerber et al. (2015) ) ga qarang. Nihoyat, hisobot berish qoidalari psixologiya bo'yicha ishlab chiqilgan (APA Working Group 2008) va Simmons, Nelson, and Simonsohn (2011) .

Agar siz tahlil rejasini tuzsangiz, uni oldindan ro'yxatdan o'tkazishingiz kerak, chunki oldindan ro'yxatdan o'tkazish boshqalar sizning natijalaringizga bo'lgan ishonchni oshiradi. Bundan tashqari, agar siz hamkor bilan ishlayotgan bo'lsangiz, u natijalaringizni ko'rganingizdan keyin sizning hamkoringizni tahlilni o'zgartirish qobiliyatini cheklaydi. Oldin ro'yxatdan o'tish psixologiya (Nosek and Lakens 2014) , siyosatshunoslik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) va iqtisod (Olken 2015) .

Konstan and Chen (2007) va Chen and Konstan (2015) onlayn maydon tajribalari uchun dizayn bo'yicha maslahat berilgan.

Men armada strategiyani deb ataganman, ba'zida dasturiy tadqiqot deb ataladi; ( Wilson, Aronson, and Carlsmith (2010) qarang Wilson, Aronson, and Carlsmith (2010) .

• Nolinchi o'zgarmaydigan xarajat ma'lumotlarini yaratish (4.6.1-bo'lim)

Salganik, Dodds, and Watts (2006) tajribalari bo'yicha Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) Salganik and Watts (2009a) Salganik and Watts (2009b) , Salganik and Watts (2009a) va Salganik (2007) . G'oliblar haqida batafsilroq ma'lumot olish uchun Frank and Cook (1996) -ga qarang. Omad va mahoratni ko'proq umr ko'rish haqida ko'proq ma'lumot olish uchun, Mauboussin Mauboussin (2012) , Watts (2012) va Frank (2016) .

Tadqiqotchilar ehtiyotkorlik bilan foydalanishi kerak bo'lgan to'lovlarni to'lash uchun yana bir yondashuv mavjud: harbiy xizmatga chaqiruv. Ko'pgina onlayn-tajriba ishtirokchilari asosan eksperimentlarga tayyorlanadi va hech qachon kompensatsiyalanmaydi. Ushbu yondashuvga misol sifatida "Restivo" va "Van de Rijt" (2012) Vikipediya" va "Bond" kompaniyalari mukofotlari bo'yicha tajriba va odamlarni ovoz berishni rag'batlantirish tajribasi (2012) . Ushbu tajribalar, aslida, o'zgaruvchan o'zgarmaydigan xarajatlarga ega emas, balki ular tadqiqotchilar uchun nolinchi o'zgarmaydigan xarajatlarga ega . Bunday tajribalarda, hatto har bir qatnashchining narxi juda oz bo'lsa ham, umumiy xarajat juda katta bo'lishi mumkin. Ko'pgina odamlarga qo'llaniladigan ushbu kichik effektlar muhim ahamiyatga ega bo'lishi mumkinligini ta'kidlab, massiv onlayn tajribalar o'tkazadigan tadqiqotchilar odatda kichik hisoblangan davolash effektlarining ahamiyatini oqlaydi. Xuddi shunday fikrlash tadqiqotchilar ishtirokchilarga sarflaydigan xarajatlarga ham tegishlidir. Agar tajribangiz bir million kishini bir daqiqaga sarflashga olib keladigan bo'lsa, tajriba har qanday kishiga juda zararli emas, lekin umuman olganda deyarli ikki yil vaqt sarfladi.

Ishtirokchilarga nolinchi o'zgarmaydigan xarajatlarni qoplashning yana bir yondashuvi - bu so'rovnomada tadqiqotda ishlatilgan yondashuv (Lotereya (Halpern et al. 2011) . Toomim et al. (2011) foydalanuvchi tajribalarini loyihalashtirish haqida qo'shimcha ma'lumot olish uchun qarang. Toomim et al. (2011) . Nolinchi o'zgarmaydigan xarajat tajribasini yaratish uchun botlardan foydalanish haqida qo'shimcha ma'lumot olish uchun qarang ( ??? ) .

• O'zgartiring, tozalang va qisqartiring (qism 4.6.2)

Dastlab Russell and Burch (1959) tomonidan taklif qilingan uchta R shunday:

"O'zgartirish insentient materiallar ongli yashaydigan oliy hayvonlar uchun o'zgarishlarni anglatadi. Kamaytirish berilgan miqdori va aniq ma'lumot olish uchun ishlatiladi hayvonlar soni kamaytirish degan ma'noni anglatadi. Tozalash chalinish yoki hali ham foydalanish kerak bo'lganlar hayvonlarga qo'llaniladigan g'ayriinsoniy tartib og'irligiga har qanday pasayishiga degan ma'noni anglatadi. "

Men taklif qilayotgan uchta R-bo'lim 6-bobda tavsiflangan axloqiy tamoyillarni bekor qilmaydi. Aksincha, bu printsiplardan biri - insonparvarlik, xususan, insoniy tajriba sharoitida yanada batafsil ishlab chiqilgan.

Emotsional yuqumli eksperimentni (Kramer, Guillory, and Hancock 2014) taqqoslash va emotsional yuqumli tabiiy eksperimentni (Lorenzo Coviello et al. 2014) taqqoslaydigan birinchi R («almashtirish») nuqtai nazaridan, eksperimentlardan tabiiy eksperimentlarga o'tish (va eksperimental ma'lumotlarda eksperimentlarni yaqinlashtirishga urinish kabi boshqa yondashuvlar) (2-bobga qarang). Axloqiy imtiyozlarga qo'shimcha ravishda, eksperimentaldan tajriba bo'lmagan tadqiqotlarga o'tish, tadqiqotchilarga o'zlarini logistik jihatdan joylashtira olmaydigan muolajalarni o'rganishga imkon beradi. Biroq, bu axloqiy va moddiy manfaatlar qimmatga tushadi. Tabiiy tajribalar bilan tadqiqotchilar ishtirokchilarni jalb qilish, randomizatsiya va davolanish tabiati kabi narsalarga nisbatan kamroq nazorat qilishadi. Masalan, yomg'irning davolanishi kabi bir cheklovi uning ijobiyligini oshiradi va salbiylikni kamaytiradi. Eksperimental tadqiqotda Kramer va uning hamkasblari ijobiy va salbiy holatlarni mustaqil ravishda o'zgartirishga muvaffaq bo'ldilar. Lorenzo Coviello et al. (2014) L. Coviello, Fowler, and Franceschetti (2014) tomonidan ishlab chiqilgan. Lorenzo Coviello et al. (2014) tomonidan qo'llaniladigan yondashuv bo'lgan instrumental o'zgaruvchilarga kirish uchun Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (kam rasmiy) yoki Angrist, Imbens, and Rubin (1996) (yana rasmiy) ga qarang. Instrumental o'zgaruvchilarga shubha bilan qarash uchun, Deaton (2010) ga qarang. Va zaif vositalar bilan ishlaydigan instrumental o'zgaruvchiga kirish uchun (yomg'ir kuchsiz vosita) Murray (2006) ga qarang. Qo'shimcha odatda, tabiiy tajribalar uchun yaxshi joriy etish orqali taqdim etiladi Dunning (2012) esa, Rosenbaum (2002) , ( ??? ) , va Shadish, Cook, and Campbell (2001) tajribalarida holda nedensel ta'sirini baholash haqida yaxshi fikr taklif etamiz.

Ikkinchi R («tozalash») nuqtai nazaridan, hissiy konventsiyani loyihalashni blokirovka qiluvchi postlarni o'zgartirishdan tortib, lavozimni oshirishga qaratilgan ilmiy va logistik qarama-qarshiliklar mavjud. Masalan, News Feed-ning texnik tadbiq qilinishi tajribalarni amalga oshirish uchun ancha osonlashishi mumkin, masalan, postlar blokirovka qilingan joylarda emas, balki ular kuchaytiradigan joylardan (blokirovka qilishni o'z ichiga olgan tajriba axborotni tarqatish tizimining yuqori qismida, tizimning o'zgarishlariga hojat qoldirmaydi). Biroq, ilmiy jihatdan, eksperimentga asoslangan nazariya, boshqasiga nisbatan bir dizaynni aniq ko'rsatmadi. Afsuski, men News Feed-da kontentni bloklash va mazmunini oshirishning nisbatan ustivorliklari haqida oldindan aniqroq ma'lumotga ega emasman. Bundan tashqari, men ularga ozroq zararli holga keltirish uchun ularni qayta ishlashga oid ko'p izlanishlar ko'rmaganman; Internet tsenzurasini o'lchash ishini ko'rib B. Jones and Feamster (2015) - bu Encore tadqiqotlari bilan aloqada (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) mavzusini muhokama qiladigan mavzu.

Uchinchi R («kamaytirish») jihatidan, an'anaviy energiya tahlili uchun yaxshi tanishuvlar Cohen (1988) ( Cohen (1992) ) va Cohen (1992) (maqola), Gelman and Carlin (2014) biroz farqli nuqtai nazarga ega. Oldindan davolash kovaryatlari eksperimentlarning dizayn va tahlil bosqichiga kiritilishi mumkin; Gerber and Green (2012) 4-qismida har ikkala yondashishga ham yaxshi tanishuv mavjud. Casella (2008) esa chuqurroq davolashni ta'minlaydi. Ushbu dastlabki ma'lumotni tasodifiy usulda ishlatadigan usullar, odatda, bloklangan eksperimental dizaynlar yoki qatlamli eksperimental dizaynlar (atamalar jamoalar o'rtasida izchil qo'llanilmaydi); Ushbu metodlar 3-bobda muhokama qilinadigan qatlamlangan namuna olish texnikasi bilan chambarchas bog'liq. Ushbu dizaynlarni massiv tajribalarda qo'llash bo'yicha batafsilroq ma'lumot olish uchun qarang: Higgins, Sävje, and Sekhon (2016) . Pre-davolash kovaryatlari tahlil bosqichiga ham kiritilishi mumkin. McKenzie (2012) dala eksperimentlarini batafsil tahlil qilish uchun farqni aniqlashda yondashuvni o'rganadi. Davolanish samaradorligini baholashda aniqlikni oshirishga qaratilgan turli yondashuvlarning o'zaro bog'liqligi haqida ko'proq ma'lumot olish uchun Carneiro, Lee, and Wilhelm (2016) qarang. Nihoyat, oldindan davolash kovaryatlarini dizayn yoki tahlil bosqichida (yoki har ikkalasida) kiritishga urinib ko'rishga qaror qilayotib, e'tiborga olish kerak bo'lgan bir necha omillar mavjud. Tadqiqotchilar "baliq ovlash" (Humphreys, Sierra, and Windt 2013) emasligini ko'rsatishlari kerak bo'lgan sharoitda, dizayn bosqichida oldingi davolash (Higgins, Sävje, and Sekhon 2016) qo'llash foydali bo'lishi mumkin (Higgins, Sävje, and Sekhon 2016) . Ishtirokchilar ketma-ket keladigan holatlarda, ayniqsa, onlayn tajriba, loyiha bosqichida oldindan ma'lumotni ishlatish qiyin logistika bo'lishi mumkin; masalan, Xie and Aurisset (2016) .

Bir-biridan farqi bo'lgan yondashuvning nima uchun farqni ko'ra oladiganidan ko'ra samaraliroq bo'lishi mumkinligi haqida bir oz sezgi qo'shish kerak. Ko'pgina onlayn natijalar juda katta farq qiladi (masalan, RA Lewis and Rao (2015) va Lamb et al. (2015) ) va vaqt o'tishi bilan nisbatan barqaror. Bunday holatda, o'zgarish skori statistik testning kuchini oshirib, sezilarli darajada kichikroq farqga ega bo'ladi. Bunday yondashuvdan tez-tez foydalanilmaslikning sabablaridan biri, raqamli yoshdan oldin, oldingi davolash natijalariga ega bo'lish odatiy hol emas edi. Bu haqda o'ylashning aniq usuli, muayyan mashqlar muntazamligining kilogramm halok bo'lishiga sabab bo'ladigan eksperimentni tasavvur qilishdir. Agar siz bir-biridan farq qiladigan yondashuvni qabul qilsangiz, sizning baholaringiz aholi og'irliklarida o'zgaruvchanlikdan kelib chiqadigan o'zgaruvchanlikka ega bo'ladi. Agar farqni aniqlashda yondashuvni qo'llasangiz, tabiiyki, vazndagi tabiiy o'zgarishlarni olib tashlashingiz mumkin va siz davolanishdan kelib chiqadigan farqni osongina aniqlashingiz mumkin.

Va nihoyat, men to'rtinchi R qo'shib qo'ydim: "repurpose". Ya'ni, agar tadqiqotchilar o'zlarining asl tadqiqot savoliga javob berishdan ko'ra ko'proq eksperimental ma'lumotlarga ega bo'lsalar, ular yangi ma'lumotlarni so'rash uchun ma'lumotlarni qayta tiklashlari kerak. Misol uchun, Kramer va uning hamkasblari o'zaro farqlar koeffitsientini qo'llaganini tasavvur qiling va o'zlarining tadqiqot savollariga javob berishdan ko'ra ko'proq ma'lumotlarga ega bo'lishdi. Axborotdan to'liq foydalanmaslik o'rniga, ta'sirning o'lchamini dastlabki davolanish vazifasi sifatida o'rganish mumkin edi. Schultz et al. (2007) , davolashning ta'siri engil va og'ir foydalanuvchilar uchun turli xilligini aniqladi, ehtimol News Feed-ning ta'siri allaqachon baxtli (yoki xafa) xabarlarni yozishga intilgan odamlar uchun farqli edi. Repurposing "baliq ovlashga" (Humphreys, Sierra, and Windt 2013) va "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ammo ular asosan samimiy hisobot (Simmons, Nelson, and Simonsohn 2011) , oldingi ro'yxatga olish (Humphreys, Sierra, and Windt 2013) va ortiqcha taqiqlashni oldini olish uchun kompyuterni o'rganish usullari.