Naon maca salajengna

• Bubuka (bagian 4.1)

Patarosan ngeunaan kausalitas dina panalungtikan sosial nu sering rumit sarta intricate. Pikeun pendekatan foundational mun kausalitas dumasar kana grafik kausal, tingali Pearl (2009) , sarta pikeun pendekatan foundational dumasar kana hasil poténsi, tingali Imbens and Rubin (2015) . Pikeun babandingan antara dua pendekatan ieu, tingali Morgan and Winship (2014) . Pikeun pendekatan formal keur watesan confounder a, tingali VanderWeele and Shpitser (2013) .

Dina ieu bab, kuring geus nyieun naon seemed kawas garis caang antara kamampuan urang nyieun perkiraan kausal tina data ékspérimén jeung non-percobaan. Najan kitu, aya rasa nu, dina kanyataanana, bedana beuki kabur. Contona, dulur narima yén udud ngabalukarkeun kanker, sanajan henteu dikawal percobaan randomized yén Angkatan jalma mun haseup geus kantos geus rengse. Pikeun unggulan perlakuan buku-panjang dina nyieun perkiraan kausal tina data non-eksperimen tingali Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , sarta Dunning (2012) .

Bab 1 jeung 2 ti Freedman, Pisani, and Purves (2007) nawarkeun bubuka jelas kana béda antara percobaan, percobaan dikawasa, sarta randomized percobaan dikawasa.

Manzi (2012) nyadiakeun bubuka matak na bisa dibaca jeung underpinnings filosofis jeung statistical percobaan dikawasa randomized. Ogé nyadiakeun metot conto real-dunya tina kakawasaan experimentation dina bisnis. Issenberg (2012) nyadiakeun bubuka matak ka pamakéan experimentation dina kampanye pulitik.

• Naon percobaan? (bagian 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, sarta Athey and Imbens (2016b) nyadiakeun perkenalan alus kana aspék statistical desain eksperimen jeung analisis. Salajengna, aya perlakuan unggulan ti pamakéan percobaan dina loba widang béda: ékonomi (Bardsley et al. 2009) , Sosiologi (Willer and Walker 2007; Jackson and Cox 2013) , psikologi (Aronson et al. 1989) , Élmu politik (Morton and Williams 2010) , sarta kawijakan sosial (Glennerster and Takavarasha 2013) .

Pentingna pamilon rekrutmen (misalna sampling) nyaéta mindeng handapeun-ngaapresiasi dina panalungtikan ékspérimén. Sanajan kitu, lamun efek perlakuan anu heterogen dina populasi, teras sampling nyaeta kritis. Longford (1999) nyababkeun titik ieu jelas lamun anjeunna ngabela pikeun peneliti pamikiran percobaan salaku survéy populasi mibanda sampling haphazard.

• Dua dimensi percobaan: lab-widang jeung analog-digital (bagian 4.3)

Kuring geus ngusulkeun yén aya hiji continuum antara lab na widang percobaan, sarta peneliti lianna geus diusulkeun typologies leuwih lengkep, dina leuwih husus nu misahkeun dina sagala rupa wangun percobaan lapangan (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Sajumlah tulak geus dibandingkeun lab na widang percobaan di abstrak (Falk and Heckman 2009; Cialdini 2009) sarta dina watesan hasil percobaan husus dina élmu politik (Coppock and Green 2015) , ékonomi (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , jeung psikologi (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) nawarkeun desain panalungtikan nice pikeun ngabandingkeun hasil tina lab na widang percobaan. Parigi, Santana, and Cook (2017) ngajelaskeun kumaha percobaan widang online tiasa ngagabungkeun sababaraha ciri tina lab na widang percobaan.

Kasalempang pamilon ngarobah kabiasaan maranéhna alatan maranéhna terang aranjeunna keur raket observasi nu sok nyebut épék paménta, sarta aranjeunna geus diulik dina psikologi (Orne 1962) jeung ékonomi (Zizzo 2010) . Sanajan lolobana pakait sareng percobaan lab, ieu isu anu sarua bisa ngabalukarkeun masalah pikeun percobaan sawah ogé. Kanyataanna, épék paménta téh sok disebut ogé épék Hawthorne, hiji istilah nu asalna ti percobaan katerangan kawentar nu dimimitian dina taun 1924 di Hawthorne Works tina Western Electric Company (Adair 1984; Levitt and List 2011) . Duanana épék paménta jeung épék Hawthorne anu raket patalina jeung pamanggih ukur réaktif dibahas dina bab 2 (tempo ogé Webb et al. (1966) ).

Percobaan sawah boga sajarah panjang dina ékonomi (Levitt and List 2009) , élmu politik (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psikologi (Shadish 2002) , sarta kawijakan publik (Shadish and Cook 2009) . Hiji wewengkon elmu sosial dimana percobaan widang gancang janten kawentar nyaeta ngembangkeun internasional. Pikeun review positif yen karya dina ékonomi tingali Banerjee and Duflo (2009) , sarta pikeun assessment kritis ningali Deaton (2010) . Pikeun review gawé ieu elmu pulitik tingali Humphreys and Weinstein (2009) . Tungtungna, tantangan etika timbul ti percobaan lapangan geus digali dina konteks sains pulitik (Humphreys 2015; Desposato 2016b) jeung ékonomi ngembangkeun (Baele 2013) .

Dina bagian ieu, kuring ngusulkeun yen informasi pre-perlakuan bisa dipaké pikeun ngaronjatkeun precision of épék perlakuan diperkirakeun, tapi aya sababaraha perdebatan ngeunaan pendekatan ieu; tingali Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , sarta Bloniarz et al. (2016) kanggo inpormasi lengkep.

Tungtungna, aya dua tipe séjén percobaan dipigawé ku ilmuwan sosial nu teu cocog rapih sapanjang dimensi lab-widang: percobaan survéy jeung percobaan sosial. Percobaan Survey nu percobaan ngagunakeun infrastruktur tina survey nu aya tur dibandingkeun réspon kana versi alternatif tina patarosan nu sami (sababaraha percobaan survéy dibere dina Bab 3); pikeun nu langkung lengkep ihwal percobaan survéy tingali Mutz (2011) . Percobaan sosial anu percobaan mana perlakuan anu sababaraha kawijakan sosial nu ngan bisa dilaksanakeun ku pamaréntah. percobaan sosial anu raket patalina jeung program evaluasi. Pikeun langkung lengkep ihwal percobaan kawijakan, tingali Heckman and Smith (1995) , Orr (1998) , sarta @ glennerster_running_2013.

• Pindah saluareun percobaan basajan (bagian 4.4)

Kuring geus dipilih bade difokuskeun tilu konsep: validitas, heterogeneity of épék treatment, sarta mekanisme. konsep ieu boga ngaran béda dina widang anu béda. Contona, psikolog condong mindahkeun saluareun percobaan basajan ku fokus dina mediators jeung moderator (Baron and Kenny 1986) . Pamanggih mediators ieu kawengku ku naon kuring nelepon mékanisme, sarta pamanggih moderator ieu kawengku ku naon kuring nelepon validitas éksternal (misalna bakal hasil percobaan jadi béda lamun eta anu ngajalankeun dina situasi béda) jeung heterogeneity of épék perlakuan ( misalna, aya efek gedé pikeun sababaraha urang ti keur batur).

The percobaan ku Schultz et al. (2007) nempokeun sabaraha teori sosial bisa dipaké mendesain interventions éféktif. Pikeun argumen leuwih umum ngeunaan peran teori dina ngarancang interventions éféktif, tingali Walton (2014) .

• Validitas (bagian 4.4.1)

Konsep validitas internal tur éksternal anu munggaran diwanohkeun ku Campbell (1957) . Tempo Shadish, Cook, and Campbell (2001) pikeun sajarah leuwih lengkep sarta elaboration ati validitas kacindekan statistik, validitas internal, nyusunna validitas, sarta validitas éksternal.

Pikeun tinjauan isu nu patali jeung validitas kacindekan statistik dina percobaan tingali Gerber and Green (2012) (ti sudut pandang elmu sosial) jeung Imbens and Rubin (2015) (ti sudut pandang statistical). Sababaraha isu ngeunaan validitas kacindekan statistik anu timbul husus dina percobaan widang online ngawengku isu kayaning métode komputasi efisien keur nyieun interval kapercayaan sareng data gumantung (Bakshy and Eckles 2013) .

validitas internal bisa hésé pikeun mastikeun dina percobaan widang kompléks. Tempo, contona, Gerber and Green (2000) , Imai (2005) , sarta Gerber and Green (2005) pikeun perdebatan ngeunaan palaksanaan percobaan widang kompléks ngeunaan voting. Kohavi et al. (2012) jeung Kohavi et al. (2013) nyadiakeun hiji bubuka kana tantangan validitas interval dina percobaan widang online.

Hiji anceman utama pikeun validitas internal nyaéta kamungkinan randomization gagal. Hiji cara potensial pikeun ngadeteksi masalah sareng randomization nya éta ngabandingkeun pengobatan sarta control Grup on Tret observasi. Jenis ieu ngabandingkeun disebut dipariksa kasaimbangan. Tempo Hansen and Bowers (2008) pikeun pendekatan statistical saimbang cék na Mutz and Pemantle (2015) pikeun kasalempang cék kasaimbangan. Contona, maké dipariksa kasaimbangan, Allcott (2011) kapanggih sababaraha bukti yén randomization teu dilaksanakeun neuleu di tilu tina percobaan Opower (tempo tabel 2; loka 2, 6, jeung 8). Pikeun pendekatan sejen, tingali surah 21 of Imbens and Rubin (2015) .

menggah utama lianna nu patali jeung validitas internal nyaéta: (1) noncompliance salah sided, dimana di group perlakuan henteu dulur sabenerna narima perlakuan, (2) dua noncompliance sided, dimana di group perlakuan henteu dulur narima perlakuan jeung sababaraha urang di kelompok kontrol nampa perlakuan, (3) attrition, dimana hasil teu diukur pikeun sabagian pamilon, jeung (4) interférénsi, dimana perlakuan spills leuwih ti jalma dina kaayaan perlakuan ka jalma dina kaayaan kontrol. Tempo bab 5, 6, 7, jeung 8 Gerber and Green (2012) pikeun nu langkung lengkep ihwal unggal isu ieu.

Pikeun langkung lengkep ihwal validitas nyusunna, tingali Westen and Rosenthal (2003) , sarta pikeun nu langkung lengkep ihwal validitas nyusunna dina sumber data badag, Lazer (2015) jeung bab 2 buku ieu.

Hiji aspék validitas éksternal anu setelan nu hiji campur geus diuji. Allcott (2015) nyadiakeun perlakuan teoritis sarta empiris ati bias situs Pilihan. Masalah ieu oge dibahas ku Deaton (2010) . aspék séjén tina validitas éksternal nya naha operationalizations alternatif tina campur sarua kudu épék sarupa. Dina hal ieu, perbandingan antara Schultz et al. (2007) jeung Allcott (2011) nunjukeun yen percobaan Opower kungsi leutik pangaruh diperlakukeun diperkirakeun ti éta percobaan aslina ku Schultz sareng kolega Anjeun (1,7% versus 5%). Allcott (2011) ngaduga yén percobaan nurutan-up tadi éfék leutik alatan tina cara nu perlakuan differed: a emoticon tulisan leungeun salaku bagian tina ulikan disponsoran ku universitas, dibandingkeun sareng emoticon dicitak sakumaha bagian tina massa-dihasilkeun ngalaporkeun ti parusahaan kakuatan.

• Heterogeneity of épék perlakuan (bagian 4.4.2)

Pikeun tinjauan alus teuing tina heterogeneity of épék perlakuan dina percobaan sawah, tingali surah 12 of Gerber and Green (2012) . Pikeun perkenalan mun heterogeneity of épék perlakuan dina percobaan médis, tingali Kent and Hayward (2007) , Longford (1999) , sarta Kravitz, Duan, and Braslow (2004) . Pertimbangan ti heterogeneity of épék perlakuan umumna difokuskeun béda dumasar kana ciri pre-perlakuan. Mun anjeun resep heterogeneity dumasar kana hasil pos-perlakuan, teras deukeut leuwih kompleks anu diperlukeun, kayaning stratifikasi poko (Frangakis and Rubin 2002) ; tingali Page et al. (2015) pikeun review hiji.

Loba peneliti estimasi heterogeneity of épék perlakuan ngagunakeun régrési liniér, tapi métode anyar ngandelkeun learning mesin; tingali, contona, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , sarta Athey and Imbens (2016a) .

Aya sababaraha skepticism ngeunaan papanggihan heterogeneity of épék kusabab sababaraha masalah ngabandingkeun sarta "perikanan." Aya rupa-rupa pendekatan statistik nu bisa ngabantu masalah alamat ngeunaan sababaraha ngabandingkeun (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Hiji pendekatan ka kasalempang "fishing" nyaeta pre-pendaptaran, nu geus jadi beuki umum di psikologi (Nosek and Lakens 2014) , élmu politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , sarta ékonomi (Olken 2015) .

Dina pangajaran ku Costa and Kahn (2013) ukur ngeunaan satengah tina rumahtangga dina percobaan bisa dikaitkeun kana informasi demografi. Pamiarsa museurkeun rinci ieu kedah tingal kertas aslina.

• Mékanisme (bagian 4.4.3)

Mékanisme anu incredibly penting, tapi aranjeunna ngahurungkeun kaluar janten hésé pisan diajar. Panalungtikan ngeunaan mekanisme téh raket patalina jeung ulikan mediators dina psikologi (tapi tempo ogé VanderWeele (2009) pikeun ngabandingkeun tepat antara dua pamanggih). Deukeut statistik keur mékanisme nyungsi, kayaning pendekatan dimekarkeun di Baron and Kenny (1986) , anu rada umum. Hanjakal, tétéla yén maranéhanana prosedur gumantung kana sababaraha anggapan kuat (Bullock, Green, and Ha 2010) jeung sangsara lamun aya sababaraha mékanisme, sakumaha salah bisa nyangka di loba kaayaan (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) jeung Imai and Yamamoto (2013) nawiskeun sababaraha metoda statistik ningkat. Salajengna, VanderWeele (2015) nawarkeun perlakuan buku-panjang kalayan jumlah hasil penting, kaasup pendekatan panghadena pikeun analisis sensitipitas.

Hiji pendekatan misah museurkeun kana percobaan nu nyobian ngamanipulasi mékanisme langsung (misalna, mere pelaut vitamin C). Hanjakal, dina loba pangaturan elmu sosial, aya mindeng sababaraha mékanisme jeung éta teuas mendesain perlakuan nu ngaganti salah sahiji tanpa ngarobah anu sanesna. Sababaraha deukeut kana sacara ékspériméntal mékanisme ngarobah anu digambarkeun ku Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , sarta Pirlott and MacKinnon (2016) .

Peneliti ngajalankeun percobaan sajero faktorial bakal perlu jadi paduli sababaraha tes hipotesa; tingali Fink, McConnell, and Vollmer (2014) jeung List, Shaikh, and Xu (2016) kanggo inpormasi lengkep.

Tungtungna, mékanisme ogé boga sajarah panjang dina filsafat elmu sakumaha dijelaskeun ku Hedström and Ylikoski (2010) .

• Ngagunakeun lingkung aya (bagian 4.5.1)

Pikeun leuwih lengkep dina pamakéan studi susuratan jeung studi Inok keur ngukur diskriminasi, tingali Pager (2007) .

• Ngawangun percobaan sorangan (bagian 4.5.2)

Cara nu paling umum pikeun recruit pamilon pikeun percobaan nu ngawangun téh Amazon Mechanical Turk (MTurk). Kusabab MTurk mimics aspék percobaan-Mayar lab tradisional urang keur ngalengkepan tugas nu maranéhna henteu bakal ngalakukeun pikeun peneliti bébas-loba geus dimimitian maké Turkers (pagawe on MTurk) minangka partisipan eksperimen, hasilna pendataan gancang sarta leuwih murah batan bisa dihontal dina tradisional dina kampus percobaan laboratorium (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Sacara umum, kaunggulan pangbadagna ti ngagunakeun pamilon direkrut ti MTurk anu logistik. Padahal percobaan lab tiasa nyandak minggu ngajalankeun sarta percobaan widang tiasa nyandak bulan pikeun ngeset-up, percobaan kalawan pamilon direkrut ti MTurk bisa ngajalankeun dina poé. Contona, Berinsky, Huber, and Lenz (2012) éta bisa recruit 400 subjék dina poé tunggal pikeun ilubiung dina percobaan 8 menit. Salajengna, pamilon ieu bisa direkrut keur ampir sagala Tujuan (kaasup survey sarta kolaborasi massa, saperti dibahas dina bab 3 jeung 5). betah ieu rekrutmen hartina peneliti tiasa ngajalankeun urutan percobaan patali dina suksesi gancang.

Sateuacan recruiting peserta ti MTurk keur percobaan sorangan, aya opat hal penting nu peryogi kauninga. Kahiji, loba peneliti boga skepticism nonspecific percobaan ngalibetkeun Turkers. Kusabab skepticism ieu teu husus, éta hésé kontra kalawan bukti. Sanajan kitu, sanggeus sababaraha taun studi maké Turkers, urang tiasa ayeuna disimpulkeun yen skepticism ieu teu utamana diyakinkeun. Aya geus loba studi ngabandingkeun demografi of Turkers jeung pamadegan populasi sejen tur loba studi ngabandingkeun hasil percobaan kalawan Turkers wit pamadegan ti populasi lianna. Dibikeun kabeh karya ieu, abdi mikir yén cara pangalusna keur anjeun mikir ngeunaan éta yén Turkers anu sampel genah lumrah, loba kawas santri tapi rada leuwih beragam (Berinsky, Huber, and Lenz 2012) . Ku kituna, ngan sakumaha mahasiswa nu populasi lumrah pikeun sabagian, tapi teu kabeh, panalungtikan, Turkers nu populasi lumrah pikeun sabagian, tapi teu kabeh, panalungtikan. Mun anjeun bade ngagarap Turkers, mangka ngajadikeun rasa maca loba ieu studi banding jeung ngarti nuances maranéhanana.

Kadua, peneliti geus dimekarkeun lila pangalusna pikeun ngaronjatkeun validitas internal percobaan MTurk, sarta anjeun kudu ngalenyepan tur turutan ieu pangalusna-amalan (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Contona, peneliti maké Turkers didorong ngagunakeun screeners ngaleupaskeun pamilon inattentive (Berinsky, Margolis, and Sances 2014, 2016) (tapi tempo ogé DJ Hauser and Schwarz (2015b) jeung DJ Hauser and Schwarz (2015a) ). Mun anjeun teu dipiceun pamilon inattentive, teras wae efek perlakuan bisa dikumbah kaluar ku noise nu aranjeunna ngenalkeun, sarta dina praktekna jumlah pamilon inattentive tiasa penting. Dina percobaan ku Huber sareng kolega Anjeun (2012) , kira-kira 30% ti peserta gagal screeners perhatian dasar. Masalah sejen anu ilahar mecenghul lamun Turkers anu dipaké nyaéta pamilon non-naif (Chandler et al. 2015) sarta attrition (Zhou and Fishbach 2016) .

Katilu, rélatif ka sababaraha bentuk séjén percobaan digital, percobaan MTurk teu tiasa skala; Stewart et al. (2015) estimasi nu iraha wae dibikeun aya ukur ngeunaan 7.000 urang di MTurk.

Tungtungna, anjeun kudu nyaho yen MTurk mangrupakeun komunitas kalayan aturan jeung norma sorangan (Mason and Suri 2012) . Dina cara nu sarua yén bakal Anjeun nyobian pikeun manggihan ngeunaan budaya nagara mana anjeun bade ngajalankeun percobaan, anjeun kedah nyobian pikeun neangan nu leuwih ngeunaan budaya jeung norma Turkers (Salehi et al. 2015) . Jeung anjeun kudu nyaho yén Turkers bakal ngawangkong ngeunaan percobaan Anjeun lamun ngalakukeun hal pantes atawa unethical (Gray et al. 2016) .

MTurk mangrupa cara incredibly merenah pikeun recruit pamilon pikeun percobaan anjeun, boh nu sipatna lab-kawas, kayaning nu tina Huber, Hill, and Lenz (2012) , atawa leuwih widang-kawas, kayaning pamadegan Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , sarta Mao et al. (2016) .

• Ngawangun produk sorangan (bagian 4.5.3)

Mun anjeun mikir nyoba nyieun produk sorangan, abdi nyarankeun yén anjeun baca nasehat ditawarkeun ku grup MovieLens di Harper and Konstan (2015) . A wawasan konci ti pangalaman maranéhanana nyaéta yén pikeun tiap proyek suksés aya loba, loba gagal. Contona, grup MovieLens dibuka produk sejenna, kayaning GopherAnswers, nu éta gagal lengkep (Harper and Konstan 2015) . conto sejen tina hiji panalungtik gagal bari ngusahakeun ngawangun produk hiji usaha Edward Castronova pikeun ngawangun hiji game online disebut Arden. Sanajan $ 250.000 di waragad, proyék ieu flop a (Baker 2008) . Proyék kawas GopherAnswers na Arden aya hanjakalna jauh leuwih umum batan proyék kawas MovieLens.

• Rakan jeung kuat (bagian 4.5.4)

Kuring geus uninga pamanggih kuadran Pasteur urang bahas remen di pausahaan tech, sarta eta mantuan ngatur usaha panalungtikan di Google (Spector, Norvig, and Petrov 2012) .

Beungkeut jeung pangajaran kolega ' (2012) ogé nyoba pikeun ngadeteksi efek perlakuan ieu dina babaturan jalma anu narima aranjeunna. Kusabab ti desain percobaan, spillovers ieu hésé ngadeteksi bersih; pamiarsa kabetot kedah tingali Bond et al. (2012) pikeun sawala langkung teleb. Jones sareng kolega Anjeun (2017) ogé dipigawé percobaan pisan sarupa mangsa Pemilu 2012. Percobaan ieu bagian tina tradisi lila percobaan dina elmu pulitik di usaha nyorong voting (Green and Gerber 2015) . percobaan meunang-kaluar deui-sora ieu umum, dina bagian sabab di Pasteur urang kuadran. Hartina, aya loba jalma anu ngamotivasi pikeun ngaronjatkeun voting na voting tiasa hiji kabiasaan metot pikeun nguji téori umum tentang robah kabiasaan jeung pangaruh sosial.

Pikeun nasihat ngeunaan ngajalankeun percobaan widang kalayan organisasi pasangan kayaning parpol, LSM, sarta usaha, tingali Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , sarta Gueron (2002) . Pikeun pikiran ngeunaan kumaha partnerships kalayan organisasi bisa dampak desain panalungtikan, tingali King et al. (2007) jeung Green, Calfano, and Aronow (2014) . Partnership ogé bisa ngabalukarkeun patarosan etika, sabab dibahas ku Humphreys (2015) sarta Nickerson and Hyde (2016) .

• Desain nasihat (bagian 4.6)

Lamun Anjeun bade nyieun hiji rencana analisis méméh ngajalankeun percobaan anjeun, kuring nyarankeun yén anjeun mimitian ku maca tungtunan ngalaporkeun. The permaisuri (beuki kuat Standar ngalaporkeun of Percobaan) tungtunan anu dimekarkeun di ubar (Schulz et al. 2010) sarta dirobah pikeun panalungtikan sosial (Mayo-Wilson et al. 2013) . Hiji set patali tina tungtunan geus dimekarkeun ku rai ti Journal of Experimental Élmu Pulitik (Gerber et al. 2014) (tingali ogé Mutz and Pemantle (2015) sarta Gerber et al. (2015) ). Tungtungna, tungtunan ngalaporkeun geus tumuwuh di psikologi (APA Working Group 2008) , sarta ningali ogé Simmons, Nelson, and Simonsohn (2011) .

Lamun nyieun hiji rencana analisis, Anjeun kudu mertimbangkeun pre-ngadaptar dinya lantaran pre-pendaptaran bakal nambahan kayakinan yén batur kudu di hasilna Anjeun. Salajengna, mun anjeun gawé bareng pasangan hiji, bakal ngawatesan pangabisa pasangan anjeun pikeun ngarobah analisis sanggeus ningali hasilna. Pra-pendaptaran anu jadi beuki umum di psikologi (Nosek and Lakens 2014) , élmu politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , sarta ékonomi (Olken 2015) .

Desain nasihat husus keur percobaan widang online ogé disajikan dina Konstan and Chen (2007) sarta Chen and Konstan (2015) .

Naon Kuring geus disebut strategi armada kadangkala disebut panalungtikan programmatic; tingali Wilson, Aronson, and Carlsmith (2010) .

• Jieun enol data ongkos variable (bagian 4.6.1)

Pikeun leuwih lengkep dina percobaan MusicLab, tingali Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , sarta Salganik (2007) . Pikeun langkung lengkep ihwal meunangna-nyandak-sadaya pasar, tingali Frank and Cook (1996) . Pikeun langkung lengkep ihwal untangling tuah jeung skill leuwih umum, tingali Mauboussin (2012) , Watts (2012) , sarta Frank (2016) .

Aya pendekatan sejen ngaleungitkeun pangmayaran pamilon anu peneliti kedah nganggo sareng caution: conscription. Dina loba percobaan widang online pamilon anu dasarna drafted kana percobaan sarta pernah katembong. Conto pendekatan ieu ngawengku Restivo na van de Rijt urang (2012) percobaan kana ganjaran di Wikipedia sarta Bond sarta batur sapagawean urang (2012) percobaan dina encouraging jalma pikeun ngajawab. Percobaan ieu teu bener mibanda nol variabel ongkos-rada, maranéhna mibanda nol variabel ongkos ka peneliti. Dina percobaan saperi, sanajan biaya mun tiap pamilon pisan leutik, biaya agrégat tiasa rada badag. Peneliti ngajalankeun percobaan online masif mindeng menerkeun pentingna épék perlakuan ditaksir leutik ku cara nyebutkeun yén ieu épék leutik bisa jadi penting mun dilarapkeun ka jalma réa. The pamikiran sarua pasti manglaku ka bea nu peneliti maksa dina pamilon. Mun percobaan Anjeun ngabalukarkeun salah juta jalma runtah hiji menit, percobaan teu pisan ngabahayakeun kana sagala jalma nu tangtu, tapi agrégat eta geus wasted ampir dua taun waktu.

Pendekatan sejen nyieun mayar ongkos variabel enol pikeun pamilon anu ngagunakeun hiji lotre, hiji pendekatan nu ogé geus dipaké dina ieu panalungtikan survéy (Halpern et al. 2011) . Pikeun leuwih lengkep ngeunaan ngarancang pangalaman pamaké nikmat, tingali Toomim et al. (2011) . Pikeun leuwih lengkep ngeunaan migunakeun bot mun nyieun enol percobaan ongkos variabel tingali ( ??? ) .

• Ngaganti, nyaring, sarta Ngurangan (bagian 4.6.2)

Tilu Sunda urang salaku mimitina diajukeun ku Russell and Burch (1959) nyaéta kieu:

"Ngagantian hartina substitusi keur sadar hirup sato nu leuwih luhur bahan insentient. Ngurangan hartina ngurangan di nomer sato digunakeun pikeun ménta informasi jumlah dibikeun jeung precision. Perbaikan hartina nu mana wae nu panurunan dina incidence atawa severity tina prosedur inhumane dilarapkeun ka jalma sato nu masih kudu dipaké. "

Tilu Sunda urang anu kuring ngajukeun ulah override prinsip etis nu dijelaskeun dina bagean 6. Mending sipatna versi leuwih elaborated salah sahiji jalma prinsip-beneficence-husus dina setting percobaan manusa.

Dina watesan Sunda munggaran ( "ngagantian"), ngabandingkeun percobaan contagion emosi (Kramer, Guillory, and Hancock 2014) jeung contagion emosi percobaan alam (Lorenzo Coviello et al. 2014) nawarkeun sababaraha palajaran umum ngeunaan perdagangan-offs aub di pindah ti percobaan pikeun percobaan alam (jeung deukeut séjén kawas cocog yén usaha sasarua-saruana percobaan dina data non-eksperimen; tingali surah 2). Sajaba mangpaat etika, ngaganti tina eksperimen keur studi non-eksperimen oge nyandak peneliti mun diajar perlakuan anu sipatna logistically bisa nyebarkeun. Ieu kauntungan etika jeung logistik datangna di ongkos hiji, kumaha. Kalawan percobaan alam peneliti gaduh kontrol kirang leuwih hal kawas rekrutmen pamilon, randomization, sarta sipat perlakuan. Contona, hiji watesan curah hujan sakumaha perlakuan anu mangrupa hal anu duanana naek positivity sarta nurun negativity. Dina pangajaran eksperimen, kumaha oge, Kramer sareng kolega Anjeun éta bisa ngaluyukeun positivity na negativity mandiri. Tilikan sabagean dipake ku Lorenzo Coviello et al. (2014) satuluyna elaborated ku L. Coviello, Fowler, and Franceschetti (2014) . Pikeun hiji bubuka nepi variabel instrumental, nu pendekatan dipaké ku Lorenzo Coviello et al. (2014) , tingali Angrist and Pischke (2009) (kirang formal) atanapi Angrist, Imbens, and Rubin (1996) (leuwih formal). Pikeun pangajen skeptis variabel instrumental, tingali Deaton (2010) , sarta pikeun bubuka jeung variabel instrumental kalayan instrumen lemah (hujan téh alat lemah), tingali Murray (2006) . Leuwih umum, mangrupa bubuka alus pikeun percobaan alam dirumuskeun ku Dunning (2012) , bari Rosenbaum (2002) , ( ??? ) , sarta Shadish, Cook, and Campbell (2001) nawiskeun gagasan alus ngeunaan estimasi épék kausal tanpa percobaan.

Dina watesan Sunda kadua ( "Perbaikan"), aya ilmiah sarta logistik dagang-offs nalika tempo ngarobah desain Contagion emosi ti blocking tulisan kana boosting tulisan. Contona, meureun nya éta hal yén palaksanaan teknis ti News Feed ngajadikeun éta substansi gampang ngalakukeun hiji percobaan nu tulisan anu diblokir tinimbang salah nu sipatna boosted (dicatet yén hiji percobaan ngalibetkeun blocking tina tulisan bisa dilaksanakeun salaku lapisan dina luhureun sistem News Feed tanpa butuh alterations sahiji sistem kaayaan). Ilmiah kitu, téori kajawab ku percobaan teu jelas nyarankeun hiji rarancang ngaliwatan lianna. Hanjakal, Kami teu sadar ieu panalungtikan prior penting ngeunaan merits relatif blocking jeung boosting eusi dina News Feed. Ogé, abdi geus teu katempo teuing panalungtikan ngeunaan pemurnian perlakuan sangkan aranjeunna kirang ngabahayakeun; salah iwal anu B. Jones and Feamster (2015) , anu ngemutan kasus ukur carana ngawasan Internét (a topik I bahas dina bab 6 dina hubungan jeung ulikan Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Dina istilah nu katilu Sunda ( "réduksi"), perkenalan alus pikeun analisis kakuatan tradisional anu dirumuskeun ku Cohen (1988) (buku) jeung Cohen (1992) (artikel), bari Gelman and Carlin (2014) nawarkeun pandang rada béda. covariates pre-perlakuan bisa kaasup dina rarancang jeung analisis tahap percobaan; bab 4 of Gerber and Green (2012) nyadiakeun bubuka alus mun duanana deukeut, sarta Casella (2008) nyadiakeun perlakuan nu leuwih di-jero. Téhnik make informasi pre-perlakuan ieu randomization nu umumna disebut boh diblokir desain eksperimen atawa desain eksperimen ngabedakeun lapisan (terminologi henteu dipaké konsistén sakuliah komunitas); téhnik ieu téh raket patalina jeung téknik sampling anu ngabedakeun lapisan dibahas dina bab 3. Tempo Higgins, Sävje, and Sekhon (2016) pikeun nu langkung lengkep ihwal cara ngagunakeun desain ieu dina percobaan masif. covariates pre-perlakuan ogé bisa kaasup dina peringkat analysis. McKenzie (2012) explores beda-di-béda pendekatan kana analisa percobaan sawah di gede jéntré. Tempo Carneiro, Lee, and Wilhelm (2016) pikeun leuwih lengkep dina perdagangan-offs antara deukeut béda pikeun ngaronjatkeun precision dina perkiraan tina épék perlakuan. Tungtungna, nalika mutuskeun nyoba kaasup covariates pre-perlakuan dina tahap design atawa analisis (atawa duanana), aya sababaraha faktor mertimbangkeun. Dina setting tempat peneliti rék némbongkeun yén maranéhna henteu "fishing" (Humphreys, Sierra, and Windt 2013) , ngagunakeun covariates pre-perlakuan dina peringkat design tiasa mantuan (Higgins, Sävje, and Sekhon 2016) . Dina situasi di mana peserta anjog sequentially, utamana percobaan widang online, ngagunakeun informasi pre-perlakuan dina peringkat design meureun hésé logistically; tingali, contona, Xie and Aurisset (2016) .

Eta sia nambahkeun saeutik intuisi ngeunaan naha béda-di-béda pendekatan tiasa jadi leuwih éféktif batan béda-di-hartina hiji. Loba hasil online gaduh varian kacida luhurna (tingali misalna, RA Lewis and Rao (2015) jeung Lamb et al. (2015) ) jeung anu rélatif stabil leuwih waktos. Dina hal ieu, skor robah kudu varian substansi leutik, ngaronjatna kakuatan tina uji statistik. Hiji alesan pendekatan ieu teu dipake deui mindeng éta saméméh umur digital, acan umum boga hasil pre-perlakuan. Hiji cara nu leuwih kongkrit keur mikir ngeunaan ieu téh mun ngabayangkeun hiji percobaan pikeun ngukur naha a rutin latihan husus ngabalukarkeun leungitna beurat. Lamun ngadopsi béda-di-hartosna pendekatan, estimasi anjeun bakal boga variability timbul ti variability dina timbangan dina populasi. Upami Sadérék béda-di-béda pendekatan kitu, eta variasi kajadian sacara alami dina timbangan anu dipiceun, sarta anjeun bisa leuwih gampang ngadeteksi béda disababkeun ku perlakuan.

Tungtungna, kuring dianggap nambahkeun hiji R kaopat: "repurpose". Hartina, lamun peneliti manggihan diri kalayan data leuwih eksperimen ti aranjeunna kedah alamat sual panalungtikan aslina maranéhanana, maranéhanana kudu repurpose data pikeun nanyakeun anyar. Contona, ngabayangkeun yén Kramer sareng kolega Anjeun kungsi dipaké béda-di-béda estimator sarta kapanggih sorangan ku data leuwih ti aranjeunna diperlukeun pikeun alamat sual panalungtikan maranéhanana. Tinimbang teu ngagunakeun data kana extent fullest, aranjeunna bisa geus diajarkeun ukuran tina pangaruh salaku fungsi ekspresi emosi pre-perlakuan. Sagampil Schultz et al. (2007) kapanggih yen efek perlakuan éta béda pikeun pamaké lampu jeung beurat, sugan efek tina Feed News éta béda pikeun jalma nu geus biasana posting seratan senang (atawa hanjelu). Repurposing bisa ngakibatkeun "fishing" (Humphreys, Sierra, and Windt 2013) jeung "p-Hacking" (Simmons, Nelson, and Simonsohn 2011) , tapi ieu anu sakitu legana addressable kalayan kombinasi ngalaporkeun jujur (Simmons, Nelson, and Simonsohn 2011) , pre-pendaptaran (Humphreys, Sierra, and Windt 2013) , jeung métode mesin learning nu nyobian ulah leuwih-pas.