katrangan luwih

Bagean iki dirancang kanggo digunakake minangka referensi, tinimbang kanggo maca minangka narasi.

• Pambuka (Section 4.1)

Pitakonan bab causality ing riset sosial asring Komplek lan ruwet. Kanggo pendekatan dhasar kanggo causality adhedhasar gambar Indonésia, ndeleng Pearl (2009) , lan kanggo pendekatan dhasar adhedhasar kasil potensial, ndeleng Imbens and Rubin (2015) (lan sesambungan technical ing bab iki). Kanggo comparison antarane loro iki cedhak, ndeleng Morgan and Winship (2014) . Kanggo pendekatan formal kanggo mesthi confounder, waca VanderWeele and Shpitser (2013) .

Ing bab, aku digawe apa ketoke kaya baris padhang antarane kemampuan kita kanggo nggawe prakiraan nyebabake saka data eksperimen lan non-jajalan. Ing kasunyatan, aku sing bédané punika blurrier. Contone, wong nampa sing udud nimbulaké kanker sanadyan kita wis tau rampung eksprimen kontrol randomized sing pasukan wong ngudhut. Kanggo banget pangobatan dawa buku ing nggawe prakiraan nyebabake saka data non-eksperimen ndeleng Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , lan Dunning (2012) .

Bab 1 lan 2 saka Freedman, Pisani, and Purves (2007) kurban sing wiwitan cetha menyang beda antarane nyobi, nyobi kontrol, lan randomized nyobi kontrol.

Manzi (2012) menehi introduksi narik lan diwaca menyang kliru filsafat lan statistik saka nyobi kontrol randomized. Iku uga menehi menarik conto nyata-donya saka kuwasane pacobèn ing bisnis.

• Apa sing nyobi? (Section 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) nyedhiyani nepangaken apik kanggo aspèk statistik saka desain eksperimen lan analisis. Luwih, ana pangobatan banget nggunakake nyobi ing akeh kothak beda: ekonomi (Bardsley et al. 2009) , Sosiologi (Willer and Walker 2007; Jackson and Cox 2013) , psikologi (Aronson et al. 1989) , Ilmu politik (Morton and Williams 2010) , lan privasi sosial (Glennerster and Takavarasha 2013) .

Pentinge peserta recruitment (eg, sampling) asring ing-ngormati ing riset eksperimen. Nanging, yen efek saka perawatan heterogen ing populasi, banjur sampling kritis. Longford (1999) damel titik iki cetha nalika panyengkuyung kanggo peneliti mikir nyobi minangka survey populasi karo sampling haphazard.

• Two dimensi saka nyobi: Lab-lapangan lan analog-digital (Section 4.3)

The Mbok aku presented antarane Lab lan lapangan nyobi punika dicokot Sederhana. Ing kasunyatan, peneliti liyane wis ngajokaken typologies luwih rinci, ing gedhe-gedhe sing wis misahake macem-macem formulir nyobi lapangan (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Luwih, ana rong jinis nyobi dileksanakake dening ilmuwan sosial sing ora pas rapi menyang Lab lan lapangan Mbok:. Nyobi survey lan nyobi sosial nyobi Survey sing nyobi nggunakake fasilitas saka survey ana lan mbandhingaké respon kanggo versi alternatif saka pitakonan padha (sawetara nyobi survey sing presented ing Bab 3); luwih ing nyobi survey ndeleng Mutz (2011) . nyobi sosial sing nyobi ngendi perawatan sawetara privasi sosial sing mung bisa dipun ginakaken dening pamaréntah. nyobi Social gegandhèngan cerak program evaluasi. Kanggo luwih ing nyobi privasi, ndeleng Orr (1998) , Glennerster and Takavarasha (2013) , lan Heckman and Smith (1995) .

A sawetara makalah wis dibandhingake Lab lan lapangan nyobi ing Abstrak (Falk and Heckman 2009; Cialdini 2009) lan ing syarat-syarat kasil eksperimen tartamtu ing ilmu politik (Coppock and Green 2015) , ekonomi (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) lan psikologi (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) nawakake desain riset becik kanggo mbandingaken asil saka Lab lan lapangan nyobi.

Uneg-uneg bab peserta ganti prilaku sing amarga padha ngerti kang rapet diamati sing kadhangkala disebut efek dikarepake, lan padha wis sinau psikologi (Orne 1962) lan ekonomi (Zizzo 2009) . Senajan biasane digandhengake karo nyobi Lab, iki masalah padha bisa nimbulaké masalah kanggo nyobi lapangan uga. Ing kasunyatan, efek dikarepake uga kadhangkala disebut efek Hawthorne, istilah sing dijupuk saka èksperimèn lapangan, khusus nyobi katerangan misuwur sing wiwit taun 1924 ing Hawthorne Works saka Western Electric Company (Adair 1984; Levitt and List 2011) . Loro-lorone efek dikarepake lan efek Hawthorn sing gegandhèngan cerak karo idea saka pangukuran reaktif rembugan ing Pasal 2 (pirsani uga Webb et al. (1966) ).

Sajarah nyobi lapangan wis diterangake ing ékonomi (Levitt and List 2009) , ilmu politik (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psikologi (Shadish 2002) , lan privasi umum (Shadish and Cook 2009) . Salah wilayah ing babagan èlmu sosial ngendi nyobi lapangan cepet dadi penting iku pembangunan internasional. Kanggo review positif saka sing karya ing ékonomi ndeleng Banerjee and Duflo (2009) , lan kanggo Assessment kritis ndeleng Deaton (2010) . Kanggo review karya iki ing ilmu politik ndeleng Humphreys and Weinstein (2009) . Akhire, tantangan sopan melu karo nyobi lapangan nelik ing ilmu politik (Humphreys 2015; Desposato 2016b) lan ekonomi pembangunan (Baele 2013) .

Ing bab, aku disaranake sing Alexa wis perawatan bisa digunakake kanggo nambah tliti efek perawatan kira-kira, nanging ana sawetara debat babagan pendekatan: Freedman (2008) , Lin (2013) , lan Berk et al. (2013) ; ndeleng Bloniarz et al. (2016) kanggo informasi luwih lengkap.

• Obah ngluwihi nyobi prasaja (Section 4.4)

Aku wis milih fokus ing konsèp: sah, beda-beda saka efek perawatan, lan mekanisme. konsep iki duwe jeneng liya ing kothak beda. Contone, psikolog kathah mindhah ngluwihi nyobi prasaja dening ngarahke ing mediator lan moderator (Baron and Kenny 1986) . Ing idea mediator dijupuk dening apa aku nelpon mekanisme, lan idea kang moderator dijupuk dening apa aku nelpon sah external (eg, bakal asil eksperimen punika beda yen iki mbukak ing macem-macem kahanan) lan beda-beda saka efek perawatan ( eg, sing efek luwih gedhe kanggo sawetara wong saka wong liya).

Saka antarane Schultz et al. (2007) nuduhake carane teori bisa digunakake kanggo desain campur efektif. Kanggo pitakonan sing luwih umum bab peran saka teori ing ngrancang campur efektif, ndeleng Walton (2014) .

• Sah (Section 4.4.1)

Konsep sah internal lan eksternal sepisanan dikenalaké ing Campbell (1957) . Waca Shadish, Cook, and Campbell (2001) kanggo sajarah luwih rinci lan elaboration ati saka sah kesimpulan statistik, sah internal, mbangun sah, lan sah external.

Kanggo ringkesan masalah kanggo sah kesimpulan statistik ing nyobi ndeleng Gerber and Green (2012) (kanggo perspektif ilmu sosial) lan Imbens and Rubin (2015) (kanggo perspektif statistik). Sawetara masalah sah kesimpulan statistik sing njedhul khusus ing nyobi lapangan online kalebu masalah kayata cara komputasi efisien kanggo nggawe interval kapercayan karo data gumantung (Bakshy and Eckles 2013) .

sah Internal bisa angel kanggo mesthekake ing nyobi lapangan Komplek. Waca, contone, Gerber and Green (2000) , Imai (2005) , lan Gerber and Green (2005) kanggo debat babagan penyelenggaraan jajalan lapangan Komplek babagan pilihan. Kohavi et al. (2012) lan Kohavi et al. (2013) nyedhiyani introduksi menyang tantangan sah interval ing nyobi lapangan online.

Siji badhan utama karo kesahihan internal punika masalah karo randomization. Salah siji cara kanggo duweni potensi ndeteksi masalah karo randomization punika kanggo mbandhingaké perawatan lan kontrol kelompok ing sipat katon. Iki jenis comparison diarani mriksa imbangan. Waca Hansen and Bowers (2008) kanggo pendekatan statistik Balance kir, lan ndeleng Mutz and Pemantle (2015) kanggo uneg-uneg babagan kir imbangan. Contone, nggunakake imbangan mriksa Allcott (2011) ketemu sing ana bukti-bukti menawi randomization iki ora ginakaken bener ing telu saka nyobi ing sawetara nyobi OPower (ndeleng Tabel 2; Camping 2, 6, lan 8). Kanggo cedhak liyane, waca Imbens and Rubin (2015) , 21.

uneg-uneg utama related kanggo sah internal sing: 1) siji-sisi non-selaras, ning grup perawatan ora everyone pikantuk perawatan, 2) loro sisi non-selaras, ning grup perawatan ora everyone ditampa perawatan lan sawetara wong ing klompok kontrol nampa perawatan, 3) attrition, ngendi kasil sing ora diukur kanggo sawetara peserta, lan 4) campur tangan, ngendi perawatan kutah liwat saka wong ing kawontenan perawatan kanggo wong ing kawontenan kontrol. Waca Gerber and Green (2012) Bab 5, 6, 7, lan 8 liyane ing saben masalah iki.

Kanggo luwih ing sah nbangun, ndeleng Westen and Rosenthal (2003) , lan kanggo liyane sing sah nbangun ing sumber data amba, Lazer (2015) lan Chapter 2 buku iki.

Siji aspek saka sah external punika setelan ngendi sing melu-melu wis dites. Allcott (2015) menehi perawatan teori lan empiris ati Bias situs pilihan. Jeksa Agung bisa ngetokake iki uga rembugan ing Deaton (2010) . Saliyane kang replicated ing akeh, ing Home Report Energy melu uga wis independen sinau dening macem-macem kelompok riset (eg, Ayres, Raseman, and Shih (2013) ).

• Beda-beda saka efek perawatan (Section 4.4.2)

Kanggo ringkesan banget beda-beda saka efek perawatan ing nyobi lapangan, ndeleng Bab 12 of Gerber and Green (2012) . Kanggo nepangaken kanggo beda-beda saka efek perawatan ing trials medical, ndeleng Kent and Hayward (2007) , Longford (1999) , lan Kravitz, Duan, and Braslow (2004) . Beda-beda saka efek perawatan umum fokus ing beda adhedhasar ciri wis perawatan. Yen kasengsem ing beda-beda adhedhasar kasil post-perawatan, banjur approachs liyane Komplek are needed kayata stratification principal (Frangakis and Rubin 2002) ; ndeleng Page et al. (2015) kanggo review.

Akeh peneliti ngira beda-beda saka efek perawatan nggunakake kemunduran linear, nanging cara anyar gumantung ing machine learning, contone Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , lan Athey and Imbens (2016a) .

Ana sawetara skepticism babagan panemon beda-beda saka efek amarga saka macem-macem masalah comparison lan "fishing." Ana macem-macem cedhak statistik sing bisa bantuan uneg-uneg alamat babagan kaping comparison (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Salah pendekatan kanggo uneg-uneg babagan "fishing" wis Pendhaftaran, kang dadi saya umum psikologi (Nosek and Lakens 2014) , ilmu politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , lan ékonomi (Olken 2015) .

Ing sinau saka Costa and Kahn (2013) mung setengah saka rumah tangga ing èkspèrimèn padha bisa disambung menyang informasi demografi. Readers kasengsem ing rincian lan masalah bisa kanthi analisis iki kudu nyebutake kertas asli.

• Mekanisme (Section 4.4.3)

Mekanisme sing luar biasa penting, nanging padha nguripake metu dadi angel banget kanggo sinau. Research babagan mekanisme rapet related kanggo sinau mediator psikologi (nanging pirsani uga VanderWeele (2009) kanggo panglimbang pas antarane loro gagasan). Cedhak statistik kanggo mekanisme nemokake, kayata pendekatan dikembangaké ing Baron and Kenny (1986) , sing cukup umum. Sayange, iku dadi metu sing sing tata cara gumantung ing sawetara pemanggih kuwat (Bullock, Green, and Ha 2010) lan nandhang sangsara nalika ana macem-macem mekanisme, minangka salah siji bisa nyana ing akeh kahanan (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) lan Imai and Yamamoto (2013) kurban sawetara statistik cara apik. Luwih, VanderWeele (2015) nawakake perawatan buku-dawa karo sawetara asil penting, kalebu pendekatan lengkap analisis sensitivitas.

A pendekatan kapisah fokus ing nyobi sing nyoba kanggo ngapusi mekanisme langsung (eg, menehi nelayan vitamin C). Sayange, ing akeh setelan ilmu sosial ana asring kaping mekanisme lan iku hard kanggo desain pangobatan sing ngganti siji tanpa ngganti liyane. Sawetara cedhak kanggo eksperimental mekanisme ngganti sing diterangake ing Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , lan Pirlott and MacKinnon (2016) .

Akhire, mekanisme uga duwe sejarah kang dawa ing filsafat ilmu minangka diterangake dening Hedström and Ylikoski (2010) .

• Nggunakake lingkungan ana (Section 4.5.1.1)

Kanggo luwih ing nggunakake pasinaon Correspondence lan pasinaon audit kanggo ngukur diskriminasi ndeleng Pager (2007) .

• Mbangun eksprimen dhewe (Section 4.5.1.2)

Cara sing paling umum kanggo nganakake panambahan peserta kanggo nyobi sing mbangun iku Amazon Teknik Turk (MTurk). Amarga MTurk nirokake aspèk nyobi-mbayar Lab tradisional wong kanggo ngrampungake tugas sing padha ora bakal nindakake kanggo peneliti free-akeh wis dipunwiwiti nggunakake Turkers (buruh ing MTurk) minangka peserta ing subjek manungsa nyobi ing asil data murah luwih cepet lan saka tradisional on-kampus nyobi laboratorium (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Kekuwatan paling gedhe nyobi kangge direkrut saka MTurk sing logistik: padha ngidini kanggo riset Recruit peserta cepet lan minangka needed. Déné nyobi Lab bisa njupuk minggu kanggo mbukak lan nyobi lapangan bisa njupuk sasi kanggo nyetel-up, nyobi kangge direkrut saka MTurk bisa mbukak ing dina. Contone, Berinsky, Huber, and Lenz (2012) padha bisa kanggo nganakake panambahan 400 subjek ing dina siji kanggo melu ing pacoban 8 menit. Luwih, peserta bisa direkrut kanggo sakbenere apa waé (kalebu survey lan collaboration massa, minangka rembugan ing Bab 3 lan 5). ease saka recruitment tegese peneliti bisa mbukak urutan saka nyobi gegandhengan ing kasuksesan cepet.

Sadurunge recruiting peserta saka MTurk kanggo nyobi dhewe, ana papat iku penting kanggo ngerti. First, akeh riset duwe skepticism non-tartamtu saka nyobi nglibatno Turkers. Amarga skepticism iki ora tartamtu, iku hard kanggo counter karo bukti. Nanging, sawise sawetara taun pasinaon nggunakake Turkers, kita bisa saiki sing nganakke skepticism iki ora perlu utamané. Ana wis akeh pasinaon mbandingaken Demografi saka Turkers populasi lan akeh pasinaon mbandingaken asil saka nyobi karo Turkers kanggo asil saka populasi liyane. Given kabeh karya iki, Aku sing cara paling apik kanggo mikir bab iku sing Turkers sing sampel penak cukup, akeh kaya siswa nanging rada luwih warna (Berinsky, Huber, and Lenz 2012) . Mangkono, mung minangka siswa populasi cukup kanggo sawetara nanging ora kabeh riset eksperimen, Turkers sing populasi cukup kanggo sawetara nanging ora kabeh riset. Yen sampeyan arep kanggo bisa karo Turkers, banjur iku ndadekake pangertèn kanggo maca akeh iki pasinaon komparatif lan ngerti nuansa sing.

Kapindho, peneliti wis dikembangaké paling-laku kanggo nambah sah internal nyobi Turk, lan sampeyan kudu mangerteni lan tindakake iki paling-laku (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Contone, peneliti nggunakake Turkers disaranaké kanggo nggunakake screeners kanggo mbusak peserta inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (nanging pirsani uga DJ Hauser and Schwarz (2015b) lan DJ Hauser and Schwarz (2015a) ). Yen sampeyan ora mbusak peserta inattentive, banjur sembarang efek saka perawatan bisa sakabeheng metu dening gangguan lan ditepungaké saka peserta inattentive, lan ing laku nomer peserta inattentive bisa substansial. Ing panalitén saka Huber lan kolega (2012) babagan 30% saka peserta gagal screeners manungsa waé dhasar. Masalah liyane umum karo Turkers punika peserta non-naif (Chandler et al. 2015) .

Katelu, relatif kanggo sawetara wangun liya saka nyobi digital, nyobi MTurk bisa ora ukuran; Stewart et al. (2015) prakiraan sing ing sembarang wektu tartamtu ana mung bab 7,000 wong ing MTurk.

Akhire, sampeyan kudu ngerti sing MTurk komunitas karo aturan lan aturan dhewe (Mason and Suri 2012) . Ing cara sing padha bakal nyoba kanggo mangerteni babagan budaya saka negara ngendi padha arep mbukak nyobi, sampeyan kudu nyoba kanggo ngerteni luwih akeh babagan budaya lan aturan Turkers (Salehi et al. 2015) . Lan, sampeyan kudu ngerti sing Turkers bakal ngomong bab eksprimen yen apa soko boten cecek utawa UNETHICAL (Gray et al. 2016) .

MTurk iku sawijining cara luar biasa trep kanggo nganakake panambahan peserta kanggo nyobi, apa lagi Lab-kaya, kayata Huber, Hill, and Lenz (2012) , utawa luwih lapangan-kaya, kayata Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , lan Mao et al. (2016) .

• Mbangun produk dhewe (Section 4.5.1.3)

Yen sampeyan mikir nyoba kanggo nggawe produk dhewe, Aku nyaranake sing maca saran ana dening grup MovieLens ing Harper and Konstan (2015) . A kaweruh tombol saka pengalaman sing sing kanggo saben project sukses ana akeh, akeh gagal. Contone, grup MovieLens dibukak produk kayata GopherAnswers sing padha lengkap gagal (Harper and Konstan 2015) . Liyane saka panliti netepi nalika nyoba kanggo mbangun produk punika nyoba Edward Castronova kang kanggo mbangun game online disebut Arden. Senadyan $ 250.000 ing pendanaan, proyek punika gagal a (Baker 2008) . Projects kaya GopherAnswers lan Arden sayangé luwih umum saka proyèk kaya MovieLens. Akhire, nalika aku kandha yen aku ora ngerti samubarang peneliti sing wis kasil dibangun produk kanggo pacobèn bola kene kritéria sandi: 1) peserta nggunakake prodhuk amarga saka apa menehi (eg, lagi ora mbayar lan lagi ora sukarelawan ngewangi ilmu) lan 2) produk wis digunakake kanggo luwih saka siji eksprimen béda (IE, ora eksperimen padha kaping pirang-pirang karo pools peserta beda). Yen sampeyan ngerti conto liyane, mugi kula ngerti.

• Partner karo kuat (Section 4.5.2)

Aku wis krungu gagasan Quadrant Pasteur kang rembugan seneng ing perusahaan tech, lan mbantu ngatur efforts riset ing Google (Spector, Norvig, and Petrov 2012) .

Bond lan sinau kolega ' (2012) uga usaha kanggo ndeteksi efek saka pangobatan ing kanca wong kang nampa wong-wong mau. Amarga saka desain eksperimen punika, spillovers iki angel kanggo ndeteksi cleanly; nonton interested kudu ndeleng Bond et al. (2012) kanggo dhiskusi luwih jero. Eksprimen iki bagéan saka tradisi dawa saka nyobi ing ilmu politik ing efforts kanggo kasurung pilihan (Green and Gerber 2015) . nyobi njaluk-metu-the-voting iki umum ing sisih amarga lagi ing Pasteur kang Quadrant. Sing, ana akeh wong sing motivasi kanggo nambah pilihan lan pilihan bisa dadi prilaku menarik kanggo nyoba teori sing luwih umum bab owah-owahan prilaku lan pengaruh sosial.

Peneliti liyane wis kasedhiya saran babagan mlaku nyobi lapangan karo organisasi partner kayadéné partai pulitik, LSM, lan bisnis (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Wong wis ana saran bab carane kekancan karo organisasi bisa impact designs riset (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership uga bisa mimpin kanggo pitakonan sopan (Humphreys 2015; Nickerson and Hyde 2016) .

• Desain saran (Section 4.6)

Yen sampeyan arep nggawe rencana analisis sadurunge mlaku eksprimen, Aku suggest sing miwiti maca pedoman Reporting. Permaisuri (nggabungake Standard Reporting saka Trials) pedoman ingkang ngrembaka ing medicine (Schulz et al. 2010) lan diowahi riset sosial (Mayo-Wilson et al. 2013) . A pesawat related pedoman wis dikembangaké déning editor ing Journal of Experimental Ilmu Politik (Gerber et al. 2014) (pirsani uga Mutz and Pemantle (2015) lan Gerber et al. (2015) ). Akhire, pedoman nglaporake wis dikembangaké ing psikologi (Group 2008) , lan ndeleng uga Simmons, Nelson, and Simonsohn (2011) .

Yen sampeyan nggawe rencana analisis sampeyan kudu nimbang wis ndhaftar iku amarga wis registrasi bakal nambah kapercayan sing liyane duwe in asil. Luwih, yen nggarap partner, bakal matesi kemampuan partner kanggo ngganti analisis sawise mirsani asil. Pre-Pendhaftaran dadi saya umum psikologi (Nosek and Lakens 2014) , ilmu politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , lan ékonomi (Olken 2015) .

Nalika nggawe rencana wis analisis sampeyan kudu weruh sing sawetara peneliti uga nggunakake kemunduran lan cedhak related kanggo nambah tliti efek perawatan kira-kira, lan ana sawetara debat babagan pendekatan: Freedman (2008) , Lin (2013) , lan Berk et al. (2013) ; ndeleng Bloniarz et al. (2016) kanggo informasi luwih lengkap.

Desain saran khusus kanggo nyobi lapangan online uga presented ing Konstan and Chen (2007) lan Chen and Konstan (2015) .

• Nggawe nul data biaya global (Section 4.6.1)

Kanggo luwih ing nyobi MusicLab, ndeleng Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , lan Salganik (2007) . Kanggo luwih ing juara-njupuk-kabeh pasar, weruh Frank and Cook (1996) . Kanggo liyane untangling luck lan skill liyane umume, ndeleng Mauboussin (2012) , Watts (2012) , lan Frank (2016) .

Ana liyane pendekatan kanggo mbusak pembayaran peserta sing peneliti kudu nggunakake kanthi ati-ati: conscription. Ing akeh nyobi lapangan online peserta Sejatine mlebet menyang nyobi lan tau menehi ganti rugi. Conto iki pendekatan kalebu Restivo lan van de Rijt kang (2012) eksprimen ing ganjaran ing Wikipedia lan Bond lan rowange kang (2012) eksprimen ing nyemangati wong kanggo milih. Percobaan-percobaan iki ora duwe nul biaya global, padha duwe nul global biaya kanggo peneliti. Malah sanadyan biaya akeh nyobi iki arang banget cilik kanggo saben peserta, biaya cilik dileksanakake nomer gedhe tenan saka peserta bisa nambah munggah cepet. Peneliti mlaku nyobi online massive asring mbecikake pentinge efek perawatan kira cilik menèh iki efek cilik bisa dadi penting nalika Applied kanggo wong akeh. Pikiran pas padha ditrapake kanggo biaya sing peneliti nemtokke peserta. Yen nyobi marakké siji yuta wong sampah siji menit, eksprimen ora banget mbebayani kanggo wong tartamtu, nanging ing jumlah ongko iku wis boroske meh rong taun wektu.

Pendekatan liyane kanggo nggawe pembayaran biaya global nul kanggo peserta kanggo nggunakake lotre, pendekatan sing uga wis digunakake ing panaliten survey (Halpern et al. 2011) . Akhire, kanggo liyane babagan ngrancang nyenengake user-pengalaman ndeleng Toomim et al. (2011) .

• Ganti, Lumajang, lan Ngurangi (Section 4.6.2)

Kene dhéfinisi asli saka telung R, saka Russell and Burch (1959) :

"Replacement tegese substitusi kanggo sadar urip kéwan luwih saka materi insentient. Abang tegese abang ing nomer saka kéwan digunakake kanggo njupuk informasi saka jumlah tartamtu lan tliti. Refinement tegese nyuda ing kedadean sing ora dikarepke utawa keruwetan tata cara perikemanusiaan Applied kanggo sing kéwan kang isih kudu digunakake. "

Telu R kang aku propose ora nolak prinsip sopan diterangake ing Bab 6. Luwih, lagi versi liyane elaborated siji sing prinsip-beneficence-khusus kanggo setelan saka nyobi manungsa.

Nalika ngelingi contagion Emosi, ana telung masalah non-sopan kanggo mbudidaya nalika panjurubasan èkspèrimèn punika. First, iku ora cetha kepriyé rincian nyata eksperimen nyambung menyang claims teori; ing tembung liyane, ana pitakonan sing sah nbangun. Iku ora cetha yen counts tembung positif lan negatif sing bener Indikator apik saka emosi negara peserta amarga 1) iku ora cetha yen tembung sing ngirim wong sing Indikator apik saka emosi lan 2) iku ora cetha sing teknik analisis sentimen tartamtu sing peneliti digunakake bisa andal infer emosi (Beasley and Mason 2015; Panger 2016) . Ing tembung liyane, ana uga dadi langkah ala saka sinyal prasongko. Kapindho, desain lan analisis eksperimen punika nyariosaken dhateng kita apa-apa bab sing paling pengaruh (IE, ana analisis saka beda-beda saka efek perawatan) lan apa mekanisme uga. Ing kasus iki, peneliti wis persil saka informasi bab peserta, nanging padha ateges dianggep minangka widget ing analisis. Katelu, ukuran efek ing èkspèrimèn iki cilik; prabédan antarane kahanan perawatan lan kontrol kira 1 ing 1000 words. Ing koran sing, Kramer lan kolega nggawe cilik sing èfèk ukuran iki penting amarga atusan yuta wong ngakses News sing Feed saben dina. Ing tembung liyane, kanthi pendhapat bilih malah efek sing cilik kanggo saben wong padha amba ing kanthi jumlah ongko. Malah yen padha nampa pitakonan iki, iku isih ora cetha yen efek saka ukuran iki wigati ngenani pitakonan ngelmu sing luwih umum bab contagion emosi. Kanggo luwih ing kahanan efek cilik sing penting ndeleng Prentice and Miller (1992) .

Ing babagan R pisanan (Replacement), mbandingaken Emosi contagion jajalan (Kramer, Guillory, and Hancock 2014) lan contagion emosi jajalan alam (Coviello et al. 2014) nawakake sawetara piwulang umum bab perdagangan-offs melu karo obah saka nyobi kanggo nyobi alam (lan cedhak kaya cocog sing nyoba kanggo wiyar nyobi ing data non-eksperimen, ndeleng Bab 2). Saliyane ing keuntungan sopan, ngoper saka eksperimen kanggo pasinaon non-eksperimen uga ngijini kanggo riset sinau pangobatan sing lagi logistically Tukang masang. Iki keuntungan sopan lan logistik teka ing biaya, nanging. Kanthi nyobi alam peneliti duwe kontrol kurang luwih iku kaya recruitment peserta, randomization, lan alam perawatan. Contone, salah siji watesan saka banyu udan minangka perawatan iku loro mundhak positif lan sudo negativity. Ing sinau eksperimen, ananging, Kramer lan kolega padha bisa nyetel positif lan negativity independen.

Pendekatan tartamtu digunakake dening Coviello et al. (2014) iki luwih elaborated ing Coviello, Fowler, and Franceschetti (2014) . Kanggo introduksi kanggo kemungkinan instrumental ndeleng Angrist and Pischke (2009) (kurang formal) utawa Angrist, Imbens, and Rubin (1996) (more formal). Kanggo kaweruh mamang variabel instrumental ndeleng Deaton (2010) , lan kanggo pengantar variabel karaoke instruments banget (udan iku piranti banget), ndeleng Murray (2006) .

Luwih umum, sing wiwitan apik kanggo nyobi alam Dunning (2012) , lan Rosenbaum (2002) , Rosenbaum (2009) , lan Shadish, Cook, and Campbell (2001) kurban gagasan apik ngitung efek nyebabake tanpa nyobi.

Ing istilah saka R kapindho (refinement), ana ngelmu lan logistik perdagangan-offs nalika ngelingi ganti desain contagion Emosi saka Watesan kiriman kanggo ningkatake kiriman. Contone, bisa dadi cilik sing implementasine technical saka News Feed ndadekake iku mesti luwih gampang apa eksprimen karo Watesan postingan tinimbang eksprimen karo ningkatake kiriman (Wigati sing eksprimen karo Watesan kiriman bisa dipun ginakaken minangka lapisan ing ndhuwur sistem News Feed tanpa perlu kanggo perubahan saka sistem ndasari). Scientifically, Nanging, téori ono kanthi èkspèrimèn durung cetha suggest siji desain liwat liyane.

Sayange, Aku ora weruh riset sadurunge substansial bab manfaat relatif saka Watesan lan ningkatake isi ing News Feed. Uga, Aku wis ora katon akeh riset babagan panyulingan pangobatan kanggo nggawe wong kurang mbebayani; siji istiméwa punika Jones and Feamster (2015) , kang nganggep cilik pangukuran censorship Internet (topik Aku ngrembag ing Bab 6 ing sesambetan kanggo sinau Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Ing istilah saka pihak R (abang), sing wiwitan apik kanggo analisis daya tradisional Cohen (1988) . covariates Pre-perawatan bisa kalebu ing tataran desain lan tataran analisis nyobi; Bab 4 of Gerber and Green (2012) menehi introduksi apik kanggo loro cedhak, lan Casella (2008) menehi perawatan liyane ing-ambane. Techniques sing nggunakake informasi wis perawatan iki ing randomization sing biasane diarani diblokir designs eksperimen utawa designs eksperimen stratified (terminologi ora digunakake terus-terusan tengen komunitas); Techniques iki rumiyin related kanggo Techniques sampling ing stratified rembugan ing Bab 3. Waca Higgins, Sävje, and Sekhon (2016) kanggo liyane nggunakake designs iki ing nyobi massive. Covariates Pre-perawatan uga bisa kalebu ing tataran analisis. McKenzie (2012) nylidiki prabédan-in-beda pendekatan kanggo nganalisa nyobi lapangan ing luwih rinci. Waca Carneiro, Lee, and Wilhelm (2016) kanggo liyane ing perdagangan-offs antarane cedhak beda kanggo nambah tliti ing prakiraan saka efek perawatan. Akhire, nalika panentu apa kanggo nyoba kanggo kalebu covariates wis perawatan ing tataran desain utawa analisis (utawa loro-loroné), ana sawetara faktor kanggo nimbang. Ing setelan ngendi peneliti pengin nuduhake yen padha ora "fishing" (Humphreys, Sierra, and Windt 2013) , nggunakake covariates wis perawatan ing tataran desain bisa mbiyantu (Higgins, Sävje, and Sekhon 2016) . Ing kahanan peserta teka sequentially, nyobi lapangan utamané online, nggunakake informasi wis perawatan ing tataran desain uga angel logistically, ndeleng contone Xie and Aurisset (2016) .

Iku worth nambahake dicokot saka roso bab apa prabédan-in-beda bisa dadi luwih efektif saka prabédan-in-liya. Akeh kasil online duwe bedo banget dhuwur (ndeleng conto, Lewis and Rao (2015) lan Lamb et al. (2015) ) lan sing relatif stabil liwat wektu. Ing kasus iki, skor pangowahan bakal bedo mesti cilik, nambah daya saka test statistik. Siji alesan iki nyedhaki ora digunakake liyane asring sing sadurunge umur digital iku ora umum kanggo duwe kasil wis perawatan. A cara liyane konkrit kanggo mikir bab iku kanggo mbayangno eksprimen kanggo ngukur apa tumindake ngleksanani tartamtu nimbulaké pamudhunan bobot awak. Yen sampeyan apa prabédan-in-liya pendekatan, ngira bakal duwe variable sing rawuh saka variable ing bobot ing populasi. Yen sampeyan apa pendekatan prabédan-in-prabédan, Nanging, sing jenis alami ing bobot bakal dibusak lan sampeyan bisa luwih gampang ndeteksi prabédan disebabake perawatan.

Salah siji cara penting kanggo ngurangi jumlah peserta ing èkspèrimèn punika tumindak analisis daya, kang Kramer lan kolega bisa wis rampung adhedhasar ukuran efek diamati saka eksprimen alam dening Coviello et al. (2014) utawa sadurungé riset non-eksperimen kanthi Kramer (2012) (in kasunyatan iki ana aktivitas ing mburi bab iki). Kabar sing nggunakake iki analisis daya punika dicokot beda saka khas. Ing umur analog, peneliti umume iya analisis daya kanggo nggawe manawa sinau ora cilik banget (IE, ing-powered). Saiki, Nanging, peneliti kudu nindakake analisis daya kanggo nggawe manawa sinau ora amba banget (IE, liwat-powered).

Akhire, aku dianggep nambahake R papat: repurpose. Sing, yen peneliti nemokake piyambak karo data liyane eksperimen saka padha kudu alamat Pitakonan riset asli, padha kudu repurpose data takon pitakonan anyar. Contone, mbayangno sing Kramer lan kolega wis digunakake prabédan-in-beda estimator lan ketemu piyambak karo liyane data saka needed kanggo alamat pitakonan riset sing. Luwih saka ora nggunakake data menyang ombone kebekan, iku bisa sinau ukuran efek minangka fungsi pra-perawatan expression emosi. Kaya Schultz et al. (2007) ditemokake yen efek saka perawatan iki beda kanggo kedhaftar cahya lan abot, mbok menawa efek saka Feed News padha beda kanggo wong-wong sing wis niat kanggo ngirim pesen seneng (utawa nelangsa). Repurposing bisa mimpin kanggo "fishing" (Humphreys, Sierra, and Windt 2013) lan "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , nanging iki sing umumé addressable karo kombinasi Reporting jujur (Simmons, Nelson, and Simonsohn 2011) , wis Pendhaftaran (Humphreys, Sierra, and Windt 2013) , lan cara machine learning sing nyoba kanggo supaya liwat-fitting.