commentary salajengna

Bagian ieu dirarancang pikeun dipaké minangka rujukan, tinimbang jadi maca salaku naratif a.

• Bubuka (Bagéan 4.1)

Patarosan ngeunaan kausalitas dina panalungtikan sosial mindeng rumit sarta intricate. Pikeun pendekatan foundational ka kausalitas dumasar kana grafik kausal, tempo Pearl (2009) , jeung pendekatan foundational dumasar kana hasil poténsi, tempo Imbens and Rubin (2015) (jeung lampiran téhnis dina bagean ieu). Keur babandingan antara dua deukeut ieu, tempo Morgan and Winship (2014) . Pikeun pendekatan formal ka watesan confounder, tempo VanderWeele and Shpitser (2013) .

Dina bab, Kuring nyiptakeun naon seemed kawas garis caang antara kamampuh urang nyieun perkiraan kausal ti data ékspérimén jeung non-percobaan. Dina kanyataanana, Jigana nu bedana blurrier. Contona, everyone narima yen roko ngabalukarkeun kanker sanajan urang geus kungsi dipigawé hiji percobaan dikawasa randomized nu Angkatan jalma ngaroko. Keur alus teuing perlakuan panjang buku dina nyieun perkiraan kausal ti data non-percobaan tempo Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , jeung Dunning (2012) .

Bab 1 jeung 2 Freedman, Pisani, and Purves (2007) nawarkeun bubuka jelas kana béda antara percobaan, percobaan dikawasa, sarta randomized percobaan dikawasa.

Manzi (2012) nyadiakeun bubuka matak jeung bisa dibaca kana underpinnings filosofis jeung statistical percobaan dikawasa randomized. Ogé nyadiakeun metot conto real-dunya kakawasaan experimentation di bisnis.

• Naon nu percobaan? (Bagéan 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) nyadiakeun perkenalan alus aspék statistical desain percobaan jeung analisis. Salajengna, aya perlakuan alus teuing tina pamakéan percobaan dina loba widang béda: ékonomi (Bardsley et al. 2009) , Sosiologi (Willer and Walker 2007; Jackson and Cox 2013) , psikologi (Aronson et al. 1989) , Élmu pulitik (Morton and Williams 2010) , sarta kawijakan sosial (Glennerster and Takavarasha 2013) .

Pentingna pamilon rekrutmen (misalna sampling) mindeng dina-ngaapresiasi dina panalungtikan ékspérimén. Tapi, lamun pangaruh perlakuan nu heterogen dina populasi, mangka sampling nyaeta kritis. Longford (1999) ngajadikeun titik ieu jelas sabot ngabela pikeun panalungtik pamikiran percobaan salaku survey populasi jeung sampling haphazard.

• Dua dimensi percobaan: lab-widang jeung analog-digital (Bagéan 4.3)

Nu dikotomi mah dibere antara lab jeung widang percobaan nyaeta bit a disederhanakeun. Dina kanyataan, panalungtik séjén geus diusulkeun typologies leuwih lengkep, dina leuwih husus anu misahkeun rupa bentuk percobaan widang (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Salajengna, aya dua tipe séjén percobaan dipigawé ku élmuwan sosial nu teu cocog rapih kana lab jeung widang dikotomi:. Percobaan survey jeung percobaan sosial percobaan Survey nu percobaan ngagunakeun infrastruktur tina survey geus aya jeung ngabandingkeun réspon ka vérsi alternatif tina patarosan sami (sababaraha percobaan survey dibere in Chapter 3); leuwih dina percobaan survey tempo Mutz (2011) . percobaan Sosial aya percobaan mana perlakuan sababaraha kawijakan sosial nu ngan bisa dilaksanakeun ku pamaréntah. percobaan Sosial anu raket patalina jeung program evaluasi. Pikeun leuwih dina percobaan kawijakan, tempo Orr (1998) , Glennerster and Takavarasha (2013) , jeung Heckman and Smith (1995) .

A jumlah tulak geus dibandingkeun lab jeung widang percobaan di abstrak (Falk and Heckman 2009; Cialdini 2009) jeung dina watesan hasil percobaan husus dina élmu pulitik (Coppock and Green 2015) , ékonomi (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) jeung psikologi (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) nawarkeun desain panalungtikan nice pikeun ngabandingkeun hasil ti lab jeung widang percobaan.

Kasalempang pamilon ngarobah paripolah maranéhanana sabab nyaho aranjeunna keur raket observasi kadang disebut efek paménta, jeung maranehna geus diulik dina psikologi (Orne 1962) jeung ékonomi (Zizzo 2009) . Sanajan lolobana patali jeung percobaan lab, ieu isu sarua bisa ngabalukarkeun masalah pikeun percobaan widang ogé. Kanyataanna, pangaruh paménta ogé kadang disebut efek Hawthorne, hiji istilah nu asalna tina percobaan widang, husus nu percobaan katerangan kawentar nu dimimitian dina taun 1924 di Hawthorne Works tina Western Electric Company (Adair 1984; Levitt and List 2011) . Boh pangaruh paménta jeung pangaruh Hawthorn nu raket patalina jeung pamanggih ukuran réaktif dibahas dina Bab 2 (tempo ogé Webb et al. (1966) ).

Sajarah percobaan widang geus dijelaskeun dina ékonomi (Levitt and List 2009) , élmu pulitik (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psikologi (Shadish 2002) , sarta kawijakan umum (Shadish and Cook 2009) . Hiji wewengkon élmu sosial mana percobaan widang gancang jadi kawentar nyaeta tumuwuhna internasional. Keur review positif nu gawé dina ékonomi tempo Banerjee and Duflo (2009) , jeung hiji assessment kritis ningali Deaton (2010) . Keur review karya ieu dina élmu pulitik tempo Humphreys and Weinstein (2009) . Ahirna, tantangan etika aub jeung percobaan widang geus digali dina élmu pulitik (Humphreys 2015; Desposato 2016b) jeung ékonomi pangwangunan (Baele 2013) .

Dina bab, Kuring nyarankeun yen informasi pre-perlakuan bisa dipaké pikeun ngaronjatkeun precision tina pangaruh perlakuan estimasi, tapi aya sababaraha polemik ngeunaan pendekatan ieu: Freedman (2008) , Lin (2013) , jeung Berk et al. (2013) ; tempo Bloniarz et al. (2016) kanggo inpormasi lengkep.

• Pindah leuwih percobaan basajan (Bagéan 4.4)

Kuring geus dipilih ka difokuskeun tilu konsep: validitas, heterogeneity tina pangaruh perlakuan, jeung mekanisme. konsep ieu geus ngaran beda dina widang anu béda. Contona, psikolog condong pindah leuwih percobaan basajan ku fokus dina mediators jeung moderator (Baron and Kenny 1986) . Pamanggih mediators ieu kawengku ku naon atuh nelepon mekanisme, jeung pamanggih moderator ieu kawengku ku naon atuh nelepon validitas luar (misalna bakal hasil percobaan jadi beda lamun ieu ngajalankeun dina kaayaan beda) jeung heterogeneity tina pangaruh perlakuan ( misalna, nu efek badag keur sababaraha jalma ti jalma séjén).

Nu percobaan tina Schultz et al. (2007) nembongkeun kumaha teori sosial bisa dipaké pikeun ngarancang interventions éféktif. Keur argumen nu leuwih umum ngeunaan peran téori dina ngarancang interventions éféktif, tempo Walton (2014) .

• Validitas (Bagéan 4.4.1)

Konsep validitas internal jeung éksternal anu kahiji diwanohkeun dina Campbell (1957) . Tempo Shadish, Cook, and Campbell (2001) pikeun sajarah leuwih lengkep jeung elaboration ati validitas kacindekan statistik, validitas internal, nyusunna validitas, jeung validitas luar.

Pikeun tinjauan isu nu patali jeung validitas kacindekan statistical dina percobaan tempo Gerber and Green (2012) (keur sudut pandang élmu sosial) jeung Imbens and Rubin (2015) (keur sudut pandang statistical). Sababaraha isu tina validitas kacindekan statistical nu hudang husus dina percobaan widang online antarana isu saperti métode komputasi efisien keur nyiptakeun interval kapercayaan jeung data gumantung (Bakshy and Eckles 2013) .

validitas internal bisa hésé pikeun mastikeun di percobaan widang kompléks. Tempo, contona, Gerber and Green (2000) , Imai (2005) , jeung Gerber and Green (2005) pikeun polemik ngeunaan palaksanaan hiji percobaan widang kompléks ngeunaan voting. Kohavi et al. (2012) jeung Kohavi et al. (2013) nyadiakeun bubuka kana tantangan validitas interval dina percobaan widang online.

Hiji patalina jeung masalah utama jeung validitas internal nyaéta masalah randomization. Hiji cara pikeun berpotensi ngadeteksi masalah randomization nyaeta pikeun ngabandingkeun perlakuan jeung kontrol grup dina Tret observasi. Jenis ieu ngabandingkeun disebut dipariksa kasaimbangan. Tempo Hansen and Bowers (2008) keur pendekatan statistical saimbang cék, tur tingal Mutz and Pemantle (2015) pikeun kasalempang cék kasaimbangan. Contona, ngagunakeun kasaimbangan a mariksa Allcott (2011) manggihan yén aya sababaraha bukti nu randomization ieu teu dilaksanakeun bener dina tilu tina percobaan dina sababaraha percobaan OPower (tempo Daptar 2; loka 2, 6, jeung 8). Pikeun deukeut séjén, tempo Imbens and Rubin (2015) , Bab 21.

masalah utama sejenna nu berhubungan ka validitas internal nyaéta: 1) hiji-sided non-minuhan, di mana dina grup perlakuan teu dulur sabenerna narima perlakuan, 2) dua sided non-minuhan, di mana dina grup perlakuan teu everyone narima perlakuan jeung sababaraha jalma di kelompok kontrol narima perlakuan, 3) attrition, di mana hasil teu diukur keur sababaraha pamilon, jeung 4) gangguan, di mana perlakuan spills leuwih ti jalma dina kaayaan perlakuan ka urang dina kaayaan kontrol. Tempo Gerber and Green (2012) bab 5, 6, 7, jeung 8 leuwih dina unggal isu ieu.

Pikeun leuwih dina validitas nyusunna, tempo Westen and Rosenthal (2003) , jeung nu langkung lengkep ihwal validitas nyusunna dina sumber data gedé, Lazer (2015) jeung Bab 2 buku ieu.

Hiji aspék validitas luar nyaéta setting mana an pipilueun ieu dites. Allcott (2015) nyadiakeun perlakuan teoritis jeung empiris ati bias loka pamilih. Masalah ieu ogé dibahas di Deaton (2010) . Salian keur replicated dina loba loka, layar Laporan Energy campur ogé geus bebas ditalungtik ku sababaraha kelompok panalungtikan (misalna Ayres, Raseman, and Shih (2013) ).

• Heterogeneity tina pangaruh perlakuan (Bagéan 4.4.2)

Pikeun tinjauan alus teuing tina heterogeneity tina pangaruh perlakuan dina percobaan widang, tempo Bab 12 of Gerber and Green (2012) . Pikeun perkenalan ka heterogeneity tina pangaruh perlakuan dina percobaan médis, tempo Kent and Hayward (2007) , Longford (1999) , jeung Kravitz, Duan, and Braslow (2004) . Heterogeneity tina pangaruh perlakuan umumna difokuskeun béda dumasar kana ciri pre-perlakuan. Mun anjeun kabetot dina heterogeneity dumasar kana hasil post-perlakuan, mangka approachs leuwih kompleks anu diperlukeun saperti stratifikasi poko (Frangakis and Rubin 2002) ; tempo Page et al. (2015) pikeun review a.

Loba panalungtik estimasi heterogeneity tina pangaruh perlakuan ngagunakeun régrési liniér, tapi métode anyar ngandelkeun learning mesin, contona Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , jeung Athey and Imbens (2016a) .

Aya sababaraha skepticism ngeunaan papanggihan heterogeneity tina pangaruh alatan sababaraha masalah ngabandingkeun jeung "fishing." Aya rupa-rupa deukeut statistical anu bisa mantuan masalah alamat ngeunaan sababaraha ngabandingkeun (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Hiji pendekatan ka masalah ngeunaan "fishing" nyaeta pre-pandaptaran, nu jadi beuki ilahar di psikologi (Nosek and Lakens 2014) , élmu pulitik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , jeung ékonomi (Olken 2015) .

Dina pangajaran Costa and Kahn (2013) ngan kira satengah tina rumahtangga dina percobaan éta bisa jadi numbu ka informasi demografi. Pamiarsa kabetot dina wincikan jeung masalah mungkin jeung analisis ieu kudu ngarujuk ka tulisan asli.

• Mékanisme (Bagéan 4.4.3)

Mékanisme nu incredibly penting, tapi ngahurungkeun kaluar jadi hésé pisan pikeun diajar. Panalungtikan ngeunaan mekanisme raket patalina jeung ulikan mediators dina psikologi (tapi tempo ogé VanderWeele (2009) pikeun ngabandingkeun hade antara dua ide). Deukeut Statistical ka mékanisme manggihan, saperti pendekatan dimekarkeun di Baron and Kenny (1986) , anu cukup umum. Hanjakalna, tétéla yén maranéhanana prosedur gumantung kana sababaraha asumsi kuat (Bullock, Green, and Ha 2010) jeung sangsara lamun aya sababaraha mékanisme, minangka salah bisa ngaharepkeun loba kaayaan (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) jeung Imai and Yamamoto (2013) nawarkeun sababaraha métode statistik ningkat. Salajengna, VanderWeele (2015) nawarkeun perlakuan buku-panjang jeung jumlah hasil penting, kaasup pendekatan panghadena ka analisis sensitipitas.

A pendekatan misah museurkeun kana percobaan nu nyobian pikeun ngamanipulasi mékanisme langsung (misalna, mere pelaut vitamin C). Hanjakalna, loba setélan élmu sosial aya mindeng sababaraha mékanisme jeung geus teuas mendesain perlakuan nu ngarobah hiji tanpa ngarobah batur. Sababaraha deukeut ka ékspériméntal mekanisme mangaruhan nu digambarkeun dina Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , jeung Pirlott and MacKinnon (2016) .

Ahirna, mékanisme ogé boga sajarah panjang dina filsafat élmu saperti digambarkeun ku Hedström and Ylikoski (2010) .

• Maké lingkungan aya (Bagéan 4.5.1.1)

Pikeun leuwih dina pamakéan studi susuratan jeung studi Inok pikeun ngukur diskriminasi ningali Pager (2007) .

• Ngawangun percobaan Anjeun sorangan (Bagéan 4.5.1.2)

Cara nu paling umum pikeun recruit pamilon ka percobaan nu ngawangun nyaéta Amazon Mechanical Turk (MTurk). Sabab MTurk mimics aspék percobaan-Mayar lab tradisional urang pikeun ngarengsekeun tugas nu teu bakal ngalakukeun pikeun panalungtik bébas loba geus dimimitian maké Turkers (pagawe dina MTurk) salaku pamilon dina subjék manusa percobaan balukarna kumpulan data murah leuwih gancang jeung leuwih tradisional dina kampus percobaan laboratorium (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Kakuatan pangbadagna percobaan jeung pamilon direkrut ti MTurk nu logistik: maranehna ngidinan panalungtik pikeun recruit pamilon gancang sarta diperlukeun. Padahal percobaan lab bisa nyokot minggu pikeun ngajalankeun jeung percobaan widang bisa nyokot bulan pikeun ngeset-up, percobaan jeung pamilon direkrut ti MTurk bisa ngajalankeun di poé. Contona, Berinsky, Huber, and Lenz (2012) éta bisa recruit 400 subjék dina poé tunggal pikeun ilubiung dina percobaan 8 menit. Salajengna, pamilon ieu bisa direkrut keur ampir wae tujuan (kaasup survey sarta kolaborasi massa, saperti dibahas dina bab 3 jeung 5). betah ieu rekrutmen hartina panalungtik bisa ngajalankeun urutan percobaan berhubungan dina suksesi gancang.

Saméméh recruiting pamilon ti MTurk keur percobaan Anjeun sorangan, aya opat hal penting nyaho. Kahiji, loba panalungtik boga skepticism non-husus percobaan ngalibetkeun Turkers. Sabab skepticism ieu teu husus, nya éta hésé counter jeung bukti. Tapi, sanggeus sababaraha taun studi ngagunakeun Turkers, urang bisa ayeuna dicindekkeun yen skepticism ieu teu utamana diperlukeun. Aya geus loba studi ngabandingkeun demografi of Turkers ka populasi sejen tur loba studi ngabandingkeun hasil percobaan jeung Turkers ka hasil ti populasi séjén. Dibikeun sadaya karya ieu, kuring mikir yén kalawan cara anu pangalusna pikeun anjeun mikir ngeunaan eta nyaeta Turkers aya sample genah akal, loba kawas siswa tapi rada leuwih rupa-rupa (Berinsky, Huber, and Lenz 2012) . Ku kituna, sagampil siswa anu populasi akal keur sababaraha tapi teu sakabeh panalungtikan ékspérimén, Turkers aya populasi akal keur sababaraha tapi teu sakabeh panalungtikan. Upami Anjeun keur bade ngagarap Turkers, mangka ngajadikeun rasa maca loba ieu studi banding jeung ngarti nuances maranéhanana.

Kadua, panalungtik geus dimekarkeun pangalusna-lila pikeun ngaronjatkeun validitas internal percobaan Turk, jeung anjeun kudu diajar ngeunaan tur turutan ieu pangalusna-lila (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Contona, panalungtik ngagunakeun Turkers nu wanti ngagunakeun screeners nyabut pamilon inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (tapi tempo ogé DJ Hauser and Schwarz (2015b) jeung DJ Hauser and Schwarz (2015a) ). Mun anjeun teu nyabut pamilon inattentive, mangka nu mana wae nu éfék perlakuan bisa dikumbah kaluar ku noise diwanohkeun ti pamilon inattentive, sarta dina praktekna jumlah pamilon inattentive bisa penting. Dina percobaan tina Huber sareng kolega (2012) kira-kira 30% tina pamilon gagal screeners perhatian dasar. Lain masalah umum jeung Turkers nyaéta pamilon non-naif (Chandler et al. 2015) .

Katilu, relatif ka sababaraha bentuk séjén percobaan digital, percobaan MTurk teu bisa skala; Stewart et al. (2015) ngira-ngira yén iraha wae dibikeun aya ngan ngeunaan 7.000 urang dina MTurk.

Ahirna, Anjeun kudu nyaho yén MTurk nyaeta masarakat jeung aturan jeung norma sorangan (Mason and Suri 2012) . Dina cara nu sarua nu bakal anjeun nyoba manggihan ngeunaan budaya hiji nagara mana anjeun bade ngajalankeun percobaan Anjeun, Anjeun kudu nyoba manggihan nu langkung seueur ngeunaan budaya jeung norma Turkers (Salehi et al. 2015) . Jeung, Anjeun kudu nyaho yen Turkers bakal ngawangkong ngeunaan percobaan Anjeun upami Anjeun ngalakukeun hiji hal inappropriate atawa unethical (Gray et al. 2016) .

MTurk teh mangrupakeun cara nu incredibly merenah pikeun recruit pamilon ka percobaan Anjeun, boh nu sipatna lab kawas, saperti Huber, Hill, and Lenz (2012) , atawa leuwih widang kawas, saperti Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , jeung Mao et al. (2016) .

• Ngawangun produk Anjeun sorangan (Bagéan 4.5.1.3)

Upami Anjeun keur pamikiran tina nyoba nyieun produk Anjeun sorangan, kuring nyarankeun nu maca nasehat ditawarkeun ku gugus MovieLens di Harper and Konstan (2015) . A wawasan konci ti pangalaman maranéhanana nu keur unggal proyék suksés aya loba, loba gagal. Contona, grup MovieLens dibuka ogé ngahasilkeun produk séjén kawas GopherAnswers nu éta lengkep gagal (Harper and Konstan 2015) . conto sejen tina panalungtik gagal bari ngusahakeun pikeun ngawangun produk nyaéta usaha Edward Castronova pikeun ngawangun hiji game online disebut Arden. Najan $ 250.000 di waragad, proyék ieu flop a (Baker 2008) . Proyék kawas GopherAnswers jeung Arden aya hanjakalna leuwih umum batan proyék kawas MovieLens. Ahirna, lamun ceuk kuring mah teu nyaho nu mana wae panalungtik séjén anu geus junun ngawangun produk keur experimentation terus-terusan di dieu aya patokan mah: 1) pamilon make produk alatan naon nyadiakeun eta (misalna, maranéhanana teu mayar jeung maranehna teu sukarelawan nulungan élmu) jeung 2) produk geus dipaké pikeun leuwih ti hiji percobaan béda (ie, teu percobaan sarua sababaraha kali jeung pools pamilon beda). Lamun nyaho conto séjén, mangga hayu atuh nyaho.

• Rakan jeung kuat (Bagéan 4.5.2)

Kuring geus kadéngé pamanggih kuadran Pasteur sacara dibahas remen di pausahaan tech, sarta mantuan ngatur usaha panalungtikan di Google (Spector, Norvig, and Petrov 2012) .

Bond jeung pangajaran kolega ' (2012) ogé nyoba pikeun ngadeteksi pangaruh perlakuan ieu dina babaturan jalma anu narima eta. Kusabab desain percobaan, spillovers ieu hésé ngadeteksi bersih; pamiarsa museurkeun kudu ningali Bond et al. (2012) pikeun sawala leuwih teleb. Percobaan ieu mangrupa bagian ti tradisi panjang percobaan dina élmu pulitik dina usaha nyorong voting (Green and Gerber 2015) . percobaan meunang-kaluar deui-sora ieu ilahar di bagian sabab aya di Pasteur sacara kuadran. Hartina, aya loba jelema anu ngamotivasi pikeun ngaronjatkeun voting jeung voting bisa jadi paripolah metot pikeun nguji téori umum tentang parobahan paripolah jeung pangaruh sosial.

Panalungtik séjén geus disadiakeun nasihat ngeunaan ngajalankeun percobaan widang jeung organisasi pasangan saperti partéi pulitik, LSM, jeung usaha (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Batur geus ditawarkeun nasihat ngeunaan kumaha partnerships jeung organisasi bisa dampak desain panalungtikan (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership ogé bisa ngakibatkeun patarosan etika (Humphreys 2015; Nickerson and Hyde 2016) .

• Desain nasihat (Bagéan 4,6)

Lamun Anjeun bade nyieun rencana analisis saméméh ngajalankeun percobaan Anjeun, kuring nyarankeun nu ngamimitian ku maca tungtunan ngalaporkeun. Nu permaisuri (beuki kuat Standar ngalaporkeun of Percobaan) tungtunan anu dimekarkeun di ubar (Schulz et al. 2010) jeung dirobah pikeun panalungtikan sosial (Mayo-Wilson et al. 2013) . A susunan patali tina tungtunan geus dimekarkeun ku rai nu Journal of Experimental Élmu Pulitik (Gerber et al. 2014) (tempo ogé Mutz and Pemantle (2015) jeung Gerber et al. (2015) ). Ahirna, tungtunan ngalaporkeun geus dimekarkeun dina psikologi (Group 2008) , sarta tempo ogé Simmons, Nelson, and Simonsohn (2011) .

Lamun nyieun rencana analisis anjeun kudu mertimbangkeun pre-ngadaptar eta sabab pre-pandaptaran baris nambahan kayakinan yén batur geus di hasil Anjeun. Salajengna, upami anjeun gawé bareng pasangan a, bakal ngawates pangabisa pasangan Anjeun pikeun ngarobah analisis sanggeus ningali hasil. Pra-pandaptaran anu jadi beuki ilahar di psikologi (Nosek and Lakens 2014) , élmu pulitik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , jeung ékonomi (Olken 2015) .

Sedengkeun nyieun rencana pre-analysis Anjeun Anjeun kudu sadar yen sababaraha panalungtik ogé ngagunakeun regression jeung deukeut patali pikeun ngaronjatkeun precision tina pangaruh perlakuan estimasi, sarta aya sababaraha polemik ngeunaan pendekatan ieu: Freedman (2008) , Lin (2013) , jeung Berk et al. (2013) ; tempo Bloniarz et al. (2016) kanggo inpormasi lengkep.

Desain nasihat husus pikeun percobaan widang online ogé dibere di Konstan and Chen (2007) jeung Chen and Konstan (2015) .

• Jieun nol data biaya variabel (Bagéan 4.6.1)

Pikeun leuwih dina percobaan MusicLab, tempo Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , sarta Salganik (2007) . Pikeun leuwih dina meunangna-nyokot-sadaya pasar, tempo Frank and Cook (1996) . Pikeun nu langkung lengkep ihwal untangling tuah jeung skill leuwih umum, tempo Mauboussin (2012) , Watts (2012) , jeung Frank (2016) .

Aya pendekatan sejen ngaleungitkeun pangmayaran pamilon nu panalungtik kudu make jeung caution: conscription. Dina loba percobaan widang online pamilon nu dasarna drafted kana percobaan kungsi katembong. Conto pendekatan ieu di antarana Restivo jeung van de Rijt urang (2012) percobaan dina ganjaran di Wikipedia jeung Bond jeung batur sapagawean urang (2012) percobaan dina encouraging urang ngajawab. percobaan ieu teu bener geus nol biaya variabel, maranéhanana geus nol variabel ongkos ka panalungtik. Sanajan biaya loba percobaan ieu pisan leutik unggal pamilon, waragad leutik ditumpukeun nomer pisan pamilon bisa nambah nepi gancang. Panalungtik ngajalankeun percobaan online masif mindeng menerkeun pentingna éfék perlakuan ditaksir leutik ku nyebutkeun yen ieu efek leutik bisa jadi penting lamun dilarapkeun ka jalma réa. Nu pamikiran sarua pasti manglaku ka waragad nu panalungtik maksakeun dina pamilon. Lamun percobaan Anjeun ngabalukarkeun hiji juta urang runtah hiji menit, percobaan teu pohara ngabahayakeun ka jalma nu tangtu, tapi dina agrégat geus wasted ampir dua taun waktu.

Pendekatan sejen nyieun pamayaran biaya variabel nol ka pamilon anu ngagunakeun lotre, hiji pendekatan nu ogé geus dipaké dina panalungtikan survéy (Halpern et al. 2011) . Ahirna, leuwih ngeunaan ngarancang nikmat pamaké-pangalaman ningali Toomim et al. (2011) .

• Ngaganti, nyaring, sarta Ngurangan (Bagéan 4.6.2)

Di dieu aya definisi asli tilu Urang Sunda, ti Russell and Burch (1959) :

"Ngagantian hartina substitusi keur sadar hirup sato nu leuwih luhur bahan insentient. Ngurangan hartina ngurangan di nomer sato digunakeun pikeun ménta informasi jumlah dibikeun jeung precision. Perbaikan hartina nu mana wae nu panurunan dina incidence atawa severity tina prosedur inhumane dilarapkeun ka jalma sato nu masih kudu dipaké. "

Tilu Sunda sacara mah ngajukeun teu override prinsip etika dijelaskeun dina Bab 6. Mending sipatna vérsi leuwih elaborated salah sahiji jalma prinsip-beneficence-husus pikeun setting percobaan manusa.

Lamun tempo Contagion emosional, aya tilu isu non-etika tetep dina pikiran lamun alih basa percobaan ieu. Kahiji, teu jelas kumaha rincian sabenerna percobaan nyambung ka klaim teoritis; dina basa sejen, aya patarosan ngeunaan validitas nyusunna. Ieu téh teu jelas nu diitung kecap positif jeung négatif anu sabenerna indikator hade kaayaan emosi pamilon sabab 1) teu jelas yen kecap nu masangkeun urang aya indikator hade émosi maranéhanana jeung 2) teu jelas yen téhnik analisis sentimen husus yén panalungtik dipaké nyaéta bisa reliably infer émosi (Beasley and Mason 2015; Panger 2016) . Dina basa sejen, aya bisa jadi ukuran bad hiji sinyal bias. Kadua, rarancang jeung analisis percobaan ngabejaan urang nganggur ngeunaan anu paling impacted (ie, aya analisis heterogeneity tina pangaruh perlakuan) jeung naon mékanisme nu bisa jadi. Dina hal ieu, panalungtik miboga kavling informasi ngeunaan pamilon, tapi maranéhanana dasarna diperlakukeun salaku widget dina analisis. Katilu, ukuran éfék dina percobaan ieu leutik pisan; beda antara kaayaan perlakuan jeung kontrol ngeunaan 1 dina 1.000 kecap. Dina kertas maranéhanana, Kramer sareng kolega nyieun hal nu pangaruh ukuran ieu penting lantaran ratusan juta jalma ngakses News maranéhanana Gebang unggal poé. Dina basa sejen, maranehna ngajawab yén komo éfék anu leutik keur unggal jalma sipatna gede di agrégat. Komo lamun éta narima argumen ieu, masih teu jelas lamun pangaruh ukuran ieu penting ngeunaan Patarosan ilmiah umum tentang contagion emosi. Pikeun leuwih dina kaayan pangaruh leutik nu penting tempo Prentice and Miller (1992) .

Dina watesan Urang Sunda kahiji (gaganti), ngabandingkeun emosi Contagion percobaan (Kramer, Guillory, and Hancock 2014) jeung contagion emosi percobaan alami (Coviello et al. 2014) nawarkeun sababaraha palajaran umum ngeunaan dagang-offs aub jeung pindah ti percobaan ka percobaan alami (jeung deukeut séjén kawas cocog nu usaha sasarua-saruana percobaan dina data non-percobaan, tempo Bab 2). Sajaba mangpaat etika, ngaganti ti percobaan ka studi non-percobaan oge nyandak panalungtik pikeun diajar perlakuan anu sipatna logistically bisa nyebarkeun. Ieu mangpaat etika jeung logistik datang di ongkos hiji, kumaha. Jeung percobaan alami panalungtik geus kontrol kurang leuwih hal kawas rekrutmen pamilon, randomization, jeung alam perlakuan. Contona, hiji watesan tina curah hujan salaku perlakuan a nya éta boh naek positivity jeung nurun negativity. Dina pangajaran percobaan kasebut, Kramer sareng kolega éta bisa ngaluyukeun positivity jeung negativity mandiri.

Pendekatan Nu tangtu dipaké ku Coviello et al. (2014) satuluyna elaborated di Coviello, Fowler, and Franceschetti (2014) . Pikeun bubuka ka variabel instrumental tempo Angrist and Pischke (2009) (kurang formal) atawa Angrist, Imbens, and Rubin (1996) (more formal). Keur pangajen skeptis variabel instrumental tempo Deaton (2010) , sarta pikeun bubuka ka variabel instrumental jeung instrumen lemah (hujan mangrupa alat lemah), tempo Murray (2006) .

More umum, hiji bubuka nu sae pikeun percobaan alami nyaeta Dunning (2012) , jeung Rosenbaum (2002) , Rosenbaum (2009) , jeung Shadish, Cook, and Campbell (2001) nawarkeun ideu alus ngeunaan estimasi pangaruh kausal tanpa percobaan.

Dina watesan Urang Sunda kadua (Perbaikan), aya ilmiah jeung logistik dagang-offs lamun tempo ngarobah desain Contagion emosional ti blocking tulisan ka boosting tulisan. Contona, eta bisa jadi hal anu palaksanaan téhnis tina News Feed ngajadikeun eta substansi gampang pikeun ngalakukeun hiji percobaan jeung blocking tulisan tinimbang hiji percobaan kalawan boosting tulisan (dicatet yén hiji percobaan jeung blocking tulisan bisa dilaksanakeun salaku lapisan dina luhur sistim News Feed tanpa butuh alterations sistim kaayaan). Ilmiah kitu, téori kajawab ku percobaan teu jelas nyarankeun hiji rarancang leuwih séjén.

Hanjakalna, Kami teu sadar panalungtikan prior penting ngeunaan merits relatif blocking jeung boosting eusi dina News Feed. Oge, kuring geus teu katempo loba panalungtikan ngeunaan pemurnian perlakuan nyieun eta kurang ngabahayakeun; hiji iwal nyaéta Jones and Feamster (2015) , nu ngarasa kasus ukuran tina carana ngawasan Internet (topik mah ngabahas dina Bab 6 dina hubungan ka ulikan Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Dina watesan katilu R (réduksi), hiji bubuka nu sae pikeun analisis daya tradisional nyaéta Cohen (1988) . covariates Pra-perlakuan bisa kaasup kana tahap rarancang jeung tahap analisis percobaan; Bab 4 of Gerber and Green (2012) nyadiakeun bubuka alus boh deukeut, sarta Casella (2008) nyadiakeun perlakuan leuwih di-jero. Téhnik anu ngagunakeun informasi pre-perlakuan ieu randomization nu ilaharna disebut boh diblokir desain percobaan atawa desain percobaan ngabedakeun lapisan (terminologi teu dipaké konsistén sakuliah komunitas); téhnik ieu deeply patali téhnik sampling nu ngabedakeun lapisan dibahas dina Bab 3. Tempo Higgins, Sävje, and Sekhon (2016) leuwih dina ngagunakeun desain ieu di percobaan masif. Covariates Pra-perlakuan ogé bisa diasupkeun dina tahap analisis. McKenzie (2012) explores beda-di-béda pendekatan ka analisa percobaan widang di gede jéntré. Tempo Carneiro, Lee, and Wilhelm (2016) leuwih dina trade-offs antara deukeut beda pikeun ngaronjatkeun precision dina perkiraan tina pangaruh perlakuan. Ahirna, lamun mutuskeun nyoba di antarana covariates pre-perlakuan di panggung design atawa analisis (atawa duanana), aya sababaraha faktor mertimbangkeun. Dina setting mana panalungtik hayang nunjukkeun yen maranehna teu "fishing" (Humphreys, Sierra, and Windt 2013) , ngagunakeun covariates pre-perlakuan dina tahap rarancang bisa mantuan (Higgins, Sävje, and Sekhon 2016) . Dina situasi di mana peserta sumping sequentially, percobaan widang utamana online, ngagunakeun informasi pre-perlakuan dina tahap desain bisa jadi hese logistically, tempo misalna Xie and Aurisset (2016) .

Eta sia nambahan saeutik intuisi ngeunaan naha beda-di-béda bisa jadi leuwih éféktif batan béda-di-sarana. Loba hasil online geus varian pohara luhur (tempo misalna Lewis and Rao (2015) jeung Lamb et al. (2015) ) sarta rélatif stabil kana waktu. Dina hal ieu, skor robah bakal boga varian substansi leutik, ngaronjatkeun kakawasaan tes statistik. Salah sahiji alesan ieu ditilik teu dipaké leuwih sering nyaeta saméméh umur digital ieu teu ilahar boga hasil pre-perlakuan. A cara leuwih beton mikir ngeunaan eta dibayangkeun hiji percobaan pikeun ngukur naha a rutin latihan husus ngabalukarkeun leungitna beurat. Upami Sadérék nu béda-di-cara pendekatan, estimasi Anjeun bakal boga variability nu asalna ti variability dina beurat dina populasi. Upami Sadérék pendekatan beda-di-beda kitu, eta variasi kajadian alami dina beurat bakal dipupus tur Anjeun bisa leuwih gampang ngadeteksi béda disababkeun ku perlakuan.

Hiji cara penting pikeun ngurangan jumlah pamilon dina percobaan Anjeun keur ngalaksanakeun analisis daya, nu Kramer sareng kolega bisa geus dipigawé dumasar kana ukuran éfék observasi ti percobaan alami ku Coviello et al. (2014) atawa saméméhna panalungtikan non-percobaan ku Kramer (2012) (dina kanyataan ieu kagiatan di ahir ieu bab). Bewara nu make ieu analisis dayana bit béda ti has. Dina umur analog, panalungtik sacara umum teu analisis daya pikeun mastikeun yén ulikan maranéhanana teu leutik teuing (ie, dina program-program). Ayeuna kitu, panalungtik kudu ngalakukeun analisis daya pikeun mastikeun yén ulikan maranéhanana teu badag teuing (ie, leuwih-Powered).

Ahirna, kuring dianggap nambahkeun Urang Sunda kaopat: Repurpose. Hartina, lamun panalungtik manggihan sorangan jeung data leuwih percobaan ti maranéhanana kudu nepikeun pertanyaan panalungtikan asli maranéhanana, maranéhanana kudu repurpose data ka nanyakeun anyar. Contona, ngabayangkeun nu Kramer sareng kolega geus dipaké béda-di-béda estimator jeung kapanggih sorangan sareng leuwih data ti diperlukeun pikeun nepikeun pertanyaan panalungtikan maranéhanana. Tinimbang teu ngagunakeun data ka extent fullest, maranéhanana bisa geus ditalungtik ukuran éfék minangka fungsi pikeun tos perlakuan ekspresi emosi. Sagampil Schultz et al. (2007) manggihan yén pangaruh perlakuan ieu beda pikeun pamaké cahaya sareng beurat, sugan efek tina Feed News éta béda pikeun jalma nu geus biasana masangkeun talatah happy (atawa hanjelu). Repurposing bisa ngakibatkeun "fishing" (Humphreys, Sierra, and Windt 2013) jeung "p-Hacking" (Simmons, Nelson, and Simonsohn 2011) , tapi ieu kalolobaan addressable jeung kombinasi ngalaporkeun jujur (Simmons, Nelson, and Simonsohn 2011) , pre-ngadaptar (Humphreys, Sierra, and Windt 2013) , jeung métode mesin learning nu nyobian nyingkahan leuwih-pas.