In seguita Samari

Stu rùbbrica hè disignatu a ièssiri usatu comu nu rifirimentu, piuttostu chè per esse lettu comu na fàvula.

• I MUVRINI (Section 4.1)

Custioni circa la causalitati a ricerca suciali sò spessu cumplessa e cumplicata. Per un accostu foundational à causalitati basata annantu à grafisimi justifier, voir Pearl (2009) , e per un accostu foundational basata annantu à u putenziale outcomes, voir Imbens and Rubin (2015) (è u penale tecnicu in sta lezziò). Di u paraguni tra sti dui avvicinamenti, voir Morgan and Winship (2014) . Per un accostu furmali à definisce una confounder, voir VanderWeele and Shpitser (2013) .

In u capitulu, I criatu ciò chì paria comu 'na linia altura trà a nostra capacità à fà estimates justifier da données spirimintali e non-sperimentu. In rialità, iu penzu ca la distinzioni hè blurrier. Per esempiu, tutti l'accunsentu chì fumo nascenu cancru ancu s'è no nun haiu mai fattu lu spirimèntu cuntrullati randomized chì esercitu genti a fumu. Di ottima di trattamenta lunghezza libru nantu à rende estimates justifier da données non-spirimintali voir Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , e Dunning (2012) .

Capituli 1 è 2 di Freedman, Pisani, and Purves (2007) offri na ntruduzzioni chjaru in la diffirenza tra tanti spirimenti, spirimenti cuntrullata, è randomized spirimenti cuntrullata.

Manzi (2012) custituisci na ntruduzzioni passiunente è cambiarine in u underpinnings filusòficu e statìstiche di sperienze cuntrullati randomized. Hè dinù bellu, li siquenti sunnu asempî vera-munnu di lu putiri dâ spirimintazzioni in affari.

• Qualessi sò i sperimenti? (Section 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) , eppuri bona ntruduzzioni a l 'aspettu di statìstiche di disignu e anàlisi spirimintali. In seguita, ùn ci sò Sognu di trattamenta di l 'usu di sperienze in parechje campi diffirenti: mensile (Bardsley et al. 2009) , Pricisamenti (Willer and Walker 2007; Jackson and Cox 2013) , a psiculugia (Aronson et al. 1989) , Li scienzi pulìtichi (Morton and Williams 2010) , e dimarchje suciale (Glennerster and Takavarasha 2013) .

L 'impurtanza di récoltant participant (per esempiu, sediment) hè spessu sottu-apprizzati a ricerca spirimintali. A ogni modu, siddu l 'effettu di lu malu è hétérogène in i pupulazioni, tandu sediment è criticu. Longford (1999) renni chiaru stu puntu, quannu addumanna di circadori pinsava di tanti spirimenti comu un log pupulazione cù sediment haphazard.

• Dui sò cunsiderate di sperienze: labburatoriu-chjosu e simulate-digitale (Section 4,3)

U dichotomy chì aghju prisentatu tra tanti spirimenti labburatoriu e campu hè un pocu pratica. In fatti, altre circadori ani prupostu typologies più info, in dentru particulari ca siparari li vari formi di sperienze campu (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . In seguita, ci sunnu àutri dui tipi di sperienze joué par scinziati suciali ca nun stava bonu neatly in u labburatoriu e campu dichotomy:. Spirimenti log e sperienze suciale spirimenti bambino sò spirimenti cù u BTP di Salumeria esistenti e lu parauni risposti a virsioni alternativa di u stissa quistioni (certi spirimenti log sò indicati à Chapter 3); di più nantu à sperienze log voir Mutz (2011) . spirimenti Social sò spirimenti unni lu malu è certi pulitica suciale chì pò esse messu in usu solu da un guvernu. spirimenti Social sò èssiri culligata cu prugramma di valutazione. Pè sapenne di più nantu à sperienze pulitica, voir Orr (1998) , Glennerster and Takavarasha (2013) , e Heckman and Smith (1995) .

Un nùmeru di ducumenti ca hannu n cunfrontu spirimenti labburatoriu è chjosu in u astratti (Falk and Heckman 2009; Cialdini 2009) è à u nivellu di outcomes di sperienze specifichi à li scienzi pulìtichi (Coppock and Green 2015) , mensile (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) è psiculugia (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) offri un disignu di ricerca beddu di comparing risultati da tanti spirimenti labburatoriu e campu.

Cuncerna circa i participanti à cambià u so cuntegnu picchì sannu ca stannu esse pussutu veda vèninu certi voti chiamati effetti tuttu u mondu, è ch'elli sò stati studiati in psiculugia (Orne 1962) è l 'econumìa (Zizzo 2009) . Macari si la maggiuri assuciata cu tanti spirimenti labburatoriu, sti stissi resultati pò puru causari prublemi di sperienze campu dû malutempu. In fatti, effetti tuttu u mondu sò ancu certi voti chiamati effetti Hawthorne, nu tèrmini ca veni di lu spirimèntu campu, specificamente u famosu sperienze, illumination ca accuminzau nta lu 1924 a lu Hawthorne Opere di u Western Amalia Company (Adair 1984; Levitt and List 2011) . Sìa effetti dumanda è effetti Frattaminore sò èssiri culligata a l 'idia di la misurazzioni particulars discutitu in i Chapter 2 (veda dinò Webb et al. (1966) ).

A storia di sperienze chjosu hè statu discrittu nta l 'econumìa (Levitt and List 2009) , li scienzi pulìtichi (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , a psiculugia (Shadish 2002) , è pulitichi publichi (Shadish and Cook 2009) . Un spaziu di scienza suciali, unni tanti spirimenti campu divintò prestu mpurtanti è u sviluppu internaziunale. Perchè a review pusitivu di ddu travagghiu moins de l 'econumìa voir Banerjee and Duflo (2009) , è per una griglia di critica voir Deaton (2010) . Per una rivista di stu travagghiu nta li scienzi pulìtichi voir Humphreys and Weinstein (2009) . Infine, à e sfide è eticu intarvena cu tanti spirimenti chjosu sò stati sbulicatu a li scienzi pulìtichi (Humphreys 2015; Desposato 2016b) è l 'econumìa di sviluppu (Baele 2013) .

In u capitulu, I pruposti dici ca sta nfurmazzioni pre-cure pò ièssiri usatu pi migghiurari la pricisioni di effetti cure stimati, ma ùn ci hè certi dibattiti su stu approcciu: Freedman (2008) , Lin (2013) , e Berk et al. (2013) ; voir Bloniarz et al. (2016) di più nantu à u corsu.

• Tramutà cavallieri sèmplice spirimenti (Section 4.4)

Corsu a francisata troppu sceltu di cunsacrà si à trè cuncetti: validità, heterogeneity di effetti cure, e miccanismi. Quessi li cuncetti hannu diffirenti de famille à diversi campi. Per esempiu, Psychologe fussimu nantu a terra move cavallieri sèmplice spirimenti par nantu midiatura e moderators (Baron and Kenny 1986) . L 'idea di midiatura hè affascinatu da ciò chì mi chiamu miccanismi spicifici, è l'idea di moderators hè affascinatu da ciò chì mi chiamu validità esterni (per esempiu, avissi lu risultatu di lu spirimentu di esse sfarenti siddu fu lanciatu a situazzioni diversi) e heterogeneity di effetti malu ( per esempiu, sò l 'effetti cchiù granni di certi pirsuni ca àutri pirsuni).

Lu spirimentu di Schultz et al. (2007) , mostra, comu li tiurìi supra suciale pò ièssiri usatu a so altri Calabbria. Per un argumentu di più generale, circa lu rolu di la tiurìa in i dicori quatrigliu effettiva, voir Walton (2014) .

• Validità (Section 4.4.1)

Li cuncetti di validità interna è mezzi foru primu introduttu in Campbell (1957) . Voir Shadish, Cook, and Campbell (2001) di na storia di più info è un attentu elabburazzioni di validità cunchiusioni di statìstiche, validità interna, custruiscia validità, è validità esternu.

Per un riassuntu di tematiche riguardanti a validità cunchiusioni di statìstiche in spirimenti voir Gerber and Green (2012) (pi nu scopu di scienza suciali) è Imbens and Rubin (2015) (pi nu scopu di statìstiche). Certi resultati di validità cunchiusioni di statìstiche chì a mio zitella in urighjina in spirimenti campu en ligne cumprendi tematiche cume i metudi computationally efficacità di facenu tantu in tantu sè stessi cù data, dipinnenti (Bakshy and Eckles 2013) .

validità interna pò essa difficiuli di uttena in spirimenti campu cumplessi. Voir la, cum'è per indettu, Gerber and Green (2000) , Imai (2005) , e Gerber and Green (2005) di dibattiti circa lu baddu di nu spirimentu campu cumplessu su vutari. Kohavi et al. (2012) e Kohavi et al. (2013) derà una lingua in u intaressu di a tretu validità in spirimenti campu online.

One mente, grandi cun validità internu hè prublemi cù randomization. Una manera di detect Prepaid prublemi cù i randomization è pi cunfruntari li gruppi di cure è u cuntrollu nantu à i tratti osservevule. Stu tipu di paragunà si chjama un arrigistramentu equilibriu. Voir Hansen and Bowers (2008) per un accostu di statìstiche à equilibriu chèques, è guardemu Mutz and Pemantle (2015) di cuncerna su chèques equilibriu. Per esempiu, aduprendu un equilibriu verificà Allcott (2011) trovu ch'ellu ùn ci hè certi tistimunianzi ca lu randomization ùn fù messu in usu cum'ellu ci vole a tri di li spirimenti in parechji di i sperimenti OPower (voir Table 2; i siti 2, 6, e 8). Di autri avvicinamenti, voir Imbens and Rubin (2015) , Chapter 21.

Altri Major cuncerna riguardanti a validità interna sunnu: 1) si-misi non-di u rispettu, unni nun tutti in u gruppu cure intreccia ricivìu lu malu, 2) dui misi non-di u rispettu, unni nun tutti in u gruppu cure riceve u trattamentu, è certi pòpulu in u gruppu di cuntrollu riceve u trattamentu, 3) attrition, unni outcomes ùn sò micca misurata di qualchi i participanti, è 4) vinniri, unni lu malu sinsazioni sopra da populu in i cundizioni di cure à a ghjente in li cunnizzioni di cuntrollu. Voir Gerber and Green (2012) capitoli, 5, 6, 7, è 8 di più nantu à ognunu di sti mutivi.

Pè sapenne di più nantu à validità custruiscia, voir Westen and Rosenthal (2003) , e di più nantu à custruiscia validità in grande, fonti di dati, Lazer (2015) e Chapter 2 di stu libru.

Un aspettu di a validità esterni hè u tramontu induve un interventu hè tistati. Allcott (2015) custituisci na sintassi teorichi è rialità primurosu di silizzioni di lu priggiudizziu di u situ. Sta questione hè ancu discutitu in Deaton (2010) . 'N agghiunta a essiri replicated in parechji siti, i interventu Home Segnala Energie hè ancu stata studiata indipindente da a multiplicità di i gruppi di ricerca (per esempiu, Ayres, Raseman, and Shih (2013) ).

• Heterogeneity di effetti malu (Section 4.4.2)

Pi nu cillenti riassuntu di heterogeneity di effetti cure in spirimenti campu, voir Chapter 12 di Gerber and Green (2012) . Per ntruduzzioni â heterogeneity di effetti cure in prucessi di salute, voir Kent and Hayward (2007) , Longford (1999) , e Kravitz, Duan, and Braslow (2004) . Heterogeneity di effetti cure giniralmenti cunsacrà si à scali, si basa nantu à e caratteristiche pre-malu. Sè vo site interessatu da a heterogeneity basata annantu à outcomes post-trattamentu, poi approachs più cumplessu si avianu bisognu com'è stratificazzioni chirurgu (Frangakis and Rubin 2002) ; voir Page et al. (2015) di a review.

Parechje circadori à cuntà i heterogeneity di effetti cure usannu rughju linéaire, ma i metudi di robba s'appoghjanu nant'à i amparera machine, per esempiu Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , e Athey and Imbens (2016a) .

Ci ne hè parechji lu scetticismu circa li scuperti di heterogeneity di effetti per via di a multiplicità di e quistione paragunà è "pisca." Il ya un varietà di avvicinamenti di statìstiche, chì ponu aiutà cuncerna indirizzu su paragunà a multiplicità (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . One appruccià si versu a cuncerna su "pisca" hè pre-iscrizzione, chì hè diventata assai cumunu in psiculugia (Nosek and Lakens 2014) , li scienzi pulìtichi (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , e l 'econumìa (Olken 2015) .

In u studiu di Costa and Kahn (2013) sulu circa la mità di lu famìglie in lu spirimentu di puderunu turrà à esse liata à l'infurmazioni demugrafica. Eli interested in i ditagli è pussìbbili prublemi cù stu anàlisi ùn si rifiriscinu a li carta urigginali.

• Miccanismi (Section 4.4.3)

Miccanismi ncridibilmenti mpurtanti, ma ùn vinaranu fora à esse assai difficiuli à studià. Ricerca su miccanismi a èssiri culligata cu lu studiu di midiatura in psiculugia (ma vede dinù VanderWeele (2009) per un pricisu paraguni tra li dui idee). Avvicinamenti di statìstiche à miccanismi truvannu, cum'è l 'approcciu sviluppatu in Baron and Kenny (1986) , sunnu abbastanti cumuni. Per disgrazia, si gira fora chì quelli prucedure addipenni nantu à parechji iputesi forti (Bullock, Green, and Ha 2010) è l 'anu quandu ùn ci sò parechje miccanismi spicifici, comu unu putissi m'aspettu in tanti situazzioni (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) e Imai and Yamamoto (2013) prupostu parechji mètudi di statìstiche migghiuranza d. In seguita, VanderWeele (2015) offri un trattamentu libru-lunghezza cù un numeru di i risultati impurtanti, ancu un accostu glubali à stakeholder.

Un avvicinamentu di quesse è cuncintratu supra li spirimenti chi tintatu di manighjà u miccanisimu direttamenti (per esempiu, à sente marinari vitamina C). Purtroppu, in parechji u bastimentu di scienza suciali ci sunnu spissu a multiplicità di miccanismi spicifici, è hè dura à cuncepisce a parsona chì cambia unu senza cambià i l'autri. Certi avvicinamenti à spirimintarmenti miccanismi prufundezza u sò discritti in Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , e Pirlott and MacKinnon (2016) .

Infine, miccanismi hannu puru un pezzu di storia in la filusufìa dâ scienza comu discritta da Hedström and Ylikoski (2010) .

• Praticà ambienti esistenti (Section 4.5.1.1)

Pè sapenne di più nantu à l'usu di studii currispunnenza e studi di cuntrollu à misurà discriminazzioni voir Pager (2007) .

• Custruita u vostru propriu spirimentu (Section 4.5.1.2)

U modu cchiù semplici di ricrutari na participanti à sperienze chì vo custruisce è Amazon Manicure Scissors vutu (MTurk). Pirchì MTurk mimics aspetti di sperienze-paghendu labburatoriu tradiziunali di genti pi cumpritari affari ch'elli ùn fàccianu di circadori senza-parechji hanu dighjà iniziatu usannu Turkers (i travagliadori nantu à MTurk) cum'è i participanti à sperienze suggetti umani favurèvuli a cullezzione di dati a suprana e ecunòmicu cchiù tradizziunali spirimenti laburatoriu nantu-Campus (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Lu cchiù granni forza di sperienze cù i participanti ricrutati da MTurk sò logistical: si permettenu di circadori di ricrutari na participanti prestu e comu avia bisognu. Quand'è spirimenti labburatoriu pò piglià settimane a curriri e sperienze campu pò piglià mesi pà crià-up, spirimenti cù i participanti ricrutati da MTurk pò esse lanciata di modu à ghjorni. Per esempiu, Berinsky, Huber, and Lenz (2012) èranu capaci di ricrutari 400 sugetti in una sola ghjurnata à participà à a nu spirimentu 8 minutu. In seguita, sti participanti ponnu èssiri ricrutati di guasi ogni so mutivazione (nclusu Salumeria e cullaburazioni di massa, comu viditi lu discursu in capitoli 3 e 5). Stu faciulità di récoltant signìfica ca circadori pò curriri peptide di sperienze ligata à rapida succissioni.

Prima di Solutions participanti da MTurk di u so sperienze, ùn ci sò quattru cosi 'mpurtanti pi sapiri. Prima, parechji circadori hannu nu lu scetticismu non-specifichi di sperienze nove Turkers. Picchì stu lu scetticismu ùn hè micca specifichi, hè difficiuli à fà tumblr cù testimunianze. Però, dopu à parechji anni di studii usannu Turkers, putemu cunchiùdiri ora ca stu lu scetticismu ùn hè soprattuttu nicissariu. Ci sò stati parechji studii comparing u dem demographics di Turkers a autri pupulazzioni è parechji studii comparing risultatu di sperienze cu Turkers à i risultati da autri pupulazzioni. Datu tuttu stu travagghiu, mi pari ca lu modu megghiu di voi à riflette hè chì Turkers sò un campionu altra jeudi, tantu cum'è i studienti, ma nanticchia cchiù diversi (Berinsky, Huber, and Lenz 2012) . Cusì, cum'è i studienti sunnu na pupulazzioni discretu, per certi, ma micca tutti i ricerchi spirimintali, Turkers sunnu na pupulazzioni discretu, per certi, ma micca tutti i ricerchi. Si tu nni jemu a travagghiari cu Turkers, tandu si face sensu à leghje parechji di sti studi cumparativu è capisce e so tinte.

Siconda, circadori si sò sviluppati i migliori-pratiche di sviluppà a so validità internu di sperienze vutu, e vo duvite amparà è seguità ste megghiu-pratichi (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Per esempiu, circadori usannu Turkers sò anu à aduprà screeners à caccià i participanti inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (ma vede dinù DJ Hauser and Schwarz (2015b) , è DJ Hauser and Schwarz (2015a) ). S'è vo ùn smarisce i participanti inattentive, poi nuddu effettu di lu malu po 'essiri lavau, fora di bottu introduttu da i participanti inattentive, è a pratica u numeru di i participanti inattentive pò esse sustanziali. In lu spirimentu di Huber e culleghi (2012) circa lu 30% di i participanti hà fiascatu screeners attinzioni di basi. N'àutru prubbrema cumuni cu Turkers è i participanti non-naïveté (Chandler et al. 2015) .

Terzu, parente à certi altri formi di sperienze, digitale, spirimenti MTurk pò micca scala; Stewart et al. (2015) estimates chi 'n un datu mumentu ùn ci hè più cà circa 7.000 persone nant'à MTurk.

Infine, ùn ci vole sapè chì MTurk hè una cumunità cù i so reguli e normi (Mason and Suri 2012) . In a listessa manera chì vo vi arrinesci a scupriri circa la cultura di nu paisi, unni si Andavanu a curriri a vostra sperienze, vi tuccherà à pruvà à truvà più su la cultura e normi di Turkers (Salehi et al. 2015) . È, vi duvite sapè chì u Turkers sarà capisciu u vostru spirimentu s'è vo fari quarchi cosa Camera o immurali (Gray et al. 2016) .

MTurk hè una manera uriginale còmuda di ricrutari na participanti à u vostru sperienze, s'ellu si sò labburatoriu-comu, p'asempiu comu Huber, Hill, and Lenz (2012) , o più campu di-comu, p'asempiu comu Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , e Mao et al. (2016) .

• Custruita u vostru propriu pruduttu (Section 4.5.1.3)

S'è vo vi pinsava di piazzà à creà u so propriu pruduttu, I preferimu noi chì vi leghje i cunsigli di pruposte da u gruppu MovieLens in Harper and Konstan (2015) . A un'immersioni chiavi da a so spirienza, è chì per ogni prugettu di successu ci sunnu tanti, tanti fiaschi. Per esempiu, u gruppu MovieLens lanciata altri prudutti cum'è GopherAnswers chì eranu fiaschi cumpleta (Harper and Konstan 2015) . Un antru asempiu di un militante o mentri attempting à custruisce un pruduttu è prova d'Edward Castronova à custruisce un ghjocu en ligne chiamatu Arden. Nunustanti 250.000 $ in finanzamenti, u prugettu era un floppe (Baker 2008) . Projects comu GopherAnswers e Arden sò par disgrazia moltu più cumunu cà prugetti cum'è MovieLens. Infine, quandu aghju dettu chì aghju nun sacciu di qualunqui avutra arricercatura s'addunaru ca avìanu custruiutu cu successu prudutti di spirimintazzioni ripetutu quì sò i mo critère: 1) i participanti aduprà u pruduttu per via di ciò chì parmette elli (per esempiu, ch'elli ùn sò micca pagatu e iddi nun sunnu vuluntarii spartuti à aiutannusi science) è 2) u prodottu havi statu usatu di cchiù di unu Versuch distinta (vale à dì, ùn la stessa spirimentu di parechje volte cù i sfarenti Piscines participant). S'è vo t'aveti altri esempii, per piacè sinnò.

• Partenariatu cù i putenti (Section 4.5.2)

Corsu a francisata troppu intesu l'idea di Quadrant d'Pasteur viditi lu discursu friquintimenti a sucetà tech, e si va a 'urganisazioni di i sforzi di ricerca di Google (Spector, Norvig, and Petrov 2012) .

Bond è lu studiu culleghi ' (2012) prova dinù à detect effettu di sti parsona nantu à l' amichi di quelli chì elli ricivutu. A causa di a so cuncipitura di u sperimentu, sti spillovers sò difficiule à detect cleanly; lettori à interessà rinunci Bond et al. (2012) per un spaziu di ragiunata di più impurtante. Stu spirimèntu jè ppi parti di na longa tradizioni di sperienze in scienza pulitica nantu à i sforzi à incuragisce a vutari (Green and Gerber 2015) . Sti tanti spirimenti hefði-out-the-vòtu sò cumuni in parti, pirchi sunnu in Quadrant d'Pasteur. Pirtantu, ùn ci sò parechje persone chì sò mutivatu à fà cresce vutendu è vutendu pò esse un cumpurtamentu ntirissanti à pruvà la li tiurìi cchiù ginirali su cambiamentu cumpurtamentu è influenza suciali.

Altri circadori ani datu cunsigli di circa in spirimenti campu cun urganisazione partinarii cume partiti pulitichi, NGOs, e imprese (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Altro aghju rigalatu i cunsigli supra comu cullaburazioni cù urganisazione pò Algérienne disegni di ricerca (Green, Calfano, and Aronow 2014; King et al. 2007) . Giannini pò ancu purtà à e dumande etichi (Humphreys 2015; Nickerson and Hyde 2016) .

• Cunsiglii Design (Section 4.6)

Si tu nni jemu créer un pianu anàlisi prima di lancià a vostra sperimentu, I distinu ca ti partendu da leghje seguita Reegan. L 'attuali (rinfurzatu Standard cantu di Barbara Furtuna) chì seguita foru sviluppati in li midicini (Schulz et al. 2010) è hà travagliatu per a ricerca suciale (Mayo-Wilson et al. 2013) . Un gruppu currilatu di chì seguita hè statu sviluppatu da i scrittori di u Journal de Experimental Political Science (Gerber et al. 2014) (veda dinò Mutz and Pemantle (2015) e Gerber et al. (2015) ). Finalmente, chì seguita cantu hannu statu sviluppatu da a psiculugia (Group 2008) , è vede dinù Simmons, Nelson, and Simonsohn (2011) .

Sè vo créer un pianu Analisi vo duvite lagnà pre-Kiprich perchì a pre-iscrizzione anu da fà cresce u sicuru ca àutri hannu a vostra risultati. In seguita, s'è vo vulete avè travagliatu cù un cumpagnu, ci voli limità a capacità di u vostru cumpagnu a canciari lu Analisi dopu à veda i risultati. Pre-iscrizzione hè addivintannu sempri cchiù cumuni in psiculugia (Nosek and Lakens 2014) , li scienzi pulìtichi (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , e l 'econumìa (Olken 2015) .

Mentri criava u vostru pianu, pre-Analisi vi deve esse cuscenti chì parechji circadori puru aduprà rughju di e avvicinamenti ligata à migliurà la pricisioni di l 'effettu cure stimati, è ùn ci hè certi dibattiti su stu approcciu: Freedman (2008) , Lin (2013) , e Berk et al. (2013) ; voir Bloniarz et al. (2016) di più nantu à u corsu.

Design cunsigli particulare di sperienze campu en ligne hè ancu prisentatu in Konstan and Chen (2007) e Chen and Konstan (2015) .

• Crea un 'infurmazioni costu variàbbili zeru (Section 4.6.1)

Pè sapenne di più nantu à i sperimenti MusicLab, voir Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , è Salganik (2007) . Pè sapenne di più nantu à vincitrice-piglià-tutti li mircati, voir Frank and Cook (1996) . Pè sapenne di più nantu à a furtuna untangling e cchiù canuscenza cchiù 'n ginirali, voir Mauboussin (2012) , Watts (2012) , è Frank (2016) .

Ci hè un antru appruccià si versu a eliminari la Grau participant chì circadori avissi a usari cù assai cura: la leva militari. Nta tanti spirimenti campu en ligne i participanti sò tuttu summatu era redazzione di spirimintazzioni e mai Réconciliation. Li siquenti sunnu asempî di stu approcciu cumprendi Restivo è l'van de Rijt (2012) spirimentu di lu duna a Wikipedia è Bond e l'airuportu (2012) spirimentu di u prumossi pirsuni pìgghianu. Sti tanti spirimenti nun mi hannu zeru costu variàbbili, iddi hannu zeru costu variàbbili a circadori. Puru siddu lu costu di parechji di sti tanti spirimenti hè assai nichi tra d 'iddi participant, piccula spesi impostu un numeru tamantu di i participanti pò addizziunari su prestu. Circadori in massiccia statua di sperienze nanu à spessu ghjusti la mpurtanza di picculi effetti cure piscadori, dicennu chi sti picculi effetti pò addivintari 'mpurtanti, quannu fu misa a tanti genti. Si ritrova u listessu pensamentu esattu vali à spesi chì circadori à impone nantu à i participanti. S'ellu hè u vostru spirimenti nascenu unu miliuna di genti a perdi mancu un minutu, lu spirimentu ùn hè assai dannusu, à ogni persona di particulari, ma in aggregate, hè quellu chì hà manghjatu guasi dui anni di u tempu.

N'àutra appruccià si versu a facenu pagamentu costu variàbbili zeru à i participanti hè à principià cù un ghjochi, un avvicinamentu chì hè statu usatu in a ricerca log (Halpern et al. 2011) . Infine, di più nantu à i dicori user-spirienzi e bugliticce voir Toomim et al. (2011) .

• Circulazzioni, ricerca, è Fate cunsumà (Section 4.6.2)

Quì sò i Stories urighjinariu di i trè R, da Russell and Burch (1959) :

"Sustituiri significa a diri a sustituzzioni di cuscienti vivant animali supiriuri di matiriali insentient. Pussìbule, significa riduzzione in lu nùmmiru sempri àutu di l 'animali usatu pi avìri nantu à u corsu di un datu quantità è di pricisioni. Finezza significa ogni carenza in u horaire o sivirità di e prucedure inumanu appricamu a ddi bestii ca ci hannu ancora a ièssiri usatu ".

Li tri R l'chì mi prupone ùn lobo i principii etichi discritta in Chapter 6. incuntrariu, si sò una versione più elaborated unu di quelli chì sò princìpî di-beneficence-apposta per u tramontu di sperienze umanu.

Quandu cunsidirari Contagion Alessandro, ùn ci sunnu tri edizzioni non-etichi à tene in mente, quannu Ricerche di stu tentativu. Prima, ùn hè chjaru cumu la scheda rìtimu di lu spirimentu di cunnette si à i pratesi teorichi; in altre parolle, ùn ci sò e comu pruvàrinni validità custruiscia. Ùn hè chjaru chì u parlà parolla pusitivi è negativi sò intreccia un bonu, volume di u Statu emutivu di i participanti perchè 1) allura nun è chiaru ca li paroli ca genti li posti sò un bè, volume di i so emuzioni è 2), ci hè micca chjaru chì u i particulari tècnica analisi sintimentu ca lu circadori usatu hè capaci à infer reliably emozioni (Beasley and Mason 2015; Panger 2016) . Nta àutri paroli, ùn ci putissi essiri 'na mala misura di a signal biased |. Siconda, lu disignu e analisi di lu spirimentu di rici nenti di circa chì fù più cerumen (vale à dì, ùn ci hè nimu analisi di heterogeneity di effetti malu), è ciò chì pudia esse u meccanisimu. In stu casu, i circadori avianu carchi di nfurmazzioni supra li participanti, ma eranu pè u più taliati comu rating in l 'analisi. Terzu, la grannizza effettu a stu spirimentu era chjucaredda; la diffirenza tra li cunnizzioni cure è u cuntrollu hè di circa 1 in 1000 e parolle. In a so carta, Kramer, è attori di fari lu casu ca un effettu di stu taglia è mpurtanti picchì na cintinara di miliuna di pirsuni accede à a so News Feed ogni ghjornu. Nta àutri paroli, si spiecanu chì ancu effetti chì sò chjuchi per ogni parsona ch'elli sò grande in aggregate. Ancu s'è vo eranu à accettà sta jurnata, si nun è sempri chiaru siddu un effettu di stu taglia è mpurtanti pi li quistioni scentifichi di più generali su contagion emutivu. Pè sapenne di più nantu à a situazzioni unni piccula effetti sunnu mpurtanti vidi Prentice and Miller (1992) .

In u nivellu di i primi R (sustituiri), comparing lu spirimentu Alessandro Contagion (Kramer, Guillory, and Hancock 2014) è u sperimentu naturale contagion emutivu (Coviello et al. 2014) eccu duie lizioni ginirali supra lu cummerciu di--off intarvena cù valisgia da spirimenti pi tanti spirimenti naturale (e àutri avvicinamenti comu truva chì prova à apprussimata sperienze in dati non-spirimintali, voir Chapter 2). In più di i benefici etichi, belli da spirimintali à studii non-spirimintali parmetti dinò circadori à u studiu di trattamenta ca sunnu logistically capace à realizà. Sti benefici etichi e logistical ghjuntu à un costu, parò. Incù tanti spirimenti naturale circadori hannu menu di cuntrollu supra li cosi, comu récoltant di i participanti, randomization, è la natura di lu malu. Per esempiu, unu limiti di i pricipitazioni comu un trattamentu è ca lu tempu aumenta positivity e decreases negativity. In lu stùdiu spirimintali, parò, Kramer e culleghi puderunu turrà à aghjustà positivity e negativity indipindente.

L 'approcciu particulari usatu par Coviello et al. (2014) fù più elaborated in Coviello, Fowler, and Franceschetti (2014) . Di na ntruduzzioni a variàbili funnamintali pi vidiri Angrist and Pischke (2009) (menu furmali) o Angrist, Imbens, and Rubin (1996) (cchiù furmali). Per un appraisal scetticu di e variàbili funnamintali pi vidiri Deaton (2010) , e pi na ntruduzzioni a lu variàbili funnamintali pi cu strummenta debuli (arcusgi hè un strumentu dinaru), vidi Murray (2006) .

Più in generale, una bona ntruduzzioni a lu spirimentu naturale hè Dunning (2012) , e Rosenbaum (2002) , Rosenbaum (2009) , e Shadish, Cook, and Campbell (2001) offri bona nostri idei supra a estimating effetti justifier senza tanti spirimenti.

In u nivellu di a seconda R (finezza), ùn ci sò cummerciu di--off scentificu è logistical quandu ca cunzidirau cambiendu u generu di Contagion Alessandro da mpidennu i posti à boosting i posti. Per esempiu, si pò esse u casu, chì u baddu tecnicu di u Feed News tenga è cunsistenti faciuli à fà nu spirimentu cu mpidennu i posti, chiuttostu ca nu spirimentu cu boosting i posti (putiti ammigghiuràrilu secunnu nu spirimentu cu mpidennu i posti pudia esse messu in opera cum'è un sfarente in u cima di u sistema News Feed senza mancu bisognu di suffissi di u sistema space). Scientificamente, cumunqui, la tiurìa infurmazione di u sperimentu hà micca chjaramente u distinu unu disignu supra l 'àutri.

Per disgrazia, ùn sò mancu cuscenti di sustanziali ricerchi in avanzu quasi u parente meriti di mpidennu e boosting cuntenutu in i Feed News. Puru, ùn aghju mai vistu assai ricerchi supra parfizziuneghja parsona à fà i menu dannusu; unu foras hè Jones and Feamster (2015) , chì face u casu di misura di cinsura Internet (un tema I discurremu a Chapter 6 in rapportu à u studiu Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

In u nivellu di u terzu R (riduzzione), na bona ntruduzzioni a lu Analisi puteri tradiziunali hè Cohen (1988) . covariates Pre-cure pò esse incluse in lu stadiu generu è u parcu analisi di spirimintazzioni; Chapter 4 di Gerber and Green (2012) custituisci na bona ntruduzzioni a lu tempu avvicinamenti, è Casella (2008) parmette un trattamentu cchiù a-tremenda. Sonu chì utilizà stu long pre-cure in u randomization realizà un chjama sia bluccatu disegni spirimintali, o disegni spirimintali stratified (l m nun veni usatu 'esigenza, travers cumunità); sti tècnichi sunnu prufunnamenti riguardanti la cultivazzioni sediment stratified discutitu in i Chapter 3. Vedi Higgins, Sävje, and Sekhon (2016) di più nantu à usannu sti disegni in massiccia statua di sperienze. Covariates Pre-cure pò esse ancu in contu in u parcu analisi. McKenzie (2012) explores u avvicinamentu diffarenza-in-diffirenzi à ppi tanti spirimenti chjosu in u più grande dittagli. Voir Carneiro, Lee, and Wilhelm (2016) di più nantu à u cumerciu--off frà relighjoni avvicinamenti à fà cresce a precisione in estimates di effetti cure. Infine, quandu purtau siasi da pruvà a nclùdiri covariates pre-cure à u so generu oa so analisi tappa (o dui), ùn ci sò uni pochi di fattura à guardà. In un paràmetru, unni circadori vogghiu fari 'ntenniri chi iddi nun sunnu "pisca" (Humphreys, Sierra, and Windt 2013) , cù covariates pre-cure in u parcu generu pò esse Corsets (Higgins, Sävje, and Sekhon 2016) . In situazzioni unni i participanti à ghjunghja sequentially, spirimenti campu particulare online, cù infurmazione pre-cure in u parcu generu pò esse difficiule logistically, vede per esempiu Xie and Aurisset (2016) .

Ci vò à annuncià un pocu di intuizione circa poita diffarenza-in-diffirenzi pò esse tantu cchiù ficaci ch'è una diffarenza-in-i mezi. Parechje outcomes en ligne hannu bunissima varianza (vede per esempiu, Lewis and Rao (2015) , è Lamb et al. (2015) ) e sò abbastanza stàbbile filu di u tempu. In stu casu, cu lu spartitu ca cancia possa aviri a so varietà urigginariu varianza, in crescita di a putenza di u test di statìstiche. Unu motivu stu avvicina è ùn veni usatu cchiù spissu è chì u scopu di l 'età numerica ùn era cumunu à avè outcomes pre-malu. Una manera più cuncreti a pinsari è di creda nu spirimentu a misura ch'eddi fussini nu spicìficu ghjurnata teacher nascenu perdita di pisu. S'è vo fate un accostu diffarenza-in-i mezi, a vostra stimata possa aviri a genetica chì vene da u variabilità in pesi in a pupulazione. S'è vo fate un accostu diffarenza-in-una diffarenza, però, ca vidi la fenomenu naturalmente in pesi si livò, è si pò più facili detect una diffarenza incausatu da u trattamentu.

Una manera impurtante à sminuì u numaru di i participanti à u vostru spirimèntu jè ppi à fà un 'analisi putenza, chì Kramer e culleghi avaria pussutu fà si basa supra li taglia effettu osservata da lu spirimentu di naturale par Coviello et al. (2014) , o nanzu di ricerca non-spirimintali par Kramer (2012) (in fatti sò attivitati a la fini di stu capitulu). Nutari ca stu usu di castiat cun forza hè un pocu sfarenti chè tipica. Nta l 'età simulate, circadori, giniralmenti si castiat cun forza di fà sicuru ca lu sou stùdiu havia ùn era troppu chjuchi (vale à dì, sutta-fattu). Ora, però, circadori 'ndannu u fannnu Analisi putiri di fari propriu sicuru ca lu sou stùdiu havia ùn hè micca troppu forti (vale à dì, più di-fattu).

Infine, aghju riflittutu annuncià un quartu R: Repurpose. Pirtantu, s'ellu circadori si truvà cu dati di più spirimintali ca si tocca à affruntà i so quistione di a ricerca urigginali, si deve repurpose i dati à dumandà novi custioni. Per esempiu, à pensà chì Kramer e culleghi avìa usatu nu estimator diffarenza-in-diffirenza è trovu iddi stissi, cu chiossai di dati cà bisognu à affruntà i so quistione di a ricerca. Chiu tostu nun usannu lu dati a lu puntu uttinutu, ùn avaria pussutu studiatu u pesu di l 'effettu cum'è una funzione à pré-malu espressioni emutivu. Just comu Schultz et al. (2007) truvonu ca i effettu di u trattamentu era diffirenti di patti lume è pisanti, forsi l'effetti di u Feed News eranu sfarente di pirsuni ca già tesu à bec cuntenti (o chiaja) i missaghji. Repurposing putìa cumannari à "pisca" (Humphreys, Sierra, and Windt 2013) e "sans-My" (Simmons, Nelson, and Simonsohn 2011) , ma chisti sunnu largamente addressable cu na cumminazzioni di Reegan onestu (Simmons, Nelson, and Simonsohn 2011) , pre-iscrizzione (Humphreys, Sierra, and Windt 2013) , è i metudi di amparera di a macchina chi tintatu di a evitari di più di-rimanighjata fatta.