Ciò di leggi appressu

• Introduzione (sezione 4.1)

Quistioni nantu à a causalità in a ricerca sociale sò spessu complexi è intricate. Per un accontramentu fundatu per a causalità basatu à grafichi causali, vede Pearl (2009) , è per un accontramentu fundatuu nantu à i punti di Imbens and Rubin (2015) , vede Imbens and Rubin (2015) . Per una comparatione entre sti dui approcqui, vede Morgan and Winship (2014) . Per un accordu formale per definisce un cunfundenti, vede VanderWeele and Shpitser (2013) .

In questu capitulu, aghju creatu ciò chì pareva una stanza brillanti trà a nostra capacità di fà estimi causali da e dati esperimentali è micca di prupositu. In ogni casu, pensu chì, in realità, a distinzione hè più difosa. Per esempiu, tutti accettanu chì u fumu provoca cancru, ancu senza un spiccatu cuntrullatatu aleatu chì eserciteghja à i fugliale hà fate. Di ottima trattamenta libru-durata in u rende stimi justifier da dati non-spirimintali vede Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , è Dunning (2012) .

Chapters 1 e 2 di Freedman, Pisani, and Purves (2007) offri un preputimentu chjaru à i diffirenzii trà l'esperimenti, l 'esperimenti controlati è l'esperimenti rigulati à u cuntrollu.

Manzi (2012) furnisce una intruduzzione fascinante è leghjite à u sustegnu filosoficu è statistici di l'esperimenti controlati da e aleatorii. Hè ancu esemplate interessanti di u mondu reale di u putere di l'esperimentazione in l'affari. Issenberg (2012) furnisce una fascinante introdenza à l'utilizazione di l'esperimenti in campagni politichi.

• Chì sò esperimenti? (sezione 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, è Athey and Imbens (2016b) brindà boni presentazioni per l'aspettu statìsticu di u studiu spirimintali è l'analisi. Inoltre, ci sò trattati excelentes di l'usu di l'esperimenti in parechni camparii diversi: l'economia (Bardsley et al. 2009) , a sociologija (Willer and Walker 2007; Jackson and Cox 2013) , psiculugia (Aronson et al. 1989) , scienza pulitica (Morton and Williams 2010) è a pratica suciali (Glennerster and Takavarasha 2013) .

L'impurtanza di u reclutamentu participante (per esempiu, u sampling) hè spessu sottorreati in a ricerca esperimentale. In ogni casu, se l'effettu di u trattamentu hè heterogeneu in a pupulazione, u prenu di prenotazione hè critica. Longford (1999) facenu stu puntu chjaru chì quandu favoreta per i cuncernati chì pensanu à l'esperimenti com'è una stima di a populazione cù un sampling perifanti.

• Dui dimensioni di l'esperimenti: lab-field è analog-digital (sezione 4.3)

Avè suggiunatu chì ci hè un cuntinuu in u sperimentu di u labellu è di i campi, è altri ricerchi anu propostu tipulugia più detallada, in particulari chiddi chì separanu i varii formi d'esperimenti di campu (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Una quantità di documenti anu Comparatu i sperimenti di sughjettu è campu in l'astrettu (Falk and Heckman 2009; Cialdini 2009) è in termini di ricerca di esperimenti specifichi in scienza pulitica (Coppock and Green 2015) , l'economia (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , è a psiculugia (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) offre un bonu disignu di ricerca per paragunà risultati da esperimenti di labellu è campi. Parigi, Santana, and Cook (2017) spicciò cumu l'esperimenti di campagni in linea ponnu combini quarchi caratteristiche di esperimenti di labellu è campi.

I prublemi nantu à i participanti chì cambianu u so cumpurtamentu perchè sapianu chì sò stati osservati dettu sò eventwalment dinò effetti di dumanda , è anu studiatu in psicologija (Orne 1962) è ecunumia (Zizzo 2010) . Ancu sia più assuciatu cù esperimenti di u labellu, sti miseria ponu causà prublemi per esperimenti di campagni ancu. Infatti, l' effetti di a dumanda sò in qualchì volte ancu volte Hawthorne , un termini chì derive in l'esperimenti famosi di illuminazione chì inizenu in u 1924 à l'Hawthorne Works of the Western Electric Company (Adair 1984; Levitt and List 2011) . L' effetti di dumanda è l' effetti di Hawthorne sò strettu in relazione cù l'idea di a mette in quantu reattivata in u capitu 2 (vede ancu Webb et al. (1966) ).

E spiriminchi di campu hannu una longa storia in economia (Levitt and List 2009) , scienza pulitica (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psicoluggìa (Shadish 2002) , è publiche (Shadish and Cook 2009) . Un spaziu di a scienza suciali induve campi spiunarii sò prestu prestu prestu prestu in u sviluppu internazionale Per una rivista positiva di u travagliu in l'economia, vede Banerjee and Duflo (2009) , è per una valutazione critica vede Deaton (2010) . Per una rivista di sta travagliu in a scienza pulitica veda Humphreys and Weinstein (2009) . Finalmente, i sfidi etichi sviluppati da esperimenti campagni sò stati scuperta in u cuntestu di a scienza pulitica (Humphreys 2015; Desposato 2016b) è l'economia di u sviluppu (Baele 2013) .

In questa sezione, suggerì chì a infurmazione di pre-trattamentu pò esse usatu per migliurà a precisione di l'effetti stimulanti di trattamentu, ma ùn hè qualchì dibattitu di questa attrazione; vede Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , è Bloniarz et al. (2016) per più infurmazione.

Infine, ci sò dui altre tipi di esperimenti realizati da i scientifichi socialisti chì ùn si sò micca stallati à longu a dimensione di u labillu: fighjenu esperimenti è esperimenti suciali. I sò pruprietà sò esperimenti utilizendu l'infrastruttura di stategisteri esistenti è compara risposte à versioni alternattivi di e sti dubbî (alcune di esperimenti scuperta sò presentati in Chapter 3); per più nantu à l'esperimenti di a scuperta vidite Mutz (2011) . L'esperimenti suciali sò esperimenti induve u trattamentu hè una pratica sociale chì pò esse implementatu da un guvernu. L'esperimenti suciale sò assuciati à l'evaluazione di u prugramma. Per più di sperimentazione politiche, vede Heckman and Smith (1995) , Orr (1998) , è @ glennerster_running_2013.

• Trascenderebbe sperimentu simplice (sezione 4.4)

Aghju sceltu per centru nantu à trè conceptu: validità, heterogeneità di l'effetti di trattamentu, è i miccanismi. Quessi cuncetti sò numeri diffirenti in parechji campi. Per esempiu, i psiculoghi tendenu di trasfurmà di sempiterà spirimintali per centu nantu à mediatori è moderatori (Baron and Kenny 1986) . L'idea di i mediatori hè catturata da quella ch'elli chjamanu i miccanisimi, è l'idea di i moderatori hè catturata da quella chi chjama validità esterna (per esempiu, i risultati di l'esperimentu saria diferenti si fussi esercitu in diverse situazioni) è l'heterogeneità di l'effetti di trattamentu ( per esempiu, sò l'effetti più grande per certi persone ma cà altri).

L'esperimentu di Schultz et al. (2007) mostra comu teori suciali pò esse usatu per disignà intervenzioni efficace. Per un argumentu più generale nantu à u rolu di a teoria per appruparà intervenzioni effettuali, vede Walton (2014) .

• Validità (sezione 4.4.1)

I cuncetti di validu internu è internu esterni fôru introduciutu da Campbell (1957) . Vede Shadish, Cook, and Campbell (2001) per una storia più detallada è una curazione prudentina di validità di validazione interna, validità interna, custruisce validità è validità esterna.

Per una visione di i temi relative à a validità di cunclusione statistica in esperimenti vede Gerber and Green (2012) (da una perspettiva di a ciencia suciale) è Imbens and Rubin (2015) (da una perspettiva statistica). Certi emissioni di validità di a cunclusione statistiche chì si sorgienu spicciati in esperimenti in campagna on line includenu temi com'è mètudi computationally efficiale per creà intervalli di cunfidenza cù l'informazione dipindenti (Bakshy and Eckles 2013) .

A validità interna pò esse difficili di assicurà in esperimenti di campu cumplessu. Vede, per esempiu, Gerber and Green (2000) , Imai (2005) è Gerber and Green (2005) per u dettu riguardu à l'implementazione di un espertu di campu cumplessu cunvucatu. Kohavi et al. (2012) è Kohavi et al. (2013) furnisce una preghiera à i sfidi di a validità di l'intervallu in esperimenti in field online.

Una maiò minaccia per a validità interna hè a pussibilità d'aleatoriu falliu. Una manera putente per detectar i prublemi cù l'aleatoriu hè di paragunà i gruppi di trattamentu è di cuntrollu in i tracce observable. Stu tipu di cumparazione hè chjamata un cuntrollu di equilibriu . Vede Hansen and Bowers (2008) per un accontu statisticu per equilibrà i cuntrolli è Mutz and Pemantle (2015) per i prublemi nantu à i cuntrolli di u cuntrollu. Per esempiu, utilizendu un cuntrollu di equilibriu, Allcott (2011) truvò certi evidenza chì l'aleatoriu ùn hè micca implementatu correctament in trè di l'esperimenti Opower (vede table 2; siti 2, 6 è 8). Per altri appruvazioni, vede u 21 di Imbens and Rubin (2015) .

Altru prublema maiò chì tocca à a validità interna sò: (1) un incascidimentu unilaterale, induve non tutti in u gruppu di trattamentu avìanu ricivutu in modu u trattamentu, (2) un'impliazione di u partitu, induve non tutti in u gruppu di trattamentu riceve u trattamentu è certi persone in u gruppu di cuntrollu ricevi u trattamentu, (3) attrition, induve i risultati ùn sò micca misurati per certi participanti, è (4) intruduzioni, induve u trattamentu si sparisce da e persone in a cundizione di trattamentu à i persone in a cundizione di cuntrollu. Vede i capulavvi 5, 6, 7, è 8 di Gerber and Green (2012) per più nantu à queste tematiche.

Per più nantu à validità di custruisce, vede Westen and Rosenthal (2003) , è per più nantu à a validità di custruisce in grandi fonti di dati, Lazer (2015) è u capitulu 2 di stu libru.

Un aspettu di a validità esterna hè a scelta in quale a intervención hè pruvata. Allcott (2015) furnisce un trattamentu tutale teoricu è empiricu in u predefinitu di a selezzione di u situ. Stu tema hè ancu discutitu da Deaton (2010) . Un altru aspettu di a validità esterni hè quì si operizzioni alternattivi di a listessa intervenzione seranu effetti simili. In questu casu, una paragina entre Schultz et al. (2007) è Allcott (2011) palesa chì l'esperimenti Opower anu u trattu ind'è l'attu trattatu stimatu chì l'esperimenti originali da Schultz è i culleghji (1.7% versus u 5%). Allcott (2011) spicchò chì i sperimentazione di seguitu avianu un Allcott (2011) per e manere di modu chì u trattu diffirinziu: un emoticonu macchrittu com'è parte di un studiu patrocinatu da una università, cumparatu cù un emoticonu stampatu cum'è una parte di una produzione massiva rapportu di una cumpagnìa di l'energia.

• Heterogeneità di l'effetti di trattamentu (sezione 4.4.2)

Per un scuperte bellu rimbursu di l'heterogeneità di l'effetti di trattamentu in esperimenti nantu à u campu, vedi u capitulu 12 di Gerber and Green (2012) . Per introduzione à l'heterogeneità di l'effetti di trattamentu in provi medichi, vede Kent and Hayward (2007) , Longford (1999) è Kravitz, Duan, and Braslow (2004) . E considerazione di l'heterogeneità di l'effetti di trattamentu sò generalmente focuse nantu à i baschi nantu à i pre-trattamentu. Sè avete interessatu in l'heterogeneità basatu nantu à i seguenti post-trattamentu, se pò (Frangakis and Rubin 2002) più complexi, cum'è stratificazione principale (Frangakis and Rubin 2002) ; vede Page et al. (2015) per una scuperta.

Parechji circhigliani amparanu l'heterogeneità di l'effetti di trattamentu cù regressione lineale, ma i mètudi più recridu basanu nantu à l'aprenu maghjinu; vede, per esempiu, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , è Athey and Imbens (2016a) .

Ci hè un certu scetticismu nantu à i risultati di l'heterogeneità di l'effetti da causa di diversi prublemi di comparatione è di a "pesca". Ci hè una varietà di approcqui statistici chì ponu aiutà à indirizzà i prublemi nantu à multiplicazione (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Un avvena à i prublemi nantu à a "pesca" hè a pre-inscription, chì hè diventata sempri cchiù cumuni in psiculugia (Nosek and Lakens 2014) , scienza pulitica (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , è ecunumia (Olken 2015) .

In u studiu da Costa and Kahn (2013) solu una mità di e domiciliu in l'esperimentu puderia esse ligatu à l'informazione demografica. I lettori interested in these details need referenze in u papatu originale.

• Mechanisms (sezione 4.4.3)

I Mecanismi sò incredibuli impurtanti, ma turnaranu per esse assai difficili di studiari. A ricerca nantu à i miccanismi hè imminiscente cù l'astru di mediatori in psicoluggìa (ma vedi ancu VanderWeele (2009) per una precisa cunparazione entre e dui idee). St'istimi statìstichi per truvà u mecanismicu, cum'è l'approcciu fattu di Baron and Kenny (1986) , sò assai cumuni. Sfurtunatamente, deveni chì i prucessi dipennenu di qualchi sughjetti forti (Bullock, Green, and Ha 2010) è sanu quandu sò parechje miccanisimi, cumu unu pò esse espertu in assai situazioni (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) è Imai and Yamamoto (2013) offre un qualchì metu statisticu improvedatu. Aghjunghje, VanderWeele (2015) prupone un trattamentu di librettu cù una quantità di risultati impurtanti, cumprendi un accordu integrale per l'analisi di sensibilità.

Un avitu separatu si centra in esperimenti chì pruvate di manipulà u mecanismu direttamente (per esempiu, dà i marinara di vitamina C). Sfortunatamente, in assai ambienti scienza suciali, ci sò spessu parechje mekanismi è hè difficiule di disignà tratti chì cambiendu una senza cambià l'altri. Alcune alcuni à i miccanichi esperimentali mudificate sò deskritti da Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) è Pirlott and MacKinnon (2016) .

I prufiziunisti chì facenu esperimenti fattifattuli facultati necessarii d'esse preoccupa annantu à l'ipotesi multiplici; vede Fink, McConnell, and Vollmer (2014) è List, Shaikh, and Xu (2016) per più infurmazione.

Infine, i miccanichi anu ancu una longa storia in a filusufìa di a scienza cum'è esse cagiunata da Hedström and Ylikoski (2010) .

• Utilizà i medii esistenzi (sezione 4.5.1)

Per più nantu à l'utilizazione di studi di corrispondenza è studi di l'auditu per misurà a discriminazione, vede Pager (2007) .

• Cumpite u vostru propiu esperimentu (sezione 4.5.2)

A manera più cumuna di cullà i participanti à i sperimentazioni chì voi site hè Amazon Mechanical Turk (MTurk). Perchè MTurk imitatesi aspetti di i esperimenti di u laboratori tradiziunale chì paganu à i persone per cumpressione e cumerci chì ùn puderebbenu micca fà per i libri; parechji furmazioni sò avè principiatu à utilizà i Turkeri (i travaganti in MTurk) com'è participanti esperimenti, risultannu in più recantu di ricunniscenza più veloce è più datu di quellu chì pò esse rializatu in i esperimenti tradiziunali di laburatorii in u campu (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

In generale, l'avanti di l'utilizatori participanti ricrutati da MTurk sò logistichi. Quandu l 'esperimenti di u labu pozzu setasimu settimane è i campi di sperimentu ponu misurà à settimana, l'esperimenti cù i participanti ricrutati da MTurk pò esse in ghjorni. Per esempiu, Berinsky, Huber, and Lenz (2012) puderanu recrutate 400 temi in un ghjornu à participà à un esperimentu di 8 minuti. In più, queste participanti pò esse recruiti per quasi ogni fini (inclusi i medizzioni è a cullaburazione massima, comu discututu in i capituli 3 è 5). Sta facilità di ricerca significa chì i furmeru puderanu esse sequenza di esperimenti in a succissioni rapidu.

Prima di ricrutà i participanti di MTurk pè i vostri sperimenti, ci sò quatre cose impurtanti chì avete bisognu di sapè. Prima, parechji furmaturi anu un escepticismu nimu di l'esperimenti cù i Turchi. Perchè stu scetticismu ùn hè specificu, hè difficiulmente contru à l'evidenza. In ogni casu, dopu à parechji anni d'studii per u Turkeri, pudemu issa cuncludi chì stu scetticismu ùn hè micca particularmente justificatu. Ci hè parechje studii chì compara u demugrafia di i Turkceri cù quelli di l'altri populi è parechji studii chì paragunanu i risultati d'esperimenti cù l'articuli Turchers chjamati da altre populazione. Dognu tutta stu travagliu, pensu chì u megliu modu per avè pensatu hè chì i Turkmeni sò un scelte di cunzunzione razzle, assai simili à i studienti ma sò più diversi (Berinsky, Huber, and Lenz 2012) . Cusì, cum'è l'studienti sò una raghjone raghje per qualchissia, ma micca tutte e ricerche, i Turchers sò una raghjone raghje per quarchi, ma micca tutte e ricerche. Sè vo site avete da travaglià cù i Turkeri, hè sensu per leghje parechji di questi studi cumparati è capiscenu i so matessi.

Secunna, i circhuli anu sviluppatu i pratichi megliidi per addivà a validità interna di l'esperimenti MTurk, è avete avutu impartamente è seguità issi besti pratichi (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Per esempiu, l'urganizatori chì utilizanu i Turkceri sò stimulati à l'usu di cumbattenti per rinvià i participanti inattentive (Berinsky, Margolis, and Sances 2014, 2016) (ma vedi ancu DJ Hauser and Schwarz (2015b) è DJ Hauser and Schwarz (2015a) ). Se ùn sguassate micca participanti inattentive, ogni effettu di u trattamentu pò esse chjapputu da u noise that introducerete, è in a prublema u numaru di participanti inattentivi pò esse sustinienziali. In u sperimentu di Huber è i culleghji (2012) , circa un 30% di i participanti fracenu micca scribiglii d'attrazione básica. Ogni prublemi chì arrubanu cumunimenti quandu i Turkeri sò utilizati sò participanti micca ingenusi (Chandler et al. 2015) è attrition (Zhou and Fishbach 2016) .

Terzu, relative relative à certi cumpunenti di esperimenti digitale, l'esperimenti MTurk ùn ponu micca scala; Stewart et al. (2015) estimanu chì in ogni u tempu dighjà ci sò solu 7 000 persone nantu à MTurk.

Finalmente, bisogna sapè chì MTurk hè una cumunità cù i reguli è i normi (Mason and Suri 2012) . A listessa manera chì avete da pruvà à scopre da a cultura di un paese duv'è tù avaristi per andà per esse spirimintali, vi tocca à scupriri più nantu à a cultura è e norme di i Turkeri (Salehi et al. 2015) . E avete sapete chì i Turkceri parleranu di u vostru spirimèntu sè stessu ùn fate qualcosa impurtante o unethical (Gray et al. 2016) .

A MTurk hè un modu incredibile convenientu à ricrutà i participanti à i vostri esperimenti, secondu è lab-like, cum'è di Huber, Hill, and Lenz (2012) , o più campi, cum'è quelli di Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) è Mao et al. (2016) .

• Cumpite u vostru propiu pruduttu (sezione 4.5.3)

Se pensate di pruvà à creà u vostru propiu pruduttu, ricumandemu chì leghje cunsiglii offruti da u gruppu MovieLens in Harper and Konstan (2015) . Una perspettiva chjave da a so spettazza hè chì per ogni prughjettu successu sò parechje, numerosi fallimenti. Per esempiu, u gruppu MovieLens pittughja altre pruduttu, cum'è GopherAnswers, chì eranu i falli cumpletu (Harper and Konstan 2015) . Un altru esempiu di un investigatore fallendu mentre attentava à custruisce un pruduttu hè u tentativu d'Ed Edward Castronova di custruisce un ghjocu online chjamatu Arden. Invece di 250 000 $ in finanziamentu, u prugettu era un flop (Baker 2008) . Progetti cum'è GopherAnswers è Arden sò sfurtunatamenti assai più cumuni di prughjetti com MovieLens.

• Partner with the powerful (section 4.5.4)

Aghju intesu a idea di Quadrant di Pasteur annunziò discussioni à e tecnulugia, è aiuta à organizà sforzi di ricerca in Google (Spector, Norvig, and Petrov 2012) .

L'attuali di Bond è di i culleghi (2012) ancu pruvà per dette l'effetti di sti tratte nantu à l'amichi di quelli chì i ricivètenu. Per via di u disignu di l'esperimentu, i spillovers sò difficili di attruvaranu nemmenu; Lighjuri interessanti avissiru vede Bond et al. (2012) per una discussioni più larga. Jones è i culleghji (2017) anu realizatu ancu un esperimentu assai simili durante l'elizzioni in u 2012. Sti esperimenti sò parti di una longa tradizioni d'esperimenti in a scienza pulitica nantu à sforzi à favurizà u votu (Green and Gerber 2015) . Sti spirimenti pussibuli di u votu sò cumuni, in parte perchè sò in Quadrant di Pasteur. Questu hè, ci sò parechje persone chì sò motivati ​​à crescita di u votu è di u votu pò esse un cumpurtamentu interessanti per pruvà teoria più generale nantu à u cambiamentu di i comportamentu è a influenza soċjali.

Per cunsiglii nantu à esperimenti di campagni cun l'organizazioni particulari, cum'è partiti pulitici, ONGi è negozii, vede Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) è Gueron (2002) . Perchè pinsamenti quantu cumu u partenarii cù l'urganizazione ponu influenza in i disinni di ricerca, vede King et al. (2007) è Green, Calfano, and Aronow (2014) . U partenariatu pò ancu guverni di quistioni etii, com'è discussatu Humphreys (2015) è Nickerson and Hyde (2016) .

• Cunsiglii di disegnu (sezione 4.6)

Sè vo site avete creatu un pianu di analisi prima di esse u so esperimentu, suggerisce chì avete principiatu in leghje infurmazioni diretti. U cunsoru di u CONSORT (Prununzii Studii di Cunsigliu Studiatu di Pruvedimenti) sò stati sviluppati in medicina (Schulz et al. 2010) è mudificate per a ricerca in suciali (Mayo-Wilson et al. 2013) . Un rollu di guidati cunnessi hè statu sviluppatu da i scrittori di u Journal of Experimental Political Science (Gerber et al. 2014) (vede ancu Mutz and Pemantle (2015) è Gerber et al. (2015) ). Infine, i rigioni di rapportu sò sviluppati in psicoluggìa (APA Working Group 2008) , è vede ancu Simmons, Nelson, and Simonsohn (2011) .

Se create un pianu di analisi, avete bisognu di prinsistreru perchè u pre-inscription cresce a credenza chì l'altri anu in i vostri risultati. Inoltre, si avete travagliatu cù un cumpagnu, limitarà a capacità di a cumpagnia di cambià l'analisi dopu vede i risultati. A pre-inscription hè divintendu sempri cumuni in a psiculugia (Nosek and Lakens 2014) , scienza pulitica (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , è ecunumia (Olken 2015) .

U cunsigliu di disegnu particularmente per esperimenti di campu in linea hè ancu presentatu in Konstan and Chen (2007) è Chen and Konstan (2015) .

Ciò ch'è aghju chjamatu a strategia di armata hè aduprata chjamata ricerca programmaticu ; vede Wilson, Aronson, and Carlsmith (2010) .

• Cridite micca cose di data di càlculu variabile (sezione 4.6.1)

Per più in l'esperimenti MusicLab, vede Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) è Salganik (2007) . Per più nantu à i mercadetti vincitori, vedi Frank and Cook (1996) . Per più nantu à untangling fortuna è incarceratu più generale, vede Mauboussin (2012) , Watts (2012) è Frank (2016) .

Ci hè un altru appruvamentu per l'eliminazione di i pagamenti participanti chì i circunceri anu da utilizà cun prudenza: cunsigliu. In parechji sperenze in sperimentazione in u campu online i participanti sò bastamente ripropenu in esperimenti è micca mai cumpensata. Esempi di questa approccioni inclui l'Imperechju di Restivo è u van de Rijt (2012) nantu à ricuperazione in Wikipedia è l'esperimentu di Bond è di u cullegiu (2012) per incuraghjenu a ghjente di votu. Sti esperimenti ùn anu micca veramente un canzanu variabile costu, anu avutu u cummerciu di u costu variatori per i circhuli . In issi esperimenti, ancu se u costu per ogni participante hè assai picculu, u costu agrigatu pò esse grandi grande. I ricchieri chì cundiscenu i spirimenti massivi online spessu i ghjustificate l'impurtanza di i picculi effetti stimulanti di trattamentu, per dì chì questi effetti petite ponu esse impurtanti quandu s'applicate à parechje persone. U pratiche cusì cusì propriu s'applicanu à e coste chì i circunsidenti impone à i participanti Se u vostru sperimentu pruvucà un milionu parsoni a perdita un minutu, l'esperimentu ùn hè micca assai periculu per ogni persona particulare, ma in aghjunte hà perdita quasi dui anni di tempu.

Un altru appruvimentu à a crescita di pagamentu in u pagamentu di u pagamentu cellu à i participanti hè di utilizà una lotterie, un accordu chì hè statu ancu utilizatu à a ricerca di storia (Halpern et al. 2011) . Per più di cuncepimentu di e cuncepzioni di l'usu di l'usu, vedi Toomim et al. (2011) . Per più di l'usu di e botti per creà l'experimenti cummerci di u cummerciu variale vede ( ??? ) .

• Reemplace, refine, è Reduce (sezione 4.6.2)

I trè R di cum'è originalmente propostu da Russell and Burch (1959) sò dinò:

"Sustituiri significa a diri a sustituzzioni di cuscienti vivant animali supiriuri di matiriali insentient. Pussìbule, significa riduzzione in lu nùmmiru sempri àutu di l 'animali usatu pi avìri nantu à u corsu di un datu quantità è di pricisioni. Finezza significa ogni carenza in u horaire o sivirità di e prucedure inumanu appricamu a ddi bestii ca ci hannu ancora a ièssiri usatu ".

I trè R chì proposamu ùn anu micca annunziatu i principiu etichi chjamati in u capitulu 6. Anzi, sò una versione più elaborata di questi principesità-beneficence-specificamente in l'ambientazione di esperimenti umani.

In u sensu di u primu R ("sustituzione"), paragunendu l'esperimentu cuntagjunu emutivu (Kramer, Guillory, and Hancock 2014) è l'esperimentu naturali di cuntagionu emutivu (Lorenzo Coviello et al. 2014) offre un'altra lezioni generale nantu à i scontri in mudanza di l'esperimenti à esperimenti naturali (è altri attrezzamento cum'è questu attu à l'appruvamentu di l'esperimenti in e dati non-esperimenti, vede u capítulo 2). In più di i prestazioni etichi, cambià da studii esperimentali à i studienti non-esperimentali permette à i furmazioni studienti trattamenti chì sò micca logisticamente incapaci di implementà. Quessi benefici etici è logistici sò intrudutti di costu. Cù esperimenti naturali, i circheaveru anu minimu cuntrollu di e cose cum'è rilevule di participanti, l'aleatoriu è a natura di u trattamentu. Per esempiu, una limitazione di a precipitazione per un trattamentu hè chì u sia aumenta a pusitività è diminuta a negatività. In u studiu spirimintatu, però, Kramer è i culleghi sò stati capaci di ottene a positività è a negatività indipendentamente. U approdimentu particulari utilizatu da Lorenzo Coviello et al. (2014) hè statu elaboratu da L. Coviello, Fowler, and Franceschetti (2014) . Per una introduzione per e variatori instrumentale, chì ghjè l'approcciu usatu di Lorenzo Coviello et al. (2014) , vede Angrist and Pischke (2009) (formale formale) o Angrist, Imbens, and Rubin (1996) (più furmale). Per una apprezzamentu scettica di varià funnamintali, vede Deaton (2010) , è per una introduzione per e vittimi instrumentali cun strumenti dèbuli (u pluì hè un strumentu debbulu), vede Murray (2006) . In generale in generale, una bona preghiera à l'esperimenti naturali hè stata da Dunning (2012) , mentri Rosenbaum (2002) , ( ??? ) è Shadish, Cook, and Campbell (2001) offri boni idee nantu à l'estimazione d'effetti causali senza sperimenti.

In u termu di u secondu R ("refinamentu"), ci sò scambi xjentifici è logistichi di quelle di u cambiamentu di u disignu di u Contagion Emocionale da u blogu di u puzzicheghju per u sustegnu publichi. Per esempiu, pò esse u casu chì l'implementazione tècnica di u Nutizzioni di u Nutizzione sustene da escemente più fàciule à fà un esperimentu in quale postu sò bluccati in più d'un induve elle si sò stimulati (nota chì un sperimentu involutanu bloqueatu di publiciti pò esse implementatu cum'è una capa nantu à u sistema di News Feed, senza avè necessariu alterazione di u sistema sottu). Cientificatu, però, a tiurìa diretta da u sperimentu ùn hà micca fattu chjaramente un disignu supra l'altru. Sfurtunatamente, ùn aghju micca cunzignatu di ricerca previa sustinibuli nantu à i meriti riflette di ubligatoriu è daverà u cuntenutu in u News Feed. Inoltre, ùn aghju micca vistu assai ricerca à i tratti di refinimentu per fà per quessa più dannuu; Una sola eccezzioni hè B. Jones and Feamster (2015) , chì cunsidereghja u casu di a misura di a censura Internet (un tema di discussione in u capu 6 in relazione à l'studiu Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

In termini di u terzu R ("riduzzione"), i boni introduczioni à l'analizazione di putere tradenze sò datu da Cohen (1988) (libru) è Cohen (1992) (articulu), mentri Gelman and Carlin (2014) offre una perspettiva unipo differente. Covariate di pre-trattamentu pò esse includeu in l'esercitu di l'analisi è l'analisi di l'esperimenti; U capitulu 4 di Gerber and Green (2012) furnisce una bona preghiera à i dui approcci, è Casella (2008) furnisce un trattamentu più in prufunditu. I tecnichi chì anu utilizatu sta infurmazione di pre-trattamentu in l'aleatoriu sò chjamati chjamati tremblje disinni esperimenti o disinni stratificanti esperimenti (a terminologia ùn sò micca usata constantemente in comunità); sti tecniche sò assuciati à i tecnulugia di sampling stratificata in u capitu 3. Voce Higgins, Sävje, and Sekhon (2016) per più nantu à utilizà sti disinazioni in esperimenti massivi. Covariate di pre-trattamentu pò esse include ancu in l'etapa di analisi. McKenzie (2012) explora l'approcciu di diffarenza in l'analisi di l'esperimenti di campu in più di più. Vede Carneiro, Lee, and Wilhelm (2016) per più nantu à i scontri trà i diversi approcciu per incrementà a precisione in estimi di l'effetti di trattamentu. Finalmente, quandu decide un tentativu di includiri covariate di pre-trattamentu in u dissenu o anàlisi (o dui), ci sò parechji fattori per esse considerati. In un locu duva i circherosi volenu affaccià chì ùn sò micca "pesca" (Humphreys, Sierra, and Windt 2013) , cù covariate di pre-trattamentu in u stabbignimentu di designu pò esse utile (Higgins, Sävje, and Sekhon 2016) . In situ situ unni i participanti attendu sequenziale, spezii in spazii di field field, usendu una infurmazione di pre-trattamentu in u stadiu di disignu pò essa logisticu; vede, per esempiu, Xie and Aurisset (2016) .

Hè vale aduprà un pocu di intuizione per quessa chì un avvicinamentu di diffirenza in diferenziati pò esse più efficau chì una diffirenza in un medio. Molti miglii lineali anu varianza assai alta (vede, per esempio, RA Lewis and Rao (2015) è Lamb et al. (2015) ) è sò relativamente stable à u tempu. In questu casu, a scelta di cambiamentu serà varianza sustintamentale più crescente, aumentendu u putere di a test statisticu. Una ragiuni chì st'approdinazione ùn hè micca usata più spessu hè quella prima di l'età digitale, era micca cumuni per avè i pre-trattamentu. Un modu più concerti à pensà à questu hè di sèmplice un sperimentu per medisce si una routine d'esercitiva specifica pruvucarà a perdita di pisu. Se adopten un approcciu di diffirenza in a mezi, a vostra estimazione hà cambiatu variabilità da a variabilità in pesi in a populazione. In casu di ferà una diffarenza in diferenza, avà chì a variazione naturale di u pesu hè eliminata, è pudete più facilmente dette una diferenza causata da u trattamentu.

Finalmente, aghju cunsideratu aghjunghje una quarta R: "repurpose". Questu hè, se i ricerchi anu truvatu cù più dati pruvèniti ch'è avè bisognu à indirizzà a so dumanda di ricerca in urigginariu, anu riparatu a dati per dumandà novi dumande. Per esempiu, imagine chì Kramer è i culleghi anu utilizatu un stimulante diferenze in diferenziu è si truvaru cù più dati di quali anu bisognu di affruntà a so dumanda di ricerca. Invece di ùn utilizà a datu à u più strettu, puderanu studià a talla di l'effettu comu funzione di l'espressione emotiva di pre-trattamentu. Cum'è Schultz et al. (2007) truvaru chì l'effettu di u trattamentu era distintu per l'ughjettore ligne è pisanti, forsi l'effetti di l'News Feed anu diversu per i persone chì digià tendenu à publicate missaghji felici (o tristi). Repurposing puderia cumportanu a "pesca" (Humphreys, Sierra, and Windt 2013) è "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ma questi sò direttamente indirizzate cù una cumminazione di rapportu onestu (Simmons, Nelson, and Simonsohn 2011) , pre-registrazione (Humphreys, Sierra, and Windt 2013) , è metudi in furmazione in furmazione chì sguassate di evità micca di più.