Zer irakurri hurrengo

• Sarrera (4.1 atala)

Kausalitateari buruzko galderak ikerketa sozialean askotan konplexuak eta konplexuak izaten dira. Kausazko grafikoetan oinarritutako kausaziorako oinarrizko hurbilketa baterako, ikus Pearl (2009) eta emaitza potentzialetan oinarrituriko ikuspegi baterako, ikus Imbens and Rubin (2015) . Bi ikuspegi hauen arteko konparaketa egiteko, ikus Morgan and Winship (2014) . VanderWeele and Shpitser (2013) bat definitzeko ikuspegi formala izateko, ikus VanderWeele and Shpitser (2013) .

Kapitulu honetan, esperimentazio eta esperimentazio gabeko datuen estimazio kausalak egiteko gaitasunaren arteko lerro distiratsua zirudien sortu dut. Hala ere, uste dut, errealitatean, bereizketa lausotuagoa dagoela. Esate baterako, denek onartzen dute minbizia erretzea eragiten duela, nahiz eta ausartak ez diren kontrolatutako esperimentuak eragiten duen jendea kea inoiz egin dela. Shadish, Cook, and Campbell (2001) tratamendu bikainek ez dute datu esperimentalen estimazio kausala lortzeko, ikus Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) eta Dunning (2012) .

Freedman, Pisani, and Purves (2007) 1 eta 2. kapituluak esperimentuen, kontrolatutako esperimentuen eta ausazko kontrolatutako esperimentuen arteko desberdintasunei buruzko sarrera argi bat eskaintzen dute.

Manzi (2012) aleatorizatutako kontrolatutako esperimentuen oinarri filosofiko eta estatistikoari buruzko aurkezpen liluragarri eta irakurgarria eskaintzen du. Gainera, esperientzia esperimentaleko negozioetan benetako mundu errealeko adibideak eskaintzen ditu. Issenberg (2012) kanpaina politikoetan esperimentazioaren erabilerari buruzko sarrera liluragarria eskaintzen du.

• Zer dira esperimentuak? (4.2 atala)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008 eta Athey and Imbens (2016b) diseinu eta analisi esperimental estatistikoari buruzko aurkezpen onak eskaintzen dituzte. Are gehiago, badira esperimentuak erabileraren tratamendu bikaina eremuak hainbat: ekonomia (Bardsley et al. 2009) , Soziologia (Willer and Walker 2007; Jackson and Cox 2013) , psikologia (Aronson et al. 1989) , Zientzia politikoa (Morton and Williams 2010) , eta politika soziala (Glennerster and Takavarasha 2013) .

Parte-hartzaileen kontratazioaren garrantzia (adibidez, laginketa) sarritan gutxietsi egiten da ikerketa esperimentalean. Hala ere, tratamenduaren efektua biztanleriaren heterogeneoa baldin bada, laginketa kritikoa da. Longford (1999) argia egiten du argi eta garbi, esperimentuetan pentsatzen duten ikertzaileek inkesten laginketa moduan biztanleriaren inkesta gisa.

• Bi esperimentuen dimentsioa: lab-eremua eta analogikoa (4.3 atala)

Laborategiko eta esperimentuen esperimentuen arteko etengabeko iradokitzea proposatu dut eta beste ikertzaile batzuek tipologia zehatzagoak proposatu dituzte, bereziki eremu esperimentuak (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Laburpen batzuk laborategian eta eremu esperimentuan konparatu dituzte (Falk and Heckman 2009; Cialdini 2009) eta zientzia politikoetan esperimentazio espezifikoen emaitzak (Coppock and Green 2015) , ekonomia (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , eta psikologia (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ikerketa-proiektu ederra eskaintzen dute laborategiko eta eremu esperimentuetako emaitzak alderatuz. Parigi, Santana, and Cook (2017) deskribatzen du nola linean esperimentuak laborategian eta eremu esperimentuetako zenbait ezaugarri konbinatu daitezkeen.

Beren portaera aldatzen duten pertsonenganako kezkak nabarmentzen ari direlako ezagutzen direlako batzuetan eskari efektuak deitzen zaizkie eta psikologian (Orne 1962) eta ekonomia (Zizzo 2010) . Laborategi esperimentuak gehienbat lotuta badira ere, gai horiei arazoak sor ditzakete eremuen esperimentuak ere. Izan ere, eskariaren ondorioak Hawthorne efektuak ere deitzen dira batzuetan, 1924an Western Electric Company-eko Hawthorne Works-en (Hawthorne Works of the Western Electric Company-en obrak Hawthorne Works (Adair 1984; Levitt and List 2011) . Eragin-efektuak eta Hawthorne efektuak oso lotuta daude 2. kapituluan aztertutako neurketa erreaktiboaren ideiarekin (ikus Webb et al. (1966) ).

Eremu esperimentuak historia luzea dute ekonomian (Levitt and List 2009) , zientzia politikoa (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psikologia (Shadish 2002) eta politika publikoak (Shadish and Cook 2009) . Gizarte-zientzietako eremu bat, eremu esperimentuak azkar garrantzi handia izan da nazioarteko garapenean. Ekonomia ekonomikoaren barruan egindako lanaren berrikuspen positibo bat ikusi Banerjee and Duflo (2009) , eta ebaluazio kritikorako, ikusi Deaton (2010) . Zientzia politikoan egindako lana berrikusteko, ikusi Humphreys and Weinstein (2009) . Azkenik, zientzia politikoen testuinguruan (Humphreys 2015; Desposato 2016b) eta garapen ekonomikotik (Baele 2013) esploratu dituzte erronka etikoak.

Atal honetan, aurretiko tratamenduaren informazioa tratamendu tratamenduen efektuak zehaztea hobetzeko erabil daiteke, baina planteamendu honi buruzko eztabaida dago. ikus Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , eta Bloniarz et al. (2016) informazio gehiagorako.

Azkenik, laborategiko dimentsioan ondo egokitzen ez diren gizarte-zientzietako beste bi esperimentu mota daude: inkesta esperimentuak eta esperimentazio sozialak. Inkestaren esperimentuak esperimentuak dira dagoeneko egindako inkesten azpiegitura erabiliz eta galdera beraren beste bertsio alternatiboen erantzunak alderatuz (inkesta esperimentuak 3. kapituluan aurkezten dira); Mutz (2011) esperimentu gehiago ikusteko, ikusi Mutz (2011) . Gizarte esperimentuak dira esperimentuak, non tratamendua gobernu batek bakarrik egin dezakeen gizarte-politikan. Gizarte esperimentuak oso hurbil daude programaren ebaluazioarekin. Politika esperimentuei buruzko informazio gehiago lortzeko, ikus Heckman and Smith (1995) , Orr (1998) eta @ glennerster_running_2013.

• Esperimentu soiletatik haratago (4.4 atala)

Hiru kontzeptuetan oinarritua aukeratu dut: baliozkotasuna, tratamenduaren efektuak eta mekanismoak dituzten heterogeneotasunak. Kontzeptu horiek desberdinak dira eremu ezberdinetan. Adibidez, psikologoek esperimentazio soilak gainditzen dituzte bitartekari eta moderatzaileen bidez (Baron and Kenny 1986) . Bitartekarien ideia mekanismoei deitzen diegunez, moderatzaileen ideiak kanpoko baliagarritasuna deitzen diotenak (adibidez, esperimentuaren emaitzak desberdinak izango lirateke egoera ezberdinetan) eta tratamenduaren ondorioak heterogeneotasunez (adibidez, Adibidez, pertsona batzuentzat baino gehiagoko efektuak dira besteentzat baino).

Schultz et al. (2007) Esperimentua Schultz et al. (2007) erakusten du nola gizarte-teoriak esku-hartze eraginkorrak diseinatzeko erabil daitezkeen. Interpretazio eraginkorrak diseinatzeko teoriak duen rolari buruzko argudio orokor bat lortzeko, ikus Walton (2014) .

• Baliozkotasuna (4.4.1 atala)

Barneko eta kanpoko baliozkotasun kontzeptuak Campbell (1957) ek Campbell (1957) lehen aldiz sartu zituen. Ikus Shadish, Cook, and Campbell (2001) historiaren xehetasun handiagoz eta estatistiken ondoriozko baliozkotasunaren, barneko baliozkotasunaren, eraikuntzaren baliozkotasuna eta kanpoko baliozkotasuna garatzeko.

Esperimentuen estatistikaren ondoriozko baliozkotasunarekin lotutako gaien ikuspegi orokorra lortzeko, ikusi Gerber and Green (2012) (gizarte zientzietako ikuspegitik) eta Imbens and Rubin (2015) (estatistika ikuspegitik). Eremu esperimentaletan oinarritutako estatistika-ondorioen baliozkotasun estatistikoari buruzko zenbait gai daude, besteak beste, konfiantza-tarteak datu- (Bakshy and Eckles 2013) .

Barneko baliozkotasuna zaila izan daiteke eremu esperimentaletan esperimentatzeko. Ikus, adibidez, Gerber and Green (2000) , Imai (2005) eta Gerber and Green (2005) botoari buruzko esperimentu esperimental konplexua ezartzeko eztabaidarako. Kohavi et al. (2012) eta Kohavi et al. (2013) lineako esperimentuen inguruko tarteen baliozkotasunaren erronkei buruzko sarrera bat eskaintzen dute.

Barneko balioztapenaren mehatxu nagusietako bat ausazko ausentzia izateko aukera da. Gauzak horrela, ausardizazioarekin arazoak antzemateko modua da trebetasun behagarrietan tratamendu eta kontrol taldeen arteko konparazioa. Konparazio mota hori oreka-txeke bat da . Ikusi Hansen and Bowers (2008) txekeak eta Mutz and Pemantle (2015) txekeak orekatzeko ikuspegi estatistiko bat lortzeko. Adibidez, oreka-txeke bat erabiliz, Allcott (2011) frogatu zuen ausazko proba ez zela behar bezala inplementatu hiru Opower esperimentutan (ikus 2. taulan; 2, 6 eta 8 guneak). Beste ikuspegi batzuetarako, ikus Imbens and Rubin (2015) kapitulua.

Barne-balioaren inguruko beste kezka nagusiak honako hauek dira: (1) alde bakarreko ez-betetzea, tratamendu-talde guztiek ez dute tratamendua jaso, (2) bi aldeetako konpromisoa, tratamendu-talde guztiek tratamendua jasotzen ez duten eta pertsona batzuk kontrol-taldea tratamendua jasotzen du, (3) desbideratzea, parte-hartzaile batzuek emaitzak ez badituzte neurtzen, eta (4) interferentziak, tratamenduak baldintza kontrolatzen duten pertsonei tratamendua ematen dien tratamenduan. Ikus Gerber and Green (2012) 5., 6., 7., 8. eta 8. kapituluetan Gerber and Green (2012) gai horietako bakoitzari buruzko informazio gehiago lortzeko.

Eraikuntzaren baliozkotasunari buruz gehiago jakiteko, ikus Westen and Rosenthal (2003) , eta Lazer (2015) eta 2. kapituluko datu-iturri handien konstruktibismoari buruzko informazio gehiago lortzeko.

Kanpoko baliozkotasunaren alderdiak interbentzioa probatzen duen esparrua da. Allcott (2015) gunearen hautaketa Allcott (2015) tratamendu teoriko eta enpiriko zaindua eskaintzen du. Arazoa ere Deaton (2010) eztabaidatzen du. Kanpoko baliozkotasunaren beste alderdi bat da esku hartze alternatiboen alternatiboak efektu antzekoak izatea. Kasu honetan, Schultz et al. (2007) eta Allcott (2011) erakusten du Opower-en esperimentuek Schultz-en eta lankideen jatorrizko esperimentuek baino tratatutako tratamendu txikiagoak (% 1,7 versus% 5) baino. Allcott (2011) espezifikatu zuen jarraipen esperimentuak efektu txikiagoak eragin zituztela tratamenduak desberdinak zirelako: eskuz idatzitako aurpegiera, unibertsitate batek babestutako azterketaren zati bat, aurpegierazko aurpegi bat, masa ekoiztuaren baitan Energia konpainiaren txostena.

• Tratamenduaren ondorioen heterogeneotasuna (4.4.2 atala)

Tratamenduaren efektuak eremuan esperimentuen ikuspegiaren ikuspegi bikainagatik, ikusi Gerber and Green (2012) 12) kapitulua, Gerber and Green (2012) . Tratamenduaren ondorioak heterogeneotasunez Kravitz, Duan, and Braslow (2004) entsegu medikoetan, ikusi Kent and Hayward (2007) , Longford (1999) eta Kravitz, Duan, and Braslow (2004) . Tratamenduaren ondorioekiko heterogeneotasuna kontuan hartuta, oro har, aurre-tratamenduaren ezaugarrietan oinarritutako desberdintasunak aztertzen dira. Tratamenduen emaitzetan oinarritutako heterogeneotasuna interesatzen bazaizu, orduan planteamendu konplexuagoak behar dira, hala nola, estratifikazio nagusia (Frangakis and Rubin 2002) ; ikusi Page et al. (2015) berrikuspena egiteko.

Ikertzaile askok ebaluazio linealaren bidez tratamenduaren ondorioekiko heterogeneotasuna kalkulatzen dute, baina metodo berriek makina ikasketetan oinarritzen dira; Ikus, adibidez, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , eta Athey and Imbens (2016a) .

Eraginen heterogeneotasunaren aurkikuntzari buruzko zenbait esposizio daude, konparazio arazo ugari eta "arrantza" delako. Hainbat alderdi estatistiko daude aurre egiteko (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Arrantza" buruzko kezken inguruko ikuspegia aurreinskripzioa da, gero eta ohikoagoa da psikologian (Nosek and Lakens 2014) , zientzia politikoa (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , eta ekonomia (Olken 2015) .

Costa and Kahn (2013) ren azterketan Costa and Kahn (2013) , esperimentuan familien erdiak baino ezingo lirateke demografikoki lotzen. Xehetasun hauei buruzko interesa duten irakurleak jatorrizko paperari erreferentzia egin beharko lioke.

• Mekanismoak (4.4.3 atala)

Mekanismoak oso garrantzitsuak dira, baina oso zaila izaten da ikastea. Mekanismoei buruzko ikerketak psikologiaren bitartekarien azterketarekin lotura estua du (baina ikusi ere VanderWeele (2009) bi ideien arteko konparazio zehatza lortzeko). Mekanismoak aurkitzeko planteamendu estatistikoak, Baron and Kenny (1986) garatutako ikuspegia bezain ohikoak dira. Zoritxarrez, prozedura horiek hipotesi sendo batzuen menpe daude (Bullock, Green, and Ha 2010) eta hainbat mekanismo daude, egoera askotan (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) eta Imai and Yamamoto (2013) metodo estatistiko hobeak eskaintzen dituzte. Gainera, VanderWeele (2015) liburu-luzera tratamendua eskaintzen du emaitza garrantzitsuenekin, sentsibilitatearen analisiari buruzko ikuspegi integrala barne.

Ikuspegi bereizi bat mekanismoak zuzenean maneiatzen saiatzen diren esperimentuetan oinarritzen da (adibidez, marinelen bitamina C). Zoritxarrez, gizarte-zientzietako ezarpen askotan, maiz mekanismo ugari daude eta besteek aldatzen ez dituzten tratamenduak diseinatzea zaila da. Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) eta Pirlott and MacKinnon (2016) mekanismoak modu esperimentalean aldatzeko planteamendu batzuk deskribatzen dituzte.

Ikertzaileek faktorezko esperimentazio esperimentalak egiteaz gain, hipotesi anitzen azterketari dagokionez, ikus Fink, McConnell, and Vollmer (2014) eta List, Shaikh, and Xu (2016) informazio gehiago lortzeko.

Azkenean, mekanismoak historia luzea dute Hedström and Ylikoski (2010) zientziaren filosofian.

• Lehendik dauden inguruneak erabiliz (4.5.1 atala)

Matrikulazioko ikasketen eta ikuskapenen azterketen erabilerari buruzko informazio gehiago lortzeko, ikus Pager (2007) .

• Sortu zeure esperimentua (4.5.2 atala)

Partekatzen diren esperimentuak biltzeko modu ohikoena Amazon Makineko Turkia da (MTurk). MTurk-ek laborategi esperimental tradizionalen alderdi batzuk imitatzen dituelako -elkezketako askok egiten ez dituzten zereginak osatuz- askotariko ikertzaileek Turkers (MTurk-eko langileak) hasi zituzten parte-hartzaile esperimental gisa, datu bilketa azkarragoa eta merkeagoa lortzearren. campuseko laborategiko esperimentu tradizionaletan (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Oro har, MTurk kontratatutako parte-hartzaileen erabilera abantailatsuena logistika da. Laborategi esperimentuak aste exekutatuak izan ditzake eta laborategiko esperimentuak hilabeteak iraun ditzaten, MTurk-ek kontratatutako parte-hartzaileen esperimentuak egunetan exekutatu ahal izango dira. Esate baterako, Berinsky, Huber, and Lenz (2012) gai bakar batean 400 irakasgaia biltzeko gai izan ziren 8 minutuko esperimentuan parte hartzeko. Gainera, parte-hartzaile hauek ia edozein motatako (inkestak eta lankidetza masiboa barne), 3. eta 5. kapituluetan eztabaidatu daitezke. Erreklutamenaren erraztasun hori ikertzaileek esperientzia erlazionatutako sekuentziak laster exekutatu ditzakete.

MTurk-eko parte-hartzaileek zure esperimentuei kontratatu aurretik, lau gauza garrantzitsu daude jakiteko. Lehenik eta behin, askok ikertzaileek esperientzia eszeptikoen ezberdina dute Turkerekin. Eszeptizismoa ez delako espezifikoa, zaila da ebidentziarekin alderatzea. Hala eta guztiz ere, Turkerekin egindako ikasketen urteen ostean, ondorioztatu dezakegu eszeptizismoa ez dela bereziki justifikatua. Hainbat ikerketek frogatu dute Turkiarrek beste populazio batzuekin duten demografia eta beste hainbat ikerketen emaitzak aztertzen dituztela, beste populazio batzuekin Turkerekin esperimentuen emaitzak alderatuz. Lan hori guztia kontuan hartuta, uste dut hori pentsatzeko modurik onena Turkarrek zentzuzko erosotasunerako lagina dela, baina askoz ere gehiago (Berinsky, Huber, and Lenz 2012) . Horrela, ikasle batzuk arrazoizko biztanleria dira, baina ez guztiak, ikerketak, Turkerak arrazoizko biztanleria dira, baina ez guztiak, ikerketa. Turkerekin lan egiten baduzu, zentzuzkoa da azterketa konparatibo horietako asko irakurtzea eta ñabardurak ulertzea.

Bigarrenik, ikertzaileek MTurk esperimentuen barneko baliozkotasuna areagotzeko praktika onenak garatu dituzte eta praktika onenak (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) ezagutu eta jarraitu behar dituzu. Esate baterako, Turkarrek erabiltzen dituzten ikertzaileek parte hartzaile ez- (Berinsky, Margolis, and Sances 2014, 2016) DJ Hauser and Schwarz (2015b) (baina ikus DJ Hauser and Schwarz (2015b) eta DJ Hauser and Schwarz (2015a) ). Ez baztertuak diren parte-hartzaileak ezabatzen ez badituzu, orduan tratamenduaren efektuak sor daitezkeen zarata garbitu daiteke eta praktikan parte-hartzaile desatseginak ezinbestekoak izan daitezke. Huberren eta lankideen (2012) esperimentuan, parte hartzaileen% 30ek oinarrizko arreta ebaluatzaileak huts egin du. Turkierak erabiltzen dituen beste arazo batzuk ez dira inozoa (Chandler et al. 2015) eta higadura (Zhou and Fishbach 2016) .

Hirugarrenik, esperimentu digitalen beste modu batzuekin alderatuta, MTurk-en esperimentuak ezin dira eskalatu; Stewart et al. (2015) estimatzen dute une batez MTurk-en 7.000 pertsona inguru besterik ez direla.

Azkenean, jakin behar duzu MTurk dela bere arau eta arauei buruzko komunitate bat (Mason and Suri 2012) . Esperimentuak exekutatzen ari zen herrialde baten kulturari buruz jakiteko modu berean, Turkiarrek kultura eta arauei buruz gehiago jakiteko (Salehi et al. 2015) saiatu beharko zenuke. Eta jakin beharko zenuke Turkierak zure esperimentuari buruz hitz egingo duela zerbait desegokia edo ez etetea (Gray et al. 2016) .

MTurk oso modu erosoa da zure esperimentuen parte-hartzaileak biltzeko, hala nola, Huber, Hill, and Lenz (2012) bezalako lab-bezalakoak, edo antzeko eremuak Mason and Watts (2009) , adibidez Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , eta Mao et al. (2016) .

• Eraiki zeure produktua (4.5.3 atala)

Zure produktua sortzeko nahian ari bazara pentsatzen baduzu, MovieLens taldeak Harper and Konstan (2015) eskaintzen dituen aholkuak irakurtzea gomendatzen dut. Esperientziaren inguruko gako nagusiak proiektu arrakastatsu bakoitzerako asko eta asko daude. Esate baterako, MovieLens taldeak beste produktu batzuk abiarazi zituen, hala nola GopherAnswers, hutsune osoak (Harper and Konstan 2015) . Prozesu bat eraikitzeko ahalegina egin duen ikertzaile baten adibidea Edward Castronovak Arden izeneko joko bat eraikitzeko saiakera da. Finantzaketa $ 250.000 izan arren, proiektua flop bat izan zen (Baker 2008) . GopherAnswers eta Arden bezalako proiektuak, zoritxarrez, MovieLens bezalako proiektuak bezainbeste ohikoak dira.

• Bazkide indartsua (4.5.4 atala)

Pasteur-en Quadrant-ek maiz eztabaidatu zuen enpresa teknologikoan ideiak entzun eta Google-ren ikerketa ahaleginak antolatzen laguntzen du (Spector, Norvig, and Petrov 2012) .

Bond eta lankideen azterketa (2012) tratamendu hauen eragina hauteman nahi dutenen lagunek ere antzeman nahi dute. Esperimentua diseinatzerakoan, isurpen horiek zaila dira garbi detektatzeko; interesdunek Bond et al. (2012) ikusi beharko lukete Bond et al. (2012) eztabaida sakonagoa lortzeko. Jones eta lankideek (2017) esperimentu oso antzekoa egin zuten 2012ko hauteskundeetan. Esperimentu horiek zientzietako politikan esperimentuen tradizio luzean parte hartzen dute botoiak sustatzeko ahaleginak (Green and Gerber 2015) . Bozketa esperimentuak hauek arruntak dira, neurri batean, Pasteur-en Quadrant-en daude. Hau da, hauteskundeak eta bozketak areagotzera bultzatutako jende askok portaera interesgarria izan daiteke portaera aldaketari eta eragin sozialari buruzko teoria orokorrak probatzeko.

Bazkide erakundeekin esperimentuak egiteko, hala nola, alderdi politikoak, GKEak eta negozioak, ikusi Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) eta Gueron (2002) . Elkarteekiko lankidetzak nola egin dezaketen ikerketa-proiektuei buruz pentsatzeko, ikus King et al. (2007) eta Green, Calfano, and Aronow (2014) . Elkartek ere galdera etikoak sor ditzakete, Humphreys (2015) eta Nickerson and Hyde (2016) eztabaidatu bezala.

• Diseinu aholkuak (4.6 atala)

Esperimentu bat exekutatzen hasi aurretik analisi-plana sortzen ari bazara, txostenak irakurtzeko jarraibideak irakurtzen hasiz gero, gomendatzen dut. CONSORTek (Taldekako Araudiaren Memoria finkatua) jarraibideak medikuntzan garatu ziren (Schulz et al. 2010) eta gizarte ikerketarako (Mayo-Wilson et al. 2013) aldatzeko. Zientzia Politiko Esperimentalen Aldizkaria (Gerber et al. 2014) editoreek jarraibide multzo bat argitaratu dute (ikus Mutz and Pemantle (2015) eta Gerber et al. (2015) ). Azkenean, informazio-jarraibideak psikologian garatu dira (APA Working Group 2008) , eta ikusi Simmons, Nelson, and Simonsohn (2011) .

Analisi-plana sortzen baduzu, erregistratu aurretik kontuan hartu beharko zenuke, aurreinskripzioa besteek zure emaitzetan konfiantza handituko dutelako. Gainera, bazkide batekin lan egiten baduzu, zure bikotekidea aztertzeko aukera aztertu ondoren, emaitzak ikusi ondoren, mugatu egingo da. Aurreinskripzioa gero eta ohikoagoa da psikologian (Nosek and Lakens 2014) , zientzia politikoa (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) eta ekonomia (Olken 2015) .

Gainera, Konstan and Chen (2007) eta Chen and Konstan (2015) diseinu aholkularitza bereziki online esperimentuetan ere aurkezten dira.

Armada estrategia deitzen dudan batzuetan ikerketa programatikoa deritzo; ikusi Wilson, Aronson, and Carlsmith (2010) .

• Sortu zero aldagaiaren kostuaren datuak (4.6.1 atala)

MusicLab-en esperimentuei buruz gehiago jakiteko, ikus Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) eta Salganik (2007) . Irabazle-hartu merkatu gehiago lortzeko, ikus Frank and Cook (1996) . Askoz ere zorte eta trebetasun handiagoz gain, ikusi Mauboussin (2012) , Watts (2012) eta Frank (2016) .

Beste ikuspuntu bat dago ikertzaileek kontu handiz erabili behar dituzten partaidetza-ordainketak ezabatuz: kontscription. Lineako esperimentu askotan, parte-hartzaileek esperimentuak idatzi eta inoiz konpentsatu egiten dira. Ikuspegi horren adibideen artean, Restivo eta Van de Rijt-en (2012) esperimentuak saritutako Wikipedia eta Bond eta lankideen (2012) esperimentuak jendeak bozkatzeko sustatzen du. Esperimentazio horiek ez dute zero aldagairik, baizik eta ikertzaileentzako kostu zeroa dute. Esperimentazio horietan, parte-hartzaile bakoitzarentzat kostua oso txikia bada ere, guztizko kostua nahiko handia izan daiteke. Interneten masiboak diren esperimentuak egiten dituzten ikertzaileek, askotan, tratamendu efektu txikien efektuak garrantzia justifikatzen dute, ondorio txikiak eragin ditzaketela jende askorentzat aplikatzen denean. Pentsaera bera zehazten da parte-hartzaileek inposatzen duten kostuei dagokienez. Zure esperimentuak milioi bat pertsona hiltzea galarazten badu, esperimentua ez da inongo pertsona partikularrei kalterik eragiten, baina agregatuan ia bi urte igaro dira.

Partaidetza aldakorreko kostu aldakorreko zero ordainketa sortzeko beste modu bat loteria bat erabiltzea da, inkestaren ikerketan ere erabilitako ikuspegia (Halpern et al. 2011) . Erabiltzaileen esperientzia atseginak diseinatzeari buruz gehiago jakiteko, ikus Toomim et al. (2011) . Zabor-kostu zeroen esperimentuak lortzeko bot-ak erabiltzeari buruz gehiago jakiteko, ikus ( ??? ) .

• Ordezkatu, findu eta murriztu (4.6.2 atala)

Russell and Burch (1959) proposatutako jatorrizko hiru hauek hauek dira:

"Ordezko bizi kontziente material insentient animaliak handiagorik ordezkatzeko esan nahi. Murrizketa zenbatekoa eta zehaztasun jakin baten informazioa lortzeko erabiltzen animalien zenbakiak murriztea esan nahi du. Finketa intzidentzia edo eta oraindik ere erabili behar dira animalia horiek aplikatuko inhumane prozedurak larritasuna edozein jaitsiera esan nahi du. "

Proposatzen ditudan hiru Rek ez dute gainontzeko 6. kapituluan azaldutako printzipio etikoak gainidazten. Baizik eta printzipio horietako bat da, bereziki, giza esperimentuen ezarpenean.

Lehenengo R ("ordezko") dagokionez, emozionala kutsatze esperimentua (Kramer, Guillory, and Hancock 2014) alderatuz eta emozionala transmititzeko esperimentu naturala (Lorenzo Coviello et al. 2014) eskaintzen dituen konpromisoei buruzko ikasgai orokorrak eskaintzen ditu. esperimentu naturaletatik (eta esperimentuak hurbiltzeko beste esperimentazio batzuekin bat datozenak bezalako beste ikuspegi batzuk, ikus 2. kapitulua). Etengabeko prestazioez gain, ikertzaile esperimentaletatik ez esperimentaletara aldatzen direnez, ikertzaileek logistikoki ezin dute zabaldutako tratamenduak ikertu. Etengabeko prestazio etikoak eta logikoak, ordea, kostuak dira. Esperimentu naturalekin, ikertzaileek parte-hartzaileen kontratazioan, ausazkoz eta tratamenduaren izaera bezalako kontrolei buruz gutxiago kontrolatzen dute. Adibidez, prezipitazioen mugapen bakarra bi positibotasuna handitzen du eta negatibitatea gutxitzen du. Ikerketa esperimentalean, hala ere, Kramerrek eta lankideek positibotasun eta negatibitatea modu independientean egokitu zezaketen. Lorenzo Coviello et al. (2014) L. Coviello, Fowler, and Franceschetti (2014) landu zituen. Aldagai instrumentalen sarrera, hau da, Lorenzo Coviello et al. (2014) , ikus Angrist and Pischke (2009) (formalagoa) edo Angrist, Imbens, and Rubin (1996) (formalagoa). Aldagai instrumentalen ebaluazio eszeptikoa lortzeko, ikus Deaton (2010) eta instrumentu ahulen aldagai instrumentalen sarrera (ekaitza ahula da), ikusi Murray (2006) . Oro har, Dunning (2012) egindako esperimentu naturalen sarrera ona da. Rosenbaum (2002) , ( ??? ) , eta Shadish, Cook, and Campbell (2001) esperimentalik gabe ondorio kausalak kalkulatzeko ideia onak eskaintzen dituzte.

Bigarren R ("hobetzea") dagokionez, komertzio zientifikoak eta logistikoak daude Emotional Contagion diseinua aldatuz postuak sustatzeko mezuak blokeatuz. Adibidez, News Feed aplikazioaren ezarpen teknikoa errazagoa da mezuak blokeatu egiten diren esperimentu bat egitea baizik eta hobeto bultzatzen ez direnak (kontuan izan mezuen blokeoari buruzko esperimentua inplementatu daitekeela. News Feed sistemaren gainean dagoen geruza bezala, azpiko sistemaren aldaketak egin beharrik gabe). Zientifikoki, ordea, esperimentuak zuzentzen duen teoria ez zen argi eta garbi beste bat diseinatu. Zoritxarrez, ez dut jakitun aldez aurretik egindako ikerketen inguruko azterketa garrantzitsuen berri izan. Gainera, ez dut ikusi fintzeko tratamenduei buruzko ikerketarik txikiena kaltegarria izan dadin; salbuespen bakarra B. Jones and Feamster (2015) , Interneten zentsuraren neurria (6 kapituluan aztertuko dudan gaia Encore azterketarekin (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) eztabaidatzen dut.

Hirugarren R ("murrizketa") dagokionez, Cohen (1988) (liburua) eta Cohen (1992) artikuluetan eskuz egindako analisi tradizionalei buruzko aurkezpen onak ematen dira. Gelman and Carlin (2014) ikuspuntu apur bat eskaintzen dute. Pre-tratamenduko covariates-ek esperimentuen diseinuan eta analisi-fasean sartzen dira; Gerber and Green (2012) kapituluak bi ikuspegietara sarrera on bat eskaintzen du, eta Casella (2008) tratamendu sakonagoa eskaintzen du. Prebentzioko informazio hau aleatorizazioan erabiltzen duten teknikak deiturikoak dira, adibidez, diseinu esperimentalak blokeatuta edo diseinu esperimentaletan (terminologia ez da koherentziaz erabiltzen komunitateen artean); teknikek estuki lotutako laginketa teknikekin estuki lotuta daude 3. kapituluan. Ikusi Higgins, Sävje, and Sekhon (2016) diseinu horiek erabiliz esperimentu masiboetan. Aurre tratamendua covariates ere azterketa fasean sartzen dira. McKenzie (2012) xehetasun handiagoz aztertzeko eremuan dauden desberdintasun desberdintasunak aztertzen ditu. Ikus Carneiro, Lee, and Wilhelm (2016) tratamenduaren ondoriozko estimazioetan zehaztasun handiagoak lortzeko ikuspegi desberdinen arteko konpromisoei buruz. Azkenik, diseinuaren edo analisiaren fasean (edo biak) pre-tratamenduko kobariatuak sartzen saiatzea erabakitzen duenean, faktore batzuk kontuan hartu behar dira. Ikertzaileek "arrantza" (Humphreys, Sierra, and Windt 2013) ez dutela erakutsi nahi dutenean, prebentzioko tratamenduak erabiliz diseinuaren fasean lagungarriak izan daitezke (Higgins, Sävje, and Sekhon 2016) . Parte-hartzaileek sekuentziara iristen diren egoeretan, bereziki online eremuan esperimentuak, diseinuaren aurre-tratamenduaren informazioa erabiliz logistikoki zaila izan daiteke; Ikus, adibidez, Xie and Aurisset (2016) .

Ikus daiteke intuizio pixka bat zergatik desberdintasunen arteko desberdintasunak hurbilketa bat baino eraginkorragoa izan daitekeen. Lineako emaitza askok bariantz oso handia dute (ikusi, adibidez, RA Lewis and Rao (2015) eta Lamb et al. (2015) ) eta nahiko denboran egonkorra izaten dute. Kasu honetan, aldaketaren puntuazioa bariantza nabarmenagoa izango da, estatistika proba indarra handituz. Arrazoi hori ez da ohikoagoa da ohiko adina baino lehen, ez zen ohikoa pre-tratamenduaren emaitza izatea. Horretarako pentsatzeko modu zehatzagoa da ariketa fisiko jakin batek pisu galera eragiten duen ala ez neurtzeko esperimentu bat imajinatzea. Aurreikusitako baliabideen bat hartuz gero, zure estimazioak biztanleriaren pisuen aldakortasunetik sortutako aldakortasuna izango du. Ezberdintasunen arteko hurbilketa bat egiten baduzu, ordea, pisuen aldaketa naturalak kendu egiten dira eta tratamenduak eragindako diferentzia errazago antzematen da.

Azkenean, laugarren R bat gehitzea pentsatu nuen: "repurpose". Hau da, ikertzaileek datu esperimental gehiago biltzen badituzte beren jatorrizko ikerketa-galderari erantzuteko baino, datuak berriro galdetu beharko lituzkete. Adibidez, imajinatu Kramer-ek eta lankideek desberdintasun-aldagaiaren zenbatesle bat erabili dituztela eta beren ikerketa-galderari aurre egin behar zaiela baino datu gehiago aurkitu zutela. Datuek gehien erabiltzen ez duten bitartean, efektuaren tamaina aztertu ahal izango dute aurre-tratamenduaren adierazpen emozionalen arabera. Schultz et al. (2007) , tratamenduaren efektua ezberdina izan zen erabiltzaile argien eta astunentzat, agian News Feed-en ondorioak desberdinak izan ziren pozik (edo triste) mezuak bidaltzeko. Errepikatzeak "arrantza" (Humphreys, Sierra, and Windt 2013) eta "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , baina hauek, neurri handi batean, erreportaje zintzoa (Simmons, Nelson, and Simonsohn 2011) , aurreinskripzioa (Humphreys, Sierra, and Windt 2013) , eta gaineko egokitze saihesten saiatzen diren makina-ikasketen metodoak.