comentario gehiago

Atal honek diseinatuta dago erreferentzia gisa erabili ahal, narrazio bat bezala irakurri behar baino.

• Aurkezpena (4.1 artikulua)

ikerketa sozialetan kausalitatea buruzko galdera konplexu eta korapilatsu dira askotan. Kausalitatea fundatzaile hurbilketa oinarritutako grafikoak kausala, ikus Pearl (2009) , eta fundatzaile hurbilketa oinarritutako emaitza potentzialak, ikus Imbens and Rubin (2015) (eta kapitulu honetan Eraskin teknikoa). Bi ikuspegi horiek konparatzeko, ikusi Morgan and Winship (2014) . Confounder bat definitzeko hurbilketa formal bat lortzeko, ikusi VanderWeele and Shpitser (2013) .

kapituluan, zer datu esperimentalak eta ez-esperimentu batetik kausazko kalkulatzea, gure gaitasuna arteko lerro distiratsuak bezala zirudien sortu dut. Egia esan, bereizketa hori lausoa dela uste dut. Adibidez, denek onartzen erretzea eragiten minbizia dugu, nahiz eta ez dute inoiz ausazko kontrolatua esperimentu bat behartzen pertsona erre egin. Bikaina book luzera kausala balioztapenen ez-esperimentala datuak batetik tratamenduak eskuratzeko ikusi Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , eta Dunning (2012) .

1 eta 2 kapituluak Freedman, Pisani, and Purves (2007) , sarrera bat esperimentuak, kontrolatutako esperimentuak arteko ezberdintasunak sartu eskaintzeko, eta kontrolatutako esperimentuak ausazko.

Manzi (2012) sarrera zoragarri eta irakurgarri bat ausazko kontrolatutako esperimentuak oinarri filosofiko eta estatistika-sakontzeko aukera ematen du. interesgarri mundu errealean enpresa esperimentazioa boterea adibideak ere ematen du.

• Zer dira esperimentuak? (4.2 artikulua)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) eskaintzen aurkezpenak ona diseinu eta analisi esperimentala alderdi estatistika. Are gehiago, ez dira esperimentuak erabileraren tratamendu bikaina arlo askotan: ekonomia (Bardsley et al. 2009) , Soziologia (Willer and Walker 2007; Jackson and Cox 2013) , psikologia (Aronson et al. 1989) , Zientzia politikoa (Morton and Williams 2010) , eta gizarte-politika (Glennerster and Takavarasha 2013) .

Parte-hartzaile aukeratzea (adibidez, laginketa) garrantzia askotan da ikerketa esperimentaletan pean estimatzen. Hala ere, tratamenduaren eragina populazioan heterogeneoa da gero, laginketa kritikoa da. Longford (1999) puntu hau argi eta garbi egiten denean defendatzen zuen Ostolaza laginketa dituzten biztanleriaren inkesta bat bezala esperimentuak pentsatzen ikertzaileentzat.

• Bi esperimentu dimentsioak: lab-eremu eta analogiko-digital (4.3 artikulua)

dikotomia hori lab eta eremu esperimentuak arteko aurkeztu nuen, eta pixka bat sinplifikatu. Izan ere, beste ikertzaileek proposatu dute tipologia xehatuagoa, hainbat eremu esperimentuak forma bereizteko erabiltzen direnak bereziki (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Horrez gain, beste bi gizarte zientzialariek egin esperimentuak sartzen ez bata lab eta eremu dikotomia sartu mota daude:. Inkesta esperimentuak eta esperimentu sozialen Inkesta esperimentuak dira existitzen diren inkesten azpiegitura erabiliz esperimentuak eta bertsio alternatibo erantzunak konparatu galdera bera (inkesta esperimentu batzuk 3. kapituluan aurkezten dira); ikusi inkesta esperimentuak gehiago Mutz (2011) . Gizarte esperimentuak esperimentu non tratamendu gizarte politika batzuk bakarrik ikus daiteke gobernu bat inplementatu da gertaerarik. Gizarte esperimentuak estuki ebaluazio programatu zerikusia. Politika esperimentuak gehiagorako, ikus Orr (1998) , Glennerster and Takavarasha (2013) , eta Heckman and Smith (1995) .

Hitzaldiak kopurua A konparatu dute laborategian eta eremu abstraktuan, esperimentuak (Falk and Heckman 2009; Cialdini 2009) eta esperimentu zehatz batzuen ondorio zientzia politikoa termino (Coppock and Green 2015) , ekonomia (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) eta psikologia (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) polit bat ikerketa laborategian eta eremu esperimentuetatik emaitzak alderatuz diseinu eskaintzen.

Parte-hartzaileek beren portaera aldatzen dakite ari dira hurbiletik behatu batzuetan izeneko eskariaren efektu delako, eta dute psikologia aztertu dira kezka (Orne 1962) eta ekonomia (Zizzo 2009) . batez ere laborategian esperimentuak lotutako arren, gai horiek berak eremu esperimentuak egiteko arazoak sor ditzake baita. Izan ere, eskari efektuak ere batzuetan izeneko Hawthorne efektuak, hori eremu esperimentu bat du abiapuntu, termino bat, zehazki, ospetsua argiztapen esperimentu hori 1924an hasi zen Hawthorne Western Electric Company of Works at (Adair 1984; Levitt and List 2011) . Bai eskaria ondorioak eta Elorri ondorioak hurbiletik neurketa erreaktiboa 2. atalean adierazten den ideia lotuta daude (ikus Webb et al. (1966) ).

Izan ekonomia deskribatutako eremu esperimentuak historiak (Levitt and List 2009) , zientzia politikoa (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psikologia (Shadish 2002) , eta politika publikoak (Shadish and Cook 2009) . gizarte zientziaren eremu bat non eremu esperimentuak azkar izan zen nabarmenena nazioarteko garapena da. Ekonomia barruan lan horren berrikuspen positiboak baterako ikusi Banerjee and Duflo (2009) , eta ebaluazio kritikoa ikusi Deaton (2010) . Zientzia politikoetan lan honen berrikuspen baterako ikusi Humphreys and Weinstein (2009) . Azkenik, eremu esperimentuak tartean erronka etikoak dute zientzia politikoetan esploratu (Humphreys 2015; Desposato 2016b) eta garapenaren ekonomia (Baele 2013) .

Kapituluan, pre-tratamendu informazio hori estimatu tratamendu ondorioak doitasuna hobetzeko erabil daiteke iradoki dut, baina ez dago planteamendu honi buruz eztabaida batzuk: Freedman (2008) , Lin (2013) , eta Berk et al. (2013) ; ikusi Bloniarz et al. (2016) informazio gehiagorako.

• Esperimentu errazak haratago Moving (4.4 artikulua)

Honako hau aukeratu dut, hiru kontzeptu ardatz: baliozkotasuna, tratamendu ondorioak heterogeneotasuna, eta mekanismoak. Kontzeptu horiek eremu ezberdinetan izen ezberdinak dituzte. Adibidez, psikologoak joera esperimentu errazak haratago mugitzeko bitartekariei eta moderatzaileak bideratua (Baron and Kenny 1986) . Bitartekariek ideia da zer mekanismo deitu dut harrapatu, eta moderatzaileak ideia dago zer kanpoko baliotasuna (adibidez, litzateke esperimentuaren emaitzak izan ezberdinetako egoera desberdinetan zen exekutatu bada) eta tratamendu ondorioak heterogeneotasuna (deitu dut harrapatutako adibidez, ondorioak pertsona batzuk beste pertsona baino) for handiagoak dira.

Esperimentua Schultz et al. (2007) erakusten du nola gizarte teoriak erabili ahal izango dira, esku-hartze eraginkorra diseinatzeko. Teoria rola interbentzio eraginkorrak diseinatzeko buruzko argudio orokorrago bat lortzeko, ikusi Walton (2014) .

• Baliozkotasuna (4.4.1 atala)

Barne eta kanpo baliotasuna kontzeptuak ziren lehen sartu Campbell (1957) . Ikusi Shadish, Cook, and Campbell (2001) historia xeheago bat eta estatistika Ondorio baliozkotasuna, barneko baliotasun lanketa zaindua da, eraikitzeko baliotasuna eta kanpo baliotasuna.

Estatistika ondorio gaurkotasunari lotutako esperimentuak gaiak ikuspegi bat ikusi Gerber and Green (2012) (a social zientzia ikuspegitik) eta Imbens and Rubin (2015) (ikuspuntu estatistiko bat). Zehazki, sortzen diren eremu online esperimentuak estatistika ondorio baliotasunaren gai batzuk, besteak beste, menpeko datu konfiantza tarteak sortzeko metodo konputazional eraginkor gisa gaiak (Bakshy and Eckles 2013) .

Barne baliozkotasuna zaila izan daiteke eremu konplexu esperimentuak bermatzeko. Ikusi, adibidez, for Gerber and Green (2000) , Imai (2005) , eta Gerber and Green (2005) buruz konplexua eremu boto buruzko esperimentu bat ezartzeko eztabaida da. Kohavi et al. (2012) eta Kohavi et al. (2013) sarrera bat tartearen baliozkotasuna erronkei online eremu esperimentuak sartu eskaintzen.

One barneko baliotasun kezka nagusietako Ausazkotzea Arazorik da. Joanekoa Ausazkotzea batera arazoak potentzialki detektatu da behagarriak ezaugarri on tratamendu eta kontrol talde konparatzeko. Konparazio mota hau deitzen da oreka txeke bat. Ikusi Hansen and Bowers (2008) estatistika hurbilketa bat txekeak orekatzeko, eta ikusten da Mutz and Pemantle (2015) oreka txekeak kezka da. Adibidez, oreka bat erabiliz egiaztatu Allcott (2011) aurkitu ez dagoela froga batzuk Ausazkotzea ez zen bezala inplementatuta esperimentuak hiru OPower esperimentu batzuk ere da (ikus 2. taula;, 6 guneak 2, eta 8). Beste planteamendu lortzeko, ikus Imbens and Rubin (2015) , kapitulua 21.

Barne-baliotasuna lotutako beste kezka nagusiak hauek dira: 1) bat-aldeko ez-betetzea, non tratamendu talde guztiek ez benetan jaso tratamendua, 2) bi aldetako ez-betetzea, non tratamendu talde guztiek ez tratatzeko eta batzuk jasotzen kontrol taldeko pertsona tratamendua, 3) higadura, non emaitza ez dira parte-hartzaile batzuentzat neurtuta, eta 4) interferentzia, non tratamendu sortuak gorako pertsonei tratamendu baldintza jendea kontrol baldintza jasotzeko. Ikusi Gerber and Green (2012) 5, 6, 8, gai horietako bakoitzean gehiagorako kapituluak, 7, eta.

Eraikuntza baliozkotasuna gehiago nahi izanez gero, ikusi Westen and Rosenthal (2003) , eta eraikuntza datuak iturri handi batean baliozkotasuna, gehiagorako Lazer (2015) eta 2. kapitulua liburu honen.

Kanpoko baliotasuna alderdi bat ezarpena non esku-hartze bat probatu da. Allcott (2015) gune aukeraketa alborapenaren tratamendu teoriko eta enpiriko zaindua eskaintzen du. Arazo hau, gainera, eztabaidatu Deaton (2010) . Ari gune asko erreplikatu gain, Home Energy Report esku-hartzea ere izan du independentean anitz ikerketa talde aztertu (adibidez, Ayres, Raseman, and Shih (2013) ).

• Tratamendu ondorioak heterogeneotasuna (4.4.2 atala)

Tratamendu eremu esperimentuak ondorioak heterogeneotasuna errepaso bikaina lortzeko, ikus 12. kapitulua Gerber and Green (2012) . Tratamendu entsegu mediku ondorioak heterogeneotasuna aurkezpenak egiteko, ikus Kent and Hayward (2007) , Longford (1999) , eta Kravitz, Duan, and Braslow (2004) . tratamendu ondorioak heterogeneotasuna orokorrean oinarritutako pre-tratamendu ezaugarrien ezberdintasunak ardatz. Zara heterogeneotasuna oinarritutako tratamendu ondoko emaitza on nahi baduzu, orduan approachs konplexuagoak, hala nola, estratifikazio nagusia behar dira (Frangakis and Rubin 2002) ; ikusi Page et al. (2015) berrikuspena da.

Ikertzaile askok tratamendu ondorioak erregresio lineala erabiliz heterogeneotasuna balioesteko, baina metodo berriagoak makinen ikasketa oinarritzea, adibidez Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , eta Athey and Imbens (2016a) .

Ez dago multiploa konparazio arazoak eta ". Arrantza" Ez dago planteamendu estatistiko hori alderatuz anitzen helbidea kezkak lagun dezake hainbat daudelako ondorioak heterogeneotasun aurkikuntza buruzko eszeptizismoa batzuk (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Buruz "arrantza" kezka hurbilketa bat aurrez izena ematea, hau da, gero psikologian ohikoa bilakatu da (Nosek and Lakens 2014) , zientzia politikoa (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) eta ekonomia (Olken 2015) .

Azterketa batean Costa and Kahn (2013) esperimentu etxeen erdia bakarrik informazio demografikoa egon lotuta izan zuten. xehetasunak eta aukerak arazo interesa analisi honekin Irakurle jatorrizko paper aipatzeko.

• Mekanismoak (4.4.3 atala)

Mekanismoak oso garrantzitsuak dira, baina buelta dute oso zaila ikastera izateko. Mekanismoak buruzko Ikerketa estuki bitartekari estudio psikologiaren erlazionatuak (baina ikus VanderWeele (2009) bi ideia arteko konparazio zehatz bat). Horrela mekanismo planteamendu Estatistika, hala nola garatu hurbilketa gisa Baron and Kenny (1986) , nahiko arruntak dira. Zoritxarrez, bihurtzen da prozedura horiek hipotesi sendo batean oinarritzen dira (Bullock, Green, and Ha 2010) eta sufritzen badaude anitz mekanismoak, egoera askotan agian inork espero bezala (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) eta Imai and Yamamoto (2013) zenbait estatistika-metodo hobeak eskaini. Aurrerago, VanderWeele (2015) liburu-luzera tratamendu emaitzak garrantzitsua, sentsibilitate analisia ikuspegi integral bat barne zenbaki bat eskaintzen du.

Aparteko hurbilketa mekanismoa zuzenean (adibidez, emanez marinelak C bitamina) manipulatzen saiatzen diren esperimentuak oinarritzen da. Zoritxarrez, hainbat gizarte-zientzia ezarpenak badaude anitz mekanismoak eta zaila da beste batzuk aldatu gabe bat aldatu duten tratamenduak diseinatzeko. Planteamendu batzuk esperimentalki aldatuz mekanismoak deskribatzen Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , eta Pirlott and MacKinnon (2016) .

Azkenik, mekanismoak ere historia luzea dute zientzia filosofia azaldu dizkion Hedström and Ylikoski (2010) .

• Lehendik dauden inguruneak erabiltzea (4.5.1.1 atala)

Korrespondentzia ikasketak eta auditoria ikasketak erabilera diskriminazioa neurtzeko on gehiagorako ikusi Pager (2007) .

• Eraiki zure esperimentu egin (4.5.1.2 atala)

Parte-hartzaileek kontratatu duzu eraikitzeko duten esperimentuak modurik ohikoena Amazon mekanikoa Turk (MTurk) da. MTurk imitatzen tradizionala laborategian esperimentuak ordaintzen pertsonen alderdi hori ez lukete free-asko ikertzaileek egin zereginak burutzeko delako dagoeneko hasi Turkers (MTurk langileen) azkarragoa eta merkeagoa datu bilketa tradizionala baino ondorioz giza esperimentuetan parte-hartzaile gisa erabiliz on-campus laborategiko esperimentuak (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk erreklutatzen parte-hartzaile esperimentuak indarra handiena logistiko dira: ikertzaile parte-hartzaileak azkar eta behar bezala kontratatu ahal dute. Kontuan izanik laborategian esperimentuak aste exekutatu har dezake eta eremu esperimentuak hilabete hartu ahal-konfiguratzeko, MTurk erreklutatzen parte-hartzaile esperimentuak da egun exekutatu daiteke. Adibidez, Berinsky, Huber, and Lenz (2012) 400 irakasgai kontratatu egun bakar batean eta 8 minutuko esperimentu batean parte hartzeko aukera izan zuten. Are gehiago, parte-hartzaile horiek ia edozein helburu kontrataturiko daiteke (inkestak eta masa lankidetza barne, eztabaidatu 3 kapituluetan bezala, eta 5). erreklutamendu erraztasuna Horrek esan ikertzaileek erlazionatutako esperimentuak sekuentziak exekutatu daiteke azkar.

Parte-hartzaileek kontratatu MTurk zure esperimentuak egin aurretik, lau gauza garrantzitsua da jakitea daude. Lehenengoa, ikertzaile askok esperimentuak Turkers inplikatuz eszeptizismoa ez-zehatzak dituzte. eszeptizismoa hau ez da partida dela eta, zaila da froga batekin kontraerasoan. Hala ere, Turkers erabiliz ikasketak hainbat urte ondoren, dugu orain ondoriozta daiteke hori eszeptizismoa hau ez da bereziki beharrezkoa. hainbat ikerketak Turkers demografia alderatuz beste populazio eta hainbat ikerketak beste populazio emaitzak den Turkers esperimentuak emaitzak alderatuz egon dira. Lan hori guztia kontuan hartuta, uste dut nahi horri buruz uste modurik onena dela Turkers zentzuzko erosotasuna lagin bat dira, askoz ikasleak, baina apur bat gehiago anitza bezala (Berinsky, Huber, and Lenz 2012) . Horrela, ikasle batzuk arrazoizko biztanleen bat baina ez ikerketa esperimental guztiak diren bezala, Turkers batzuk arrazoizko biztanleen bat baina ez ikerketa guztiak dira. Ari zaren Turkers batekin lan egiten baduzu, orduan zentzu konparaziozko azterketa horietako asko irakurri eta bere ñabardurak ulertzeko egiten du.

Bigarren, ikertzaileek garatu dute Turk esperimentuak barne baliotasuna handitzeko best-praktika, eta buruz ikasi behar duzu, eta horiek best-praktika jarraitu (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Adibidez, Turkers erabiliz ikertzaile screeners erabili inattentive partaideak ezabatzeko animatu dira (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (baina ikus DJ Hauser and Schwarz (2015b) eta DJ Hauser and Schwarz (2015a) ). Ez baduzu inattentive partaideak ezabatzeko, ondoren, edozein tratamenduaren eragina garbitu daiteke zarata inattentive partaideen sarrera eginez, eta praktikan inattentive parte-hartzaile kopurua nabarmenak izan daiteke. Huber eta lankideek esperimentu batean (2012) parte-hartzaileen% 30 inguru huts oinarrizko arreta screeners. Beste arazo Turkers ohikoa ez-inozoa parte-hartzaile da (Chandler et al. 2015) .

Hirugarren, beste esperimentu digital forma batzuk erlatiboa, MTurk esperimentuak ezin eskalatzeko; Stewart et al. (2015) egindako kalkuluen arabera, une jakin batean daudela MTurk on jendeak 7.000 inguru baino ez.

Azkenik, jakin behar duzu MTurk bere arau eta arau propioekin komunitatea da (Mason and Suri 2012) . Eta era berean jakiteko herrialde bat non zure esperimentuak gauzatu ziren joan kulturari buruzko saiatuko bazina ere, kultura eta Turkers-arauak buruz gehiago jakiteko saiatu behar duzu (Salehi et al. 2015) . Eta, jakin behar duzu Turkers hori zure esperimentu buruz hitz egingo zerbait desegokia edo unethical egiten baduzu (Gray et al. 2016) .

MTurk parte-hartzaileak kontratatu zure esperimentuak egiteko modu oso erosoa da, lab-like dira ala, hala nola, Huber, Hill, and Lenz (2012) , edo gehiago eremu-bezala, hala nola, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , eta Mao et al. (2016) .

• Eraiki zure produktua (4.5.1.3 atala)

Ari zaren zure produktua sortzeko saiatzen pentsatzen bada, MovieLens ere talde aholkuan irakurri duzula gomendatzen dut Harper and Konstan (2015) . beren esperientzia ikuspegi nagusietako bat, hain arrakastatsua proiektu bakoitzerako duten asko daude, porrotak asko. Adibidez, MovieLens taldea abiarazi zuen beste produktu horien osoa porrotak izan ziren GopherAnswers gisa (Harper and Konstan 2015) . Ikertzaile bat saiatzean produktu bat eraikitzeko ezean beste adibide Edward CASTRONOVA saiakera Arden izeneko online joko bat eraiki nahi da. $ 250.000 finantzaketa arren, proiektua flop bat izan zen (Baker 2008) . GopherAnswers eta Arden bezalako proiektuak dira zoritxarrez MovieLens bezalako proiektu baino askoz ere ohikoa. Azkenik, baina ez dut hori ongi eraiki zuen produktu errepikatzen esperimentazio beste edozein ikertzaile ezagutzen esan dut hemen nire irizpideak: 1) parte-hartzaileei produktua erabili haietatik zer ematen du (adibidez, ez dira ordaintzen delako, eta ez dira boluntario zientzia lagunduz) eta 2) produktua esperimentu desberdin bat baino gehiago (hau da, ez esperimentu bera parte-hartzaile igerilekuak ezberdinekin aldiz multipleak) erabiltzen da. beste adibide bat ezagutzen baduzu, mesedez utzi naute.

• Indartsua batera Partner (4.5.2 atala)

Entzun dut Pasteur en Quadrant eztabaidatu maiz teknologiako enpresetan ideia, eta ikerketa ahaleginak antolatzeko Google at laguntzen du (Spector, Norvig, and Petrov 2012) .

Bond eta lankideek 'azterketa (2012) , halaber, nork jaso direnen lagun tratamendu horien eragina antzemateko saiatzen. Honegatik esperimentuaren diseinua, spillovers horiek zaila garbi detektatu dira; irakurle interesatuak ikusi beharko Bond et al. (2012) , eztabaida sakonago bat egiteko. Esperientzia hori politika zientzietako esperimentuak tradizio luzea ahaleginak boto animatzea baten atala da (Green and Gerber 2015) . get-out-the-botoa esperimentu horiek ohikoak dira parte dira Pasteur en Quadrant delako. Hau da, jende asko nor dira motibatuta boto eta boto handitzeko portaera interesgarri bat jokabide aldaketa eta gizarte eragina buruzko teoria orokorrago probatzeko izan daiteke.

Beste ikertzaile aholkularitza eskaini eremu esperimentuak exekutatzen bazkide, hala nola, alderdi politiko, GKE, eta enpresen erakundeekin buruz (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Beste batzuk eskaini erakundeekiko harreman ikerketa diseinuak nola eragin dezake buruzko aholkularitza (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership ere galdera etikoak ekar dezake (Humphreys 2015; Nickerson and Hyde 2016) .

• Design aholkuak (4.6 artikulua)

ari zaren analisi plan bat zure esperimentu exekutatzen aurretik sortu behar baduzu, hasteko duzula reporting jarraibideak irakurtzeko proposatzen dut. Consort (Finkatua Standard Reporting Trials of) jarraibideak medikuntza garatu ziren (Schulz et al. 2010) eta gizarte-ikerkuntzarako eraldatutako (Mayo-Wilson et al. 2013) . Jarraibide multzo erlazionatutako A izan Egunkari Experimental Politikoen Zientzia editoreak garatutako (Gerber et al. 2014) (ikus Mutz and Pemantle (2015) eta Gerber et al. (2015) ). Azkenik, erreportaje jarraibideak psikologia garatu da (Group 2008) , eta ikus Simmons, Nelson, and Simonsohn (2011) .

Analisi plan bat sortzen baduzu aurrez erregistratzeko aurrez izena emateko, konfiantza duten beste batzuk, emaitzetan izan handitu egingo delako kontuan hartu behar duzu. Aurrerago, ari zaren bazkide batekin lan egiten bada, zure bikotearekin analisi aldatzeko emaitzak ikusi ondoren gaitasuna mugatu egingo da. Aurrez izena emateko gero eta psikologia ohikoa bilakatu da (Nosek and Lakens 2014) , zientzia politikoa (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , eta ekonomia (Olken 2015) .

Zure pre-analisi plan sortzeko bitartean jakitun ikertzaile batzuk ere erregresio eta lotutako irizpide erabiltzen dela estimatu tratamendu efektua doitasuna hobetzeko izango duzu behar, eta ez planteamendu honi buruz eztabaida batzuk: Freedman (2008) , Lin (2013) , eta Berk et al. (2013) ; ikusi Bloniarz et al. (2016) informazio gehiagorako.

Diseinu aholkularitza zehazki online eremu esperimentuak egiteko ere aurkezten da Konstan and Chen (2007) eta Chen and Konstan (2015) .

• Sortu zero aldagai kostua datuak (4.6.1 atala)

MusicLab esperimentuak buruzko informazio gehiago lortzeko, ikusi Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , eta Salganik (2007) . Irabazleak-hartu-guztiak merkatuei buruzko gehiagorako, ikus Frank and Cook (1996) . Orokorrago zorte untangling eta maila gehiago lortzeko, ikus Mauboussin (2012) , Watts (2012) , eta Frank (2016) .

erreklutatzea: Partaide ordainketak ikertzaileek kontu handiarekin erabili behar ezabatuz hurbilketa bat da. Askok online eremu esperimentuetan parte-hartzaile dira, funtsean, esperimentuak taxutu eta inoiz ordaindu. Planteamendu horren adibide dira, besteak Restivo eta van de Rijt en (2012) Wikipedia eta Bond eta lankide en saritzen esperimentu (2012) esperimentu pertsona bozkatzeko sustatuz. Esperimentu horiek ez benetan zero kostua aldakorra, zero kostua aldagai ikertzaile dute. esperimentu horiek asko kostua oso txikia da, nahiz partaide bakoitzari, kostuak txikiak inposatutako partaide kopurua izugarria gehitu azkar. Ikertzaileak masiboa online esperimentuak exekutatzen askotan justifikatzen txiki zenbatetsi tratamendu ondorioak garrantzia efektu txiki horiek garrantzitsua bihurtu ahal denean, jende askok aplikatuko esanez. Zehatza pentsamendu bera kostuak ikertzaile parte-hartzaileak inposatzeko aplikatzen. Zure esperimentuak milioi bat pertsona eragiten minutu bat alferrik galdu bada, esperimentua ez da oso pertsona zehatz kaltegarriak, baina agregatuan da ia denbora bi urte alferrik galtzen ditu.

Sortzeko zero aldagai kostua ordaintzeko parte-hartzaileei hurbilketa bat da loteria bat, hori ere izan du inkesta ikerketan erabiltzen dira hurbilketa bat erabili (Halpern et al. 2011) . Azkenik, diseinatzeko buruz gehiago egiteko atseginagoa erabiltzaile-esperientziak ikusi Toomim et al. (2011) .

• Ordezkatu, Murriztu, eta murriztea (4.6.2 atala)

Hemen jatorrizko hiru R definizioak, batetik Russell and Burch (1959) :

"Ordezko bizi kontziente material insentient animaliak handiagorik ordezkatzeko esan nahi. Murrizketa zenbatekoa eta zehaztasun jakin baten informazioa lortzeko erabiltzen animalien zenbakiak murriztea esan nahi du. Finketa intzidentzia edo eta oraindik ere erabili behar dira animalia horiek aplikatuko inhumane prozedurak larritasuna edozein jaitsiera esan nahi du. "

The hiru R-en proposatzen dut, ez 6. kapituluan azaldutako printzipio etikoak jaramonik Baizik, landuago bertsio bat printzipioei-ongintza-zehazki, giza esperimentuak ezarpena dira.

Emozio Contagion kontuan hartuta, hiru gai ez-etikoa denean esperimentu hau interpretatzeko kontuan mantentzeko daude. Lehenik eta behin, ez dago argi nola benetako esperimentua xehetasunak erreklamazioak teoriko orria; beste era batera esanda, ez dira buruz eraikuntza baliozkotasuna galdera. Ez dago garbi positiboak eta negatiboak hitza zenbatzen dira benetan parte-hartzaileen egoera emozionala adierazle ona 1) ez baitago argi hitz pertsona bat idazteko erabiltzen duten beren emozioen adierazle ona dira eta 2) ez dago argi bereziki sentimendu analisi teknika ikertzaileek erabili duten fidagarritasunez infer emozioak gai da (Beasley and Mason 2015; Panger 2016) . Beste era batera esanda, ez Batzuen seinale baten neurria txarra izan daiteke. Bigarren, diseinuan eta analisi esperimentua izan zen gehien eragin (hau da, ez dago tratamendu ondorioak heterogeneotasuna azterketa da) eta zer mekanismoa izan liteke buruz ezer esaten digu. Kasu honetan, ikertzaileek izan parte-hartzaileei buruzko informazio asko, baina funtsean ziren azterketan widget gisa tratatu. Hirugarren, efektu esperimentu honetan tamaina oso txikia izan zen; tratamendu eta kontrola baldintzen arteko aldea 1 buruzko 1.000 esanda dago. bere paper batean, Kramer eta lankideek egin kasu hori tamaina horretako efektu bat garrantzitsua da jendeak ehunka milioi sartzeko beren News Feed egun bakoitzean delako. Beste era batera esanda, nahiz eta pertsona bakoitzak agregatuan big dira txikiak dira ondorioak argudiatu dute. Argumentu hau onartu ziren arren, oraindik ez dago argi tamaina horretako eragin handia bada kutsatze emozionala buruzko galdera zientifiko orokorrago buruzkoa. Egoerak non efektu txikiak garrantzitsuak dira on gehiagorako ikusi Prentice and Miller (1992) .

Lehenengo R (Ordezko), dagokionez Emozionalaren Contagion esperimentu alderatuz (Kramer, Guillory, and Hancock 2014) eta kutsatze emozionala esperimentu naturala (Coviello et al. 2014) merkataritza-off mugitzen tartean buruzko ikasgai orokor batzuk eskaintzen esperimentu natural esperimentuak (eta beste planteamendu ez-esperimentala datuak esperimentu gutxi gorabehera, duela betetzen bezala, ikus 2. kapitulua). etiko onurak gain, esperimentalak ez-esperimentala ikasketak aldatuta ere aukera ematen duten ikertzaile logistically ezinik zabaldu dira tratamenduak ikertzeko. onurak etiko eta logistiko horiek kostua dira, ordea. esperimentu natural With ikertzaile parte-hartzaileak, Ausazkotzea kontratazioa bezalako gauzak gaineko kontrol gutxiago, eta tratamendua izaera dute. Adibidez, prezipitazio tratamendu gisa mugatzea bat da, bai positivity handitzen duten eta negatiboaren gutxitzen. du azterketa esperimentala, ordea, Kramer eta lankideek positivity eta negatiboaren doitzeko independentean gai izan ziren.

Bereziki hurbilketa erabilitako Coviello et al. (2014) gehiago landu zen Coviello, Fowler, and Franceschetti (2014) . Aldagai instrumental sarrera bat ikusten Angrist and Pischke (2009) (less formal) edo Angrist, Imbens, and Rubin (1996) (gehiago formal). Aldagai instrumentalen balorazio eszeptikoa baterako ikusi Deaton (2010) , eta tresna egokia (euri-tresna bat ahula da) aldagai instrumental sarrera bat, ikusi Murray (2006) .

Orokorkiago, esperimentu natural sarrera ona da Dunning (2012) , eta Rosenbaum (2002) , Rosenbaum (2009) , eta Shadish, Cook, and Campbell (2001) kausazko eraginak zenbatesteko esperimentuak gabe buruz ideia ona eskaintzeko.

Bigarren R (finketa) dagokionez, ez dira zientifikoak eta logistika merkataritza-off denean Emotional Contagion diseinua aldatuz mezu blokeatzen mezu indartzeko kontuan hartuta. Adibidez, kasu hori News Feed ezartzeko teknikoa egiten du nabarmen errazagoa da esperimentu bat egin mezu esperimentu bat baino areago blokeatzen mezu indartzea izan daitekeena (kontutan mezu blokeatzen esperimentu bat duten geruza gisa garatu daiteke Jarioak sistemaren goi azpiko sistema alterazio) inolako beharrik gabe. Zientifikoki, ordea, jorratzen esperimentuaren arabera teoria ez zuen argi eta garbi iradokitzen bestearen gainean diseinu bat.

Zoritxarrez, ez naiz blokeatuz eta eduki News Feed the indartzeko merezimenduen buruzko funtsezko ikerketa aurretiko jakitun. Era berean, ez dut askoz ikerketa ikusi tratamenduak kaltegarriak izan ez daitezen finketa buruz; salbuespen bat Jones and Feamster (2015) , eta horrek Internet zentsura neurketa kasuan jotzen (gai bat eztabaidatzeko 6. kapituluan I Encore azterketa harremana (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Hirugarren R (murrizketa) dagokionez, power analisi tradizionala sarrera ona da Cohen (1988) . Pre-tratamendua covariates izango diseinutik eta analisi esperimentuak etapa sar daitezke; 4. kapituluko Gerber and Green (2012) , bai planteamendu sarrera ona ematen du, eta Casella (2008) sakondu tratamendu bat eskaintzen du. pre-tratamendu Ausazkotzea du informazio hori erabiliko duten teknikak dira normalean izeneko bai blokeatu diseinu esperimental edo estratifikatua diseinu esperimentalak (terminologia koherenteki ez erabili komunitateen zehar); Teknika horiek sakon 3. kapituluan ikusi eztabaidatu laginketa teknikak lotuta daude Higgins, Sävje, and Sekhon (2016) diseinu hauek erabiliz esperimentu masiboa gehiagorako. Pre-tratamendua covariates ere egin daitezke analisi fasean sartuta daiteke. McKenzie (2012) desberdintasun-in-desberdintasunak hurbilketa eremu esperimentuak aztertzen hasi esploratzen. Ikusi Carneiro, Lee, and Wilhelm (2016) hainbat ikuspegi tratamendu ondorioak kalkuluak zehaztasun areagotzeko arteko merkataritza-off on gehiago da. Azkenik, pre-tratamendu covariates diseinu edo analisi etapa (edo biak) tan besteak beste saiatu den ala ez erabakitzeko, ez kontuan hartu beharreko faktore batzuk daude. Ezarpen bat non ikertzaileek ez direla "arrantza" erakutsi nahi In (Humphreys, Sierra, and Windt 2013) , pre-tratamendu covariates erabiliz diseinutik lagungarria izan daiteke (Higgins, Sävje, and Sekhon 2016) . Egoerak non parte iristen sekuentzialki, batez ere, online eremu esperimentuak, pre-tratamendu diseinutik informazio erabiltzea zaila izan daiteke logistically ere, ikus adibidez Xie and Aurisset (2016) .

Merezi zergatik aldea--diferentziak diferentzia-in-bide baino askoz gehiago eraginkorra izan daiteke intuizio pixka bat gehituz da. Askok online emaitza bariantza oso handia dute (adibidez, Lewis and Rao (2015) eta Lamb et al. (2015) ) eta denboran zehar nahiko egonkor daude. Kasu honetan, aldaketa emaitzaz bariantza nabarmen txikiagoa izango dute, estatistika proba boterea handituz. Arrazoi bat hau hurbildu ez da erabiltzen maizago da aro digitalean aurretiko hori ez zen ohikoa pre-tratamendu emaitza izan da. Pentsatu modu zehatz bat da, esperimentu bat imajinatzea ariketa errutina zehatz baten pisua galtzea eragiten ote neurtzeko. desberdintasun-in-bide hurbilketa bat egiten baduzu, zure aurrekontua izango aldakortasun hori aldakortasun dator biztanleen pisuak dute. desberdintasun-in-diferentzia hurbilketa bat egiten baduzu, ordea, modu naturalean gertatzen pisuak ere aldakuntza hori kendu erabat eta errazago dezakezu tratamendua eragindako diferentzia antzemateko.

One garrantzitsua da zure esperimentu batean parte-hartzaile kopurua murrizteko modu bat da, power analisi bat, eta horrek Kramer eta lankideek oinarritutako efektua tamainei esperimentu natural behatutako arabera on egin izan egiteko Coviello et al. (2014) edo ez-esperimentala ikerketa lehenago Kramer (2012) (Izan ere, horiek kapitulu honen amaieran jarduerak dira). Iragarki power azterketa erabilera hori ez dela tipikoa baino pixka bat desberdinak. analogikoa urterekin, ikertzaileek orokorrean egin power analisi ziur bere azterketa ez zen oso txikiak egiteko (hau da, azpian-powered). Orain, ordea, ikertzaileek power analisi egin behar dela ziurtatu zuten ikasketa ez da handiegia egin behar da (hau da, gehiago-powered).

Repurpose: Azkenik, laugarren R bat gehituz jotzen dut. Hau da, ikertzaile burua aurkitu bada Datu gehiago esperimentalekin bere jatorrizko ikerketa galdera erantzun behar baino dute, datuak repurpose behar dute galdera berria eskatzeko. Esate baterako, pentsa Kramer eta lankide zela erabiltzen aldea-in-desberdintasunak estimatzaile bat eta bere burua aurkitu behar baino bere ikerketa galdera jorratuko datu gehiagorekin. Baizik ez dutenak neurri datuak erabiliz baino, efektuaren tamainaren dute ikasi ahal izan funtzio bat adierazpen emozionala-tratamendu pre gisa. Just gisa Schultz et al. (2007) aurki tratamenduaren eragina dela argi eta heavy erabiltzaile ezberdinak izan dira, agian News Feed ondorioak dagoeneko duten joera zoriontsu (edo triste) mezuak bidaltzeko jende ezberdina izan dute. Repurposing zitekeen "arrantza" eramango (Humphreys, Sierra, and Windt 2013) eta "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , baina horiek neurri handi batean reporting zintzoa uztartuz helbideragarri dira (Simmons, Nelson, and Simonsohn 2011) , aurrez izena ematea (Humphreys, Sierra, and Windt 2013) , eta gehiagoko-egokitzea saihesteko saiatzen diren makinen ikasketa metodoak.