Ki sa ki li pwochen

• Entwodiksyon (seksyon 4.1)

Kesyon sou kozalite nan rechèch sosyal yo souvan konplèks ak konplike. Pou yon apwòch fondamantal nan kozalite ki baze sou graf kozatif, gade Pearl (2009) , ak pou yon apwòch fondamantal ki baze sou rezilta potansyèl, gade Imbens and Rubin (2015) . Pou yon konparezon ant de apwòch sa yo, gade Morgan and Winship (2014) . Pou yon apwòch fòmèl pou defini yon VanderWeele and Shpitser (2013) , gade VanderWeele and Shpitser (2013) .

Nan chapit sa a, mwen te kreye sa ki te sanble tankou yon liy klere ant kapasite nou yo fè estimasyon kozatif nan done eksperimantal ak ki pa eksperyans. Sepandan, mwen panse ke, an reyalite, distenksyon an se pi plis twoub. Pou egzanp, tout moun aksepte ke fimen lakòz kansè, menm si pa gen okenn owaza kontwole eksperyans ki fòse moun yo lafimen te janm fè. Pou bon tretman liv-longè sou fè estimasyon kozatif nan done ki pa eksperimantal yo wè Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , ak Dunning (2012) .

Chapit 1 ak 2 nan Freedman, Pisani, and Purves (2007) ofri yon entwodiksyon klè sou diferans ki genyen ant eksperyans, eksperyans kontwole, ak eksperyans randomize kontwole.

Manzi (2012) bay yon entwodiksyon kaptivan ak lizib sou fondamantal filozofik ak estatistik nan eksperyans owaza kontwole. Li bay tou enteresan egzanp mond reyèl nan pouvwa a nan eksperimantasyon nan biznis. Issenberg (2012) bay yon entwodiksyon kaptivan nan itilize nan eksperimantasyon nan kanpay politik.

• Ki eksperyans? (seksyon 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, ak Athey and Imbens (2016b) bay bon entwodiksyon nan aspè yo estatistik nan konsepsyon eksperimantal ak analiz. Pli lwen, gen tretman ekselan nan itilize nan eksperyans nan anpil diferan jaden: ekonomi (Bardsley et al. 2009) , sosyoloji (Willer and Walker 2007; Jackson and Cox 2013) , sikoloji (Aronson et al. 1989) , syans politik (Morton and Williams 2010) , ak politik sosyal (Glennerster and Takavarasha 2013) .

Enpòtans nan rekritman patisipan (egzanp, echantiyon) se souvan anba-apresye nan rechèch eksperimantal. Sepandan, si efè a nan tretman an se eterogèn nan popilasyon an, Lè sa a, echantiyon se kritik. Longford (1999) fè pwen sa a byen klè lè li defann chèchè yo panse de eksperyans kòm yon sondaj popilasyon ak echantiyon azar.

• De dimansyon eksperyans: laboratwa ak analòg dijital (seksyon 4.3)

Mwen te sigjere ke gen yon kontinyòm ant eksperyans laboratwa ak jaden, ak chèchè lòt te pwopoze tipografi plis detaye, an patikilye ki separe divès kalite eksperyans jaden yo (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Yon nimewo de papye yo te konpare laboratwa ak esperyans jaden nan abstrè (Falk and Heckman 2009; Cialdini 2009) ak an tèm de rezilta espesifik espesifik nan syans politik (Coppock and Green 2015) , ekonomi (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ak sikoloji (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ofri yon konsepsyon rechèch bèl pou konpare rezilta ki soti nan laboratwa ak eksperyans jaden. Parigi, Santana, and Cook (2017) dekri kouman eksperyans jaden sou entènèt ka konbine kèk nan karakteristik laboratwa ak eksperyans jaden.

Enkyetid sou patisipan yo chanje konpòtman yo paske yo konnen yo te byen obsève yo pafwa yo rele efè demann , epi yo te etidye nan sikoloji (Orne 1962) ak ekonomi (Zizzo 2010) . Malgre ke sitou ki asosye avèk eksperyans laboratwa, pwoblèm sa yo menm ka lakòz pwoblèm pou eksperyans jaden kòm byen. An reyalite, efè demann yo tou pafwa yo rele efè Hawthorne , yon tèm ki derives eksperyans yo lumineux pi popilè ki te kòmanse nan 1924 nan Hawthorne Travo yo nan Konpayi an Lwès elektrik (Adair 1984; Levitt and List 2011) . Tou de efè demann ak efè Hawthorne yo pre relasyon ak lide a nan mezi reyaktif diskite nan chapit 2 (al gade tou Webb et al. (1966) ).

Eksperyans jaden gen yon istwa long nan ekonomi (Levitt and List 2009) , syans politik (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , sikoloji (Shadish 2002) , ak politik piblik (Shadish and Cook 2009) . Yon zòn nan syans sosyal kote eksperyans jaden rapidman vin enpòtan se devlopman entènasyonal. Pou yon revizyon pozitif nan travay sa a nan ekonomi wè Banerjee and Duflo (2009) , ak pou yon evalyasyon kritik wè Deaton (2010) . Pou yon revizyon nan travay sa a nan syans politik gade Humphreys and Weinstein (2009) . Finalman, pwoblèm etik yo ki te rive nan eksperyans jaden yo te eksplore nan yon kontèks syans politik (Humphreys 2015; Desposato 2016b) ak devlopman ekonomi (Baele 2013) .

Nan seksyon sa a, mwen sigjere ke enfòmasyon pre-tretman yo ka itilize pou amelyore presizyon nan efè tretman estime, men gen kèk deba sou apwòch sa a; gade Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ak Bloniarz et al. (2016) pou plis enfòmasyon.

Finalman, gen de lòt kalite eksperyans ki fèt pa syantis sosyal ki pa anfòm nètman ansanm dimansyon nan lab-jaden: eksperyans sondaj ak eksperyans sosyal. Eksperyans Sondaj yo se eksperyans lè l sèvi avèk enfrastrikti sondaj ki egziste deja yo epi konpare repons sou vèsyon altènatif menm kesyon yo (kèk eksperyans sondaj yo prezante nan Chapit 3); pou plis sou eksperyans sondaj yo wè Mutz (2011) . Eksperyans sosyal yo se eksperyans kote tretman an se kèk politik sosyal ki ka aplike sèlman pa yon gouvènman. Eksperyans sosyal yo pre relasyon ak evalyasyon pwogram lan. Pou plis sou eksperyans politik yo, gade Heckman and Smith (1995) , Orr (1998) , ak @ glennerster_running_2013.

• Deplase pi lwen eksperyans senp (seksyon 4.4)

Mwen te chwazi yo konsantre sou twa konsèp: validite, eterojeneite nan efè tretman, ak mekanism. Konsèp sa yo gen non diferan nan diferan jaden. Pou egzanp, sikològ yo gen tandans pou avanse pou pi pi lwen eksperyans senp pa konsantre sou medyatè ak moderatè (Baron and Kenny 1986) . Lide medyatè yo te kaptire pa sa mwen rele mekanis yo, e lide moderatè yo te kaptire pa sa mwen rele ekivalans ekstèn (egzanp, rezilta rezilta eksperyans lan ta diferan si li te kouri nan diferan sitiyasyon) ak eterozite nan efè tretman ( egzanp, se efè yo pi gwo pou kèk moun pase pou lòt moun).

Eksperyans pa Schultz et al. (2007) montre kouman teyori sosyal yo ka itilize pou konsepsyon entèvansyon efikas. Pou yon agiman pi jeneral sou wòl nan teyori nan desine entèvansyon efikas, gade Walton (2014) .

• Validite (seksyon 4.4.1)

Konsèp nan validite entèn ak ekstèn yo te premye prezante pa Campbell (1957) . Al gade nan Shadish, Cook, and Campbell (2001) pou yon istwa pi detaye ak yon elaborasyon atansyon nan validite estatistik konklizyon, entèn validite, konstwi validite, ak validite ekstèn.

Pou yon BECA de pwoblèm ki gen rapò ak validite estatistik konklizyon nan eksperyans wè Gerber and Green (2012) (ki soti nan yon pèspektiv syans sosyal) ak Imbens and Rubin (2015) (ki soti nan yon pèspektiv estatistik). Gen kèk pwoblèm nan validite konklizyon estatistik ki rive espesyalman nan eksperyans jaden sou entènèt yo enkli pwoblèm tankou metòd calculable efikas pou kreye entèval konfyans ak done depandan (Bakshy and Eckles 2013) .

Validite entèn ka difisil pou asire nan eksperyans jaden konplèks yo. Gade, pou egzanp, Gerber and Green (2000) , Imai (2005) , ak Gerber and Green (2005) pou deba sou aplikasyon an nan yon eksperyans jaden konplèks sou vote. Kohavi et al. (2012) ak Kohavi et al. (2013) bay yon entwodiksyon nan defi yo nan validite entèval nan eksperyans jaden sou entènèt.

Yon gwo menas nan validite entèn se posibilite pou echwe o aza. Yon fason potansyèl pou detekte pwoblèm ak o aza yo se konpare gwoup tretman ak kontwòl sou karakteristik obsèvab. Sa a se kalite konparezon ki rele yon chèk balans . Gade Hansen and Bowers (2008) pou yon apwòch estatistik pou balans chèk yo ak Mutz and Pemantle (2015) pou enkyetid sou chèk balans. Pou egzanp, lè l sèvi avèk yon chèk balans, Allcott (2011) jwenn kèk prèv ki montre o aza pa te aplike kòrèkteman nan twa eksperyans eksperimantal (gade tablo 2; sit 2, 6, ak 8). Pou lòt apwòch, gade chapit 21 nan Imbens and Rubin (2015) .

Lòt enkyetid enpòtan ki gen rapò ak validite entèn yo se: (1) non-konfòme yon sèl kote, kote se pa tout moun nan gwoup tretman an aktyèlman te resevwa tretman an, (2) de non konplo, kote se pa tout moun nan gwoup tretman an resevwa tretman an ak kèk moun nan Gwoup kontwòl la resevwa tretman an, (3) attrition, kote rezilta yo pa mezire pou kèk patisipan yo, ak (4) entèferans, kote tretman an apiye sou moun ki nan kondisyon tretman an bay moun ki nan kondisyon an kontwòl. Gade chapit 5, 6, 7, ak 8 nan Gerber and Green (2012) pou plis sou chak nan pwoblèm sa yo.

Pou plis sou konstwi validite, wè Westen and Rosenthal (2003) , ak pou plis sou konstwi validite nan sous done gwo, Lazer (2015) ak chapit 2 nan liv sa a.

Yon aspè nan validite ekstèn se anviwònman an nan ki se yon entèvansyon teste. Allcott (2015) bay yon tretman atansyon teyorik ak anpirik nan patipri seleksyon sit. Pwoblèm sa a tou diskite pa Deaton (2010) . Yon lòt aspè nan validite ekstèn se si operasyon altènatif nan entèvansyon an menm ap gen efè menm jan an. Nan ka sa a, yon konparezon ant Schultz et al. (2007) ak Allcott (2011) montre ke eksperyans eksperimantal yo te gen yon efè ki pi piti estime trete pase eksperyans orijinal yo pa Schultz ak kòlèg li yo (1.7% kont 5%). Allcott (2011) espekile ke eksperyans yo swivi yo te gen yon efè ki pi piti paske nan fason yo nan ki tretman an diferan: yon émoticon ekri alamen kòm yon pati nan yon etid patwone pa yon inivèsite, konpare ak yon emosyon enprime kòm yon pati nan yon pwodwi mas rapò ki soti nan yon konpayi pouvwa.

• Eterojenite nan efè tretman (seksyon 4.4.2)

Pou yon ekselan BECA de eterozite nan efè tretman nan eksperyans jaden, gade chapit 12 nan Gerber and Green (2012) . Pou entwodiksyon nan eterozite nan efè tretman nan esè medikal, gade Kent and Hayward (2007) , Longford (1999) , ak Kravitz, Duan, and Braslow (2004) . Konsiderasyon nan eterogeneite nan efè tretman jeneralman konsantre sou diferans ki baze sou karakteristik pre-tretman. Si ou enterese nan etewagoite ki baze sou rezilta apre tretman, lè sa a, pi konplèks apwòch yo bezwen, tankou stratifikasyon direktè lekòl (Frangakis and Rubin 2002) ; gade Page et al. (2015) pou yon revizyon.

Anpil chèchè estime heterogenite nan efè tretman lè l sèvi avèk lineyè retou annaryè, men pi nouvo metòd konte sou aprantisaj machin; gade, pou egzanp, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ak Athey and Imbens (2016a) .

Gen kèk dout sou konklizyon nan eterozite nan efè paske nan pwoblèm konparezon miltip ak "lapèch." Gen yon varyete de apwòch estatistik ki ka ede adrese enkyetid sou konparezon miltip (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Yon apwòch sou enkyetid sou "lapèch" se pre-enskripsyon, ki vin de pli zan pli komen nan sikoloji (Nosek and Lakens 2014) , syans politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ak ekonomi (Olken 2015) .

Nan etid la pa Costa and Kahn (2013) sèlman apeprè mwatye nan kay yo nan eksperyans la ka lye nan enfòmasyon demografik la. Lektè ki enterese nan detay sa yo ta dwe refere a papye orijinal la.

• Mekanis (seksyon 4.4.3)

Mekanis yo ekstrèmman enpòtan, men yo vire soti yo dwe trè difisil yo etidye. Rechèch sou mekanis se pre relasyon ak etid medyatè nan sikoloji (men gade tou VanderWeele (2009) pou yon konparezon presi ant de lide yo). Apwòch estatistik pou jwenn mekanis, tankou apwòch la devlope nan Baron and Kenny (1986) , yo byen komen. Malerezman, li vire soti ke pwosedi sa yo depann sou kèk sipozisyon fò (Bullock, Green, and Ha 2010) ak soufri lè gen mekanis miltip, tankou yon ka atann nan anpil sitiyasyon (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ak Imai and Yamamoto (2013) ofri kèk metòd estatistik amelyore. Pli lwen, VanderWeele (2015) ofri yon tretman liv-longè ak yon kantite rezilta enpòtan, ki gen ladan yon apwòch konplè nan analiz sansiblite.

Yon apwòch separe konsantre sou eksperyans ki eseye manipile mekanis la dirèkteman (egzanp, bay maren vitamin C). Malerezman, nan anpil anviwònman syans sosyal, gen souvan mekanis miltip ak li difisil pou konsepsyon tretman ki chanje youn san yo pa chanje lòt moun yo. Gen kèk apwòch mekanis eksperimantalman ki dekri nan Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ak Pirlott and MacKinnon (2016) .

Chèchè yo ap fè eksperyans eksperimantal konplètman ap bezwen konsène sou tès ipotèz miltip; gade Fink, McConnell, and Vollmer (2014) ak List, Shaikh, and Xu (2016) pou plis enfòmasyon.

Finalman, mekanis tou gen yon istwa long nan filozofi nan syans jan sa dekri nan Hedström and Ylikoski (2010) .

• Sèvi ak anviwonman ki deja egziste (seksyon 4.5.1)

Pou plis sou itilizasyon etid korespondans ak syans odit pou mezire diskriminasyon, gade Pager (2007) .

• Bati eksperyans pwòp ou a (seksyon 4.5.2)

Fason ki pi komen yo rekrite patisipan yo eksperyans ke ou bati se Amazon Mechanical Turk (MTurk). Paske MTurk repwodwi aspè nan eksperyans laboratwa tradisyonèl-peye moun yo ranpli travay yo ke yo pa ta fè pou gratis-anpil chèchè yo te deja kòmanse lè l sèvi avèk Turkers (travayè yo sou MTurk) kòm patisipan eksperimantal, sa ki lakòz pi vit ak pi bon mache koleksyon done pase ka reyalize nan eksperyans laboratwa tradisyonèl sou-kanpis (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Anjeneral, avantaj ki genyen nan pi gwo nan lè l sèvi avèk patisipan rekrite soti nan MTurk yo lojistik. Pandan ke eksperyans laboratwa ka pran semèn nan kouri ak eksperyans jaden ka pran mwa yo mete-up, eksperyans ak patisipan rekrite soti nan MTurk ka kouri nan jou. Pou egzanp, Berinsky, Huber, and Lenz (2012) te kapab rekrite 400 matyè nan yon sèl jou yo patisipe nan yon eksperyans 8 minit. Pli lwen, patisipan sa yo ka rekrite pou nòmalman nenpòt objektif (tankou sondaj ak mas kolaborasyon, jan yo diskite nan chapit 3 ak 5). Sa a fasilite nan rekritman vle di ke chèchè ka kouri sekans eksperyans ki gen rapò ak siksesyon rapid.

Anvan rekritman patisipan yo soti nan MTurk pou eksperyans pwòp ou yo, gen kat bagay enpòtan ke ou bezwen konnen. Premyèman, chèchè yo anpil gen yon dout san espesifik nan eksperyans ki enplike Turkers. Paske sa a dout se pa espesifik, li difisil kontrekare avèk prèv. Sepandan, apre plizyè ane nan syans lè l sèvi avèk Turkers, nou kapab kounye a konkli ke dout sa a pa patikilyèman jistifye. Te gen anpil syans konpare demografik yo nan Turkers ak sa yo ki nan lòt popilasyon ak syans anpil konpare rezilta yo nan eksperyans ak Turkers konprann moun ki soti nan lòt popilasyon. Etandone tout travay sa a, mwen panse ke fason ki pi bon pou ou panse sou li se ke Turkers yo se yon echantiyon konvenab rezonab, anpil tankou elèv men yon ti kras plis divès (Berinsky, Huber, and Lenz 2012) . Se konsa, menm jan elèv yo se yon popilasyon ki rezonab pou kèk, men se pa tout, rechèch, Turkers yo se yon popilasyon ki rezonab pou kèk, men se pa tout, rechèch. Si ou yo ale nan travay ak Turkers, Lè sa a, li fè sans li anpil nan syans sa yo konparatif ak konprann nuans yo.

Dezyèmman, chèchè yo te devlope pi bon pratik pou ogmante validite entèn yo nan eksperyans MTurk, epi ou ta dwe aprann sou epi swiv sa yo pi bon pratik (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Pou egzanp, chèchè ki itilize Turkers yo ankouraje yo sèvi ak Screeners yo retire patisipan inattentive (Berinsky, Margolis, and Sances 2014, 2016) (men wè tou DJ Hauser and Schwarz (2015b) ak DJ Hauser and Schwarz (2015a) ). Si ou pa retire patisipan inatandi, Lè sa a, nenpòt ki efè nan tretman an ka lave soti nan bri sa yo ke yo entwodui, ak nan pratik ki kantite patisipan inatandi yo ka sibstansyèl. Nan eksperyans la pa Huber ak kòlèg (2012) , apeprè 30% nan patisipan yo te echwe Screeners atansyon debaz yo. Lòt pwoblèm ki souvan rive lè Turkers yo itilize yo se patisipan ki pa nayif (Chandler et al. 2015) ak attrition (Zhou and Fishbach 2016) .

Twazyèm, relatif nan kèk lòt fòm eksperyans dijital, eksperyans MTurk pa ka echèl; Stewart et al. (2015) estime ke nan nenpòt ki lè yo bay gen sèlman sou 7,000 moun ki sou MTurk.

Finalman, ou ta dwe konnen ke MTurk se yon kominote ak pwòp règ li yo ak nòm (Mason and Suri 2012) . Nan menm fason ke ou ta eseye jwenn enfòmasyon sou kilti a nan yon peyi kote ou te ale nan kouri eksperyans ou a, ou ta dwe eseye jwenn plis enfòmasyon sou kilti a ak nòm nan Turkers (Salehi et al. 2015) . Epi ou ta dwe konnen ke Turkers yo ap pale sou eksperyans ou a si ou fè yon bagay apwopriye oswa unethical (Gray et al. 2016) .

MTurk se yon fason èkstrèmeman pratik pou rekrite patisipan yo nan eksperyans ou yo, si yo se laboratwa ki tankou, tankou Huber, Hill, and Lenz (2012) , oswa plis jaden tankou, tankou sa yo ki nan Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ak Mao et al. (2016) .

• Bati pwòp pwodui ou (seksyon 4.5.3)

Si w ap panse pou eseye kreye pwòp pwodwi ou, mwen rekòmande ke ou li konsèy la ofri nan gwoup la MovieLens nan Harper and Konstan (2015) . Yon insight kle nan eksperyans yo se ke pou chak pwojè siksè gen anpil, anpil echèk. Pou egzanp, gwoup la MovieLens te lanse lòt pwodwi, tankou GopherAnswers, ki te echèk konplè (Harper and Konstan 2015) . Yon lòt egzanp yon chèchè li pap resevwa pandan y ap eseye bati yon pwodwi se tantativ Edward Castronova a bati yon jwèt sou entènèt rele Arden. Malgre $ 250,000 nan finansman, pwojè a te yon flop (Baker 2008) . Pwojè tankou GopherAnswers ak Arden yo malerezman pi komen pase pwojè tankou MovieLens.

• Patnè ak pwisan an (seksyon 4.5.4)

Mwen te tande lide kadran Pasteur a te diskite souvan nan konpayi teknoloji, e li te ede òganize efò rechèch nan Google (Spector, Norvig, and Petrov 2012) .

Bond ak kòlèg 'etid (2012) tou eseye detekte efè a nan tretman sa yo sou zanmi yo nan moun ki te resevwa yo. Paske nan desen an nan eksperyans la, sa yo spillovers yo difisil yo detekte pwòp; Lektè ki enterese yo ta dwe wè Bond et al. (2012) pou yon diskisyon pi plis konplè. Jones ak kòlèg yo (2017) te fè tou yon eksperyans ki sanble anpil pandan eleksyon 2012 la. Eksperyans sa yo se yon pati nan yon tradisyon lontan nan eksperyans nan syans politik sou efò ankouraje vote (Green and Gerber 2015) . Eksperyans sa yo ki soti-vòt yo komen yo, an pati paske yo nan kadran Pasteur la. Sa se, gen anpil moun ki motive pou ogmante vòt ak vote ka yon konpòtman ki enteresan pou teste teyori jeneral jeneral sou chanjman konpòtman ak enfliyans sosyal.

Pou konsèy sou kouri eksperyans jaden ak òganizasyon patnè tankou pati politik yo, ONG, ak biznis, gade Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ak Gueron (2002) . Pou panse sou kijan patenarya ak òganizasyon yo ka afekte desen rechèch, gade King et al. (2007) ak Green, Calfano, and Aronow (2014) . Patenarya kapab tou mennen nan kesyon etik, jan diskite pa Humphreys (2015) ak Nickerson and Hyde (2016) .

• Konsèy konsèy (seksyon 4.6)

Si ou prale kreye yon plan analiz anvan ou kouri eksperyans ou, mwen sijere ke ou kòmanse lè ou li lekti rapò. KONSÈY (konsolidasyon estanda rapò sou tras) yo te devlope nan medikaman (Schulz et al. 2010) ak modifye pou rechèch sosyal (Mayo-Wilson et al. 2013) . Yon seri ki gen rapò ak direktiv ki te devlope pa editè yo nan Journal of Syans eksperimantal politik (Gerber et al. 2014) (al gade tou Mutz and Pemantle (2015) ak Gerber et al. (2015) ). Finalman, rapò gid yo te devlope nan sikoloji (APA Working Group 2008) , ak wè tou Simmons, Nelson, and Simonsohn (2011) .

Si ou kreye yon plan analiz, ou ta dwe konsidere pre-enskri li paske pre-enskripsyon ap ogmante konfyans nan ke lòt moun gen nan rezilta ou. Pli lwen, si ou ap travay ak yon patnè, li pral limite kapasite patnè ou a chanje analiz la apre yo fin wè rezilta yo. Pre-enskripsyon ap vin de pli zan pli komen nan sikoloji (Nosek and Lakens 2014) , syans politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ak ekonomi (Olken 2015) .

Konsèy konsepsyon espesyalman pou eksperyans jaden sou entènèt tou prezante nan Konstan and Chen (2007) ak Chen and Konstan (2015) .

Ki sa mwen te rele estrateji a armada pafwa yo rele rechèch pwogram ; gade Wilson, Aronson, and Carlsmith (2010) .

• Kreye done zewo varyab (seksyon 4.6.1)

Pou plis sou eksperyans yo MusicLab, gade Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ak Salganik (2007) . Pou plis sou gayan-pran-tout mache yo, al gade Frank and Cook (1996) . Pou plis sou chans san patipri ak konpetans plis jeneralman, gade Mauboussin (2012) , Watts (2012) , ak Frank (2016) .

Gen yon lòt apwòch pou elimine peman patisipan yo ke chèchè yo ta dwe itilize ak prekosyon: konskripsyon. Nan eksperyans anpil nan jaden sou entènèt patisipan yo fondamantalman tire nan eksperyans epi pa janm rekonpanse. Egzanp nan apwòch sa a gen ladan eksperyans Restivo ak Van de Rijt (2012) sou rekonpans nan Wikipedia ak Bond ak eksperyans kolèg (2012) sou ankouraje moun yo vote. Eksperyans sa yo pa reyèlman gen zewo varyab pri-olye, yo gen pri zewo varyab chèchè yo . Nan eksperyans sa yo, menm si pri a chak patisipan yo piti anpil, pri a total ka byen gwo. Chèchè yo ap fè eksperyans masiv sou entènèt souvan jistifye enpòtans ki genyen nan ti efè tretman estime lè li di ke ti efè sa yo ka vin enpòtan lè yo aplike nan anpil moun. Egzak egzak la menm aplike a depans ke chèchè enpoze sou patisipan yo. Si eksperyans ou a lakòz yon milyon moun ki gaspiye yon minit, eksperyans la pa trè danjere nan nenpòt moun patikilye, men nan total li te gaspiye prèske de zan nan tan.

Yon lòt apwòch pou kreye zewo varyab pri peman pou patisipan yo se sèvi ak yon lotri, yon apwòch ki te itilize tou nan rechèch sondaj (Halpern et al. 2011) . Pou plis enfòmasyon sou desine eksperyans itilizatè agreyab, gade Toomim et al. (2011) . Pou plis enfòmasyon sou lè l sèvi avèk robo yo kreye eksperyans zewo pri varyab wè ( ??? ) .

• Ranplase, rafine, ak redwi (seksyon 4.6.2)

Twa R yo kòm orijinal pwopoze pa Russell and Burch (1959) yo jan sa a:

"Ranplasman vle di sibstitisyon a pou konsyan k ap viv pi wo bèt nan materyèl insentient. Rediksyon vle di rediksyon nan nimewo yo nan bèt itilize yo jwenn enfòmasyon nan yon kantite lajan yo bay ak presizyon. Revizyon vle di nenpòt diminisyon nan ensidans la oswa gravite nan pwosedi brutal aplike nan moun ki bèt ki toujou gen yo dwe itilize. "

Twa R yo ke mwen pwopoze pa pase sou prensip etik yo ki dekri nan chapit 6. Olye de sa, yo se yon vèsyon plis elabore youn nan sa yo prensip-benefisans-espesyalman nan anviwònman an nan eksperyans imen.

An tèm de premye R la ("ranplasman"), konpare eksperyans nan kontajyon emosyonèl (Kramer, Guillory, and Hancock 2014) ak eksperyans nan kontajye emosyonèl natirèl (Lorenzo Coviello et al. 2014) ofri kèk leson jeneral sou komès la-ki enplike nan k ap soti nan eksperyans nan eksperyans natirèl (ak lòt apwòch tankou matche ki eseye apwoksimatif eksperyans nan done ki pa eksperimantal; gade chapit 2). Anplis de benefis etik, chanje soti nan eksperimantal nan syans ki pa eksperimantal tou pèmèt chèchè yo etidye tretman yo ke yo lojistikman kapab deplwaye. Sa yo benefis etik ak lojistik vini nan yon pri, sepandan. Ak eksperyans natirèl chèchè yo gen mwens kontwòl sou bagay sa yo tankou rekritman nan patisipan yo, o aza, ak nati a nan tretman an. Pou egzanp, yon sèl limit nan lapli kòm yon tretman se ke li tou de ogmante pozitivite ak diminye negativite. Nan etid la eksperimantal, sepandan, Kramer ak kòlèg li yo te kapab ajiste pozitivite ak negativite poukont li. Apwòch patikilye itilize pa Lorenzo Coviello et al. (2014) te plis élaboration pa L. Coviello, Fowler, and Franceschetti (2014) . Pou yon entwodiksyon nan varyab enstrimantal, ki se apwòch la itilize pa Lorenzo Coviello et al. (2014) , gade Angrist and Pischke (2009) (mwens fòmèl) oswa Angrist, Imbens, and Rubin (1996) (plis fòmèl). Pou yon evalyasyon ensèten nan varyab enstrimantal, gade Deaton (2010) , ak pou yon entwodiksyon nan varyab enstrimantal ak enstriman fèb (lapli se yon enstriman ki fèb), gade Murray (2006) . Plis jeneralman, yon bon entwodiksyon nan eksperyans natirèl yo bay nan Dunning (2012) , pandan y ap Rosenbaum (2002) , ( ??? ) , ak Shadish, Cook, and Campbell (2001) ofri bon lide sou estimasyon efè kozatif san eksperyans.

An tèm de R nan dezyèm ("revizyon"), gen komès syantifik ak lojistik-konpwomi lè w ap konsidere chanje desen an nan kontak Emosyonèl soti nan bloke posts ranfòse posts. Pou egzanp, li ka ka a ke aplikasyon an teknik nan Feed nan News fè li se pi fasil fè yon eksperyans nan ki posts yo bloke olye ke yon sèl nan ki yo stimulé (note ke yon eksperyans ki enplike bloke nan posts ta ka aplike kòm yon kouch sou tèt sistèm nan Feed News san yo pa nenpòt bezwen pou chanjman nan sistèm nan kache). Syantifikman, sepandan, teyori a adrese pa eksperyans la pa t 'byen klè sijere yon sèl konsepsyon sou lòt la. Malerezman, mwen pa okouran de konsiderab anvan rechèch sou baz byenfonde relatif yo nan bloke ak ranfòse kontni nan Feed nan News. Epitou, mwen pa t 'wè anpil rechèch sou raffinage tretman fè yo mwens danjere; Yon eksepsyon se B. Jones and Feamster (2015) , ki konsidere ka a nan mezi entènèt sansi (yon sijè mwen diskite nan chapit 6 nan relasyon ak etid la Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

An tèm de twazyèm R ("rediksyon"), bon entwodiksyon nan analiz pouvwa tradisyonèl yo bay pa Cohen (1988) (liv) ak Cohen (1992) (atik), pandan y ap Gelman and Carlin (2014) ofri yon pèspektiv yon ti kras diferan. Pre-tretman covariates ka enkli nan etap nan konsepsyon ak analiz de eksperyans; Chapit 4 nan Gerber and Green (2012) bay yon entwodiksyon bon nan tou de apwòch, ak Casella (2008) bay yon tretman an plis pwofondè. Teknik ki itilize enfòmasyon sa yo pou tretman an nan o aza yo anjeneral rele swa bloke desen eksperimantal oswa desen stratifye eksperimantal (tèminoloji a pa itilize toujou atravè kominote); teknik sa yo pre relasyon ak teknik echantiyon stratifye yo diskite nan chapit 3. Al gade nan Higgins, Sävje, and Sekhon (2016) pou plis sou lè l sèvi avèk desen sa yo nan eksperyans masiv. Pre-tretman covariates ka tou enkli nan etap analiz la. McKenzie (2012) eksplore diferans-nan-diferans apwòch pou analize eksperyans jaden yo nan pi gwo detay. Gade Carneiro, Lee, and Wilhelm (2016) pou plis sou komès-konpwomi ant apwòch diferan pou ogmante presizyon nan estimasyon de efè tretman. Finalman, lè n ap deside si yo ta dwe gen ladan pre-tretman covariates nan etap nan konsepsyon oswa analiz (oswa tou de), gen kèk faktè yo konsidere. Nan yon anviwònman kote chèchè vle montre ke yo pa "lapèch" (Humphreys, Sierra, and Windt 2013) , lè l sèvi avèk pre-tretman covariates nan etap nan konsepsyon ka itil (Higgins, Sävje, and Sekhon 2016) . Nan sitiyasyon kote patisipan rive sekans, espesyalman eksperyans sou entènèt, lè l sèvi avèk enfòmasyon tretman anvan tretman nan etap nan konsepsyon ka difisil lojistikman; gade, pou egzanp, Xie and Aurisset (2016) .

Li se vo ajoute yon ti jan nan entwisyon sou rezon ki fè yon diferans-nan-diferans apwòch kapab pi plis efikas pase yon diferans-an-vle di yon sèl. Anpil rezilta sou entènèt gen divèjans trè wo (gade egzanp, RA Lewis and Rao (2015) ak Lamb et al. (2015) ) epi yo relativman ki estab sou tan. Nan ka sa a, nòt chanjman an ap gen anpil divizyon pi piti, ogmante pouvwa tès statistik la. Youn nan rezon sa a apwòch pa itilize pi souvan se ke anvan laj dijital la, li pa te komen yo gen rezilta pre-tretman. Yon fason konkrè plis panse sou sa a se imajine yon eksperyans ki mezire si yon woutin egzèsis espesifik lakòz pèdi pwa. Si ou adopte yon apwòch diferans-in-vle di, estimasyon ou yo ap gen varyab ki rive soti nan variabilité a nan pwa nan popilasyon an. Si ou fè yon diferans-nan-diferans apwòch, sepandan, ki varyasyon natirèlman ki fèt nan pwa yo retire, epi ou ka pi fasil detekte yon diferans ki te koze pa tretman an.

Finalman, mwen konsidere kòm ajoute yon katriyèm R: "repurpose". Sa vle di, si chèchè yo jwenn tèt yo ak plis eksperyans pase yo bezwen adrese kesyon rechèch orijinal yo, yo ta dwe repòte done yo pou poze nouvo kesyon yo. Pou egzanp, imajine ke Kramer ak kòlèg li yo te itilize yon diferans-an-diferans estimatè ak jwenn tèt yo ak plis done pase yo bezwen nan adrès kesyon rechèch yo. Olye ke yo pa itilize done yo nan limit ki pi konplè, yo te ka etidye gwosè a nan efè a kòm yon fonksyon nan pre-tretman ekspresyon emosyonèl. Menm jan Schultz et al. (2007) jwenn ke efè a nan tretman an te diferan pou itilizatè limyè ak lou, petèt efè yo nan Nouvèl Feed la yo te diferan pou moun ki deja tandans yo afiche kè kontan (oswa tris) mesaj. Reparasyon te kapab mennen nan "lapèch" (Humphreys, Sierra, and Windt 2013) ak "p-Hacking" (Simmons, Nelson, and Simonsohn 2011) , men sa yo lajman adrese ak yon konbinezon de rapò onèt (Simmons, Nelson, and Simonsohn 2011) , pre-enskripsyon (Humphreys, Sierra, and Windt 2013) , ak metòd aprantisaj machin ki eseye evite sou-Fitting.