Pli lwen Book

Seksyon sa-a fèt yo dwe itilize kòm yon referans, olye ke ou dwe li kòm yon naratif.

• Entwodiksyon (Seksyon 4.1)

Kesyon sou kozalite nan rechèch sosyal yo souvan konplèks ak konplike. Pou yon apwòch fondamantal kozalite ki baze sou graf kozatif, gade Pearl (2009) , ak pou yon apwòch fondamantal ki baze sou rezilta potansyèl, wè Imbens and Rubin (2015) (ak anèks la teknik nan chapit sa a). Pou yon konparezon ant de apwòch sa yo, gade Morgan and Winship (2014) . Pou yon apwòch fòmèl a defini yon confounder, gade VanderWeele and Shpitser (2013) .

Nan chapit la, mwen te kreye sa ki te sanble tankou yon liy klere ant kapasite nou yo fè estimasyon kozatif soti nan done eksperimantal ak moun ki pa eksperyans. An reyalite, mwen panse ke distenksyon an se blurrier. Pou egzanp, tout moun aksepte ke fimen lakòz kansè menm si nou pa janm te fè yon owaza eksperyans kontwole ki fòs moun yo fimen. Pou tretman longè liv ekselan sou fè estimasyon kozatif soti nan done ki pa eksperimantal wè Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ak Dunning (2012) .

Chapit 1 ak 2 nan Freedman, Pisani, and Purves (2007) ofri yon entwodiksyon klè nan diferans ki genyen ant eksperyans, eksperyans kontwole, ak owaza kontwole eksperyans.

Manzi (2012) bay yon entwodiksyon kaptivan ak lizib nan fondman yo filozofik ak statistik de owaza eksperyans kontwole. Li tou bay enteresan egzanp mond reyèl la ki gen pouvwa a nan eksperimantasyon nan biznis.

• Ki sa ki eksperyans? (Seksyon 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) bay bon entwodiksyon nan aspè yo statistik de konsepsyon eksperimantal ak analiz. Pli lwen, gen tretman ekselan nan itilize nan eksperyans nan anpil jaden diferan: ekonomi (Bardsley et al. 2009) , Sosyoloji (Willer and Walker 2007; Jackson and Cox 2013) , sikoloji (Aronson et al. 1989) , Syans politik (Morton and Williams 2010) , ak politik sosyal (Glennerster and Takavarasha 2013) .

Enpòtans ki genyen nan patisipan rekritman (egzanp, pran echantiyon) se souvan anba-apresye nan rechèch eksperimantal. Sepandan, si efè a nan tretman an se heterogeneous nan popilasyon an, lè sa a pran echantiyon se kritik. Longford (1999) fè pwen sa a byen klè lè li defansè pou chèchè panse a eksperyans kòm yon sondaj popilasyon ak azar pran echantiyon.

• De dimansyon nan eksperyans: laboratwa-jaden ak analòg-dijital (Seksyon 4.3)

dikotomi a ke mwen prezante ant laboratwa ak jaden eksperyans se yon ti jan senplifye. An reyalite, lòt chèchè yo te pwopoze tipoloji plis detay, nan yo menm patikilye ki separe fòm yo divès kalite eksperyans jaden (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Pli lwen, ki te gen de lòt kalite eksperyans fèt pa syantis sosyal ki pa anfòm nètman nan laboratwa ak jaden dikotomi la.: Eksperyans sondaj ak eksperyans sosyal Sondaj eksperyans yo eksperyans lè l sèvi avèk enfrastrikti nan nan sondaj ki deja egziste ak konpare repons a vèsyon altènatif nan la menm kesyon (kèk eksperyans sondaj yo prezante nan Chapit 3); pou plis enfòmasyon sou eksperyans sondaj wè Mutz (2011) . eksperyans Sosyal yo eksperyans kote tretman an se kèk politik sosyal ki kapab fèt sèlman aplike pa yon gouvènman an. eksperyans Sosyal yo pre relasyon ak pwogram evalyasyon. Pou plis enfòmasyon sou eksperyans politik, wè Orr (1998) , Glennerster and Takavarasha (2013) , ak Heckman and Smith (1995) .

Yon nimewo de papye konpare laboratwa ak jaden eksperyans nan abstrè a (Falk and Heckman 2009; Cialdini 2009) ak an tèm de rezilta nan eksperyans espesifik nan syans politik (Coppock and Green 2015) , ekonomi (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) ak sikoloji (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ofri yon konsepsyon rechèch bèl pou konpare rezilta soti nan laboratwa ak jaden eksperyans.

Enkyetid sou patisipan chanje konpòtman yo paske yo konnen yo yo te ak anpil atansyon obsève pafwa yo rele efè demann, ak yo te etidye nan sikoloji (Orne 1962) ak ekonomi (Zizzo 2009) . Malgre ke sitou ki asosye ak eksperyans laboratwa, sa yo pwoblèm menm kapab lakòz pwoblèm pou eksperyans jaden kòm byen. An reyalite, efè demann yo tou pafwa yo rele efè Hawthorne, yon tèm ki proceed soti nan yon eksperyans jaden, espesyalman eksperyans yo lumières pi popilè ki te kòmanse nan 1924 nan travay yo Hawthorne nan Western Konpayi an elektrik (Adair 1984; Levitt and List 2011) . Tou de efè demann ak efè Hawthorn yo pre relasyon ak lide a nan mezi reyaktif diskite nan Chapit 2 (gade tou Webb et al. (1966) ).

Te Istwa a nan eksperyans jaden te dekri nan ekonomi (Levitt and List 2009) , syans politik (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , sikoloji (Shadish 2002) , ak politik piblik (Shadish and Cook 2009) . Youn nan zòn nan syans sosyal kote eksperyans jaden byen vit te vin enpòtan se devlopman entènasyonal yo. Pou yon revizyon ki pozitif nan ki travay nan ekonomi wè Banerjee and Duflo (2009) , ak pou yon evalyasyon kritik wè Deaton (2010) . Pou yon revizyon nan travay sa a nan syans politik wè Humphreys and Weinstein (2009) . Finalman, defi yo etik ki patisipe nan eksperyans jaden yo te eksplore nan syans politik (Humphreys 2015; Desposato 2016b) ak ekonomi devlopman (Baele 2013) .

Nan chapit la, mwen sigjere ke ka enfòmasyon pre-tretman dwe itilize yo amelyore presizyon nan nan efè tretman estime, men gen kèk deba sou apwòch sa a: Freedman (2008) , Lin (2013) , ak Berk et al. (2013) ; wè Bloniarz et al. (2016) pou plis enfòmasyon.

• Botwe pi lwen pase eksperyans senp (Seksyon 4.4)

Mwen te chwazi yo konsantre sou twa konsèp: validite, eterojeneite nan efè tretman, ak mekanism. konsèp sa yo gen non diferan nan jaden diferan. Pou egzanp, sikològ yo gen tandans deplase pi lwen pase eksperyans senp pa konsantre sou medyatè ak moderatè (Baron and Kenny 1986) . se Lide a nan medyatè kaptire pa sa mwen rele mekanism, epi li se lide a nan moderatè kaptire pa sa mwen rele ekstèn validite (egzanp, ta rezilta yo nan eksperyans la kapab diferan si li te kouri nan diferan sitiyasyon) ak eterojeneite nan efè tretman ( egzanp, yo se efè yo ki pi gwo pou kèk moun pase lòt moun).

Eksperyans la nan Schultz et al. (2007) montre kouman teyori sosyal ka itilize nan konsepsyon entèvansyon efikas. Pou yon agiman plis jeneral sou wòl nan teyori nan desine entèvansyon ki efikas, gade Walton (2014) .

• Validite (Seksyon 4.4.1)

Konsèp yo nan validite entèn ak ekstèn te pwemye prezante nan Campbell (1957) . Wè Shadish, Cook, and Campbell (2001) pou yon istwa plis detay ak yon élaboration w pran prekosyon ak estatistik validite konklizyon, entèn validite, konstwi validite, ak validite ekstèn.

Pou yon BECA de pwoblèm ki gen rapò ak estatistik validite konklizyon nan eksperyans wè Gerber and Green (2012) (pou yon pèspektiv syans sosyal) ak Imbens and Rubin (2015) (pou yon pèspektiv estatistik). Gen kèk pwoblèm nan estatistik validite konklizyon ki rive espesyalman nan eksperyans jaden sou entènèt gen ladan pwoblèm tankou metòd kalkil efikas pou kreye entèval konfyans ak done depann (Bakshy and Eckles 2013) .

Entèn validite ka difisil asire nan eksperyans jaden konplèks. Wè, pou egzanp, Gerber and Green (2000) , Imai (2005) , ak Gerber and Green (2005) pou deba sou aplikasyon an nan yon eksperyans jaden konplèks sou vote. Kohavi et al. (2012) ak Kohavi et al. (2013) bay yon entwodiksyon nan defi yo nan validite entèval nan eksperyans jaden sou entènèt.

Youn nan pi gwo enkyetid ak validite entèn se pwoblèm ki genyen ak Metòd chans. Youn nan fason yo potansyèlman detekte pwoblèm ki genyen ak Metòd chans a se yo konpare tretman ak kontwòl gwoup yo sou karakteristik obsève. Sa a se kalite konparezon rele yon chèk balans. Wè Hansen and Bowers (2008) pou yon apwòch estatistik balans chèk, ak wè Mutz and Pemantle (2015) pou enkyetid sou chèk balans. Pou egzanp, lè l sèvi avèk yon balans tcheke Allcott (2011) te jwenn ke gen kèk prèv ki montre Metòd chans la pa te aplike kòrèkteman nan twa nan eksperyans yo nan kèk nan eksperyans yo OPower (gade nan tablo 2; sit 2, 6, ak 8). Pou lòt apwòch, gade Imbens and Rubin (2015) , Chapit 21.

Lòt enkyetid pi gwo ki gen rapò ak validite entèn yo se: 1) yon sèl-sided ki pa konfòme li, kote se pa tout moun nan gwoup la tretman aktyèlman resevwa tretman an, 2) de konplo ki pa konfòme li, kote se pa tout moun nan gwoup la tretman resevwa tretman an ak kèk moun nan gwoup kontwòl la resevwa tretman an, 3) attrition, kote rezilta yo pa mezire pou kèk patisipan yo, ak 4) entèferans, kote tretman an debòdman ki fèt sou plis pase soti nan moun ki nan kondisyon an tretman nan moun ki nan kondisyon an kontwòl. Wè Gerber and Green (2012) Chapit 5, 6, 7yèm, ak 8yèm pou plis enfòmasyon sou chak nan pwoblèm sa yo.

Pou plis enfòmasyon sou konstwi validite, gade Westen and Rosenthal (2003) , ak pou plis sou validite konstwi nan sous done gwo, Lazer (2015) ak Chapit 2 nan liv sa a.

Youn nan aspè ki validite ekstèn se anviwònman an ki kote yon entèvansyon pran tès la. Allcott (2015) bay yon atansyon tretman teyorik ak anpirik nan seleksyon yon sit patipri. Se pwoblèm sa a tou diskite nan Deaton (2010) . Anplis de sa nan ke yo te repwodwi nan sit anpil, entèvansyon an Enèji nan Kay Rapò te tou yo te poukont etidye pa gwoup rechèch miltip (egzanp, Ayres, Raseman, and Shih (2013) ).

• Eterojeneite nan efè tretman (Seksyon 4.4.2)

Pou yon BECA ekselan nan eterojeneite nan efè tretman nan eksperyans jaden, wè Chapit 12 nan Gerber and Green (2012) . Pou entwodiksyon eterojeneite nan efè tretman nan tras nan medikal, wè Kent and Hayward (2007) , Longford (1999) , ak Kravitz, Duan, and Braslow (2004) . Eterojeneite nan efè tretman jeneralman konsantre sou diferans ki genyen ki baze sou karakteristik pre-tretman. Si w enterese nan eterojeneite ki baze sou rezilta pòs-tretman, lè sa a approachs pi konplèks yo bezwen tankou direktè lekòl stratifikasyon (Frangakis and Rubin 2002) ; wè Page et al. (2015) pou yon revizyon.

Anpil chèchè estime eterojeneite la nan efè tretman lè l sèvi avèk lineyè retou annaryè, men plus metòd konte sou aprantisaj machin, pou egzanp Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ak Athey and Imbens (2016a) .

Gen kèk dout osijè de konstatasyon sa ki te eterojeneite nan efè paske li gen pwoblèm konparezon miltip ak "lapèch." Gen yon varyete nan apwòch estatistik ki ka ede enkyetid adrès sou miltip konparezon (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Youn apwòch nan enkyetid sou "lapèch" se pre-enskripsyon, ki se vin de pli zan pli komen nan sikoloji (Nosek and Lakens 2014) , syans politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ak ekonomi (Olken 2015) .

Nan etid la nan Costa and Kahn (2013) sèlman sou mwatye nan kay yo nan eksperyans la yo te kapab yo dwe lye nan enfòmasyon ki demografik. Lektè ki enterese nan detay yo ak pwoblèm posib ak analiz sa a ta dwe al gade nan papye orijinal la.

• Machaswiv (Seksyon 4.4.3)

Machaswiv yo èkstrèmeman enpòtan, men yo vire deyò an trè difisil yo etidye. Rechèch sou pwosesis pre relasyon ak etid la nan medyatè nan sikoloji (men gade tou VanderWeele (2009) pou yon konparezon egzak ant de lide yo). Apwòch estatistik nan jwenn fòmil, tankou apwòch la devlope nan Baron and Kenny (1986) , yo se byen komen. Malerezman, li sanble ke pwosedi sa yo depann sou kèk sipozisyon fò (Bullock, Green, and Ha 2010) ak soufri lè gen fòmil miltip, kòm youn ta ka atann nan anpil sitiyasyon (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ak Imai and Yamamoto (2013) ofri kèk amelyore metòd estatistik. Pli lwen, VanderWeele (2015) ofri yon tretman liv-longè ak yon kantite rezilta enpòtan, ki gen ladan yon apwòch konpreyansif nan analiz sansiblite.

Yon apwòch separe konsantre sou eksperyans ki eseye manipile mekanis a dirèkteman (egzanp, bay maren vitamin C). Malerezman, nan anviwònman syans sosyal anpil nou souvan gen miltip fòmil epi li se difisil nan konsepsyon tretman ki chanje yon sèl san li pa chanje lòt moun yo. Gen kèk apwòch èksperimantal chanje fòmil yo dekri nan Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ak Pirlott and MacKinnon (2016) .

Finalman, fòmil yo te genyen tou yon istwa long nan filozofi a nan syans jan sa dekri nan Hedström and Ylikoski (2010) .

• Lè l sèvi avèk anviwònman ki deja egziste (Seksyon 4.5.1.1)

Pou plis enfòmasyon sou itilize nan nan syans korespondans ak syans kontwòl kontab ki mezire diskriminasyon wè Pager (2007) .

• Bati eksperyans pwòp ou a (Seksyon 4.5.1.2)

Fason ki pi komen yo rekrite patisipan yo eksperyans ke ou bati se Amazon Mechanical Turk (MTurk). Paske MTurk repwodwi aspè nan eksperyans ki peye laboratwa tradisyonèl moun yo fè travay yo ke yo pa ta fè pou chèchè gratis-anpil te deja kòmanse lè l sèvi avèk Turkers (travayè yo sou MTurk) kòm patisipan yo nan sijè imen eksperyans ki kapab lakòz yon pi vit ak pi bon mache koleksyon done pase tradisyonèl sou-kanpis eksperyans laboratwa (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

fòs nan pi gwo nan eksperyans ak patisipan rekrite soti nan MTurk yo lojistik: yo pèmèt chèchè yo rekrite patisipan byen vit ak jan sa nesesè. Lè nou konsidere ke eksperyans laboratwa ka pran semèn nan kouri ak eksperyans jaden ka pran mwa yo mete-up, eksperyans ak patisipan rekrite soti nan MTurk ka kouri nan jou. Pou egzanp, Berinsky, Huber, and Lenz (2012) yo te kapab yo rekrite 400 sijè nan yon sèl jou yo patisipe nan yon eksperyans 8 minit. Pli lwen, patisipan sa yo ka rekrite pou pratikman nenpòt ki rezon (ki gen ladan sondaj ak kolaborasyon mas, kòm diskite nan Chapit 3 ak 5). Sa a fasilite nan rekritman vle di ke chèchè ka kouri sekans nan eksperyans ki gen rapò nan siksesyon rapid.

Anvan rekritman patisipan yo soti nan MTurk pou eksperyans pwòp ou a, gen kat bagay enpòtan nou dwe konnen. Premyèman, anpil chèchè gen yon dout ki pa espesifik nan eksperyans ki enplike Turkers. Paske dout sa a se pa espesifik, li se difisil yo vann san preskripsyon ak prèv. Sepandan, apre plizyè ane nan syans lè l sèvi avèk Turkers, nou kapab kounye a konkli ke dout sa a se pa espesyalman nesesè. Te gen anpil etid konpare démographie yo nan Turkers nan lòt popilasyon ak anpil etid konpare rezilta yo nan eksperyans ak Turkers rezilta yo soti nan lòt popilasyon. Bay tout travay sa a, mwen panse ke fason ki pi bon pou ou pou w panse sou li se ke Turkers se yon echantiyon konvenyans rezonab, anpil tankou elèv yo men yon ti kras plis divès (Berinsky, Huber, and Lenz 2012) . Se konsa, menm jan elèv yo se yon popilasyon rezonab pou kèk men se pa tout rechèch eksperimantal, Turkers se yon popilasyon rezonab pou kèk men se pa tout rechèch. Si ou yo ale nan travay avèk Turkers, lè sa a li fè sans nan li anpil nan sa yo etid konparatif epi mwen konprann nuans yo.

Dezyèmman, chèchè yo te devlope pi bon-pratik pou ogmante pou validite entèn nan Turk eksperyans, epi ou ta dwe aprann sou epi swiv sa yo pi bon-pratik (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Pou egzanp, nou ankouraje chèchè lè l sèvi avèk Turkers yo sèvi ak screeners yo retire patisipan distrè (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (men gade tou DJ Hauser and Schwarz (2015b) ak DJ Hauser and Schwarz (2015a) ). Si ou pa retire patisipan distrè, lè sa a ka okenn efè nan tretman an dwe lave soti nan bri prezante soti nan patisipan distrè, ak nan pratik ki kantite patisipan distrè kapab konsiderab. Nan eksperyans la nan Huber ak kòlèg (2012) sou 30% nan patisipan yo echwe screeners atansyon de baz yo. Yon lòt pwoblèm komen ak Turkers se ki pa nayif patisipan (Chandler et al. 2015) .

Twazyèmman, relatif nan kèk lòt fòm nan eksperyans dijital, eksperyans MTurk pa ka echèl; Stewart et al. (2015) estime ke nan nenpòt moman te gen sèlman sou 7,000 moun sou MTurk.

Finalman, ou ta dwe konnen ke MTurk se yon kominote ak règleman pwòp li yo ak nòm (Mason and Suri 2012) . Nan menm fason an ke ou ta eseye jwenn enfòmasyon sou kilti a nan yon peyi kote ou te ale nan kouri eksperyans ou, ou ta dwe eseye jwenn plis enfòmasyon sou kilti a ak nòm nan Turkers (Salehi et al. 2015) . Epi, ou ta dwe konnen ke Turkers yo pral pale de eksperyans ou a si ou fè yon bagay apwopriye oswa immoral (Gray et al. 2016) .

MTurk se yon fason èkstrèmeman pratik yo rekrite patisipan yo eksperyans ou, si yo gen laboratwa ki tankou, tankou Huber, Hill, and Lenz (2012) , oswa plis jaden ki tankou, tankou Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ak Mao et al. (2016) .

• Bati pwodwi pwòp ou a (Seksyon 4.5.1.3)

Si w ap panse a ap eseye kreye pwodwi pwòp ou a, mwen rekòmande pou w li konsèy la ofri nan gwoup la MovieLens nan Harper and Konstan (2015) . Yon insight kle yo de eksperyans yo se ke pou chak pwojè siksè gen anpil, anpil echèk. Pou egzanp, gwoup la MovieLens te lanse lòt pwodwi tankou GopherAnswers ki te echèk konplè (Harper and Konstan 2015) . Yon lòt egzanp sou yon chèchè li pap resevwa pandan y ap eseye bati yon pwodwi se tantativ Edward CASTRONOVA a yo bati yon jwèt sou entènèt rele Arden. Malgre $ 250,000 nan finansman, pwojè a te yon flop (Baker 2008) . Pwojè tankou GopherAnswers ak Arden yo malerezman pi plis komen pase pwojè tankou MovieLens. Finalman, lè m 'te di ke mwen pa t' konnen nan nenpòt ki lòt chèchè ki te avèk siksè bati pwodwi pou repete eksperimantasyon isit la yo se kritè m ': 1) patisipan sèvi ak pwodwi a paske nan sa ki li bay yo (egzanp, yo pa peye ak yo menm yo pa volontè ede syans) ak 2) te pwodwi a te itilize pou plis pase yon eksperyans distenk (sètadi, pa menm bagay eksperyans plizyè fwa yo ak pisin patisipan diferan). Si ou konnen nan lòt egzanp, tanpri kite m 'konnen.

• Kreye patenarya ak pwisan an (Seksyon 4.5.2)

Mwen te konn tande lide a nan Kadran Pasteur nan diskite souvan nan konpayi teknoloji, epi li ede òganize efò rechèch nan Google (Spector, Norvig, and Petrov 2012) .

Bond ak etid kòlèg ' (2012) tou eseye detekte efè a nan tretman sa yo sou zanmi yo nan moun ki te resevwa yo. Paske nan desen an nan eksperyans la, retonbé sa yo, se difisil yo detekte propr; lektè ki enterese ta dwe wè Bond et al. (2012) pou yon diskisyon plis bon jan. Eksperyans sa a se yon pati nan yon tradisyon lontan nan eksperyans nan syans politik sou efò ankouraje vote (Green and Gerber 2015) . Sa yo eksperyans jwenn-soti--vòt la yo komen nan pati paske yo te nan Kadran Pasteur an. Sa se, gen anpil moun ki gen motive ogmante vòt yo ak vote kapab yon konpòtman enteresan li teste teyori plis jeneral sou chanjman konpòtman ak enfliyans sosyal.

Lòt chèchè yo te bay konsèy sou kouri eksperyans jaden ak òganizasyon patnè tankou pati politik, ONG yo, ak biznis (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Se lòt moun ki ofri konsèy sou ki jan patenarya avèk òganizasyon ka gen enpak sou desen rechèch (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership kapab tou mennen nan kesyon etik (Humphreys 2015; Nickerson and Hyde 2016) .

• Design konsèy (Seksyon 4.6)

Si ou yo ale kreye yon plan analiz anvan kouri eksperyans ou a, mwen sijere ke ou kòmanse nan fè lekti direktiv rapòte yo. Kamarad la (Consolidated Standard Rapòte nan tras) direktiv te devlope nan medikaman (Schulz et al. 2010) ak modifye pou rechèch sosyal (Mayo-Wilson et al. 2013) . Yon seri ki gen rapò nan direktiv te devlope pa editè yo nan jounal la nan eksperimantal Syans Politik (Gerber et al. 2014) (al gade tou Mutz and Pemantle (2015) ak Gerber et al. (2015) ). Finalman, direktiv rapò te devlope nan sikoloji (Group 2008) , ak wè tou Simmons, Nelson, and Simonsohn (2011) .

Si ou kreye yon plan analiz ou ta dwe konsidere pre-enskri li paske pre-enskripsyon ap ogmante konfyans nan ke lòt moun gen nan rezilta ou. Pli lwen, si w ap travay avèk yon patnè, li pral limite kapasite patnè ou a chanje analiz la apre yo fin wè rezilta yo. Enskripsyon alavans ap vin de pli zan pli komen nan sikoloji (Nosek and Lakens 2014) , syans politik (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ak ekonomi (Olken 2015) .

Pandan ke kreye pi plan pre-analiz ou, ou ta dwe konnen ke gen kèk chèchè tou itilize retou annaryè ak apwòch ki gen rapò ak amelyore presizyon an nan efè a tretman te estime a, ak gen kèk deba sou apwòch sa a: Freedman (2008) , Lin (2013) , ak Berk et al. (2013) ; wè Bloniarz et al. (2016) pou plis enfòmasyon.

Se Design konsèy espesyalman pou eksperyans jaden sou entènèt tou prezante nan Konstan and Chen (2007) ak Chen and Konstan (2015) .

• Kreye zewo done pri varyab (Seksyon 4.6.1)

Pou plis enfòmasyon sou eksperyans yo MusicLab, gade Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ak Salganik (2007) . Pou plis enfòmasyon sou gayan-pran-tout mache, gade Frank and Cook (1996) . Pou plis enfòmasyon sou untangling chans ak konpetans plis jeneralman, gade Mauboussin (2012) , Watts (2012) , ak Frank (2016) .

Gen yon lòt apwòch nan elimine peman patisipan ke chèchè ta dwe itilize avèk prekosyon: konfiskasyon. Nan anpil eksperyans jaden sou entènèt patisipan yo fondamantalman tire nan eksperyans epi pa janm rekonpanse. Men kèk egzanp sou apwòch sa a gen ladan Restivo ak van de Rijt a (2012) eksperyans sou rekonpans nan Wikipedia ak Bond ak kolèg nan (2012) eksperyans sou ankouraje moun yo vote. eksperyans sa yo pa reyèlman gen zewo pri varyab yo, yo gen zewo pri varyab nan chèchè. Menm si pri pou peye pou anpil nan eksperyans sa yo se piti anpil nan chak patisipan, depans ti enpoze yon gwo kantite patisipan kapab ajoute yo leve byen vit. Chèchè kouri masiv eksperyans sou entènèt souvan jistifye enpòtans ki genyen nan ti efè tretman estime lè li di ke sa yo efè ti ka vin enpòtan lè aplike nan anpil moun. egzak panse a menm aplike nan depans ke chèchè enpoze sou patisipan yo. Si eksperyans ou ki yon milyon moun nan fatra yon minit, eksperyans la se pa trè poze danje pou pou nenpòt moun an patikilye, men nan total li te gaspiye prèske de zan de tan.

Yon lòt apwòch nan kreye zewo varyab peman pou peye pou patisipan se sèvi ak yon lotri, yon apwòch ki te tou yo te itilize nan rechèch sondaj (Halpern et al. 2011) . Finalman, pou plis enfòmasyon sou desine agreyab user-eksperyans wè Toomim et al. (2011) .

• Ranplase, Rafine, ak Diminye (Seksyon 4.6.2)

Isit la yo se definisyon ki orijinal la nan twa R la, ki soti nan Russell and Burch (1959) :

"Ranplasman vle di sibstitisyon a pou konsyan k ap viv pi wo bèt nan materyèl insentient. Rediksyon vle di rediksyon nan nimewo yo nan bèt itilize yo jwenn enfòmasyon nan yon kantite lajan yo bay ak presizyon. Revizyon vle di nenpòt diminisyon nan ensidans la oswa gravite nan pwosedi brutal aplike nan moun ki bèt ki toujou gen yo dwe itilize. "

twa R a ke mwen pwopoze pa pase sou desizyon prensip yo etik dekri nan chapit 6. a Olye de sa, yo se yon vèsyon plis Élaboration youn nan moun ki prensip-byenfezans-espesyalman pou anviwònman an nan eksperyans imen.

Lè ou ap konsidere Emosyonèl Contagion, gen twa pwoblèm ki pa etik kenbe nan tèt ou lè entèprete eksperyans sa a. Premyèman, li se pa klè sou kouman detay yo reyèl nan eksperyans la konekte avèk reklamasyon yo teyorik; nan lòt mo, gen kesyon sou konstwi validite. Li pa klè ki konte yo pozitif ak negatif mo yo aktyèlman yon endikatè bon nan eta a emosyonèl nan patisipan paske 1) li se pa klè ke mo sa yo ke gen moun ki afiche se yon endikatè bon nan emosyon yo ak 2) li se pa klè ke patikilye teknik la analiz santiman ke chèchè yo te itilize se kapab fiable dégager emosyon (Beasley and Mason 2015; Panger 2016) . Nan lòt mo, ka gen yon mezi move nan yon siyal partial. Dezyèmman, desen an ak analiz de eksperyans la di nou pa gen anyen sou ki moun ki te pi afekte (sa vle di, pa gen okenn analiz de eterojeneite nan efè tretman) ak sa mekanis a te vle di. Nan ka sa a, chèchè yo te gen anpil enfòmasyon sou patisipan yo, men yo te esansyèlman trete kòm Widgets | nan analiz la. Twazyèmman, gwosè a efè nan eksperyans sa a te piti anpil; diferans ki genyen ant tretman ak kontwòl kondisyon sa yo se sou 1 nan 1,000 mo yo. Nan papye yo, Kramer ak kòlèg fè ka a ke yon efè nan gwosè sa a se enpòtan paske dè santèn de dè milyon de moun aksè Nouvèl yo Pran swen chak jou. Nan lòt mo, yo diskite ke menm efè ki yo piti pou chak moun yo gwo nan total. Menm si ou te aksepte agiman sa a, li se toujou pa klè si yon efè nan gwosè sa a se enpòtan konsènan kesyon an plis jeneral syantifik sou contagion emosyonèl. Pou plis enfòmasyon sou sitiyasyon yo kote efè ti yo enpòtan wè Prentice and Miller (1992) .

An tèm de R nan premye (Ranplasman), konpare Emosyonèl Contagion eksperyans la (Kramer, Guillory, and Hancock 2014) ak emosyonèl contagion eksperyans la natirèl (Coviello et al. 2014) ofri kèk leson jeneral sou komès-konpwomi yo ki patisipe nan k ap soti nan eksperyans nan eksperyans natirèl (ak lòt apwòch tankou matche ki eseye apwoksimatif eksperyans nan done ki pa eksperimantal, wè Chapit 2). Anplis de sa nan benefis ki genyen etik, oblije chanje soti nan eksperimantal nan etid ki pa eksperimantal tou pèmèt chèchè yo etidye tretman yo ke yo ap logistics kapab deplwaye. benefis etik ak lojistik sa yo vini nan yon pri, sepandan. Avèk eksperyans natirèl chèchè gen mwens kontwòl sou bagay sa yo tankou rekritman nan patisipan yo, Metòd chans, ak nati a nan tretman an. Pou egzanp, youn limit nan lapli kòm yon tretman se ke li tou de ogmante pozitivite ak diminye negativite. Nan etid la eksperimantal, sepandan, Kramer ak kòlèg yo te kapab ajiste pozitivite ak negativite poukont li.

Apwòch sa a, an patikilye itilize pa Coviello et al. (2014) te pli lwen elabore nan Coviello, Fowler, and Franceschetti (2014) . Pou yon entwodiksyon sou varyab enstrimantal wè Angrist and Pischke (2009) (mwens fòmèl) oswa Angrist, Imbens, and Rubin (1996) (plis fòmèl). Pou yon evalyasyon ensèten nan varyab enstrimantal wè Deaton (2010) , ak pou yon entwodiksyon sou varyab enstrimantal ak enstriman mizik fèb (lapli se yon enstriman fèb), gade Murray (2006) .

Plis jeneralman, yon entwodiksyon bon eksperyans natirèl se Dunning (2012) , ak Rosenbaum (2002) , Rosenbaum (2009) , ak Shadish, Cook, and Campbell (2001) ofri bon lide sou estime efè kozatif san yo pa eksperyans.

An tèm de R la dezyèm (Revizyon), gen syantifik ak lojistik komès-konpwomi lè w ap konsidere chanje desen an nan emosyonèl Contagion soti nan bloke posts pou ranfòse posts. Pou egzanp, li kapab ka a ke aplikasyon an teknik nan la Pran swen Nouvèl fè li sa gen anpil pi fasil fè yon eksperyans ak bloke posts olye ke yon eksperyans ak pou ranfòse posts (note ki ta ka yon eksperyans ak bloke posts kapab aplike kòm yon kouch sou tèt nan sistèm nan Nouvèl Feed san yo pa nenpòt bezwen pou chanjman nan sistèm nan kache). Syantifikman, sepandan, teyori a adrese pa eksperyans lan pa t 'byen klè sijere youn konsepsyon sou lòt la.

Malerezman, mwen menm mwen pa okouran de rechèch sibstansyèl anvan sou baz byenfonde yo manm fanmi an bloke ak pou ranfòse kontni nan la Pran swen News. Epitou, mwen pa te wè anpil rechèch sou raffinage tretman fè yo mwens danjere; yon sèl eksepsyon se Jones and Feamster (2015) , ki konsidere ka a nan mezi nan sansi Entènèt (yon sijè mwen diskite nan Chapit 6 nan relasyon nan etid la Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

An tèm de twazyèm R la (Rediksyon), yon entwodiksyon bon nan analiz pouvwa tradisyonèl se Cohen (1988) . kovaryabl Pre-tretman ka enkli nan etap nan konsepsyon ak etap nan analiz de eksperyans; Chapit 4 nan Gerber and Green (2012) bay yon entwodiksyon bon nan tou de apwòch, ak Casella (2008) bay yon tretman ki pi an pwofondè. Teknik ki itilize enfòmasyon sa a pre-tretman nan Metòd chans a yo, se tipikman rele swa bloke desen eksperimantal oswa stratifye desen eksperimantal (tèminoloji a pa itilize toujou atravè kominote); teknik sa yo yo pwofondman ki gen rapò ak teknik yo pran echantiyon stratifye diskite nan Chapit 3. Al gade nan Higgins, Sävje, and Sekhon (2016) pou plis enfòmasyon sou lè l sèvi avèk desen sa yo nan eksperyans masiv. Kovaryabl Pre-tretman kapab tou gen pou enkli nan etap nan analiz. McKenzie (2012) eksplore apwòch la diferans-an-diferans ki genyen nan analize eksperyans jaden nan plis detay. Wè Carneiro, Lee, and Wilhelm (2016) pou plis enfòmasyon sou komès konpwomi yo-ant apwòch diferan ogmante presizyon nan estimasyon de efè tretman. Finalman, lè n ap deside si l ap eseye genyen ladan yo kovaryabl pre-tretman nan konsepsyon oswa analiz sèn nan (oswa toulède), gen yon faktè kèk konsidere. Nan yon anviwònman kote chèchè vle montre ke yo pa "lapèch" (Humphreys, Sierra, and Windt 2013) , lè l sèvi avèk kovaryabl pre-tretman nan etap nan konsepsyon kapab itil (Higgins, Sävje, and Sekhon 2016) . Nan sitiyasyon kote patisipan rive sekans, espesyalman sou entènèt eksperyans jaden, lè l sèvi avèk enfòmasyon pre-tretman nan etap nan konsepsyon ka difisil logistics, gade pou egzanp Xie and Aurisset (2016) .

Li se vo ajoute yon ti jan nan entwisyon sou rezon ki fè diferans-an-diferans ki genyen ka konsa pi plis efikas pase diferans-an-vle di. Anpil rezilta sou entènèt gen trè wo divèjans (gade egzanp, Lewis and Rao (2015) ak Lamb et al. (2015) ), epi yo relativman ki estab sou tan. Nan ka sa a, nòt la chanjman ap gen anpil ki pi piti divèjans, ogmante pouvwa a nan egzamen an estatistik. Youn nan rezon sa a pwoche bò pa itilize pi souvan se ke anvan laj dijital la li pa t 'komen nan gen rezilta pre-tretman. Yon fason plis konkrè yo reflechi sou li se imajine yon eksperyans ki mezire si yon fè egzèsis woutin espesifik lakòz pèdi pwa. Si ou fè sa yon apwòch diferans-an-vle di, estimasyon ou ap gen variation ki soti nan variation a nan pwa nan popilasyon an. Si ou fè sa yon apwòch diferans-an-diferans, sepandan, vin ki varyasyon ki rive natirèlman nan pwa retire ak ou ka pi fasil detekte yon diferans ki te koze pa tretman an.

Youn nan fason enpòtan yo redwi kantite patisipan yo nan eksperyans ou a se fè yon analiz pouvwa a, ki Kramer ak kòlèg te ka fè ki baze sou gwosè yo efè obsève apati eksperyans la natirèl pa Coviello et al. (2014) oswa pi bonè ki pa eksperimantal rechèch pa Kramer (2012) (an reyalite sa yo, se aktivite nan fen chapit sa a). Remake sa a pou sèvi ak analiz pouvwa se yon ti jan diferan pase nòmal pou li. Nan laj la analòg, chèchè jeneralman te fè analiz pouvwa a asire w ke etid yo pa t 'twò piti (sa vle di, anba ki mache ak pil). Koulye a, sepandan, chèchè ta dwe fè analiz pouvwa a asire w ke etid yo se pa twò gwo (sa vle di, sou ki mache ak pil).

Finalman, mwen konsidere kòm ajoute yon R katriyèm: Repurpose. Sa se, si chèchè jwenn tèt yo ak done plis eksperimantal pase yo bezwen adrese kesyon orijinal rechèch yo, yo ta dwe repurpose done yo nan mande nouvo kesyon. Pou egzanp, imajine ke Kramer ak kòlèg te itilize yon Estimator diferans-an-diferans ki genyen epi li te jwenn tèt yo ak plis done pase nesesè nan adrès kesyon rechèch yo. Olye de sa pase pa lè l sèvi avèk done yo nan limit ki plennman, yo te kapab yo te etidye gwosè a nan efè a kòm yon fonksyon nan pre-tretman ekspresyon emosyonèl. Menm jan Schultz et al. (2007) te jwenn ke efè a nan tretman an te diferan pou limyè ak lou itilizatè yo, petèt efè yo nan manje a nouvèl yo te diferan pou moun ki deja te gen tandans yo pati kè kontan (oswa tris) mesaj. Reoryantasyon te kapab mennen nan "lapèch" (Humphreys, Sierra, and Windt 2013) ak "p-ranje andedan" (Simmons, Nelson, and Simonsohn 2011) , men sa yo yo lajman adressable ak yon konbinezon de rapò onèt (Simmons, Nelson, and Simonsohn 2011) , pre-enskripsyon (Humphreys, Sierra, and Windt 2013) , ak metòd aprantisaj machin ki eseye pou fè pou evite sou-Fitting.