siwaju asọye

Yi apakan ti a ṣe lati ṣee lo bi a itọkasi, dipo ju lati wa ni ka bi a alaye.

• Ifihan (Section 4.1)

Ibeere nipa causality ni awujo iwadi ti wa ni igba eka ati intricate. Fun kan foundational ona lati causality da lori ifẹsẹmulẹ awọn aworan, wo Pearl (2009) , ati fun a foundational ona da lori o pọju awọn iyọrisi, wo Imbens and Rubin (2015) (ati awọn imọ ÀFIKÚN ni yi ori). Fun kan lafiwe laarin awọn wọnyi meji yonuso, wo Morgan and Winship (2014) . Fun kan lodo ona lati asọye a confounder, wo VanderWeele and Shpitser (2013) .

Ni awọn ipin, mo da ohun ti dabi enipe bi a imọlẹ ila laarin wa agbara lati ṣe ifẹsẹmulẹ nkan lati esiperimenta ati ti kii-ṣàdánwò data. Ni otito, Mo ro pe awọn adayanri ni blurrier. Fun apẹẹrẹ, gbogbo eniyan gbà pé siga fa akàn o tile a ti kò ṣe a ti aileto dari ṣàdánwò ti o fi agbara mu awon eniyan lati mu siga. Fun tayọ iwe ipari awọn itọju lori ṣiṣe ifẹsẹmulẹ nkan lati ti kii-esiperimenta data ri Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ati Dunning (2012) .

Orí 1 ati 2 of Freedman, Pisani, and Purves (2007) pese a ko ifihan sinu awọn iyato laarin adanwo, dari adanwo, ati ti aileto dari adanwo.

Manzi (2012) pese kan fanimọra ati ki o ṣeékà ifihan sinu ogbon ati ki o iṣiro underpinnings ti aileto dari adanwo. O tun pese awon gidi-aye apeere ti awọn agbara ti experimentation ni owo.

• Ohun ti wa ni adanwo? (Section 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) pese ti o dara Ifihan si awọn iṣiro ise ti esiperimenta oniru ati onínọmbà. Siwaju si, nibẹ ni o wa o tayọ awọn itọju ti awọn lilo ti adanwo ni ọpọlọpọ awọn orisirisi awọn aaye: aje (Bardsley et al. 2009) , sociology (Willer and Walker 2007; Jackson and Cox 2013) , oroinuokan (Aronson et al. 1989) , oselu Imọ (Morton and Williams 2010) , ati awujo imulo (Glennerster and Takavarasha 2013) .

Pataki ti alabaṣe rikurumenti (eg, iṣapẹẹrẹ) ni igba labẹ-abẹ ni esiperimenta iwadi. Sibẹsibẹ, ti o ba awọn ipa ti awọn itọju ti wa ni orisirisi ni awọn olugbe, ki o si iṣapẹẹrẹ jẹ lominu ni. Longford (1999) mu aaye yi kedere nigba ti o bebé fun oluwadi lerongba ti adanwo bi a olugbe iwadi pẹlu haphazard iṣapẹẹrẹ.

• Meji mefa ti adanwo: lab-oko ati afọwọṣe-oni (Section 4.3)

Awọn dichotomy ti mo ti gbekalẹ laarin lab ati oko adanwo ti wa ni a bit yepere. Ni o daju, awọn oluwadi miran ti dabaa alaye diẹ nko, ni pato eyi ti o ya awọn orisirisi iwa ti oko adanwo (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Siwaju si, nibẹ ni o wa meji miiran orisi ti adanwo nipasẹ ošišẹ ti awujo sayensi ti o ko ba wo dada neatly sinu lab ati oko dichotomy: iwadi adanwo ati awujo adanwo. Iwadi adanwo ti wa ni adanwo lilo awọn amayederun ti wa telẹ awon iwadi ati afiwe ti şe si yiyan awọn ẹya ti awọn kanna ibeere (diẹ ninu awọn iwadi adanwo ti wa ni gbekalẹ ní Orí 3); fun siwaju sii lori iwadi adanwo ri Mutz (2011) . Social adanwo ni o wa adanwo ibi ti awọn itọju ni diẹ ninu awujo eto imulo ti o le nikan wa ni muse nipa a ijoba. Social adanwo ti wa ni pẹkipẹki jẹmọ si eto imọ. Fun siwaju sii lori eto imulo adanwo, wo Orr (1998) , Glennerster and Takavarasha (2013) , ati Heckman and Smith (1995) .

A nọmba ti ogbe ti akawe lab ati oko adanwo ni áljẹbrà (Falk and Heckman 2009; Cialdini 2009) ati ni awọn ofin ti awọn iyọrisi ti kan pato adanwo ninu oselu Imọ (Coppock and Green 2015) , aje (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) ati oroinuokan (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) nfun a dara iwadi oniru fun wé esi lati lab ati oko adanwo.

Awọn ifiyesi nipa awọn alabaṣepọ iyipada won ihuwasi nitori won mo won ti wa ni pẹkipẹki šakiyesi ti wa ni ma npe ni eletan ipa, ati awọn ti wọn ti a ti iwadi ni oroinuokan (Orne 1962) ati aje (Zizzo 2009) . Biotilejepe okeene ni nkan ṣe pẹlu lab adanwo, wọnyi kanna oran le fa isoro fun oko adanwo bi daradara. Ni o daju, eletan ipa ti wa ni tun ma npe Hawthorne ipa, a igba ti derives lati oko ṣàdánwò, pataki awọn gbajumọ itanna adanwo ti o bẹrẹ ninu 1924 ni Hawthorne Works ti Western Electric Company (Adair 1984; Levitt and List 2011) . Mejeeji eletan igbelaruge ati Hawthorn ipa ti wa ni pẹkipẹki jẹmọ si awọn agutan ti ifaseyin wiwọn sísọ ní Orí 2 (wo tun Webb et al. (1966) ).

Awọn itan ti oko adanwo ti a ti se apejuwe ninu aje (Levitt and List 2009) , oselu Imọ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , oroinuokan (Shadish 2002) , ati ki o àkọsílẹ imulo (Shadish and Cook 2009) . Ọkan agbegbe ti awujo Imọ ibi ti oko adanwo ni kiakia di oguna ni idagbasoke kariaye. Fun kan rere awotẹlẹ ti ti ise laarin aje ri Banerjee and Duflo (2009) , ati fun a lominu ni iwadi ri Deaton (2010) . Fun kan awotẹlẹ yi ise ni oselu Imọ ri Humphreys and Weinstein (2009) . Níkẹyìn, awọn asa italaya lowo pẹlu oko adanwo ti a ti waidi ni oselu Imọ (Humphreys 2015; Desposato 2016b) ati idagbasoke okowo (Baele 2013) .

Ni awọn ipin, mo daba wipe ami-itọju alaye le ti wa ni lo lati mu awọn konge ti ifoju itọju ipa, ṣugbọn nibẹ ni diẹ ninu awọn Jomitoro nipa yi ona: Freedman (2008) , Lin (2013) , ati Berk et al. (2013) ; wo Bloniarz et al. (2016) fun alaye siwaju sii.

• Gbigbe kọja rọrun adanwo (Section 4.4)

Mo ti sọ yàn si idojukọ lori mẹta akori: Wiwulo, mu agbara pọ si ti itọju ipa, ati sise. Awon agbekale ni orisirisi awọn orukọ ni orisirisi awọn aaye. Fun apẹẹrẹ, psychologists ṣọ lati gbe kọja o rọrun adanwo nipa fojusi lori olulaja ati oniwontunniwonsi (Baron and Kenny 1986) . Awọn agutan ti olulaja ti wa ni sile nipa ohun ti mo pe ise sise, ati awọn agutan ti oniwontunniwonsi ti wa ni sile nipa ohun ti mo pe ita Wiwulo (eg, yoo awọn esi ti awọn ṣàdánwò jẹ ti o yatọ ti o ba ti o ti ṣiṣe ni orisirisi awọn ipo) ati mu agbara pọ si ti itoju ipa ( eg, ni o wa ni ipa ti o tobi fun diẹ ninu awọn eniyan ju miiran awon eniyan).

Awọn ṣàdánwò ti Schultz et al. (2007) fihan bi awujo imo le ṣee lo lati ṣe ọnà munadoko ilowosi. Fun kan diẹ gbogbo ariyanjiyan nipa awọn ipa ti yii ni nse munadoko ilowosi, wo Walton (2014) .

• Wiwulo (Section 4.4.1)

Awọn agbekale ti abẹnu ati ti ita Wiwulo won akọkọ ṣe ni Campbell (1957) . Wo Shadish, Cook, and Campbell (2001) fun a alaye diẹ itan ati ki o kan ṣọra elaboration ti iṣiro ipari Wiwulo, ti abẹnu Wiwulo, òrùka Wiwulo, ati ita Wiwulo.

Fun ohun ti Akopọ oran jẹmọ si iṣiro ipari Wiwulo ni adanwo ri Gerber and Green (2012) (fun a awujo aisan irisi) ati Imbens and Rubin (2015) (fun a iṣiro irisi). Diẹ ninu awọn oran ti iṣiro ipari Wiwulo ti o dide pataki ni online oko adanwo ni awon oran bi computationally daradara ọna fun ṣiṣẹda igbekele arin pẹlu ti o gbẹkẹle data (Bakshy and Eckles 2013) .

Ti abẹnu Wiwulo le le soro lati rii daju ni eka oko adanwo. Wo, fun apẹẹrẹ, Gerber and Green (2000) , Imai (2005) , ati Gerber and Green (2005) fun Jomitoro-nipa awọn imuse ti a eka oko ṣàdánwò nipa idibo. Kohavi et al. (2012) ati Kohavi et al. (2013) pese ohun ifihan sinu awọn italaya ti aarin Wiwulo ni online oko adanwo.

Ọkan pataki ibakcdun pẹlu awọn ti abẹnu Wiwulo ti wa ni awọn iṣoro pẹlu randomization. Ọkan ọna lati oyi ri awọn iṣoro pẹlu awọn randomization ni lati fi ṣe afiwe awọn itọju ati iṣakoso awọn ẹgbẹ lori observable tẹlọrun. Yi ni irú ti lafiwe ni a npe ni a iwontunwonsi ayẹwo. Wo Hansen and Bowers (2008) fun a iṣiro ona lati dọgbadọgba sọwedowo, ki o si wo Mutz and Pemantle (2015) fun awọn ifiyesi nipa iwontunwonsi sọwedowo. Fun apẹẹrẹ, lilo a iwontunwonsi ṣayẹwo Allcott (2011) ri wipe o wa ni diẹ ninu awọn eri wipe randomization a ko muse ti tọ ninu meta ti awọn adanwo ni diẹ ninu awọn ti OPower adanwo (wo Table 2; ojula 2, 6, ati 8). Fun miiran ń sún mọlé, wo Imbens and Rubin (2015) , Chapter 21.

Miiran pataki awọn ifiyesi jẹmọ si ti abẹnu Wiwulo ni o wa: 1) ọkan-apa ti kii-ibamu, ni ibi ti ko gbogbo eniyan ni awọn itọju Ẹgbẹ kosi gba awọn itọju, 2) meji apa ti kii-ibamu, ni ibi ti ko gbogbo eniyan ni awọn itọju Ẹgbẹ gba awọn itọju ati diẹ ninu awọn eniyan ni awọn iṣakoso ẹgbẹ gba awọn itọju, 3) attrition, ibi ti awọn iyọrisi ti wa ni ko won fun diẹ ninu awọn olukopa, o si 4) kikọlu, ibi ti awọn itọju kún lati awọn eniyan ni awọn itọju majemu si awon eniyan ninu awọn iṣakoso majemu. Wo Gerber and Green (2012) Orí 5, 6, 7, ati 8 fun diẹ ẹ sii lori kọọkan ti awọn wọnyi oran.

Fun siwaju sii lori múu Wiwulo, wo Westen and Rosenthal (2003) , ati fun diẹ ẹ sii lori múu Wiwulo ni ńlá data orisun, Lazer (2015) ati Chapter 2 ti iwe yi.

Ọkan aspect ti ita Wiwulo ni awọn eto ibi ti ohun intervention ti wa ni idanwo. Allcott (2015) pese kan ṣọra o tumq si ati ki o oniwadi itoju ti ojula aṣayan irẹjẹ. Atejade yii ti wa ni tun sísọ ni Deaton (2010) . Ni afikun si ni replicated ni ọpọlọpọ awọn ojula, awọn Home Energy Report intervention ti a ti tun ominira iwadi nipa ọpọ iwadi ẹgbẹ (eg, Ayres, Raseman, and Shih (2013) ).

• Mu agbara pọ si ti itọju ipa (Section 4.4.2)

Fun ohun o tayọ Akopọ ti mu agbara pọ si ti itọju ipa ni oko adanwo, wo Chapter 12 ti Gerber and Green (2012) . Fun Ifihan to mu agbara pọ si ti itọju ipa ni egbogi idanwo, wo Kent and Hayward (2007) , Longford (1999) , ati Kravitz, Duan, and Braslow (2004) . Mu agbara pọ si ti itọju ipa gbogbo idojukọ lori iyato da lori ami-itọju abuda. Ti o ba wa ni nife ninu mu agbara pọ si da lori ranse si-itọju awọn iyọrisi, ki o si eka sii approachs wa ni ti nilo bi ipò stratification (Frangakis and Rubin 2002) ; wo Page et al. (2015) fun a awotẹlẹ.

Ọpọlọpọ awọn oluwadi siro mu agbara pọ si ti itọju ipa lilo PCM padaseyin, ṣugbọn Opo ọna gbekele ẹrọ eko, fun apẹẹrẹ Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ati Athey and Imbens (2016a) .

Nibẹ ni diẹ ninu skepticism nipa awari ti mu agbara pọ si ti ipa nitori ti won lafiwe isoro ati "ipeja." Nibẹ ni o wa kan orisirisi ti iṣiro yonuso ti o le ran adirẹsi ifiyesi nipa ọpọ lafiwe (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Ọkan ona to ifiyesi nipa "ipeja" jẹ ami-ìforúkọsílẹ, eyi ti o ti di increasingly wọpọ ni oroinuokan (Nosek and Lakens 2014) , oselu sayensi (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ati ki o aje (Olken 2015) .

Ninu iwadi ti Costa and Kahn (2013) nikan nipa idaji ninu awọn ìdílé ni ṣàdánwò wà anfani lati wa ni sopọ mọ si awọn adamo alaye. Onkawe si nife ninu awọn alaye ati ki o ṣee awọn iṣoro pẹlu yi onínọmbà yẹ ki o tọkasi awọn atilẹba iwe.

• Sise (Section 4.4.3)

Sise ni o wa iyalẹnu pataki, sugbon ti won tan jade lati wa ni gidigidi soro lati iwadi. Iwadi nipa ise sise ni pẹkipẹki jẹmọ si awọn iwadi ti olulaja ni oroinuokan (sugbon wo tun VanderWeele (2009) fun a kongẹ lafiwe laarin awọn meji ero). Iṣiro yonuso si ri ise sise, bi awọn ona idagbasoke ni Baron and Kenny (1986) , ti wa ni oyimbo wọpọ. Laanu, ti o wa ni jade wipe awon ilana dale lori diẹ ninu awọn lagbara awqn (Bullock, Green, and Ha 2010) ati ki o jìya nigba ti o wa ni o wa ọpọ sise, bi ọkan le reti ni ọpọlọpọ awọn ipo (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ati Imai and Yamamoto (2013) pese diẹ ninu awọn dara iṣiro ọna. Siwaju si, VanderWeele (2015) nfun a iwe-ipari itoju pẹlu nọmba kan ti pataki awọn esi, pẹlu kan okeerẹ ona lati ifamọ onínọmbà.

A lọtọ ona fojusi lori adanwo ti gbiyanju lati se afọwọyi awọn siseto taara (eg, fifun ni atukọ Vitamin C). Laanu, ni ọpọlọpọ awọn awujo Imọ eto nibẹ ni o wa igba ọpọ sise ati awọn ti o jẹ gidigidi lati ṣe ọnà itọju ti o yi ọkan lai yiyipada awọn miran. Diẹ ninu awọn yonuso to aṣeyẹwo, yala sise wa ni apejuwe ninu Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ati Pirlott and MacKinnon (2016) .

Níkẹyìn, sise tun ni a gun itan ninu imoye Imọ bi a ti salaye nipa Hedström and Ylikoski (2010) .

• Lilo tẹlẹ agbegbe (Section 4.5.1.1)

Fun siwaju sii lori awọn lilo ti ikowe-ẹrọ ati se ayewo ẹrọ lati wiwọn iyasoto ri Pager (2007) .

• Kọ ara rẹ ṣàdánwò (Section 4.5.1.2)

Awọn wọpọ ona lati sise awọn alabaṣepọ lati adanwo ti o kọ ni Amazon darí Turk (MTurk). Nitori MTurk mimics ise ti ibile lab adanwo-san eniyan lati pari iṣẹ-ṣiṣe ti won yoo ko o ṣe fun free-ọpọlọpọ awọn oluwadi ti tẹlẹ bere nipa lilo Turkers (awọn osise on MTurk) bi olukopa ninu eda eniyan wonyen adanwo Abajade ni yiyara ati ki o din ni gbigba data ju ibile on-ogba yàrá adanwo (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Awọn tobi agbara ti adanwo pẹlu awọn alabaṣepọ kopa lati MTurk wa ni ohunelo: nwọn gba oluwadi to sise awọn alabaṣepọ ni kiakia ati bi ti nilo. Ko da lab adanwo le ya ọsẹ lati ṣiṣe ki o si oko adanwo le ya awọn osu lati ṣeto-soke, adanwo pẹlu awọn alabaṣepọ kopa lati MTurk le wa ni ṣiṣe ni ọjọ. Fun apẹẹrẹ, Berinsky, Huber, and Lenz (2012) wà anfani lati sise 400 wonyen ni a nikan ọjọ lati kopa ninu ohun 8 iseju ṣàdánwò. Siwaju si, awon olukopa le wa ni kopa fun fere eyikeyi idi (pẹlu iwadi ati ibi-ifowosowopo, bi sísọ ni Orí 3 ati 5). Yi Ease ti rikurumenti tumo si wipe awọn oluwadi le ṣiṣe awọn lesese ti o ni ibatan adanwo ni dekun succession.

Ṣaaju ki o to igbanisiṣẹ awọn alabaṣepọ lati MTurk fun ara rẹ adanwo, nibẹ ni o wa mẹrin ohun pataki lati mọ. First, ọpọlọpọ awọn oluwadi ni a ti kii-kan pato skepticism ti adanwo okiki Turkers. Nitori yi skepticism ni ko kan pato, o jẹ gidigidi lati counter pẹlu eri. Sibẹsibẹ, lẹhin opolopo odun ti ẹrọ nipa lilo Turkers, a le bayi pinnu wipe yi skepticism ni ko paapa pataki. Nibẹ ti ti ọpọlọpọ awọn ẹrọ wé awọn iṣesi ti Turkers si miiran olugbe ati ọpọlọpọ awọn ẹrọ wé esi ti adanwo pẹlu Turkers si awọn esi lati miiran olugbe. Fun gbogbo iṣẹ yìí, Mo ro pe o dara ju ona fun o lati ro nipa o jẹ wipe Turkers ni o wa kan reasonable wewewe ayẹwo, Elo bi omo sugbon die-die siwaju sii Oniruuru (Berinsky, Huber, and Lenz 2012) . Bayi, gẹgẹ bi omo ni o wa kan reasonable olugbe fun awọn sugbon ko gbogbo experimental iwadi, Turkers ni o wa kan reasonable olugbe fun awọn ṣugbọn ko gbogbo awọn iwadi. Ti o ba ti wa ni lilọ lati ṣiṣẹ pẹlu awọn Turkers, ki o si mu ki ori lati ka ọpọlọpọ ninu awọn iyato-ẹrọ ati ki o ye won nuances.

Keji, oluwadi ti ni idagbasoke ti o dara ju-ise fun jijẹ ti abẹnu Wiwulo ti Turk adanwo, ati awọn ti o yẹ ki o ko nipa ki o si tẹle awọn ti o dara ju-ise (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Fun apẹẹrẹ, awọn oluwadi lilo Turkers ti wa ni iwuri lati lo screeners lati yọ inattentive awọn alabaṣepọ (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (sugbon wo tun DJ Hauser and Schwarz (2015b) ati DJ Hauser and Schwarz (2015a) ). Ti o ko ba yọ inattentive awọn alabaṣepọ, ki o si eyikeyi ipa ti awọn itọju le ti wa ni wẹ jade nipa ariwo ṣe lati inattentive awọn alabaṣepọ, ati ni iwa awọn nọmba ti inattentive olukopa le jẹ idaran. Ni awọn ṣàdánwò ti Huber ati awọn araa (2012) nipa 30% ti awọn alabaṣepọ ti kuna ipilẹ ifojusi screeners. Miran ti isoro wọpọ pẹlu Turkers jẹ ti kii-rọrun olukopa (Chandler et al. 2015) .

Kẹta, ojulumo to diẹ ninu awọn miiran iwa ti oni adanwo, MTurk adanwo ko le asekale; Stewart et al. (2015) siro wipe ni eyikeyi fi fun akoko nibẹ ni o wa nikan nipa 7,000 awon eniyan lori MTurk.

Níkẹyìn, o yẹ ki o mọ pe MTurk ni a awujo pẹlu awọn oniwe-ara awọn ofin ati tito (Mason and Suri 2012) . Ni ni ọna kanna ti o yoo gbiyanju lati wa jade nipa awọn asa ti a orilẹ-ede ibi ti o ni won lilọ lati ṣiṣe rẹ adanwo, o yẹ ki o gbiyanju lati wa jade siwaju sii nipa awọn asa ati tito ti Turkers (Salehi et al. 2015) . Ati, o yẹ ki o mọ pe awọn Turkers yoo wa ni sọrọ nipa rẹ ṣàdánwò o ba ti o se nkan ti sedede tabi unethical (Gray et al. 2016) .

MTurk jẹ ẹya ti iyalẹnu rọrun ona lati sise awọn alabaṣepọ si rẹ adanwo, boya ti won ba wa lab-bi, gẹgẹ bi awọn Huber, Hill, and Lenz (2012) , tabi diẹ ẹ sii oko-bi, gẹgẹ bi awọn Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ati Mao et al. (2016) .

• Kọ ara rẹ ọja (Section 4.5.1.3)

Ti o ba ti wa ni lerongba ti gbiyanju lati ṣẹda ara rẹ ọja, Mo ti so wipe o ti ka awọn imọran funni nipasẹ awọn MovieLens ẹgbẹ ni Harper and Konstan (2015) . A bọtini ìjìnlẹ lati iriri won ni wipe fun kọọkan aseyori ise agbese nibẹ ni o wa ọpọlọpọ, ọpọlọpọ awọn ikuna. Fun apẹẹrẹ, awọn MovieLens ẹgbẹ se igbekale awọn ọja miiran bi GopherAnswers ti o wà pipe ikuna (Harper and Konstan 2015) . Miran ti apẹẹrẹ ti a awadi aise nigba ti pinnu lati kọ kan ọja ni Edward Castronova ká igbiyanju lati kọ ohun online game ti a npe ni Arden. Pelu $ 250,000 ni igbeowosile, ise agbese je kan flop (Baker 2008) . Ise agbese bi GopherAnswers ati Arden wa ni laanu Elo siwaju sii wọpọ ju ti ise agbese bi MovieLens. Níkẹyìn, nigbati mo wi pe mo ti kò mọ ti eyikeyi miiran ti oluwadi ti o ti ni ifijišẹ kọ awọn ọja fun tun experimentation nibi ni o wa mi àwárí mu: 1) olukopa lo awọn ọja nitori ti ohun ti o pese wọn (eg, ti won ko ba san ati awọn ti wọn wa ni ko iranwo ran Imọ) ati 2) awọn ọja ti a ti lo fun diẹ ẹ sii ju ọkan pato ṣàdánwò (ie, ko kanna ṣàdánwò ọpọ igba pẹlu o yatọ si alabaṣe adagun). Ti o ba ti o ba mọ ti miiran apeere, jọwọ jẹ ki mi mọ.

• Alabaṣepọ pẹlu awọn alagbara (Abala 4.5.2)

Mo ti sọ gbọ awọn agutan ti Pasteur ká Quadrant sísọ nigbagbogbo ni tekinoloji ilé iṣẹ, ati awọn ti o iranlọwọ to iwadi akitiyan ni Google (Spector, Norvig, and Petrov 2012) .

Bond ati awọn araa 'iwadi (2012) tun igbiyanju lati ri awọn ipa ti awọn wọnyi awọn itọju lori awọn ọrẹ ti awon ti o gba wọn. Nitori ti awọn oniru ti awọn ṣàdánwò, wọnyi spillovers ni o wa soro lati ri cleanly; nife onkawe si yẹ ki o ri Bond et al. (2012) fun awọn kan diẹ nipasẹ fanfa. Yi ṣàdánwò jẹ ara kan ti a ti gun atọwọdọwọ ti adanwo ninu oselu Imọ lori akitiyan lati se iwuri fun IDIBO (Green and Gerber 2015) . Awọn wọnyi gba-jade-ni-Idibo adanwo o wa wọpọ ni apakan nitori won wa ni Pasteur ká Quadrant. Ti o ni, nibẹ ni o wa ọpọlọpọ awọn eniyan ti o wa ni iwapele lati mu idibo ati idibo le jẹ ohun awon iwa lati se idanwo diẹ gbogboogbo imo nipa iwa ayipada ati awujo ipa.

Awọn oluwadi miran ti pese imọran nipa nṣiṣẹ oko adanwo pẹlu awọn alabaṣepọ ajo bi oselu ẹni, NGO, ati owo (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Awọn miran ti a nṣe imọran nipa bi Ìbàkẹgbẹ pẹlu ajo le ikolu iwadi aṣa (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership tun le ja si asa ibeere (Humphreys 2015; Nickerson and Hyde 2016) .

• Design imọran (Section 4.6)

Ti o ba ti wa ni lilọ ṣẹda ohun onínọmbà ètò ṣaaju ki o to nṣiṣẹ rẹ ṣàdánwò, Mo daba pe o to bẹrẹ nipa kika iroyin awọn itọsona. Awọn consort (Consolidated Standard iroyin ti idanwo) itọnisọna won ni idagbasoke ni oogun (Schulz et al. 2010) ati ki o títúnṣe fun awujo iwadi (Mayo-Wilson et al. 2013) . A ti o ni ibatan ti ṣeto ti itọnisọna ti a ti ni idagbasoke nipasẹ awọn olootu ti awọn Akosile ti esiperimenta Oselu Science (Gerber et al. 2014) (wo tun Mutz and Pemantle (2015) ati Gerber et al. (2015) ). Níkẹyìn, riroyin awọn itọsona ti a ti ni idagbasoke ni oroinuokan (Group 2008) , ati ki o wo tun Simmons, Nelson, and Simonsohn (2011) .

Ti o ba ti o ba ṣẹda ohun onínọmbà ètò ti o yẹ ki o ro ami-fiforukọṣilẹ o nitori ami-ìforúkọsílẹ yoo mu igbekele ti awọn miran ni ninu rẹ esi. Siwaju si, ti o ba ti wa ni ṣiṣẹ pẹlu kan alabaṣepọ, o yoo se idinwo rẹ alabaṣepọ ká agbara lati yi awọn onínọmbà lẹhin ri awọn esi. Pre-ìforúkọsílẹ ni di increasingly wọpọ ni oroinuokan (Nosek and Lakens 2014) , oselu sayensi (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ati ki o aje (Olken 2015) .

Nigba ti ṣiṣẹda rẹ ami-onínọmbà ètò ti o yẹ ki o mọ pe diẹ ninu awọn oluwadi tun lo padaseyin ati ki o jẹmọ yonuso lati mu awọn konge ti awọn ifoju itọju Ipa, ati nibẹ ni diẹ ninu awọn Jomitoro nipa yi ona: Freedman (2008) , Lin (2013) , ati Berk et al. (2013) ; wo Bloniarz et al. (2016) fun alaye siwaju sii.

Design imọran pataki fun online oko adanwo ti wa ni tun gbekalẹ ninu Konstan and Chen (2007) ati Chen and Konstan (2015) .

• Ṣẹda odo ayípadà iye owo data (Section 4.6.1)

Fun siwaju sii lori awọn MusicLab adanwo, wo Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ati Salganik (2007) . Fun siwaju sii lori Winner-ya-gbogbo awọn ọja, wo Frank and Cook (1996) . Fun siwaju sii lori untangling orire ati olorijori siwaju sii ni gbogbo, wo Mauboussin (2012) , Watts (2012) , ati ki o Frank (2016) .

Nibẹ ni miran ona lati yiyo alabaṣe owo sisan ti oluwadi yẹ ki o lo pẹlu pele: conscription. Ni ọpọlọpọ awọn online oko adanwo olukopa ti wa ni besikale drafted sinu adanwo ati ki o ko san. Apeere ti yi ona ni Restivo ati van de Rijt ká (2012) ṣàdánwò lori ere ni Wikipedia ati Bond ati ẹlẹgbẹ ká (2012) ṣàdánwò lori iwuri awon eniyan lati dibo. Awọn wọnyi adanwo ko gan ni odo ayípadà iye owo, won ni odo ayípadà iye owo to oluwadi. Bó tilẹ jẹ awọn iye owo ti ọpọlọpọ ninu awọn adanwo jẹ lalailopinpin kekere to kọọkan alabaṣe, kekere owo ti paṣẹ ohun tobi pupo nọmba ti awọn alabaṣepọ le fi soke ni kiakia. Oluwadi nṣiṣẹ lowo online adanwo igba osuwon pataki ti kekere ifoju itọju ipa nipa sisọ pe awon kekere ipa le di pataki nigbati loo si ọpọlọpọ awọn eniyan. Awọn gangan kanna ero kan si owo ti oluwadi fa lori olukopa. Ti o ba ti adanwo fa milionu kan eniyan to egbin ọkan iseju, awọn ṣàdánwò jẹ ko gan ipalara si eyikeyi pato eniyan, sugbon ni dagba o ti wasted fere odun meji ti akoko.

Miran ona lati ṣiṣẹda odo ayípadà iye owo sisan si awọn alabaṣepọ ni lati lo a lotiri, ohun ona ti o ti tun a ti lo ninu iwadi iwadi (Halpern et al. 2011) . Níkẹyìn, fun diẹ ẹ sii nipa nse igbaladun olumulo-iriri ri Toomim et al. (2011) .

• Ropo, Tun, ati Din (Section 4.6.2)

Nibi ni o wa awọn atilẹba itumo ti awọn mẹta R, lati Russell and Burch (1959) :

"Rirọpo tumo si awọn fidipo fun mimọ ngbe ti o ga eranko ti insentient ohun elo. Idinku tumo si idinku ninu awọn nọmba ti eranko lo lati gba alaye ti a fi fun iye ati konge. Isọdọtun tumo si eyikeyi isalẹ ninu awọn isẹlẹ tabi idibajẹ ti inhumane ilana loo si awon eranko ti o si tun ni lati wa ni lo. "

Awọn mẹta R ká ti mo ti fi eto ko ba idojuk asa agbekale apejuwe ní Orí 6. Kàkà bẹẹ, won ni o wa kan diẹ elaborated version ọkan ninu awọn awon agbekale-beneficence-pataki fun awọn eto ti awọn eniyan adanwo.

Nigbati considering imolara Contagion, nibẹ ni o wa mẹta ti kii-ìse lati tọju ni lokan nigba ti ògbùfõ yi ṣàdánwò. First, o ni ko ko o bi gangan alaye ti ṣàdánwò sopọ si tumq si nperare; ninu awọn ọrọ miiran, nibẹ ni o wa ibeere nipa múu Wiwulo. O ti wa ni ko ko o pe rere ati odi ọrọ julo ni o wa kosi kan ti o dara Atọka ti awọn ẹdun ipinle ti awọn alabaṣepọ nitori 1) o jẹ ko ko o pe awọn ọrọ ti eniyan fí ni o wa kan ti o dara Atọka ti won emotions ati 2) ti o ni ko ko o pe awọn pato itara onínọmbà ilana ti awọn oluwadi lo ni anfani lati reliably infer emotions (Beasley and Mason 2015; Panger 2016) . Ni gbolohun miran, nibẹ ni o le jẹ a buburu odiwon kan ti a ti abosi ifihan. Keji, awọn oniru ati igbekale ti awọn ṣàdánwò sọ fún wa nkankan nipa ti a julọ kikan (ie, nibẹ ni ko si igbekale mu agbara pọ si ti itọju ipa) ati ohun ti siseto o le jẹ. Ninu apere yi, awọn oluwadi ní ọpọlọpọ ti alaye nipa awọn alabaṣepọ, sugbon won ni won pataki mu bi ẹrọ ailorukọ ninu awọn onínọmbà. Kẹta, awọn ipa iwọn ni yi ṣàdánwò wà gan kekere; awọn iyato laarin awọn itọju ati iṣakoso awọn ipo jẹ nipa 1 ni 1,000 ọrọ. Ni won iwe, Kramer ati awọn ẹlẹgbẹ ṣe awọn ọran ti ohun ipa ti yi iwọn jẹ pataki nitori ogogorun awon milionu awon eniyan wọle si wọn News sii kọọkan ọjọ. Ni gbolohun miran, nwọn si jiyan wipe ani ipa ti o wa ni kekere fun kọọkan eniyan ti won wa ni ńlá ni dagba. Paapa ti o ba ti o wà lati gba oro yi, o jẹ ṣi ko ko o ba ti ẹya ipa ti yi iwọn jẹ pataki nipa awọn diẹ gbogbo ijinle sayensi ibeere nipa ẹdun contagion. Fun siwaju sii lori awọn ipo ibi ti kekere ipa ti wa ni pataki ri Prentice and Miller (1992) .

Ni awọn ofin ti awọn igba akọkọ ti R (Rirọpo), wé awọn ẹdun Contagion ṣàdánwò (Kramer, Guillory, and Hancock 2014) ati awọn ẹdun contagion adayeba ṣàdánwò (Coviello et al. 2014) nfun diẹ ninu gbogbo eko nipa awọn isowo-pari lowo pẹlu gbigbe lati adanwo to adayeba adanwo (ati awọn miiran yonuso bi tuntun ti igbiyanju lati ìsúnmọ adanwo ni ti kii-esiperimenta data, wo Chapter 2). Ni afikun si awọn asa anfani, yi pada lati experimental si ti kii-esiperimenta-ẹrọ tun kí oluwadi lati iwadi itọju ti won ti wa ni logistically lagbara lati ran. Awọn wọnyi ni asa ati ohunelo anfani wá ni a iye owo, sibẹsibẹ. Pẹlu adayeba adanwo oluwadi ni kere Iṣakoso lori ohun bi rikurumenti ti awọn alabaṣepọ, randomization, ati awọn iseda ti awọn itọju. Fun apẹẹrẹ, ọkan aropin ti riro bi a itọju ni wipe o mejeji mu ki positivity ati ki o dinku negativity. Ni awọn esiperimenta iwadi, sibẹsibẹ, Kramer ati awọn araa wà anfani lati ṣatunṣe positivity ati negativity ominira.

Awọn pato ona lo nipa Coviello et al. (2014) ti a siwaju elaborated ni Coviello, Fowler, and Franceschetti (2014) . Fun ohun ifihan to repo oniyipada ri Angrist and Pischke (2009) (kere lodo) tabi Angrist, Imbens, and Rubin (1996) (diẹ lodo). Fun kan skeptical ayewo ti repo oniyipada ri Deaton (2010) , ati fun ohun ifihan to repo oniyipada pẹlu lagbara èlò (ojo ni kan ko lagbara irinse), wo Murray (2006) .

Die gbogbo, kan ti o dara ifihan si adayeba adanwo ni Dunning (2012) , ati Rosenbaum (2002) , Rosenbaum (2009) , ati Shadish, Cook, and Campbell (2001) pese ti o dara ero nipa esitimeti ifẹsẹmulẹ ipa lai adanwo.

Ni awọn ofin ti awọn keji R (isọdọtun), nibẹ ni o wa sayensi ati ohunelo isowo-pari nigbati considering yiyipada awọn oniru ti imolara Contagion lati ìdènà posts to boosting posts. Fun apẹẹrẹ, o le jẹ awọn nla ti awọn imọ imuse ti awọn News Feed mu ki o jẹ substantially rọrun lati se ohun ṣàdánwò pẹlu ìdènà posts dipo ju ohun ṣàdánwò pẹlu boosting posts (akiyesi pe ohun ṣàdánwò pẹlu ìdènà posts le wa ni muse bi a Layer lori oke ti News Feed eto lai eyikeyi nilo fun atunse ti awọn amuye eto). Scientifically, sibẹsibẹ, yii a koju nipasẹ awọn ṣàdánwò kò kedere daba ọkan oniru lori awọn miiran.

Laanu, emi ko mọ ti idaran ti saju iwadi nipa awọn ojulumo iteriba ìdènà ati boosting akoonu ninu awọn News Feed. Bakannaa, mo ti ko ri Elo iwadi nipa ráńpẹ itọju lati ṣe wọn kere ipalara; ọkan sile ni Jones and Feamster (2015) , eyi ti o ka awọn ọran ti wiwọn ti Internet ihamon (a koko mo ọrọ ní Orí 6 ni ibasepọ si awọn Encore iwadi (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Ni awọn ofin ti awọn kẹta R (Idinku), kan ti o dara ifihan to ibile agbara onínọmbà jẹ Cohen (1988) . Pre-itọju covariates le wa ni o wa ninu awọn oniru ipele ati awọn onínọmbà ipele ti adanwo; Chapter 4 of Gerber and Green (2012) pese kan ti o dara ifihan si mejeji yonuso, ati Casella (2008) pese kan diẹ ni-ijinle itọju. Imuposi ti lo yi asọ-itọju alaye ninu awọn randomization wa ni ojo melo ni a npe ni boya dina esiperimenta awọn aṣa tabi stratified esiperimenta awọn aṣa (awọn isẹ ti wa ni ko lo àìyẹsẹ kọja awujo); awọn wọnyi ni imuposi ti wa ni jinna jẹmọ si stratified iṣapẹẹrẹ imuposi sísọ ní Orí 3. Wo Higgins, Sävje, and Sekhon (2016) fun diẹ ẹ sii lori lilo awọn wọnyi awọn aṣa ni lowo adanwo. Pre-itọju covariates le tun ti wa ni o wa ninu awọn onínọmbà ipele. McKenzie (2012) topinpin iyato-ni-iyato ona lati gbeyewo oko adanwo ni tobi apejuwe awọn. Wo Carneiro, Lee, and Wilhelm (2016) fun siwaju sii lori awọn isowo-pari laarin o yatọ si yonuso lati mu konge ni nkan ti itọju ipa. Níkẹyìn, nigbati pinnu boya lati gbiyanju lati ni ami-itọju covariates ni awọn oniru tabi onínọmbà ipele (tabi awọn mejeeji), nibẹ ni o wa kan diẹ ifosiwewe lati ro. Ni a eto ibi ti oluwadi fẹ lati fi pe ti won ba wa ni ko "ipeja" (Humphreys, Sierra, and Windt 2013) , lilo ami-itọju covariates ninu awọn oniru ipele le jẹ wulo (Higgins, Sävje, and Sekhon 2016) . Ni ipo ibi ti awọn alabaṣepọ de sequentially, paapa online oko adanwo, lilo ami-itọju alaye ninu awọn oniru ipele ni o le wa soro logistically, wo fun apẹẹrẹ Xie and Aurisset (2016) .

O ti wa ni tọ fifi a bit ti intuition nipa idi ti iyato-ni-iyato le jẹ ki Elo siwaju sii munadoko ju iyato-ni-ọna. Ọpọlọpọ awọn online awọn iyọrisi ni gidigidi ga awa (wo eg, Lewis and Rao (2015) ati Lamb et al. (2015) ) ati ni o jo idurosinsin lori akoko. Ninu apere yi, awọn ayipada Dimegilio yoo ni substantially kere awa, jijẹ agbara ti awọn iṣiro igbeyewo. Ọkan idi eyi sunmọ ni ko lo igba diẹ ni wipe saju si awọn oni ori o je ko wọpọ to ni ami-itọju awọn iyọrisi. A nja ona lati ro nipa ti o ni lati fojuinu ohun ṣàdánwò lati wiwọn boya kan pato idaraya baraku fa àdánù làìpẹ. Ti o ba ṣe kan iyato-ni-ọna ona, rẹ ti siro yoo ni oniyepupọ ti o ba wa ni lati oniyepupọ ni òṣuwọn ninu awọn olugbe. Ti o ba ṣe kan iyato-ni-iyato ona, sibẹsibẹ, wipe nipa ti sẹlẹ ni iyipada ni òṣuwọn olubwon kuro ati ki o le siwaju sii awọn iṣọrọ ri kan iyato ṣẹlẹ nipasẹ awọn itọju.

Ọkan pataki ona lati din awọn nọmba ti olukopa ninu rẹ ṣàdánwò ni lati se kan agbara onínọmbà, eyi ti o Kramer ati awọn araa le ti ṣe da lori awọn ipa titobi ti nkiyesi lati awọn adayeba ṣàdánwò nipa Coviello et al. (2014) tabi sẹyìn ti kii-esiperimenta iwadi nipa Kramer (2012) (ni o daju wọnyi ni o wa akitiyan ni opin ti yi ori). Akiyesi wipe yi lilo ti agbara onínọmbà jẹ a bit yatọ si ju aṣoju. Ni awọn afọwọṣe ori, awọn oluwadi gbogbo ti ṣe agbara onínọmbà lati rii daju pe won iwadi je ko ju kekere (ie, labẹ-agbara). Bayi, sibẹsibẹ, awọn oluwadi yẹ ki o ṣe agbara onínọmbà lati rii daju pe won iwadi ni ko ju ńlá (ie, lori-agbara).

Níkẹyìn, Mo ti ka fifi a kẹrin R: Repurpose. Ti o ni, ti o ba oluwadi ri ara wọn pẹlu diẹ esiperimenta data ju ti won nilo lati koju won atilẹba iwadi ibeere, ki nwọn ki o repurpose awọn data lati beere titun ibeere. Fun apẹẹrẹ, fojuinu ti Kramer ati awọn araa ti lo a iyato-ni-iyato estimator o si ri ara wọn pẹlu diẹ ẹ sii data ju nilo lati koju won iwadi ibeere. Kuku ju ko nipa lilo awọn data si aajo iye, nwọn le ti iwadi awọn iwọn ti awọn ipa bi a iṣẹ lati kọkọ-itọju ẹdun ikosile. Gẹgẹ bi Schultz et al. (2007) ri wipe ipa ti awọn itọju wà yatọ si fun imọlẹ ati eru awọn olumulo, boya awọn ipa ti awọn News Feed wà yatọ si fun awon eniyan ti tẹlẹ ti nifẹ lati fí dun (tabi ìbànújẹ) awọn ifiranṣẹ. Repurposing le ja si "ipeja" (Humphreys, Sierra, and Windt 2013) ati "p-sakasaka" (Simmons, Nelson, and Simonsohn 2011) , ṣugbọn awọn wọnyi ti wa ni ibebe addressable pẹlu kan apapo ti mọ iroyin (Simmons, Nelson, and Simonsohn 2011) , lai-ìforúkọsílẹ (Humphreys, Sierra, and Windt 2013) , ati ẹrọ eko awọn ọna ti o gbiyanju lati yago fun lori-yẹ.