Kini lati ka nigbamii

• Ifihan (apakan 4.1)

Awọn ibeere nipa awọn idi-ṣiṣe ninu iwadi awujọ jẹ igba pupọ ati ti o muna. Fun ilana ti o jẹ ilana ti o da lori idiyele ti o da lori awọn aworan eleyi, wo Pearl (2009) , ati fun ọna ipilẹ ti o da lori awọn esi ti o pọju, wo Imbens and Rubin (2015) . Fun apejuwe laarin awọn ọna meji, wo Morgan and Winship (2014) . Fun ọna ti o fẹsẹmulẹ lati ṣe apejuwe alamọ kan, wo VanderWeele and Shpitser (2013) .

Ninu ori iwe yii, Mo ti ṣẹda ohun ti o dabi ẹnipe ila ti o wa larin agbara wa lati ṣe awọn idiyele idiyele lati awọn ayẹwo ati ti kii ṣe ayẹwo. Sibẹsibẹ, Mo ro pe, ni otitọ, iyatọ jẹ diẹ sii bajẹ. Fun apẹẹrẹ, gbogbo eniyan gba pe siga nmu oarun aisan, paapaa bi ko tilẹ jẹ idaduro iṣakoso ti o ni iṣeduro ti o mu awọn eniyan lagbara lati mu siga lailai. Fun awọn itọju ti o dara julọ iwe-iwe lori ṣiṣe awọn idiyele idiyele lati awọn ayẹwo ti kii ṣe idanimọwo wo Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , ati Dunning (2012) .

Awọn ori 1 ati 2 ti Freedman, Pisani, and Purves (2007) ṣe afihan ifarahan si awọn iyatọ laarin awọn idanwo, awọn idanwo ti a ṣakoso, ati awọn igbeyewo iṣakoso ti iṣọnilẹjẹ.

Manzi (2012) n pese ifarahan ti o wuni ati imọran si awọn ipilẹ imoye ati iṣiro ti awọn idanwo iṣakoso ti a darukọ. O tun pese awọn apẹẹrẹ ti o ni aye gidi-aye ti agbara ti idaniloju ni iṣowo. Issenberg (2012) n pese ifarahan ti o ni imọran si lilo awọn idaniloju ninu awọn ipolongo oloselu.

• Kini awọn idanwo? (apakan 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, ati Athey and Imbens (2016b) pese awọn iṣafihan ti o dara si awọn ipele iṣiro ti apẹrẹ ati igbeyewo. Siwaju si, nibẹ ni o wa o tayọ awọn itọju ti awọn lilo ti adanwo ni ọpọlọpọ awọn oriṣiriṣi oko: aje (Bardsley et al. 2009) , sociology (Willer and Walker 2007; Jackson and Cox 2013) , oroinuokan (Aronson et al. 1989) , oselu Imọ (Morton and Williams 2010) , ati eto imulo awujọ (Glennerster and Takavarasha 2013) .

Pataki ti alabaṣe igbimọ (fun apẹẹrẹ, samisi) ni a ṣe akiyesi nigbagbogbo labẹ iwadi iwadi. Sibẹsibẹ, ti ipa ti itọju naa jẹ orisirisi ni awọn eniyan, lẹhinna iṣapẹẹrẹ jẹ pataki. Longford (1999) sọ asọye ni gbangba nigbati o ba gba awọn alakoso fun awọn oluwadi ti o ronu ti awọn igbadun gẹgẹbi iwadi iwadi eniyan pẹlu awọn ohun elo imudaniloju.

• Awọn ọna meji ti awọn igbadun: Lab-aaye ati analog-digital (apakan 4.3)

Mo ti daba pe o wa ilosiwaju laarin laabu ati awọn adanwo igberiko, ati awọn oluwadi miiran ti dabaa awọn ẹkunrẹrẹ alaye diẹ, ni pato awọn ti o pin awọn orisirisi awọn igbeyewo ni aaye (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Ọpọlọpọ awọn iwe ti ṣe afiwe awọn laabu ati awọn igbeyewo ilẹ ni abẹrẹ (Falk and Heckman 2009; Cialdini 2009) ati nipa awọn abajade ti awọn adanwo kan pato ninu imọ-ọrọ iṣiro (Coppock and Green 2015) , aje (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ati imọran-ọrọ (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ṣe apẹrẹ imọran ti o dara lati ṣe afiwe awọn esi lati laabu ati awọn igbeyewo ilẹ. Parigi, Santana, and Cook (2017) ṣe apejuwe bi awọn imudaniloju aaye aaye ayelujara le ṣopọpọ ninu awọn abuda ti laabu ati awọn igbeyewo ilẹ.

Awọn ifiyesi nipa awọn alabaṣepọ ti n yi iyipada iwa wọn pada nitori pe wọn mọ pe wọn n ṣakiyesi ni pẹkipẹki a maa n pe awọn ipa ti nbeere , ati pe a ti kọ wọn ni imọran-ọrọ (Orne 1962) ati aje (Zizzo 2010) . Biotilẹjẹpe julọ ni nkan ṣe pẹlu awọn iṣeduro awọn lab, awọn oran kanna le fa awọn iṣoro fun awọn idanwo igberiko. Ni otitọ, awọn ẹya ẹtan ni a tun n pe ni ipa Hawthorne , ọrọ kan ti o ni iriri itanna ti o ni imọran ti o bẹrẹ ni 1924 ni Hawthorne Works ti Western Electric Company (Adair 1984; Levitt and List 2011) . Gbogbo awọn ipa ti a beere ati awọn ipa Hawthorne ni o ni ibatan pẹkipẹki pẹlu imọran ti aṣeye ti aṣeyọri ti a ti sọ ni ori keji (wo tun Webb et al. (1966) ).

Awọn aaye idanwo ni itan-pẹlẹpẹlẹ ninu awọn ọrọ-aje (Levitt and List 2009) , sayensi oselu (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , imọ-ọrọ-ara (Shadish 2002) , ati imulo ti ilu (Shadish and Cook 2009) . Ẹka kan ti imọ-jinlẹ awujọ nibi ti awọn igbadun igbaradi ti di kiakia jẹ idagbasoke orilẹ-ede. Fun atunyẹwo rere ti iṣẹ naa laarin awọn ọrọ-iṣowo wo Banerjee and Duflo (2009) , ati fun imọran pataki kan wo Deaton (2010) . Fun atunyẹwo iṣẹ yii ninu ijinlẹ oselu wo Humphreys and Weinstein (2009) . Nikẹhin, awọn italaya ti ofin ti o waye lati awọn idanwo-ilẹ ni a ti ṣawari ni ijinlẹ sayensi olominira (Humphreys 2015; Desposato 2016b) ati awọn ọrọ-aje idagbasoke (Baele 2013) .

Ni apakan yii, Mo daba pe awọn alaye iṣaaju-itọju le ṣee lo lati ṣe atunṣe deede ti awọn itọju iṣeduro iṣeduro, ṣugbọn awọn ariyanjiyan kan wa nipa ọna yii; wo Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ati Bloniarz et al. (2016) fun alaye siwaju sii.

Nikẹhin, awọn orisi miiran ti awọn adanwo ti awọn onimọ-ọrọ awujọ wa ṣe pẹlu awọn ti o ko ni ibamu pẹlu awọn ẹtan pẹlu awọn aaye-iṣẹ-lab: awọn abawọn iwadi ati awọn adanwo awọn eniyan. Awọn idanwo iwadi jẹ awọn adanwo nipa lilo awọn amayederun ti awọn iwadi ti o wa tẹlẹ ati ṣe afiwe awọn esi si awọn ẹya miiran ti awọn ibeere kanna (diẹ ninu awọn idanwo iwadi ni a gbekalẹ ni ori 3); fun diẹ sii lori awọn adanwo iwadi wo Mutz (2011) . Awọn igbadun ti iṣọọlẹ jẹ awọn adanwo nibi ti itọju naa jẹ diẹ ninu eto imulo awujọ ti ijọba kan le ṣee ṣe nikan. Awọn iṣeduro ti o ni awujọ jẹ ni ibatan pẹkipẹki pẹlu imọran eto. Fun diẹ sii lori awọn adanwo imulo, wo Heckman and Smith (1995) , Orr (1998) , ati glennerster_running_2013.

• Gbigbe kọja awọn iṣan ti o rọrun (apakan 4.4)

Mo ti yàn lati da lori awọn ero mẹta: ailorukọ, idaamu ti awọn ipa itọju, ati awọn ilana. Awọn agbekale wọnyi ni awọn orukọ ọtọtọ ni awọn aaye oriṣiriṣi. Fun apẹẹrẹ, awọn oniromọlọgbọn a maa n lọ kọja awọn igbadii ti o rọrun nipa fifojukọ lori awọn alakoso ati awọn alatunniwọnwọn (Baron and Kenny 1986) . Awọn idaniloju awọn olutọja ni a gba nipasẹ ohun ti mo pe awọn ọna ṣiṣe, ati pe awọn oniroyin ti wa ni idaduro nipasẹ ohun ti mo pe ni ẹtọ-itagbangba ita (fun apẹẹrẹ, yoo jẹ awọn esi ti idanwo naa yatọ si ti o ba ṣiṣẹ ni awọn oriṣiriṣi awọn ipo) ati iṣeduro ti awọn ipa itọju ( fun apẹẹrẹ, awọn ipa ti o tobi fun diẹ ninu awọn eniyan ju fun awọn ẹlomiiran).

Idaduro nipasẹ Schultz et al. (2007) fihan bi o ṣe le lo awọn eroja awujọ lati ṣe apẹrẹ awọn iṣiro to munadoko. Fun ariyanjiyan diẹ sii nipa ipa ti yii ni sisọ awọn iṣiro to munadoko, wo Walton (2014) .

• Ifọwọsi (apakan 4.4.1)

Awọn agbekale ti iṣafihan ti inu ati ti ita ni akọkọ ṣe nipasẹ Campbell (1957) . Wo Shadish, Cook, and Campbell (2001) fun itan-pẹlẹpẹlẹ alaye ati ṣiṣe iṣeduro ti iṣafihan ipari iṣiro, iyasọtọ inu, iwulo ọṣọ, ati ẹtọ ti ita.

Fun àyẹwò ti awọn oran ti o ni ibatan si idiwọ iyasọtọ iṣiro ninu awọn idanwo wo Gerber and Green (2012) (lati iṣiro imọran imọran) ati Imbens and Rubin (2015) (lati oriṣi iṣiro). Diẹ ninu awọn ipilẹ ti ijẹrisi ipari ipinnu iṣiro ti o wa ni pato ni awọn adanwo ni aaye ayelujara ni awọn ọrọ gẹgẹbi awọn ọna ṣiṣe ti iṣakoso fun iṣeto awọn akoko idaniloju pẹlu awọn data ti o gbẹkẹle (Bakshy and Eckles 2013) .

Ijẹrisi inu inu le jẹ soro lati rii daju ni awọn igbanilẹju awọn aaye idanimọ. Wo, fun apẹẹrẹ, Gerber and Green (2000) , Imai (2005) , ati Gerber and Green (2005) fun ijiroro lori imuse ti idanimọ ile-iṣẹ ti o nipọn lori idibo. Kohavi et al. (2012) ati Kohavi et al. (2013) pese ifarahan si awọn italaya ti ailewu aifọwọyi ni awọn adanwo aaye aaye ayelujara.

Ibẹru nla kan si ijẹrisi inu inu ni o ṣeeṣe fun iṣeduro isubu. Ọna kan ti o rọrun lati ṣe iṣoro awọn iṣoro pẹlu IDijẹ ni lati ṣe afiwe awọn itọju ati awọn ẹgbẹ iṣakoso lori awọn ami ti a woye. Iru iruwe yii ni a npe ni ayẹwo ayẹwo . Wo Hansen and Bowers (2008) fun ọna iṣiro kan fun awọn owo-iṣowo owo-owo ati Mutz and Pemantle (2015) fun awọn ifiyesi nipa awọn iṣowo owo-owo. Fun apẹẹrẹ, nipa lilo ayẹwo iṣowo, Allcott (2011) ri diẹ ninu awọn ẹri ti a ko ṣe iṣedede ailewu ti o tọ ni meta ninu awọn iṣeduro Opower (wo tabili 2; ojula 2, 6, ati 8). Fun awọn ọna miiran, wo ori 21 ti Imbens and Rubin (2015) .

Awọn iṣoro pataki miiran ti o ni ibatan si iṣaṣe ti inu jẹ: (1) igbẹkẹle ẹgbẹ, nibiti ko gbogbo eniyan ninu ẹgbẹ iṣoogun ti gba itọju naa, (2) igbẹkẹle meji, nibiti gbogbo eniyan ti o wa ni itọju naa gba itọju naa ati diẹ ninu awọn eniyan ni ẹgbẹ iṣakoso gba itọju naa, (3) attrition, nibi ti a ko le ṣe abawọn fun awọn olukopa, ati (4) kikọlu, nibiti itọju naa ti ṣaju lati awọn eniyan ni ipo itọju naa si awọn eniyan ni ipo iṣakoso. Wo ori 5, 6, 7, ati 8 ti Gerber and Green (2012) fun diẹ sii lori awọn oran wọnyi.

Fun diẹ ẹ sii lori iṣẹ-ṣiṣe iṣẹ-ṣiṣe, wo Westen and Rosenthal (2003) , ati fun diẹ ẹ sii lori didara iṣẹ-ṣiṣe ni awọn orisun data nla, Lazer (2015) ati ori keji 2 ti iwe yii.

Ẹya kan ti aṣeyọri ita ni ipilẹ ti a ṣe ayẹwo idanwo kan. Allcott (2015) n pese iṣalaye akiyesi ati itọju ti iṣeduro ayanfẹ ojula. Ọrọ yii tun ṣe apejuwe nipa Deaton (2010) . Iyatọ miiran ti ijẹrisi ita ni boya awọn iṣẹ-ṣiṣe ti o yatọ si igbakanna kanna yoo ni iru awọn iru. Ni idi eyi, iṣeduro laarin Schultz et al. (2007) ati Allcott (2011) fihan pe awọn iṣeduro Opower ti ni ipa ti o ni ifoju iwọn diẹ ju awọn iṣeduro atilẹba ti Schultz ati awọn ẹlẹgbẹ (1.7% dipo 5%). Allcott (2011) ṣe alaye pe awọn igbesilẹ ti o tẹle si ni ipa kekere nitori awọn ọna ti itọju naa ṣe yatọ si: emoticon akosilẹ ọwọ gẹgẹbi apakan ti iwadi ti o ṣe atilẹyin nipasẹ ile-ẹkọ giga, ti a fiwewe pẹlu eroja ti a tẹjade gẹgẹbi apakan ti ibi-iṣelọpọ Iroyin lati ile-iṣẹ agbara.

• Idaamu ti awọn ipa itọju (apakan 4.4.2)

Fun apẹẹrẹ ti o dara julọ ti iṣeduro ti awọn itọju itoju ni awọn igbeyewo ni aaye, wo ori 12 ti Gerber and Green (2012) . Fun awọn ifarahan si isodipupo ti awọn ipa itọju ni awọn idanwo egbogi, wo Kent and Hayward (2007) , Longford (1999) , ati Kravitz, Duan, and Braslow (2004) . Awọn ifarahan ti isodipupo ti awọn ipa itọju ni gbogbo idojukọ lori awọn iyatọ ti o da lori awọn ami-ami itọju. Ti o ba nifẹ si iṣesi-ara ti o da lori awọn abajade lẹhin-itọju, lẹhinna a nilo awọn ilọsiwaju ti o pọju sii, gẹgẹbi awọn ipilẹ akọkọ (Frangakis and Rubin 2002) ; wo Page et al. (2015) fun awotẹlẹ.

Ọpọlọpọ awọn oniwadi ṣe iṣiro pe ọpọ eniyan ti awọn itọju ipa ni lilo iṣeduro titobi, ṣugbọn awọn ọna tuntun ti o da lori imọran ẹrọ; wo, fun apẹẹrẹ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ati Athey and Imbens (2016a) .

Nibẹ ni diẹ ninu awọn iṣiro nipa awọn awari iyatọ ti awọn ipa nitori awọn iṣoro lafiwe ti o pọ ati "ipeja." Awọn ọna itọnisọna orisirisi wa ti o le ṣe iranlọwọ fun awọn ifiyesi awọn iṣoro nipa apẹẹrẹ ti o pọju (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Ikankan si awọn ifiyesi nipa "ipeja" jẹ iwe-iṣaaju, eyi ti o ti di deede wọpọ ninu imọ-ẹmi-ọkan (Nosek and Lakens 2014) , sayensi oloselu (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ati awọn ọrọ-iṣowo (Olken 2015) .

Ninu iwadi nipasẹ Costa and Kahn (2013) nikan ni idaji awọn ẹbi ti o jẹ ayẹwo ni a le sopọ mọ alaye ti agbegbe. Awọn onkawe ti o fẹran awọn alaye wọnyi yẹ ki o tọka si iwe atilẹba.

• Ilana (apakan 4.4.3)

Awọn ilana ti o ṣe pataki julọ, ṣugbọn wọn tan lati wa nira gidigidi lati ṣe iwadi. Iwadi nipa awọn iṣẹ ti wa ni asopọ pẹkipẹki pẹlu iwadi awọn olutọpa ni imọ-ọrọ-ara-ẹni (ṣugbọn tun wo VanderWeele (2009) fun iṣeduro to ni pato laarin awọn ero meji). Awọn iṣiro iṣiro lati wa awọn ọna ṣiṣe, gẹgẹbi ọna ti a ṣe ni Baron and Kenny (1986) , jẹ wọpọ. Laanu, o wa ni pe awọn ilana yii da lori diẹ ninu awọn imọran ti o lagbara (Bullock, Green, and Ha 2010) ati ki o jiya nigba ti o wa ọpọlọpọ awọn iṣeto, bi ọkan le reti ni ọpọlọpọ awọn ipo (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ati Imai and Yamamoto (2013) nfun diẹ ninu awọn ọna kika iṣiro daradara. Pẹlupẹlu, VanderWeele (2015) nfunni ni itọju ipari-iwe pẹlu nọmba kan ti awọn esi pataki, pẹlu ọna kika gbogbo si aifọwọyi ifamọra.

Iyatọ ti o wa ni ọna si awọn igbadun ti o gbiyanju lati ṣe atunṣe iṣeto naa taara (fun apẹẹrẹ, fifun awọn vitamin C). Laanu, ni ọpọlọpọ awọn imọran imọran awujọ, ọpọlọpọ awọn iṣelọpọ igba ni o wa ati pe o ṣòro lati ṣe itumọ awọn itọju ti o yi ọkan pada laisi iyipada awọn omiiran. Awọn ọna miiran lati ṣe awọn ilana iṣeto ti iṣan ti a ṣe alaye nipasẹ Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ati Pirlott and MacKinnon (2016) .

Awọn oluwadi ti n ṣawari awọn igbanwo-ọrọ ti o daju patapata yoo nilo lati wa ni itoro nipa ọpọlọpọ idanwo ipese; wo Fink, McConnell, and Vollmer (2014) ati List, Shaikh, and Xu (2016) fun alaye siwaju sii.

Nigbamii, awọn igbesẹ tun ni itan-pẹlẹpẹlẹ ninu imoye imọran gẹgẹbi a ti ṣe apejuwe nipasẹ Hedström and Ylikoski (2010) .

• Lilo awọn agbegbe ti o wa tẹlẹ (apakan 4.5.1)

Fun diẹ ẹ sii lori lilo awọn iṣiro iwe-kikọ ati awọn iwadi iṣiro lati wiwọn iyasoto, wo Pager (2007) .

• Kọ idaduro ara rẹ (apakan 4.5.2)

Ọna ti o wọpọ lati gba awọn olukopa si awọn idanwo ti o kọ ni Amazon Mechanical Turk (MTurk). Nitori awọn ohun elo ti MTurk mimics ti awọn eniyan ti n san owo-iṣowo ti iṣan-ṣiṣe lati pari awọn iṣẹ-ṣiṣe ti wọn ko le ṣe fun awọn alakoso-ọpọlọpọ awọn oluwadi ti bẹrẹ pẹlu lilo awọn Turkers (awọn osise lori MTurk) gẹgẹbi awọn alabaṣepọ igbadun, ṣiṣe ni wiwa ti o rọrun ati din owo ti a ko le ṣe ni awọn igbadun yàrá ihamọ-iṣẹ abẹ ile-iṣẹ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Ni gbogbogbo, awọn anfani ti o tobi julo nipa lilo awọn alabaṣepọ ti a gba lati MTurk jẹ iṣiro. Nibiti laabu ayẹwo le gba awọn ọsẹ lati ṣiṣe ati awọn idanwo igbin le gba awọn osu lati ṣeto, awọn igbadun pẹlu awọn alabaṣepọ ti a gba lati MTurk le ṣee ṣiṣe ni awọn ọjọ. Fun apẹẹrẹ, Berinsky, Huber, and Lenz (2012) ni o le gba awọn ọmọ-ogun 400 lọjọ ni ọjọ kan lati kopa ninu idanwo ti iṣẹju 8. Pẹlupẹlu, awọn alabaṣepọ wọnyi le wa ni igbimọ fun fere eyikeyi idi (pẹlu awọn iwadi ati ifowosowopo ifowosowopo, bi a ti ṣe apejuwe ninu ori 3 ati 5). Ero yi ti idaniloju tumọ si pe awọn oluwadi le ṣiṣe awọn abajade awọn iṣeduro ti o ni ibatan ni igbaduro kiakia.

Ṣaaju ki o to gba awọn alabaṣepọ lati ọdọ MTurk fun awọn idanwo ti ara rẹ, awọn nkan pataki mẹrin ni o nilo lati mọ. Ni akọkọ, ọpọlọpọ awọn oniwadi ni imọran ti ko ni imọran ti awọn idanwo ti o jẹ pẹlu awọn Turkers. Nitoripe iṣaro yii ko ṣe pataki, o ṣòro lati koju pẹlu ẹri. Sibẹsibẹ, lẹhin ọpọlọpọ ọdun ti awọn ẹkọ nipa lilo awọn Turkers, a le pinnu bayi pe ko ni idaniloju yii ni o ṣe lare. Ọpọlọpọ awọn ijinlẹ ti o ṣe afiwe awọn ẹmi oriṣiriṣi ti awọn Turkers pẹlu awọn ti awọn eniyan miiran ati awọn imọ-ẹrọ pupọ ti nfi awọn abajade ti awọn igbeyewo pẹlu awọn Turkers ṣe pẹlu awọn ti awọn eniyan miiran. Fun gbogbo iṣẹ yii, Mo ro pe ọna ti o dara julọ fun ọ lati ronu nipa rẹ ni pe Turkers jẹ apẹẹrẹ itọnisọna ti o rọrun, Elo bi awọn ọmọ-iwe ṣugbọn diẹ sii diẹ sii (Berinsky, Huber, and Lenz 2012) . Nitorina, gẹgẹbi awọn ọmọ ile-iwe jẹ olugbe ti o niyeye fun diẹ ninu awọn, ṣugbọn kii ṣe gbogbo, iwadi, Turkers jẹ olugbe ti o niyeye fun diẹ ninu awọn, ṣugbọn kii ṣe gbogbo, iwadi. Ti o ba n ṣiṣẹ pẹlu awọn Turkers, lẹhinna o jẹ oye lati ka ọpọlọpọ ninu awọn imọ-ẹrọ iyatọ yii ati ki o ye wọn.

Keji, awọn awadi ti ṣe agbekalẹ awọn iṣẹ ti o dara julọ fun fifun ijẹrisi inu ti awọn igbeyewo MTurk, o yẹ ki o kọ nipa ki o si tẹle awọn iṣẹ ti o dara julọ (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Fun apeere, awọn oluwadi ti o nlo awọn Turkers ni iwuri lati lo awọn iboju lati yọ awọn alabaṣepọ ti ko ni (Berinsky, Margolis, and Sances 2014, 2016) (ṣugbọn wo tun DJ Hauser and Schwarz (2015b) ati DJ Hauser and Schwarz (2015a) ). Ti o ko ba yọ awọn alabaṣepọ ti ko ni ailewu, lẹhinna eyikeyi ipa ti itọju naa le ti fọ nipasẹ ariwo ti wọn ṣe agbekale, ati ni iṣe nọmba awọn alabaṣepọ ti ko ni ailewu le jẹ idaran. Ninu ayẹwo nipasẹ Huber ati awọn alabaṣiṣẹpọ (2012) , nipa 30% awọn olukopa ti kọ awọn oluranlowo akiyesi pataki. Awọn iṣoro miiran ti o maa n dide nigba ti a lo awọn Turkers ni awọn alabaṣepọ ti kii ṣe alaiṣe (Chandler et al. 2015) ati attrition (Zhou and Fishbach 2016) .

Kẹta, ti o ni ibatan si awọn aṣa miiran ti awọn awoṣe oni-nọmba, awọn imuduro MTurk ko le ṣe iwọn; Stewart et al. (2015) ṣe iṣiro pe ni eyikeyi akoko ti o wa ni o wa diẹ ẹ sii nipa 7,000 eniyan lori MTurk.

Níkẹyìn, o yẹ ki o mọ pe MTurk jẹ agbegbe pẹlu awọn ofin ati awọn ilana ara rẹ (Mason and Suri 2012) . Ni ọna kanna ti iwọ yoo gbiyanju lati wa nipa aṣa ti orilẹ-ede kan nibiti iwọ yoo ṣiṣe awọn idanwo rẹ, o yẹ ki o gbiyanju lati wa siwaju sii nipa awọn aṣa ati awọn aṣa ti Turkers (Salehi et al. 2015) . Ati ki o yẹ ki o mọ pe awọn Turkers yoo sọrọ nipa idanwo rẹ ti o ba ṣe nkan ti ko yẹ tabi ti kii ṣe alaye (Gray et al. 2016) .

MTurk jẹ ọna ti o rọrun ti o rọrun lati gba awọn olukopa si awọn adanwo rẹ, boya wọn jẹ iru-iṣẹ, bi Huber, Hill, and Lenz (2012) , tabi diẹ ẹ sii aaye, gẹgẹbi awọn ti Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ati Mao et al. (2016) .

• Kọ ọja ti ara rẹ (apakan 4.5.3)

Ti o ba n ronu lati gbiyanju lati ṣẹda ọja ti ara rẹ, Mo ṣe iṣeduro pe ki o ka imọran ti a ṣe nipasẹ Ẹgbẹ MovieLens ni Harper and Konstan (2015) . Awọn imọran pataki lati iriri wọn ni pe fun iṣẹ-ṣiṣe aṣeyọri kọọkan wa ọpọlọpọ, ọpọlọpọ awọn ikuna. Fun apeere, ẹgbẹ MovieLens ṣe agbekale awọn ọja miiran, gẹgẹ bi GopherAnswers, ti o jẹ ikuna patapata (Harper and Konstan 2015) . Apẹẹrẹ miiran ti oluwadi kan ti kuna nigbati o n gbiyanju lati kọ ọja kan jẹ igbiyanju Edward Castronova lati kọ ere ere ori-ọfẹ kan ti a npe ni Arden. Pelu $ 250,000 ni ifowopamọ, ise agbese na jẹ flop (Baker 2008) . Awọn iṣẹ-ṣiṣe bi GopherAnswers ati Arden ni laanu pupọ diẹ sii ju wọpọ awọn iṣẹ bi MovieLens.

• Ẹnìkejì pẹlu awọn alagbara (apakan 4.5.4)

Mo ti gbọ ariyanjiyan ti Quadrant Pasteur ti sọrọ nigbagbogbo ni awọn ile-iṣẹ imọ ẹrọ, ati pe o ṣe iranlọwọ lati ṣeto awọn iṣọrọ iwadi ni Google (Spector, Norvig, and Petrov 2012) .

Ikẹkọ ati awọn alabaṣiṣẹpọ (2012) tun n gbiyanju lati ri ipa ti awọn itọju wọnyi lori awọn ọrẹ ti awọn ti o gba wọn. Nitori ti awọn apẹrẹ ti idanwo naa, awọn oṣan wọnyi ni o ṣoro lati ri mimọ; awọn onkawe sifẹ yẹ ki o wo Bond et al. (2012) fun iṣaro diẹ sii. Jones ati awọn ẹlẹgbẹ (2017) tun ṣe idaduro irufẹ kanna lakoko idibo ọdun 2012. Awọn igbadii wọnyi jẹ apakan ti aṣa igba atijọ ti awọn adanwo ninu ijinlẹ sayensi lori awọn igbiyanju lati ṣe iwuri fun idibo (Green and Gerber 2015) . Awọn adanwo-jade-idibo-idibo ni o wọpọ, ni apakan nitori pe wọn wa ni Pasteur's Quadrant. Iyẹn ni pe, ọpọlọpọ awọn eniyan ti o ni iwuri lati mu awọn idibo ati idibo le jẹ ihuwasi ti o wuni lati ṣe idanwo awọn imọran gbogbogbo nipa iyipada iwa ati ipa awujo.

Fun imọran nipa awọn idanwo igberiko ti o wa pẹlu awọn alabaṣepọ alabaṣepọ gẹgẹbi awọn oselu, Awọn NGO, ati awọn ile-iṣẹ, wo Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ati Gueron (2002) . Fun awọn ero nipa bi ipaṣepọ pẹlu awọn ajọ le ni ipa awọn aṣa iwadi, wo King et al. (2007) ati Green, Calfano, and Aronow (2014) . Ìbàṣepọ le tun darukọ awọn ibeere onibara, gẹgẹ bi a ti sọrọ nipa Humphreys (2015) ati Nickerson and Hyde (2016) .

• Awọn imọran imọran (apakan 4.6)

Ti o ba n ṣe akọọlẹ ipinnu iwadi ṣaaju ṣiṣe idanwo rẹ, Mo daba pe ki o bẹrẹ nipasẹ awọn itọnisọna ikede kika. Awọn itọnisọna wiwa (Standard Consolidated Standard Reporting of Trials) ti ni idagbasoke ni oogun (Schulz et al. 2010) ati atunṣe fun iwadi awujọ (Mayo-Wilson et al. 2013) . Awọn itọsọna ti o ni ibatan ti a ti ni idagbasoke nipasẹ awọn olootu ti Iwe Akosile ti Eko Iselu Imọ (Gerber et al. 2014) (wo tun Mutz and Pemantle (2015) ati Gerber et al. (2015) ). Níkẹyìn, awọn itọnisọna iroyin ti ni idagbasoke ni imọran-ọrọ (APA Working Group 2008) , ati ki o tun wo Simmons, Nelson, and Simonsohn (2011) .

Ti o ba ṣẹda eto atọjade, o yẹ ki o ronu ṣaaju ki o to lorukọ rẹ nitori pe iṣaaju-iṣeduro yoo mu igbẹkẹle ti awọn ẹlomiran ṣe ni awọn esi rẹ. Pẹlupẹlu, ti o ba ṣiṣẹ pẹlu alabaṣepọ, yoo ṣe idiwọn agbara alabaṣepọ rẹ lati yi iyipada naa pada lẹhin ti o rii awọn esi. Ṣaaju-ìforúkọsílẹ ti wa ni increasingly wọpọ ninu imọ-ẹmi-ọkan (Nosek and Lakens 2014) , Imọ-iṣe oselu (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ati aje (Olken 2015) .

Awọn imọran imọran pataki fun awọn idanwo Konstan and Chen (2007) ni a tun gbekalẹ ni Konstan and Chen (2007) ati Chen and Konstan (2015) .

Ohun ti Mo ti pe ni igbimọ armada ni a npè ni iṣedọye eto iṣesi ; wo Wilson, Aronson, and Carlsmith (2010) .

• Ṣẹda awọn nọmba iye owo iyipada (apakan 4.6.1)

Fun diẹ ẹ sii lori awọn adanwo MusicLab, wo Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ati Salganik (2007) . Fun diẹ ẹ sii lori awọn ọja ti o gba agbara, wo Frank and Cook (1996) . Fun diẹ ẹ sii lori orire ati iṣowo diẹ sii ni kikun, wo Mauboussin (2012) , Watts (2012) , ati Frank (2016) .

Ọna miiran wa lati ṣe idinku owo sisan awọn alabaṣe ti awọn oniṣẹ yẹ ki o lo pẹlu iṣọra: igbasilẹ. Ni ọpọlọpọ awọn imudaniloju aaye ayelujara awọn alabaṣepọ ti wa ni iwe-iṣan ti a ṣe sinu awọn ayẹwo ati ti a ko san a sanwo. Awọn apẹẹrẹ ti ọna yii ni awọn ayẹwo Restivo ati van de Rijt (2012) lori awọn ere ni Wikipedia ati Bond ati idanwo (2012) ni iwuri fun eniyan lati dibo. Awọn igbadii wọnyi ko ni iye-iyipada odo-kuku, wọn ni iye iyipada odo si awọn oluwadi . Ni iru awọn igbadii wọnyi, paapa ti iye owo si alabaṣepọ kọọkan jẹ kere julọ, iye owo apapọ le jẹ pupọ. Awọn oluwadi ti n ṣakoso ọpọlọpọ awọn igbadun ti ntan lori ayelujara nigbagbogbo n ṣe afihan pataki ti awọn iṣeduro itọju iṣeduro kekere ti o sọ pe awọn ipa kekere wọnyi le di pataki nigbati a ba lo si ọpọlọpọ awọn eniyan. Imọ kanna naa ni o ni ibamu si awọn owo ti awọn oluwadi ṣe fun awọn olukopa. Ti idanwo rẹ ba mu ki eniyan kan to padanu iṣẹju kan, igbadun naa ko ni ipalara si eyikeyi eniyan kan, ṣugbọn ni apapọ o ti padanu fere ọdun meji.

Ọna miiran lati ṣiṣẹda nọmba iyipada odo ti o ni iyipada si awọn alabaṣepọ ni lati lo lotiri kan, ọna ti o tun ti lo ninu iwadi iwadi (Halpern et al. 2011) . Fun diẹ ẹ sii nipa sisọ iriri awọn olumulo iriri igbadun, wo Toomim et al. (2011) . Fun diẹ ẹ sii nipa lilo awọn botilẹtẹ lati ṣẹda awọn iṣeduro iye owo aiyipada wo ( ??? ) .

• Rọpo, Atunto, ati Din (apakan 4.6.2)

Awọn mẹta R bi bibẹrẹ ti dabaa nipasẹ Russell and Burch (1959) ni awọn wọnyi:

"Rirọpo tumo si awọn fidipo fun mimọ ngbe ti o ga eranko ti insentient ohun elo. Idinku tumo si idinku ninu awọn nọmba ti eranko lo lati gba alaye ti a fi fun iye ati konge. Isọdọtun tumo si eyikeyi isalẹ ninu awọn isẹlẹ tabi idibajẹ ti inhumane ilana loo si awon eranko ti o si tun ni lati wa ni lo. "

Awọn mẹta R ti mo fi ranṣẹ ko ṣe fagilee awọn ilana ti o ṣe pataki ti o wa ninu ori 6. Kàkà bẹẹ, wọn jẹ ẹya ti o ni ilọsiwaju ti ọkan ninu awọn ilana-anfani-pataki ni ipilẹ awọn idanwo eniyan.

Ni awọn ofin ti akọkọ R ("rirọpo"), fifiwe idanwo contagion ẹdun (Kramer, Guillory, and Hancock 2014) ati ẹdun idanwo ẹdun (Lorenzo Coviello et al. 2014) nfunni diẹ ninu awọn ẹkọ nipa gbogbo awọn oniṣowo-owo ni gbigbe lati awọn adanwo si awọn adanwo adayeba (ati awọn ọna miiran ti o baamu bi igbiyanju lati sunmọ awọn adanwo ninu awọn data ti ko ṣe ayẹwo-ayẹwo) wo ipin 2). Ni afikun si awọn anfani iṣe ti ara, iyipada lati ṣe idanwo si awọn iwadi ti kii ṣe ayẹwo-idaniloju tun jẹ ki awọn oniwadi ṣe iwadi awọn itọju ti wọn ko le fi ranṣẹ si. Awọn anfani iṣiro ati awọn iṣiro wọnyi wa ni iye owo, sibẹsibẹ. Pẹlu awọn adanwo adanwo adayeba awọn oluwadi ni iṣakoso diẹ lori awọn ohun bi gbigba idaniloju ti awọn alabaṣepọ, iṣeduro, ati iru itọju naa. Fun apẹẹrẹ, opin kan ti ojo riro bi itọju kan ni pe gbogbo wọn nmu positivity pọ ati dinku negativity. Ninu iwadi idanwo, sibẹsibẹ, Kramer ati awọn ẹlẹgbẹ ṣe atunṣe ifarahan ati aifọwọyi ominira. Ona pataki ti Lorenzo Coviello et al. (2014) ni L. Coviello, Fowler, and Franceschetti (2014) ṣe alaye siwaju sii. Fun ifihan si awọn iyipada ohun-elo, eyiti o jẹ ọna ti Lorenzo Coviello et al. (2014) , wo Angrist and Pischke (2009) (ti kii kere ju) tabi Angrist, Imbens, and Rubin (1996) (diẹ sii lodo). Fun idaniloju idaniloju ti awọn oniyipada ohun-elo, wo Deaton (2010) , ati fun ifihan si awọn oniyipada ohun-elo pẹlu awọn ohun elo alailowaya (omi jẹ ohun elo alailowaya), wo Murray (2006) . Ni afikun julọ, ifihan Dunning (2012) dara julọ si awọn adanwo adayeba ni Dunning (2012) , lakoko ti Rosenbaum (2002) , ( ??? ) , ati Shadish, Cook, and Campbell (2001) nfunni awọn ero to dara nipa isanwo idibajẹ ikọlu lai si awọn igbadun.

Ni awọn ofin ti awọn keji R ("imudarasi"), awọn ijinlẹ sayensi ati iṣiro-iṣiro ni o wa nigbati o ba n yi iyipada ti ẹda Contagion ti ẹdun lati ṣiṣagi awọn posts si awọn igbelaruge awọn igbelaruge. Fun apẹẹrẹ, o le jẹ idiwọ pe imuposi imọran ti News Feed jẹ ki o rọrun julọ lati ṣe idanwo kan ninu eyiti awọn idiwọn ti dina dipo ọkan ninu eyi ti wọn ṣe igbelaruge (ṣe akọsilẹ pe ohun idaduro iṣafihan pipin ti awọn ami le ṣe imuse gẹgẹ bi apẹrẹ lori oke ti eto Imuposi News laisi eyikeyi nilo fun awọn iyipada ti eto isọlẹ). Ni imọ imọran, sibẹsibẹ, ilana yii ti a koju nipasẹ idanwo naa ko fi han ni imọran ọkan kan lori ekeji. Laanu, Emi ko mọ imọran ti iwadi tẹlẹ ti o wa nipa awọn iyasọtọ ojulumo ti idinamọ ati igbelaruge akoonu ninu Ifọrọranṣẹ. Pẹlupẹlu, Emi ko ti ri iwadi pupọ lori awọn itọju atunṣe lati ṣe wọn dinku; ọkan kan jẹ B. Jones and Feamster (2015) , ti o ṣe akiyesi ọran ti iṣiro ti igbẹhin Intanẹẹti (ọrọ ti mo sọ ni ori 6 ninu ibasepọ pẹlu Imudani iwadi (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Ni awọn ofin ti kẹta R ("Idinku"), awọn itọda ti o dara si iṣeduro agbara ti aṣa ni Cohen (1988) (book) ati Cohen (1992) (article), nigba ti Gelman and Carlin (2014) ṣe atẹle oriṣi. Awọn abojuto abojuto iṣaaju le wa ninu apẹrẹ ati igbekale igbeyewo ti awọn adanwo; ori 4 ti Gerber and Green (2012) pese ifarahan ti o dara fun awọn ọna mejeji, ati Casella (2008) n pese itọju diẹ sii. Awọn imọran ti o lo alaye imọ-itọju yii ni titọja ni a npe ni boya a ṣe idaabobo awọn aṣa idaniloju tabi awọn aṣa idaniloju ifọwọda (awọn ọrọ naa ko lo ni aifọwọyi kọja awọn agbegbe); awọn imuposi wọnyi ni o ni ibatan pẹkipẹki pẹlu awọn imuposi Higgins, Sävje, and Sekhon (2016) ni ori 3. Wo Higgins, Sävje, and Sekhon (2016) fun diẹ sii lori lilo awọn aṣa wọnyi ni awọn igbeyewo nla. Awọn iṣeduro iṣaju iṣaaju le tun wa ninu ipele idanimọ. McKenzie (2012) ṣawari iyatọ-iyatọ-iyatọ lati ṣe ayẹwo awọn imudaniloju aaye ni awọn alaye ti o tobi julọ. Wo Carneiro, Lee, and Wilhelm (2016) fun diẹ sii lori awọn iṣowo-owo laarin awọn ọna oriṣiriṣi lati mu ki o ṣe deede ni awọn iṣeyeye ti awọn itọju. Níkẹyìn, nígbà tí o bá pinnu bóyá láti gbìyànjú láti ṣaṣeyọmọ àwọn ìbániṣaaju-ìmúlò ìbániṣèpọ nínú ìfẹnukò tàbí ìfẹnukò ìdánilójú (tàbí àwọn méjèèjì), àwọn ohun kan wà láti ronú. Ni eto kan ti awọn oluwadi nfẹ fi han pe wọn ko "ipeja" (Humphreys, Sierra, and Windt 2013) , lilo awọn ibaraẹnisọrọ ti iṣaju-tẹlẹ ni ipele apẹrẹ le wulo (Higgins, Sävje, and Sekhon 2016) . Ni awọn ipo ibi ti awọn olukopa wa lapapọ, paapaa awọn iṣeduro aaye lori ayelujara, lilo awọn alaye itọju ṣaaju-itọju ni ipele aṣa le jẹ ni iṣeduro logistically; wo, fun apẹẹrẹ, Xie and Aurisset (2016) .

O tọ lati fi aaye kan diẹ ninu idiyele nipa idi ti iyato iyatọ-ni-iyatọ le jẹ ki o munadoko diẹ sii ju iyatọ-ni-ọna ọkan lọ. Ọpọlọpọ awọn abajade ayelujara ti ni iyatọ pupọ (wo apẹẹrẹ, RA Lewis and Rao (2015) ati Lamb et al. (2015) ) ati pe o wa ni idurosinsin lori akoko. Ni idi eyi, iyipo iyipada yoo ni iyatọ diẹ sii, ti o pọ si agbara ti idanwo iṣiro naa. Idi kan ti a ko lo ọna yii ni igba diẹ ni pe ṣaaju si ọjọ ori-ọjọ, o ko wọpọ lati ni awọn esi iṣaaju-itọju. Ọna ti o rọrun julọ lati ronu nipa eyi ni lati rii idanwo kan lati wiwọn boya ilana idaraya deede kan nfa isọnu. Ti o ba gba ọna iyatọ-ọna-itumọ, ipinnu rẹ yoo ni iyipada ti o waye lati iyatọ ninu awọn iṣuwọn ninu olugbe. Ti o ba ṣe ọna iyatọ-ni-iyatọ, sibẹsibẹ, pe iyipada iṣẹlẹ ti o waye ni awọn iṣiro ti yọ kuro, ati pe o le rii ọpọlọpọ iyatọ ti itọju naa ṣe.

Nikẹhin, Mo ro pe o jẹ kẹrin R: "tun pada". Ti o ba jẹ pe, ti awọn oluwadi ba ri ara wọn pẹlu awọn ayẹwo diẹ ẹ sii ju ti wọn nilo lati koju ibeere iwadi wọn akọkọ, wọn gbọdọ tun data naa pada lati beere ibeere titun. Fun apeere, fojuinu pe Kramer ati awọn ẹlẹgbẹ ti lo iyatọ-iyatọ-iyatọ ati pe wọn wa pẹlu awọn data diẹ sii ju ti wọn nilo lati koju ibeere iwadi wọn. Dipo ki o ko lo data naa titi de opin, wọn le ti kẹkọọ iwọn ti ipa naa gẹgẹbi iṣẹ ti iṣafihan iṣoro-ọrọ iṣaaju. Gẹgẹ bi Schultz et al. (2007) ri pe ipa ti itọju naa yatọ si awọn imole ati awọn ti o lagbara, boya awọn ipa ti News Feed ni o yatọ si fun awọn eniyan ti o ti fẹ lati firanṣẹ awọn ifiranṣẹ ayọ (tabi ibanuje). Iwe atunkọ le ja si "ipeja" (Humphreys, Sierra, and Windt 2013) ati "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ṣugbọn awọn wọnyi jẹ apẹrẹ afikun pẹlu apapo awọn iroyin iṣeduro (Simmons, Nelson, and Simonsohn 2011) , iṣaaju-ìforúkọsílẹ (Humphreys, Sierra, and Windt 2013) , ati awọn ọna ẹrọ ẹrọ ti o gbiyanju lati yago fun awọn ti ko dara ju.