4.3 meji mefa ti adanwo: lab-oko ati afọwọṣe-oni

Lab adanwo nse Iṣakoso, oko adanwo pese realism, ati oni oko adanwo darapọ Iṣakoso ati realism ni asekale.

Adanwo wa ni ọpọlọpọ awọn oriṣiriṣi ni nitobi ati titobi. Sugbon, pelu awon orisirisi, oluwadi ti ri ti o wulo lati ṣeto adanwo pẹlú a ti ilọsiwaju laarin awọn lab adanwo ati oko adanwo. Bayi, sibẹsibẹ, awọn oluwadi yẹ ki o tun ṣeto adanwo pẹlú a ti ilọsiwaju laarin awọn afọwọṣe adanwo ati oni adanwo. Eleyi meji-onisẹpo oniru aaye yoo ran o ye awọn agbara ati ailagbara ti o yatọ si yonuso o si daba awọn agbegbe ti o tobi anfani (Figure 4.1).

Olusin 4.1: sikematiki ti oniru aaye fun adanwo. Ni awọn ti o ti kọja, adanwo orisirisi pẹlú awọn lab-aaye apa miran. Bayi, won tun yato lori awọn afọwọṣe-oni apa miran. Ni ero mi, awọn agbegbe ti o tobi anfani ni oni oko adanwo.

Ni awọn ti o ti kọja, awọn ifilelẹ ti awọn ọna ti oluwadi ṣeto adanwo wà pẹlú awọn lab-aaye apa miran. Awọn opolopo ninu adanwo ni awujo sáyẹnsì ni o wa lab adanwo ibi ti akẹkọ ti omo ṣe ajeji awọn iṣẹ-ṣiṣe ni a lab fun dajudaju gbese. Yi iru ṣàdánwò dominates iwadi ni oroinuokan nitori ti o kí oluwadi lati ṣẹda gan pato itọju še lati se idanwo gan pato imo nipa awujo ihuwasi. Fun awọn isoro, sibẹsibẹ, ohun kan lara kan bit ajeji nipa loje lagbara ipinnu nipa eda eniyan ihuwasi lati iru dani eniyan sise iru dani awọn iṣẹ-ṣiṣe ni iru ohun dani eto. Awọn wọnyi ni awọn ifiyesi ti yori si a ronu si oko adanwo. Field adanwo darapọ awọn lagbara oniru ti aileto Iṣakoso adanwo pẹlu diẹ asoju awọn ẹgbẹ ti awọn alabaṣepọ, sise wọpọ awọn iṣẹ-ṣiṣe, ni diẹ adayeba eto.

Biotilejepe awon eniyan ro ti lab ati oko adanwo bi located ọna, o jẹ ti o dara ju lati ro ti wọn bi tobaramu awọn ọna pẹlu o yatọ si agbara ati ailagbara. Fun apẹẹrẹ, Correll, Benard, and Paik (2007) lo mejeji a lab ṣàdánwò ati ki o kan oko ṣàdánwò ninu awọn igbidawo lati wa awọn orisun ti awọn "abiyamọ gbamabinu." Ni awọn United States, iya jo'gun kere ju owo di alaili ọmọ obirin, paapaa nigba ti wé obinrin pẹlu iru ogbon ṣiṣẹ ni iru ise. Nibẹ ni o wa ọpọlọpọ awọn ti ṣee ṣe awọn alaye fun yi Àpẹẹrẹ, ati ọkan jẹ ti awọn agbanisiṣẹ ti wa ni abosi si iya. (Yanilenu, awọn idakeji dabi lati wa ni otitọ fun awọn baba: nwọn ṣọ lati jo'gun diẹ ẹ sii ju afiwera di alaili ọmọ ọkunrin). Ni ibere lati se ti ṣee ṣe irẹjẹ lodi si iya, Correll ati awọn araa si sure meji adanwo: ọkan ninu awọn lab ati ọkan ninu awọn aaye.

First, ni a lab ṣàdánwò Correll ati awọn araa so fun awọn alabaṣepọ, ti o wà kọlẹẹjì undergraduates, ti a California-orisun ibere-soke awọn ibaraẹnisọrọ ile ti a ifọnọhan ohun oojọ search fun eniyan lati ja awọn oniwe-titun East ni etikun tita Eka. Omo ile won so fun wipe awọn ile-fe won iranlọwọ ninu awọn igbanisise ilana ati ti won ni won beere lati ṣe ayẹwo pada ti awọn orisirisi ti o pọju oludije ati lati oṣuwọn awọn oludije lori nọmba kan ti mefa bi wọn ofofo, iferan, ati ifaramo lati ṣiṣẹ. Siwaju si, awọn omo won beere ti o ba ti won yoo so igbanisise awọn olubẹwẹ ati ohun ti wọn yoo so bi a ti o bere ekunwo. Unbeknownst si awọn omo ile, sibẹsibẹ, awọn pada won pataki ti won ko lati wa ni iru ayafi fun ohun kan: diẹ ninu awọn ti pada amin awọn abiyamọ (nipa kikojọ ilowosi ninu a obi-olukọ sepo) ati diẹ ninu awọn se ko. Correll ri wipe omo wà kere seese lati so igbanisise awọn iya ati ki o nṣe wọn kekere starting ekunwo. Siwaju si, nipasẹ kan iṣiro onínọmbà ti awọn mejeeji ni iwontun-wonsi ati awọn igbanisise-jẹmọ ipinu, Correll ri wipe iya 'alailanfani won ibebe se alaye nipa awọn o daju wipe iya won ti won won kekere ni awọn ofin ti ijafafa ati ifaramo. Ni gbolohun miran, Correll njiyan wipe awon tẹlọrun ni o wa ni siseto nipasẹ eyi ti iya ti wa ni disadvantaged. Bayi, yi lab ṣàdánwò laaye Correll ati awọn araa wiwọn a ifẹsẹmulẹ ipa ati ki o pese kan ti ṣee ṣe alaye fun awọn ti ipa.

Dajudaju, ọkan le jẹ skeptical nipa loje ipinnu nipa gbogbo US laala oja da lori awọn ipinnu ti a diẹ ọgọrun undergraduates ti o ti jasi kò ní a ni kikun akoko job, jẹ ki nikan yá eniyan. Nitorina, Correll ati awọn araa tun waiye a tobaramu oko ṣàdánwò. Awọn oluwadi dahun si ogogorun ti siwaju ise nipa fifi ni iro ideri awọn lẹta ati awọn pada. Iru si awọn ohun elo han si awọn undergraduates, diẹ ninu awọn pada amin awọn abiyamọ ati diẹ ninu awọn se ko. Correll ati awọn araa ri wipe iya wà kere seese lati gba a npe ni pada fun ojukoju ju se oṣiṣẹ di alaili ọmọ obirin. Ni gbolohun miran, gidi agbanisiṣẹ ṣiṣe jasi ipinu ni a adayeba eto hùwà Elo bi awọn undergraduates. Ni wọn ṣe iru ipinu fun idi kanna? Laanu, a ko mọ. Awọn oluwadi wà ko ni anfani lati beere awọn agbanisiṣẹ lati oṣuwọn awọn oludije tabi se alaye wọn ipinu.

Yi bata ti adanwo han a pupo nipa lab ati oko adanwo ni apapọ. Lab adanwo nse oluwadi sunmọ lapapọ Iṣakoso ti awọn ayika ni eyi ti awọn alabaṣepọ ti wa ni ṣiṣe ipinu. Nítorí náà, fun apẹẹrẹ, ninu awọn lab ṣàdánwò, Correll je anfani lati rii daju wipe gbogbo awọn pada won ka ninu a idakẹjẹ eto; ni awọn aaye ṣàdánwò, diẹ ninu awọn ti pada le ko ti ani ti a ti ka. Siwaju si, nitori awọn alabaṣepọ ni awọn lab eto mọ pe ti won ti wa ni a iwadi, oluwadi wa ni igba anfani lati gba afikun data ti o le ran wọn ye idi ti awọn alabaṣepọ ti wa ni ṣiṣe wọn ipinu. Fun apẹẹrẹ, Correll beere awọn alabaṣepọ ni awọn lab ṣàdánwò lati oṣuwọn awọn oludije on o yatọ si mefa. Yi ni irú ti ilana data le ran oluwadi ye awọn sise sile orisirisi ba wa ni bi olukopa toju pada.

Lori awọn miiran ọwọ, wọnyi gangan kanna abuda ti Mo ti o kan se apejuwe bi anfani ti wa ni tun ma kà alailanfani. Oluwadi ti o fẹ oko adanwo jiyan wipe awọn alabaṣepọ ni lab adanwo le sise gan otooto nigba ti won ti wa ni pẹkipẹki šakiyesi. Fun apẹẹrẹ, ninu awọn lab ṣàdánwò olukopa le ti kiye awọn ìlépa ti awọn iwadi ati dà wọn ihuwasi ki bi ko lati han abosi. Siwaju si, awọn oluwadi ti o fẹ oko adanwo le ma jiyan wipe kekere iyato lori pada le nikan duro jade ni kan gan o mọ, ni ifo lab ayika, ati bayi ni awọn lab ṣàdánwò yoo lori-siro awọn ipa ti awọn abiyamọ on gidi igbanisise ipinu. Níkẹyìn, ọpọlọpọ awọn faramọ of oko adanwo criticize lab adanwo reliance lori isokuso olukopa: o kun akekoo lati Western, ìwé, ero, Rich, ati Democratic awọn orilẹ-ede (Henrich, Heine, and Norenzayan 2010) . Awọn adanwo nipa Correll ati awọn araa (2007) àpẹẹrẹ awọn meji extremes lori awọn lab-aaye ti ilọsiwaju. Ni laarin awọn wọnyi meji extremes nibẹ ni o wa kan orisirisi ti arabara aṣa pẹlu yonuso bi kiko ti kii-omo sinu kan lab tabi ti lọ sinu oko sugbon si tun nini olukopa ṣe ohun dani-ṣiṣe.

Ni afikun si awọn lab-oko apa miran ti o ti wà ninu awọn ti o ti kọja, awọn oni ori tumo si wipe oluwadi bayi o ti ni a keji pataki apa miran pẹlú eyi ti adanwo le yato: afọwọṣe-digital. Gẹgẹ bi nibẹ ni o wa funfun lab adanwo, funfun oko adanwo, ati orisirisi kan ti hybrids laarin, nibẹ ni o wa funfun afọwọṣe adanwo, funfun oni adanwo, ati orisirisi kan ti hybrids. O ti wa ni ti ẹtan lati pese a lodo definition ti yi apa miran, sugbon a wulo ṣiṣẹ definition ni wipe kikun oni adanwo ti wa ni adanwo ti ṣe awọn lilo ti oni amayederun to sise awọn alabaṣepọ, randomize, fi awọn itọju, ki o si wiwọn awọn iyọrisi. Fun apẹẹrẹ, Restivo ati van de Rijt ká (2012) iwadi ti barnstars ati Wikipedia je kan ni kikun oni ṣàdánwò nitori ti o ti lo oni awọn ọna šiše fun gbogbo awọn mẹrin ti awọn igbesẹ. Bakanna ni kikun afọwọṣe adanwo ti wa ni adanwo ti ko ṣe awọn lilo ti oni amayederun fun eyikeyi ti awọn wọnyi mẹrin igbesẹ. Ọpọlọpọ awọn ti awọn Ayebaye adanwo ni oroinuokan ni o wa afọwọṣe adanwo. Ni laarin awọn wọnyi meji extremes nibẹ ni o wa kan oni adanwo ti o lo kan apapo ti afọwọṣe ati oni awọn ọna šiše fun awọn mẹrin awọn igbesẹ.

Farabale, awọn anfani lati ṣiṣe oni adanwo wa ni ko kan online. Oluwadi le ṣiṣe kan oni adanwo nipa lilo oni awọn ẹrọ ni awọn ti ara aye ni ibere lati fi itọju tabi wiwọn awọn iyọrisi. Fun apẹẹrẹ, awọn oluwadi le lo smati awọn foonu lati fi awọn itọju tabi sensosi ninu awọn itumọ ti ayika lati wiwọn awọn iyọrisi. Ni pato, bi a yoo ri igbamiiran ni yi ipin, oluwadi ti tẹlẹ lo ile agbara mita lati wiwọn awọn iyọrisi ni adanwo nipa awujo tito ati agbara agbara okiki 8.5 million ti ìdílé (Allcott 2015) . Bi oni awọn ẹrọ di increasingly ese sinu awon eniyan aye ati awọn sensosi di ese sinu awọn itumọ ti ayika, awon anfani lati ṣiṣe kan oni adanwo ninu awọn ti ara aye yoo se alekun bosipo. Ni gbolohun miran, oni adanwo wa ni ko kan online adanwo.

Digital awọn ọna šiše ṣẹda titun ti o ṣeeṣe fun adanwo nibi gbogbo pẹlú awọn lab-aaye ti ilọsiwaju. Ni funfun lab adanwo, fun apẹẹrẹ, awọn oluwadi le lo oni awọn ọna šiše fun finer wiwọn ti awọn alabaṣepọ 'ihuwasi; ọkan apẹẹrẹ ti yi iru ti dara wiwọn ni oju-titele ẹrọ ti pese kongẹ ati lemọlemọfún igbese ti nilẹ ipo. Awọn oni ori tun ṣẹda awọn seese lati ṣiṣe lab-bi adanwo online. Fun apẹẹrẹ, oluwadi ti nyara gba Amazon darí Turk (MTurk) lati sise awọn alabaṣepọ fun awọn online adanwo (Figure 4.2). MTurk ibaamu "agbanisiṣẹ" ti o ni awọn iṣẹ-ṣiṣe ti o nilo lati wa ni pari pẹlu "osise" ti o fẹ lati pari awon awọn iṣẹ-ṣiṣe fun owo. Ko ibile laala awọn ọja, sibẹsibẹ, awọn iṣẹ-ṣiṣe lowo maa n nikan beere a iṣẹju diẹ lati pari ati gbogbo ibaraenisepo laarin agbanisiṣẹ ati Osise jẹ foju. Nitori MTurk mimics ise ti ibile lab adanwo-san eniyan lati pari iṣẹ-ṣiṣe ti won yoo ko o ṣe fun free-o ti wa ni nipa ti baamu fun awọn orisi ti adanwo. Pataki, MTurk ti da awọn amayederun fun ìṣàkóso a pool ti awọn alabaṣepọ-igbanisiṣẹ ati ki o san awọn enia-ati awọn oluwadi ti ya anfani ti ti amayederun lati tẹ sinu ohun nigbagbogbo wa pool ti olukopa.

Olusin 4.2: ogbe atejade lilo data lati Amazon darí Turk (MTurk) (Bohannon 2016) . MTurk ati awọn miiran online laala awọn ọja pese awọn oluwadi a rọrun ona lati sise awọn alabaṣepọ fun awọn adanwo.

Digital adanwo ṣẹda ani diẹ ti o ṣeeṣe fun oko-bi adanwo. Digital oko adanwo le pese ju Iṣakoso ati ilana data lati ni oye ti ṣee ṣe sise (bi lab adanwo) ati diẹ Oniruuru awọn alabaṣepọ ṣiṣe gidi ipinnu ni a adayeba ayika (bi oko adanwo). Ni afikun si yi apapo ti o dara abuda kan ti sẹyìn adanwo, oni oko adanwo tun nse mẹta anfani ti o wà soro ni afọwọṣe lab ati oko adanwo.

First, ko da julọ afọwọṣe lab ati oko adanwo ni ogogorun ti awọn alabaṣepọ, oni oko adanwo le ni milionu ti awọn alabaṣepọ. Yi ayipada ni asekale jẹ nitori diẹ ninu awọn oni adanwo le gbe data ni odo ayípadà iye owo. Ti o ni, ni kete ti oluwadi ti da ohun esiperimenta amayederun, jijẹ awọn nọmba ti awọn alabaṣepọ ojo melo ko ni mu awọn iye owo. Jijẹ awọn nọmba ti awọn alabaṣepọ nipa kan ifosiwewe ti 100 tabi diẹ ẹ sii ti wa ni ko kan a pipo ayipada, o jẹ a ti agbara ayipada, nitori ti o kí oluwadi lati ko eko o yatọ si ohun lati adanwo (eg, mu agbara pọ si ti itọju ipa) ati ṣiṣe awọn šee igbọkanle o yatọ esiperimenta awọn aṣa ( eg, ti o tobi Ẹgbẹ adanwo). Aaye yi jẹ bẹ pataki, Emi yoo pada si o si ọna opin ti awọn ipin nigbati mo pese imọran nipa ṣiṣẹda oni adanwo.

Keji, ko da julọ afọwọṣe lab ati oko adanwo toju olukopa bi indistinguishable ẹrọ ailorukọ, oni oko adanwo igba lo lẹhin alaye nipa awọn alabaṣepọ ninu awọn oniru ati onínọmbà ipo ti awọn iwadi. Yi lẹhin alaye, eyi ti o ni a npe ni ami-itọju alaye, ni igba wa ni oni adanwo nitori won ya ibi ni kikun won agbegbe. Fun apẹẹrẹ, a awadi ni Facebook ni o ni Elo siwaju sii ami-itọju alaye ju a awadi nse a boṣewa lab ṣàdánwò pẹlu undergraduates. Yi ami-itọju alaye kí oluwadi lati gbe kọja atọju olukopa bi indistinguishable ẹrọ ailorukọ. Die pataki, ami-itọju alaye kí siwaju sii daradara esiperimenta awọn aṣa-bi ìdènà (Higgins, Sävje, and Sekhon 2016) ki o si ìfọkànsí rikurumenti ti awọn alabaṣepọ (Eckles, Kizilcec, and Bakshy 2016) -and diẹ awotunwo onínọmbà-bi idiyelé rẹ ti mu agbara pọ si ti itọju ipa (Athey and Imbens 2016a) ati ki o covariate tolesese fun dara si konge (Bloniarz et al. 2016) .

Kẹta, ko da ọpọlọpọ awọn afọwọṣe lab ati oko adanwo fi itọju ati odiwon awọn iyọrisi ni a jo fisinuirindigbindigbin iye ti akoko, diẹ ninu awọn oni oko adanwo awon itọju ti o le wa fi lori akoko ati awọn ipa le tun ti wa ni won lori akoko. Fun apẹẹrẹ, Restivo ati van de Rijt ká ṣàdánwò ni o ni awọn abajade won ojoojumọ fun 90 ọjọ, ati ọkan ninu awọn adanwo Mo ti yoo so fun o nipa igbamiiran ni awọn ipin (Ferraro, Miranda, and Price 2011) awọn orin ti awọn iyọrisi lori 3 years ni besikale ko si iye owo. Awọn mẹta anfani-iwọn, ami-itọju alaye, ati gigun itọju ati abajade data-ni o wa wọpọ nigbati adanwo ti wa ni ṣiṣe awọn lori oke ti nigbagbogbo-lori wiwọn awọn ọna šiše (wo Chapter 2 fun siwaju sii lori nigbagbogbo-lori wiwọn awọn ọna šiše).

Nigba ti oni oko adanwo nse ọpọlọpọ awọn ṣeeṣe, won tun pin diẹ ninu awọn ailagbara pẹlu awọn mejeji afọwọṣe lab ati oko adanwo. Fun apẹẹrẹ, adanwo ko le wa ni lo lati iwadi awọn ti o ti kọja, ati awọn ti wọn le nikan siro awọn ipa ti itọju ti o le wa yii. Bakannaa, biotilejepe adanwo ni o wa laiseaniani wulo lati dari eto imulo, awọn gangan itoni ti won le pese ni itumo ni opin nitori ti ilolu bi ayika gbára, ibamu isoro, ati iwontun-wonsi ipa (Banerjee and Duflo 2009; Deaton 2010) . Níkẹyìn, oni oko adanwo gbe awọn asa awọn ifiyesi da nipa oko adanwo. Faramọ of oko adanwo ipè won agbara lati unobtrusively ati laileto laja sinu jasi ipinu nipa milionu ti awọn eniyan. Awọn wọnyi ni awọn ẹya ara ẹrọ nse awọn ijinle sayensi anfani, sugbon ti won tun le ṣe oko adanwo ethically eka (ro nipa o bi oluwadi atọju eniyan bi "lab eku" lori kan lowo asekale). Siwaju si, ni afikun si ti ṣee ṣe ìgekúrú si awọn alabaṣepọ, oni oko adanwo, nitori ti won asekale, le tun ró awọn ifiyesi nipa awọn idalọwọduro ti ṣiṣẹ awujo awọn ọna šiše (fun apẹẹrẹ, awọn ifiyesi nipa idiwo Wikipedia ká ère eto ti o ba ti Restivo ati van der Rijt fi ju ọpọlọpọ awọn barnstars) .