4.3 meji mefa ti adanwo: lab-oko ati afọwọṣe-oni

Lab adanwo nse Iṣakoso, oko adanwo pese realism, ati oni oko adanwo darapọ Iṣakoso ati realism ni asekale.

Awọn idanwo wa ni ọpọlọpọ awọn oriṣi ati awọn titobi. Ni iṣaaju, awọn oluwadi ti ri pe o ṣe iranlọwọ lati ṣeto awọn igbeyewo pẹlu kan ilosiwaju laarin awọn iṣeduro awọn ayẹwo ati awọn idanwo igberiko . Nisisiyi, sibẹsibẹ, awọn oluwadi yẹ ki o tun ṣagbe awọn idanwo pẹlu ilọsiwaju keji laarin awọn idaniloju analog ati awọn imudaniloju oni-nọmba . Ipo aaye oniruu meji yii yoo ran ọ lọwọ lati ye awọn agbara ati ailagbara ti awọn ọna ti o yatọ ati lati ṣe afihan awọn agbegbe ti o pọju julọ (nọmba 4.1).

Atọka 4.1: Ero ti aaye apẹrẹ fun awọn idanwo. Ni igba atijọ, awọn igbadun yatọ yatọ si laabu-awọn aaye. Nisisiyi, wọn tun yatọ lori iwọn analog-digitali. Ipo atokun ọna iwọn meji yii jẹ apejuwe nipasẹ awọn igbeyewo mẹrin ti Mo ṣe apejuwe ninu ori iwe yii. Ni ero mi, agbegbe ti o ni anfani pupọ julọ ni awọn imudaniloju aaye awọn nọmba.

Iwọn ọna kan pẹlu eyi ti awọn igbadun le wa ni ṣeto jẹ iwọn-iṣẹ aaye-lab. Ọpọlọpọ awọn igbadun ni awọn imọ-ọrọ awujọ jẹ awọn idanwo laabu ni ibi ti awọn ọmọ ile-iwe giga kọkọẹkọ ṣe awọn iṣẹ ajeji ni ile-iwe fun idiyele gbese. Iru iṣanwo yii ni o ṣe akoso iwadi ni imọ-ẹmi-ọrọ nitori pe o jẹ ki awọn oluwadi ṣe ipilẹ awọn eto iṣakoso ti o yẹ lati sọtọ ati idanwo awọn imọran pato nipa ihuwasi awujọ. Fun awọn iṣoro diẹ, sibẹsibẹ, nkankan kan ni ibanujẹ nipa didi awọn ipinnu ti o lagbara nipa iwa eniyan lati awọn eniyan ti o yatọ ti o ṣe awọn iṣẹ ṣiṣe ti o rọrun ni iru ipilẹ ti ko ni idiwọn. Awọn iṣoro wọnyi ti yori si iṣoro si awọn idanwo igberiko . Awọn aaye imudaniloju darapo apẹrẹ lagbara ti awọn iṣeduro iṣakoso ti a ti iṣeto pẹlu awọn ẹgbẹ ẹgbẹ diẹ ẹ sii ti awọn olukopa ti o ṣe awọn iṣẹ ti o wọpọ ni awọn eto aifọwọlẹ sii.

Biotilejepe diẹ ninu awọn eniyan ronu nipa laabu ati awọn igbeyewo ni aaye bi awọn idija, o dara julọ lati ronu wọn gẹgẹbi atunṣe, pẹlu awọn agbara ati ailera pupọ. Fun apẹẹrẹ, Correll, Benard, and Paik (2007) lo awọn ayẹwo mejeeji kan ati idanwo igbimọ kan ni igbiyanju lati wa awọn orisun ti "iyaran iya". Ni Amẹrika, awọn iya ṣe kere kere ju awọn ọmọ alaibirin lọ, paapa nigbati n ṣe afiwe awọn obirin ti o ni iru ogbon ti o ṣiṣẹ ni awọn iṣẹ kanna. Ọpọlọpọ awọn alaye ti o ṣee ṣe fun apẹrẹ yii, ọkan ninu eyi ni pe awọn agbanisiṣẹ ti ṣe ipalara si awọn iya. (O yanilenu, idakeji dabi pe o jẹ otitọ fun awọn baba: wọn ma ngba diẹ sii ju awọn ọmọ ti ko ni alaini ọmọ.) Lati ṣe ayẹwo idibajẹ to lodi si awọn iya, Correll ati awọn alabaṣiṣẹpọ ran awọn ayẹwo meji: ọkan ninu ile-iwe ati ọkan ninu aaye.

Ni akọkọ, ninu iwadii ile-iwe wọn sọ fun awọn olukopa, awọn ti o jẹ ile-iwe giga kọlẹẹjì, pe ile-iṣẹ kan n ṣawari iṣẹ ti iṣelọpọ fun eniyan lati ṣakoso ẹka titun ti ita gbangba ti East Coast. A sọ fun awọn ọmọ ile-iṣẹ pe ile-iṣẹ fẹ iranlọwọ wọn ninu ilana igbanisise, a si beere wọn lati ṣe ayẹwo atunṣe ọpọlọpọ awọn oludije ti o pọju ati lati ṣe oṣuwọn awọn oludije lori awọn nọmba kan, gẹgẹbi imọran wọn, igbadun, ati ifaramọ lati ṣiṣẹ. Pẹlupẹlu, wọn beere awọn ọmọ ile-iwe boya wọn yoo sọ fun igbanisise olubẹwẹ ati ohun ti wọn yoo sọ gẹgẹbi ọsan ibere. Ṣugbọn awọn ọmọ ile-iwe ko mọye, awọn ilọsiwaju naa ni wọn ṣe pataki lati ṣe iru ayafi fun ohun kan: diẹ ninu awọn ti wọn ṣe afihan iya-ọmọ (nipa kikojọ ilowosi ninu alabaṣepọ obi-olukọ) ati diẹ ninu awọn ko ṣe. Correll ati awọn alabaṣiṣẹpọ ti ri pe awọn ọmọ ile-iwe ko kere lati ṣe iṣeduro awọn igbanilẹṣẹ awọn iya ati pe wọn fun wọn ni oṣuwọn ti o bẹrẹ isalẹ. Pẹlupẹlu, nipasẹ ipinnu iṣiro ti awọn akọsilẹ ati awọn ipinnu igbanisọrọ, Correll ati awọn alabaṣiṣẹpọ ti ri pe awọn aiyede iya ti ni imọran pupọ nipasẹ otitọ pe a ti sọ wọn ni isalẹ ni ipo ti o ni agbara ati ifaramọ. Bayi, igbadii ile-iwe yii fun Correll ati awọn alabaṣiṣẹpọ lati ṣe idiwọn ipa-ipa ati ki o pese alaye ti o jẹ fun idi naa.

Dajudaju, ọkan le jẹ ṣiyemeji nipa sisọ awọn ipinnu nipa gbogbo ile-iṣẹ iṣọ AMẸRIKA ti o da lori awọn ipinnu ti awọn ọgẹjọ ọgọrun ọdun ti o ti jasi ko ni iṣẹ-kikun, jẹ ki o nikan ṣe alawẹṣe ẹnikan. Nitorina, Correll ati awọn alabaṣiṣẹpọ tun ṣe itọju igbadun iranlowo. Wọn dahun si awọn ọgọrun-un ti awọn ile-iṣẹ iṣowo ti o ni ipolowo pẹlu awọn lẹta lẹta ikọlẹ ti o si bẹrẹ. Gẹgẹbi awọn ohun elo ti o han si awọn iwe-ẹkọ, awọn kan bẹrẹ si iya iyaafihan ati diẹ ninu awọn ko ṣe. Correll ati awọn ẹlẹgbẹ ri pe awọn iya ko kere julọ lati pe fun awọn ibere ijomitoro ju awọn ọmọ alaini ọmọ ti ko ni alaini. Ni gbolohun miran, awọn agbanisiṣẹ gidi ti n ṣe awọn ipinnu ti o ṣe pataki ni ipo ipilẹ kan ni o ṣe bi awọn alakọ-iwe giga. Ṣe wọn ṣe awọn ipinnu kanna fun idi kanna? Laanu, a ko mọ. Awọn oluwadi ko ni anfani lati beere lọwọ awọn agbanisiṣẹ lati ṣe akiyesi awọn oludije tabi ṣe alaye awọn ipinnu wọn.

Bọọlu meji ti awọn adanwo ṣe afihan pupọ nipa laabu ati awọn igbeyewo ni aaye ni apapọ. Awọn atilẹyewo awọn iwe nfun awọn oluwadi ni ayika-iṣakoso gbogbo ti ayika ti awọn olukopa n ṣe awọn ipinnu. Nitorina, fun apẹẹrẹ, ninu idanwo laabu, Correll ati awọn alabaṣiṣẹpọ ni o le rii daju pe gbogbo awọn igbasilẹ naa ni a ka ni ibi ipalọlọ; ninu idanwo igbin, diẹ ninu awọn ipadabọ ko le paapaa ti a ka. Pẹlupẹlu, nitori awọn alabaṣepọ ninu laabu ti o mọ pe a ti ṣe iwadi wọn, awọn oluwadi nigbagbogbo ngba awọn afikun data ti o le ṣe iranlọwọ alaye idi ti awọn olukopa ṣe ipinnu wọn. Fun apẹẹrẹ, Correll ati awọn alabaṣiṣẹpọ beere lọwọ awọn alabaṣepọ ni idaduro ile-iṣọ lati ṣe iyatọ awọn oludije lori awọn iṣiro oriṣiriṣi. Iru iru ilana ilana yii le ṣe iranlọwọ fun awọn oluwadi ni oye awọn ilana ti o wa lẹhin iyatọ ni bi awọn olukopa ṣe tọju ibẹrẹ.

Ni apa keji, awọn ami kanna ti o ṣe pataki ti mo ti sọ tẹlẹ gẹgẹbi awọn anfani ni a maa n kà awọn aiyede. Awọn oniwadi ti o fẹran awọn adanwo-ilẹ ni o jiyan pe awọn alabaṣepọ ninu awọn igbadun ti a fiwe laabu le ṣe ni iyatọ pupọ nitori pe wọn mọ pe wọn n ṣe akẹkọ. Fun apẹẹrẹ, ninu idanwo laabu, awọn alabaṣepọ le ti sọye idiyele ti iwadi naa ki o si yi awọn iwa wọn pada ki wọn ki o má ba farahan. Pẹlupẹlu, awọn oluwadi ti o fẹ awọn imudaniloju aaye le ṣe ariyanjiyan pe awọn iyatọ kekere ti o tun pada le nikan jade ni agbegbe ti o mọ, ti o ni iyọda ti o ni iyọ, ati bayi naa yoo jẹ ki iṣanwo iriri ti iya ṣe lori awọn ipinnu ifowopamọ gidi. Lakotan, ọpọlọpọ awọn oludasilo ti awọn idanwo igberun n ṣe idajọ awọn iṣeduro awọn ile-iwe ni igbekele lori awọn alabaṣepọ WEIRD: o kun awọn ọmọ ile-iwe lati Oorun, Ikẹkọ, Iṣẹ-iṣẹ, Ọlọrọ, ati Democratic (Henrich, Heine, and Norenzayan 2010a) . Awọn igbadun nipasẹ Correll ati awọn ẹlẹgbẹ (2007) ṣe afiwe awọn ipo meji ti o wa lori iṣesi ile-iwe. Ni laarin awọn ọna wọnyi meji tun wa awọn orisirisi awọn aṣa arabara, pẹlu awọn ọna ti o wa gẹgẹbi mu awọn ọmọ-iwe ti kii ṣe awọn ọmọ-iwe sinu ile-iṣẹ tabi lọ si aaye ṣugbọn si tun n jẹ awọn olukopa ṣe iṣẹ-ṣiṣe ti ko ni.

Ni afikun si awọn aaye-iṣẹ lab-lab ti o ti wa ni igba atijọ, ọjọ ori-ọjọ jẹ pe awọn oniwadi ni bayi ni ipa pataki keji pẹlu awọn igbadun le yatọ: analog-digital. Gẹgẹ bi awọn idanwo laabu funfun, awọn adanwo awọn aaye daradara, ati awọn orisirisi awọn hybrids laarin, nibẹ ni awọn ohun elo analog daradara, awọn imuduro ti o dara digiri, ati awọn orisirisi awọn hybrids. O jẹ ẹtan lati pese itumọ ti ikede ti iru ọna yii, ṣugbọn itumọ iṣiṣẹ ti o wulo jẹ pe awọn adanwo-awo ni kikun ni awọn adanwo ti o nlo awọn amayederun oni-nọmba lati gba awọn olukopa ṣiṣẹ, ṣinṣin, yọ awọn itọju, ati awọn idiwọn abawọn. Fun apẹẹrẹ, iwadi Restivo ati van de Rijt (2012) ti awọn barnstars ati Wikipedia jẹ idanwo ni kikun ni kikun nitori pe o lo awọn ọna oni-nọmba fun gbogbo awọn igbesẹ mẹrin wọnyi. Bakannaa, awọn igbadii analog ni kikun ko ṣe lo awọn amayederun oni-nọmba fun eyikeyi ninu awọn igbesẹ mẹrin. Ọpọlọpọ awọn igbadun ti o ni imọran ni imọ-ẹmi-ọkan jẹ awọn igbadun analog ni kikun. Ni laarin awọn iwọn meji wọnyi, awọn iṣanwo oni-nọmba kan wa ti o nlo apapo awọn ọna ẹrọ analog ati oni.

Nigba ti diẹ ninu awọn eniyan ba ronu nipa awọn adanwoju oni, wọn lero lẹsẹkẹsẹ awọn igbadun lori ayelujara. Eyi jẹ alailori nitori awọn anfani lati ṣiṣe awọn iṣanwo oni-nọmba ko ṣe lori ayelujara. Awọn oniwadi le ṣiṣe awọn igbeyewo awọn nọmba oni-nọmba kan nipa lilo awọn ẹrọ oni-nọmba ni aye ti ara lati gba awọn itọju tabi awọn abajade awọn idiwọn. Fun apẹẹrẹ, awọn oluwadi le lo awọn fonutologbolori lati gba awọn itọju tabi awọn ẹrọ inu ẹrọ ni ayika ti a ṣe lati ṣe iwọn awọn esi. Ni otitọ, gẹgẹbi a yoo rii nigbamii ninu ori yii, awọn oluwadi ti lo awọn agbara agbara ile lati ṣe abawọn awọn abajade ninu awọn idanwo nipa agbara agbara ti o ni awọn ọmọ ile 8.5 million (Allcott 2015) . Gẹgẹbi awọn ẹrọ oni-ẹrọ ti npọ si i sinu aye awọn eniyan ati awọn sensọ ti di ara sinu ayika ti a ṣe, awọn anfani wọnyi lati ṣe awọn iṣan-a-ṣe ti awọn oni-nọmba kan ni aye ti ara ni yio ma pọ si ilọsiwaju. Ni gbolohun miran, awọn imuduro ti iṣan kii ṣe awọn igbanilẹrọ lori ayelujara.

Awọn ọna ẹrọ ti n ṣatunṣe awọn ohun elo titun fun awọn igbadun ni gbogbo ibi pẹlu iṣafihan aaye-lab. Ni awọn imudaniloju laabu asọ, fun apẹẹrẹ, awọn oluwadi le lo awọn ọna oni-nọmba fun iṣaro to dara julọ ti awọn ihuwasi awọn olukopa; apẹẹrẹ kan ti iru irọrun ti a ni ilọsiwaju jẹ ohun elo iboju-oju ti o pese awọn ilana to ṣafihan ati awọn idiwọn ti iṣaju ipo. Ọjọ ori ọjọ tun ṣẹda iṣeduro ti nṣiṣẹ laabu-bi awọn idanwo lori ayelujara. Fun apẹẹrẹ, awọn oluwadi ti gba kiakia Amazon Mechanical Turk (MTurk) lati gba awọn olukopa fun awọn adanwo wẹẹbu (nọmba 4.2). Maturk matches "awọn agbanisiṣẹ" ti o ni awọn iṣẹ-ṣiṣe ti o nilo lati pari pẹlu "awọn oṣiṣẹ" ti o fẹ lati pari awọn iṣẹ-ṣiṣe naa fun owo. Kii awọn ọja iṣowo ibile, sibẹsibẹ, awọn iṣẹ-ṣiṣe ti o nbeere nigbagbogbo nilo iṣẹju diẹ lati pari, ati gbogbo ibaraenisepo laarin agbanisiṣẹ ati oṣiṣẹ jẹ lori ayelujara. Nitori awọn ohun elo MTurk mimics ti awọn ọmọde ti n san owo-iṣowo ti iṣaju lati pari awọn iṣẹ-ṣiṣe ti wọn ko le ṣe fun free-o jẹ nipa ti o yẹ fun awọn oniruuru awọn adanwo. Ni pataki, MTurk ti ṣẹda awọn amayederun fun iṣakoso omi alakoso awọn olukopa-igbasilẹ ati san owo fun awọn eniyan-ati awọn oniwadi ti lo anfani ti awọn amayederun naa lati tẹ sinu awọn adajọ ti awọn alabaṣepọ nigbagbogbo.

Atọka 4.2: Awọn iwe ti a gbejade pẹlu data lati Amazon Mechanical Turk (MTurk). MTurk ati awọn iṣẹ iṣowo miiran ti ita ni nṣe fun awọn oluwadi ni ọna ti o rọrun lati gba awọn olukopa fun awọn adanwo. Ti a yọ lati Bohannon (2016) .

Awọn ọna ẹrọ ipilẹṣẹ ṣẹda awọn iṣaṣe diẹ sii fun awọn idanwo igbesi-aye. Ni pato, wọn jẹ ki awọn oluwadi ṣepọ pọ iṣakoso ati ilana data ti o ni nkan ṣe pẹlu awọn iṣeduro awọn labili pẹlu awọn oniruuru awọn alabaṣepọ ati awọn eto abayọ diẹ ti o ni nkan ṣe pẹlu awọn iṣeduro ile. Ni afikun, awọn igbadun aaye ẹri oniye tun nfun awọn anfani mẹta ti o nira lati ṣawari ni awọn iṣeduro analog.

Ni akọkọ, lakoko ti ọpọlọpọ awọn ayẹwo analog ati awọn igbeyewo aaye ni awọn ọgọgọrun ti awọn alabaṣepọ, awọn igbadun ile-aye oni-nọmba le ni milionu awọn olukopa. Yi iyipada ni aiyipada jẹ nitori diẹ ninu awọn iṣeduro oni-nọmba le gbe awọn data ni iye iyipada odo. Iyẹn ni, ni kete ti awọn awadi ti ṣẹda amayederun amayederun, nmu nọmba awọn olukopa lọpọlọpọ kii ṣe mu iye owo naa pọ sii. Alekun nọmba ti awọn alabaṣepọ nipasẹ ifosiwewe ti 100 tabi diẹ ẹ sii kii ṣe iyipada quantitative nikan ; o jẹ iyipada didara , nitori o jẹ ki awọn oniwadi kọ ẹkọ oriṣiriṣi lati awọn idanwo (fun apẹẹrẹ, idaamu ti awọn ipa itọju) ati lati ṣe awọn aṣa idaniloju ti o yatọ patapata (fun apẹẹrẹ, awọn iṣeduro nla-ẹgbẹ). Oro yii jẹ pataki pupọ, Emi yoo pada si ọdọ rẹ si opin ipin lẹhin ti mo ba ni imọran nipa ṣiṣẹda awọn iṣeduro oni.

Èkejì, nígbà tí ọpọ ẹbùn analog àti àwọn ìdánwò pápá ṣe ìtọjú àwọn olùkọ bíi àwọn ẹrọ aṣàfilọlẹ àìmọyọ, àwọn ìdánwò àgbáyé onídàárin ń lo ìwífún àdáni nípa àwọn olukopa nínú àgbékalẹ àti àwọn àsìṣe ìwádìí ti ìṣàwárí náà. Alaye alaye yii, ti a pe ni alaye iṣaaju-itọju , maa n wa ni awọn iṣeduro oni-nọmba nitori pe wọn nṣiṣẹ lori awọn ọna wiwọn nigbagbogbo (wo ori keji). Fún àpẹrẹ, oníwádìí kan ní Facebook ní ọpọ ìwífún àìdá-tẹlẹ nípa àwọn eniyan nínú àdánwò àdánwò oníṣe-ọjọ rẹ ju oníwádìí ìwádìí kan ní yunifásítì ní nípa àwọn ènìyàn tí ó wà nínú àdánwò analog rẹ ṣàdánwò. Ilana iṣaaju yii jẹ ki awọn aṣa imudaniloju diẹ sii-gẹgẹbi awọn idinamọ (Higgins, Sävje, and Sekhon 2016) ati ipolowo iṣeduro ti awọn olukopa (Eckles, Kizilcec, and Bakshy 2016) - ati imọran ti o ni oye diẹ-gẹgẹbi isọtẹlẹ ti isodipupo ti awọn itọju itoju (Athey and Imbens 2016a) ati atunṣe atunṣe fun didara to dara (Bloniarz et al. 2016) .

Kẹta, dajudaju ọpọlọpọ awọn ayẹwo analog ati awọn igbadun oko ni o fi awọn itọju ati awọn idiwọn idiwọn ni akoko ti o nipọn diẹ, diẹ ninu awọn idanwo-ajara ti o wa lasan n ṣẹlẹ lori awọn igba igba diẹ. Fun apeere, idaduro Restivo ati van de Rijt ni abajade ti a ṣewọn ni ojojọ fun ọjọ 90, ati ọkan ninu awọn imudaniloju ti emi yoo sọ fun ọ nigbamii ninu ori iwe (Ferraro, Miranda, and Price 2011) ṣe atẹle awọn esi lori ọdun mẹta ni iṣika rara iye owo. Awọn itọju anfani mẹta yii, awọn alaye itọju, ati iṣeduro igbagbogbo ati awọn abajade abajade ti o wọpọ julọ nigbati awọn igbadun ti wa ni ori awọn ọna wiwọn nigbagbogbo (wo ipin 2 fun diẹ sii lori awọn ọna wiwa nigbagbogbo).

Lakoko ti awọn adanwo-a-ilẹ awọn nọmba nfunni ọpọlọpọ awọn iṣeṣe, wọn tun pin awọn ailagbara miiran pẹlu awọn ayẹwo analog ati awọn adanwo awọn aaye analog. Fun apẹẹrẹ, awọn igbadun ko ṣee lo lati ṣe iwadi awọn ti o ti kọja, ati pe wọn le ṣe iṣeduro awọn ipa ti awọn itọju ti a le fọwọ si. Bakannaa, biotilejepe awọn adanwo jẹ laiseaniani wulo lati ṣe itọsọna awọn eto imulo, itọnisọna gangan ti wọn le pese ni itumo diẹ nitori awọn ilolu gẹgẹbi igbẹkẹle ayika, awọn iṣoro ibamu, ati awọn idiyele ọja (Banerjee and Duflo 2009; Deaton 2010) . Awọn imudaniloju aaye abinibi tun ṣe afihan awọn iṣoro ti o dapọ nipa awọn idanwo-oko-koko kan ti emi yoo kọ nigbamii ni ori yii ati ni ori 6.