4.3 Kaks mõõtmed eksperimendid: lab-alal ja analoog-digitaalse
Lab eksperimendid pakuvad kontrolli, eksperimente pakkuda realism ja digitaalse eksperimente ühendavad kontrolli ja realism kell skaalal.
Katsed tulevad paljudesse erinevatesse kujudesse ja suurustesse. Varasemad on teadlased leidnud abistavat eksperimentide korraldamist laboratoorsete eksperimentide ja katsete vahelisel kattuvusel . Nüüd aga peaksid teadlased korraldama katseid ka teise katkematu analoogkatsetuste ja digitaalsete eksperimentidega . See kahemõõtmeline disainipind aitab teil mõista erinevate lähenemisviiside tugevusi ja nõrkusi ning tuua välja parimad võimalused (joonis 4.1).
Joonis 4.1: katse disainilahenduse skeem. Varem varieerusid katsed mööda laboriala mõõdet. Nüüd erinevad need ka analoog-digitaalset mõõdet. Seda kahemõõtmelist kujundusruumi illustreerivad neli katset, mida ma kirjeldan selles peatükis. Minu arvates on suurimate võimaluste piirkond digitaalseteks katseteks.
Üks mõõde, millega katsed on võimalik korraldada, on laboriala mõõde. Paljud eksperimendid sotsiaalteadustes on laborikatsetused, kus bakalaureuseõppe üliõpilased teevad laboratooriumis lahedaid ülesandeid. Selline eksperiment domineerib psühholoogiaalases uurimuses, kuna see võimaldab teadlastel luua kõrgelt kontrollitud seaded, et täpselt isoleerida ja testida konkreetseid teooriaid sotsiaalse käitumise kohta. Teatud probleemide puhul tundub midagi natuke imelikku sellest, et teha selliseid ebatavalisi inimesi sellistest ebatavalistest ülesannetest sellises ebatavalises keskkonnas toimuvat inimkäitumist tugevate järelduste tegemisel. Need on toonud kaasa liikumise suunas eksperimente. Väliuuringud ühendavad juhuslike kontrollikriteerinute tugevama disaini koos esinduslikumate osalejate rühmadega, kes tegelevad tavalisemate ülesannetega looduslikes tingimustes.
Kuigi mõni inimene arvab, et labor ja välitegurid on konkureerivad meetodid, on kõige parem mõelda nende täiendavana, millel on erinevad tugevused ja nõrkused. Näiteks Correll, Benard, and Paik (2007) kasutasid mõlema laborikatse Correll, Benard, and Paik (2007) katset, et leida "emaduse karistuse" allikaid. Ameerika Ühendriikides saavad emad vähem raha kui lapseta naised, isegi kui samasuguste töökohtadega sarnaste oskustega naiste võrdlemine. Selle mudeli jaoks on palju võimalikke seletusi, millest üks on see, et tööandjad on emade vastu suunatud. (Huvitav on see, et vastupidi tundub olevat tõsi isade jaoks: nad kipuvad teenima rohkem kui võrreldavaid lapsehoolduseta mehi.) Selleks et hinnata võimalikku eelarvamust emade vastu, tegid Correll ja tema kolleegid kaks katset: üks laboris ja teine valdkonnas.
Esmalt tegi eksperiment laboratooriumis osalejatele, kes olid kolleegiumi üliõpilased, ettevõtte tööotsijaks, kes otsis tööd oma uue East Coast turunduse osakonna juhtimisel. Üliõpilastele öeldi, et ettevõte soovib nende abi töölevõtmise protsessis, ja neil paluti läbi vaadata mitmed potentsiaalsed kandidaadid ja hinnata kandidaate paljudel mõõtmetel, näiteks nende luure, soojust ja pühendumust tööle. Lisaks küsiti õpilastelt, kas nad sooviksid palkamist taotlejalt ja mida nad sooviksid alustamaks palka. Üliõpilastele teadmata oli siiski, et jätkud olid spetsiaalselt konstrueeritud sarnastena, välja arvatud üks asi: mõned neist teatasid emast (lisades kaasamise vanemate ja õpetajate ühendusse) ja mõned mitte. Correll ja tema kolleegid leidsid, et õpilased soovitasid emade rentimist vähem ja pakkusid neile madalamat alustavat palka. Korrell ja tema kolleegid teatasid nii reitingute kui ka töölevõtmisega seotud otsuste statistilise analüüsi põhjal, et ema puudused olid suuresti seletatavad asjaoluga, et nende pädevus ja pühendumus olid madalamad. Seega võimaldas see laborikatset Correll ja tema kolleegid mõõta põhjuslikku mõju ja anda selle kohta võimalikud selgitused.
Loomulikult võib olla skeptiline, kui võtta järeldusi kogu USA tööturul, lähtudes mõnest sajast üliõpilast, kellel pole ilmselt kunagi olnud täiskohaga tööd, rääkimata palgatud töötajatest. Seepärast tegi Correll ja tema kolleegid täiendava välikatse. Nad reageerisid sadadele reklaamitud tööpakkumisi koos võltsitud kaaskirjaga ja jätkati. Sarnaselt üliõpilastele näidatud materjalidega jätkub mõni emotsiootne sündmusest, kuid mõned seda ei teinud. Correll ja tema kolleegid leidsid, et ema ei saanud intervjuudele tagasi kutsuda vähem kui võrdselt kvalifitseeritud lastega naised. Teisisõnu, tegelikud tööandjad, kes otsustavad loomulikult teha otsuseid, käitusid palju nagu üliõpilased. Kas nad tegid sarnaseid otsuseid samadel põhjustel? Kahjuks ei tea me seda. Uurijad ei suutnud paluda tööandjatel kandidaate hinnata ega selgitada nende otsuseid.
See katse paar näitab üldiselt palju labori- ja välieksperimente. Lab eksperimendid pakuvad teadlastele keskkonnakvaliteeti, milles osalejad otsuseid teevad. Nii näiteks näiteks laborikatses leidis Correll ja tema kolleegid, et kõik loendused jäid vaikseks; Välise katse ajal ei pruugi mõned jätkud olla isegi lugeda. Veelgi enam, kuna laboris osalejad teavad, et neid uuritakse, saavad teadlased sageli koguda täiendavaid andmeid, mis aitavad selgitada, miks osalejad otsuseid teevad. Näiteks Correll ja tema kolleegid palusid eksperimentides osalejaid hinnata kandidaate erinevate mõõtmetega. Sellised protsessiandmed aitaksid teadlastel mõista erinevuste mehhanisme, kuidas osalejad hakkavad jätkama.
Teiselt poolt peetakse neid samu omadusi, mida ma äsja nimetasin eelistusteks, ebasoodsamaks. Eksperimentide eelistanud teadlased väidavad, et laboratoorsete eksperimentide osalised võivad tegutseda väga erinevalt, kuna nad teavad, et neid uuritakse. Näiteks laborikatse näitas, et osalejad võisid teadusuuringute eesmärgist arvata ja oma käitumist muutnud, et need ei oleks erapoolikud. Lisaks sellele võivad teadlased, kes eelistavad välikatsetusi, väidavad, et väikesed erinevused jätkudes võivad eristada ainult väga puhtas steriilses laborikeskkonnas ja seega võimaldab laborikatse ennustada emastuse mõju tegelikele töölevõtmisotsustele. Lõpuks kritiseerivad mitmed väliekspertide pooldajad lab eksperimentide toetumist WEIRD osalejatele: peamiselt Lääne-, haritud, tööstuslikult, rikkadelt ja demokraatlikelt riikidest pärit õpilased (Henrich, Heine, and Norenzayan 2010a) . Correlli ja tema kolleegide (2007) katsed illustreerivad laboratooriumi kontinuumina kaht äärmust. Nende kahe äärmuse vahel on ka mitmesuguseid hübriidkonstruktsioone, sealhulgas lähenemisviise, mis hõlmavad mitte-üliõpilaste laborisse toomist või väljalülitamist, kuid osalejad täidavad endiselt ebatavalisi ülesandeid.
Lisaks minevikus eksisteerinud laboriala mõõtmele tähendab digitaalajastu, et teadlastel on nüüd teine oluline mõõde, millega eksperimendid võivad varieeruda: analoog-digitaalne. Nii nagu on olemas puhtaid laborikatsetusi, puhtaid välieksperimente ja mitmesuguseid hübriide, on olemas puhtaid analoogkatsetusi, puhtaid digitaalseid eksperimente ja mitmesuguseid hübriide. Selle mõõtme ametlik määratlemine on keeruline, kuid kasulik töö määratlus on see, et täiesti digitaalsed eksperimendid on eksperimendid, mis kasutavad digitaalset infrastruktuuri, et värvata osalejaid, juhuslikult valida, pakkuda ravimeid ja mõõta tulemusi. Näiteks Restivo ja van de Rijti (2012) uuring barnstarsi ja Wikipedia kohta oli täiesti digitaalne eksperiment, sest ta kasutas digitaalsüsteeme nelja sammu jaoks. Samamoodi ei kasuta täielikult analoogkatsetes digitaalinfrastruktuuri nendest neljast sammust. Paljud klassikalised eksperimendid psühholoogias on täiesti analoogkatsed. Nende kahe äärmuse vahel on osaliselt digitaalsed eksperimendid, mis kasutavad analoog- ja digitaalsüsteemide kombinatsiooni.
Kui mõned inimesed mõtlevad digitaalsetele eksperimentidele, mõtlevad nad kohe online-eksperimentidele. See on kahetsusväärne, sest digitaalsete eksperimentide käitamise võimalused ei ole ainult veebis. Teadlased saavad osaliselt digitaalseid eksperimente kasutades kasutada digitaalseid seadmeid füüsilises maailmas, et pakkuda ravimeid või mõõta tulemusi. Näiteks võiksid teadlased kasutada nutitelefoni, et pakkuda tulemuste mõõtmiseks sisseehitatud keskkonnas ravi või andureid. Tegelikult, nagu me näeme hiljem selles peatükis, on teadlased juba kasutanud koduse võimsuse mõõtjaid, et mõõta energiakulude katsete tulemusi 8,5 miljoni leibkonna kohta (Allcott 2015) . Kuna digitaalsed seadmed muutuvad üha enam inimeste elusesse ja sensorid integreeritakse ehitatud keskkonda, kasvavad need võimalused osaliselt digitaalsete katsete tegemiseks füüsilises maailmas dramaatiliselt. Teisisõnu, digitaalsed katsed ei ole ainult veebipõhised katsed.
Digitaalsüsteemid loovad uusi võimalusi eksperimentideks kõikjal laboratoorsete alade pidevas suunas. Näiteks saavad teadlased puhtalt laborikatsetes kasutada digitaalseid süsteeme osalejate käitumise täpseks mõõtmiseks. Üks näide sellest parema mõõtmise tüübist on silmade jälgimise seadmed, mis tagavad täpse ja pideva vaateavalduse. Digitaalajastu loob ka võimaluse katsetada veebipõhiseid laborikatseid. Näiteks on teadlased kiiresti kasutusele võtnud Amazoni mehaanilise türgi (MTurk) võrgustikekspertide jaoks (joonis 4.2). MTurk vastab "tööandjatele", kellel on ülesanded, mis tuleb täita "töötajatega", kes soovivad neid ülesandeid raha eest lõpule viia. Erinevalt tavapärastest tööturgudest nõuavad tavaliselt ülesannete täitmine vaid paar minutit ja kogu tööandja ja töötaja interaktsioon on võrgus. Kuna MTurk imiteerib traditsiooniliste laborikatsete aspekte, mis maksavad inimestele ülesannete täitmist, mida nad tasuta ei tee, on see loomulikult sobiv teatud tüüpi eksperimentide jaoks. Sisuliselt on MTurk loonud infrastruktuuri osalejate kogumi haldamiseks - inimeste värbamine ja maksmine - ja teadlased on selle infrastruktuuri ära kasutanud, et kasutada alati alati osalejate kogumit.
Joonis 4.2: Amazon Mechanical Turki (MTurk) andmete alusel avaldatud dokumendid. MTurk ja muud võrguturud pakuvad teadlastele mugavat võimalust osaleda eksperimentides. Kohandatud alates Bohannon (2016) .
Digitaalsed süsteemid loovad veelgi rohkem võimalusi valdkonnaspetsiifilisteks katseteks. Eelkõige võimaldavad teadlased kombineerida laborikatsetega seostatud rangemaid kontrolli- ja töötlemisandmeid koos mitmekesisemate osalejatega ja rohkem looduslikke seadeid, mis on seotud laborikatsetega. Lisaks pakuvad digitaalsed välieksperimendid ka kolme võimalust, mis analoogkatsetes olid kergesti keerulised.
Esiteks, arvestades, et enamikul analoog-laboratooriumide ja välikatsetes on sadu osalejaid, võib digitaalsete katsete abil olla miljoneid osalejaid. See skaala muutus on see, et mõned digitaalsed katsed võivad toota muutuva maksumääraga andmeid. See tähendab, et kui teadlased on loonud eksperimentaalse infrastruktuuri, ei suurenda osalejate arv tavaliselt kulusid. Osavõtjate arvu suurendamine 100 korda või rohkem ei ole mitte ainult kvantitatiivne muutus; see on kvalitatiivne muutus, sest see võimaldab teadlastel õppida eksperimentides erinevatest asjadest (nt raviefektide heterogeensus) ja käivitada täiesti teistsuguseid katseprojekte (nt suuremahuliste eksperimentidega). See punkt on nii oluline, ma lähen selle juurde peatüki lõpuni, kui annan nõu digitaalsete eksperimentide loomise kohta.
Teiseks, kuna enamus analoog-laborit ja välieksperimente käsitlevad osalejaid kui eristatavaid vidinaid, kasutavad digitaalsed välieksperimendid uuringu projekteerimis- ja analüüsietapis sagedamini osalejate taustteavet. See taustateave, mida nimetatakse eeltöötluseks , on sageli saadaval digitaalsete eksperimentide puhul, sest neid kasutatakse alati alati mõõtesüsteemides (vt peatükk 2). Näiteks Facebooki teadlane on oma digitaalpiirkonna eksperimendis palju rohkem ettevalmistusandmeid, kui ülikooli teadlane on oma analoogväli eksperimentides. See eeltöötlus võimaldab efektiivsemaid eksperimentaalseid projekte, nagu blokeerimine (Higgins, Sävje, and Sekhon 2016) ja osalejate sihitud värbamine (Eckles, Kizilcec, and Bakshy 2016) ja põhjalikum analüüs, näiteks raviefektide heterogeensuse hindamine (Athey and Imbens 2016a) ning kovariatsiooni korrigeerimine parema täpsuse saavutamiseks (Bloniarz et al. 2016) .
Kolmandaks, kuna paljud analoog-laborid ja välikatsed annavad ravimeetodeid ja mõjutavad tulemusi suhteliselt surutud aja jooksul, mõned digitaalsed välieksperimendid toimuvad palju pikemate ajavahemike järel. Näiteks Restivo ja van de Rijti eksperimendi tulemusena mõõdeti iga päev 90 päeva, ja ühes katses kirjeldasin ma hiljem peatükis (Ferraro, Miranda, and Price 2011) kolme aasta jooksul jälgitavaid tulemusi põhimõtteliselt mitte maksumus. Need kolm võimaluse suurust, eeltöötlemist puudutavat teavet ning pikisuunalist ravi ja tulemuste andmeid tekivad kõige sagedamini, kui katsed töötavad alati alati mõõtesüsteemides (vt peatükki 2, et saada rohkem teavet alati mõõtesüsteemidest).
Kuigi digitaalväljaanalüüsid pakuvad palju võimalusi, jagavad nad ka mõningaid nõrkusi nii analooglabal kui ka analoogvälja eksperimentides. Näiteks ei saa eksperimente mineviku uurimiseks kasutada ja nad saavad hinnata ainult ravirežiimide mõju, mida saab manipuleerida. Kuigi eksperimendid on kahtlemata kasulikud poliitika juhtimiseks, on täpsed juhised, mida nad võivad pakkuda, mõnevõrra piiratud selliste komplikatsioonide tõttu nagu keskkonnast sõltuvus, vastavusprobleemid ja tasakaalu mõju (Banerjee and Duflo 2009; Deaton 2010) . Digitaalsed välikatsed suurendavad ka välitestidega loodud eetilisi probleeme - teemat, mida käsitletakse hiljem selles peatükis ja 6. peatükis.
