4.3 Kaks mõõtmed eksperimendid: lab-alal ja analoog-digitaalse

Lab eksperimendid pakuvad kontrolli, eksperimente pakkuda realism ja digitaalse eksperimente ühendavad kontrolli ja realism kell skaalal.

Eksperimendid tulevad palju erineva kuju ja suurusega. Kuid hoolimata nende erinevuste teadlased on leidnud see kasulik korraldada eksperimente kontiinumis vahel lab eksperimente ja eksperimente. Nüüd aga teadlased peaksid korraldama ka eksperimente kontiinumis vahel analoog eksperimente ja digitaalse eksperimente. See kahemõõtmeline disainilahendus ruumi aitab mõista tugevaid ja nõrku külgi erinevaid lähenemisi ja soovitan valdkondades suurim võimalus (joonis 4.1).

Joonis 4.1: skeem disain ruumi eksperimente. In the past, eksperimendid varieerus mööda lab-valdkonnas mõõtme. Nüüd nad erineda ka analoog-digitaalse mõõtme. Minu arvates ala suurim võimalus on digitaalne eksperimente.

In the past, peamine et teadlased korraldatud eksperimentide oli mööda lab-valdkonnas mõõtme. Suurem osa katsetest sotsiaalteadused on lab eksperimente, kus üliõpilast sooritada kummaline ülesandeid laborisse muidugi krediiti. Seda tüüpi katses domineerib teadus psühholoogia, sest see võimaldab teadlastel luua väga konkreetne ravi eesmärk on kontrollida väga spetsiifilised teooriaid sotsiaalset käitumist. Teatud probleeme, aga midagi tundub natuke imelik umbes juhtides tugeva järeldusi inimkäitumist sellised ebaharilikud inimesed täidavad sellised ebaharilikud ülesandeid nii ebatavaline seadmine. Need on toonud kaasa liikumise suunas eksperimente. Eksperimente ühendada tugev disain randomiseeritud kontroll eksperimendid esinduslikum osalejate grupid, esinedes sagedamini ülesandeid, rohkem looduslikke seaded.

Kuigi mõned inimesed arvavad, lab ja eksperimente konkureerivate meetodeid, siis on parem mõtle neid täiendavad meetodid erinevad tugevad ja nõrgad küljed. Näiteks Correll, Benard, and Paik (2007) kasutati nii laboris eksperimendi ja väli eksperiment katse leida allikad "emadus karistus." In the United States, emad teenivad vähem raha kui lastetud naised, isegi kui võrreldes naiste sarnaste oskustega töötavad samalaadsetes töökohta. Seal on palju võimalikke seletusi see muster, ja üks on see, et tööandjad on liigsesse emad. (Huvitav, vastupidi tundub olevat tõeline isadele: nad teenivad rohkem kui võrreldaval lasteta meeste). Selleks, et hinnata võimalikku erapoolikust emad, Correll ja tema kolleegid jooksis kahe eksperimendid: üks laboris ja ühe valdkonna.

Esiteks laboris eksperimendi Correll ja tema kolleegid ütlesid osalejad, kes olid kolledži üliõpilastele, et Californias asuv start-up side ettevõte oli läbi tööd otsida, kes juhib oma uue East Coast turundusosakonna. Õpilased öeldi, et ettevõte soovis nende abi rentides protsessi ja paluti neil vaadata jätkub ning mitut võimalikku kandidaati ja hinnata kandidaatide hulk mõõtmed nagu nende intelligentsust, soojust ja pühendumust teha. Lisaks paluti õpilastel kui nad soovitavad rentides taotleja ja mida nad soovitavad alustades palk. Unbeknownst õpilased aga jätkub olid spetsiaalselt konstrueeritud sarnased, välja arvatud üks asi: mõned resümeed märku sünnitusega (loetledes osalemises Lastevanemate) ja mõned mitte. Correll leidis, et õpilased olid väiksema tõenäosusega soovitada rentides emad ja pakkus neile väiksem põhipalk. Lisaks läbi statistiline analüüs nii pole ja värbamisega seotud otsused, Correll leidis, et emade puudused olid suuresti seletada asjaoluga, et emad olid hinnatud madalam poolest kompetentsi ja pühendumust. Teisisõnu, Correll väidab, et need tunnused on mehhanism, mille kaudu ema on ebasoodsas olukorras. Seega, see lab eksperiment lubatud Correll ja tema kolleegid, et mõõta põhjuslik mõju ja pakkuda võimalik seletus selle kohta.

Muidugi võiks olla skeptiline järelduste tegemiseks selle kohta kogu USA tööturul põhineb otsused paarsada tudengit, kes on ilmselt kunagi olnud täiskohaga töö, rääkimata palgatud inimesed. Seetõttu Correll ja tema kolleegid läbi ka täiendav valdkonnas eksperiment. Teadlased vastasid sajad reklaamitud tööpakkumist saates võltsitud kaaskirjad jätkub. Sarnaselt materjalide näidatakse üliõpilastele, mõned resümeed märku emaduse ja mõned ei ole. Correll ja tema kolleegid leidsid, et emad olid vähem tõenäoline, et saada tagasi kutsutud intervjuule, kui sama kvalifikatsiooniga lastetu naised. Teisisõnu tõeline tööandjate tehakse sellest tulenevad otsused füüsiline seade käitus meelega üliõpilastele. Kas nad teevad samasuguseid otsuseid samal põhjusel? Kahjuks me ei tea. Teadlased ei suutnud küsida tööandjate hinnata kandidaatide või selgitada oma otsuseid.

See paar eksperimente paljastab palju lab ja eksperimente üldiselt. Lab eksperimendid pakuvad teadlased lähedal täielik kontroll keskkonna, kus osalejad teevad otsuseid. Nii näiteks laboris eksperimendi, Correll suutis tagada, et kõik jätkub lugeda rahulikus õhkkonnas; valdkonnas eksperiment, mõned resümeed ei pruugi olla isegi lugenud. Lisaks, kuna osalejate laboris seade teavad, et neid uuritakse, teadlased sageli võimalik koguda täiendavaid andmeid, mis aitavad neil mõista, miks osalejad on oma otsuste tegemisel. Näiteks Correll paluti osalejatel laboris eksperimendi hinnata kandidaatide erinevat mõõdet. Selline protsess andmeid võib aidata teadlastel mõista mehhanisme taga erinevusi, kuidas osalejad raviks jätkub.

Teiselt poolt, need täpselt sama omadused, et ma lihtsalt kirjeldada eeliseid on ka mõnikord peetakse miinused. Teadlased, kes eelistavad eksperimente väidavad, et osalejad lab eksperimendid võivad toimida väga erinevalt, kui neid hoolikalt jälgida. Näiteks laboris eksperimendi osalejaid oleks võinud arvata eesmärk on teadus- ja muuta oma käitumist, et mitte näida kallutatud. Lisaks teadlastele, kes eelistavad eksperimente võib väita, et väikesed erinevused jätkub vaid paistavad silma väga puhas, steriilne lab keskkond ja seega lab eksperiment üle hinnata mõju emadust tõeline rentides otsuseid. Lõpuks paljud pooldajad eksperimente kritiseerida lab eksperimendid sõltuvust imelik osalejad: peamiselt üliõpilaste Lääne, haritud, industrialiseeritud Rich ja demokraatlike riikide (Henrich, Heine, and Norenzayan 2010) . Eksperimendid Correll ja tema kolleegid (2007) illustreerida kahe äärmuse lab-valdkonnas jätkamisele. Aastal nende kahe äärmuse vahel on olemas erinevaid hübriidsete kujunduse sealhulgas lähenemisviiside, nagu tuues mitte õpilased laboris või laskumist valdkonnas, kuid endiselt osalejad täitma ebatavalist ülesannet.

Lisaks lab-valdkonnas mõõde, mis on püsinud viimase, digitaalajastul tähendab, et teadlased on nüüd teine ​​suur mõõde, mida mööda eksperimente võib varieeruda: analoog-digitaalse. Nii nagu on olemas puhas lab eksperimentides puhas eksperimente, ja erinevaid hübriidid vahel on puhas analoog eksperimentides täisdigitaalset katseid ning erinevaid hübriide. See on keeruline pakkuda ametliku määratluse selle mõõtme, kuid kasulik töö definitsioon on, et täielikult digitaalsed eksperimendid on katsed, et kasutada digitaalse infrastruktuuri värvata osalejaid, juhuslikult, pakkuda ravi, ja mõõta tulemusi. Näiteks Restivo ja van de Rijt oma (2012) uuring barnstars ja Wikipedia oli täielikult digitaalsed eksperiment, sest kasutatakse digitaalse süsteemi kõigi nelja neid samme. Samamoodi täielikult analoog eksperimendid on katsed, mis ei kasuta digitaalse infrastruktuuri mõni neist neljast etapist. Paljud klassikaline eksperimendid psühholoogia on analoog eksperimente. In nende kahe äärmuse vahele on osaliselt digitaalse eksperimendid, mis kasutavad kombinatsiooni analoog ja digitaalse süsteemid neljast etapist.

Kriitiliselt võimalusi käivitada digitaalne eksperimendid on mitte ainult online. Teadlased võivad töötada osaliselt digitaalse eksperimentide abil digitaalsete seadmete füüsilises maailmas, et pakkuda ravi või mõõta tulemusi. Näiteks teadlased võivad kasutada nutitelefonide pakkuda ravi või andurid ehitatud keskkonnas mõõta tulemusi. Tegelikult, nagu hiljem näeme selles peatükis on teadlased juba kasutatud kodus võimu meetri mõõta tulemusi eksperimendid sotsiaalsete normide ja energiakulu hõlmab 8,5 miljonit leibkondadest (Allcott 2015) . Nagu digitaalsetele seadmetele saanud üha enam kaasatud inimeste elu ja andurid järgult integreerida tehiskeskkond, neid võimalusi joosta osaliselt digitaalse eksperimendid füüsilises maailmas kasvab järsult. Teisisõnu, digitaalne eksperimentides ei ole lihtsalt võrgus eksperimente.

Digitaalne süsteeme luua uusi võimalusi eksperimentide kõikjal mööda lab-valdkonnas jätkamisele. Puhtal lab eksperimente, näiteks teadlased saavad kasutada digitaalset süsteemide täpsemaks mõõtmiseks osalejate käitumist; üks näide seda tüüpi täiustatud mõõtmine on silma jälgimise seade, mis annab täpset ja pidevat meetmed pilku asukohta. Digitaalajastu loob ka võimaluse käivitada lab moodi katseid online. Näiteks teadlased on kiiresti vastu Amazon Mechanical Turk (MTurk) värvata osalejaid online eksperimente (joonis 4.2). MTurk sobib "tööandjad", kes on ülesanded, mis tuleb lõpule viia "töötajad", kes soovivad täiendada nende ülesannete eest. Erinevalt tavapärastest tööturud, aga ülesanded on tavaliselt vaja ainult paar minutit, et täita ja kogu suhtlust tööandja ja töötaja on virtuaalne. Kuna MTurk jäljendab aspekte traditsioonilist lab eksperimendid tasustatud inimesed täita ülesandeid, et nad ei teeks vabalt, see on loomulikult sobib teatud tüüpi eksperimente. Sisuliselt MTurk on loonud infrastruktuuri haldamiseks bassein osalejate-värbamise ja pöörates inimesi-ja teadlased on kasutanud, et infrastruktuuri kasutusele arvesse alati olemas bassein osalejaid.

Joonis 4.2: Papers avaldatud andmeid kasutades Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk ja teiste online tööturg pakkuda teadlastele mugav viis värvata osalejaid eksperimente.

Digitaalne eksperimendid luua veelgi rohkem võimalusi valdkonnas moodi katseid. Digitaalne eksperimente võib pakkuda range kontrolli ja töödelda mõista võimalikke mehhanisme (nagu lab eksperimente) ja mitmekesisem osalejad muutes tegelikud otsused looduslikus keskkonnas (nagu eksperimente). Lisaks sellele kombinatsioonile head omadust varem eksperimente, digitaalne eksperimente ka pakkuda kolm võimalust, et oli raske analoog lab ja eksperimente.

Esiteks, arvestades, et enamik analoog lab ja eksperimente on sadu osalejaid, digitaalne eksperimente võib olla miljoneid osalejaid. See muutus skaala on sellepärast, et mõned digitaalsed eksperimendid võivad toota andmeid null muutuv kulu. See tähendab, et üks kord teadlased on loodud eksperimentaalne infrastruktuuri, suurendades osalejate arv tavaliselt ei suurenda kulu. Kasvav osalejate arv koefitsiendiga 100 või enam ei ole ainult kvantitatiivne muutus, see on kvalitatiivne muutus, sest see võimaldab teadlastel õppida erinevaid asju eksperimendid (nt heterogeensus ravi mõju) ja käivitada täiesti erinevat eksperimentaalseid ( nt suur hulk katseid). See koht on nii oluline, et ma tagasi pöörduda lõpus peatükis, kui ma nõu umbes luua digitaalse eksperimente.

Teiseks, arvestades, et enamik analoog lab ja eksperimente ravida osalejate eristamatu vidinad, digitaalne eksperimente kasutavad sageli taustinfot osalejad projekteerimise ja analüüsi etappide uuringuid. See taustinfot, mis on kutsutud eeltöötluse info on sageli digitaalselt kättesaadavad eksperimente, sest nad toimuvad täielikult mõõta keskkondades. Näiteks teadlane Facebook on palju eeltöötluse informatsiooni kui teadlane projekteerimisel standard lab eksperiment üliõpilastele. See eeltöötluse info võimaldab teadlastel liikuda ravivad osalejate eristamatu vidinad. Täpsemalt eeltöötluse teave võimaldab tõhusamat eksperimentaalseid-nagu blokeerimine (Higgins, Sävje, and Sekhon 2016) ja suunatud osalejate värbamine (Eckles, Kizilcec, and Bakshy 2016) -ja sisukam analüüs-nagu hinnangul heterogeensus ravi mõju (Athey and Imbens 2016a) ja kovarieeruv reguleerimine paranenud täpsuse (Bloniarz et al. 2016) .

Kolmandaks, arvestades, et paljud analoog lab ja eksperimente pakkuda ravi ja meetme tulemused suhteliselt kokkusurutud aega, mõned digitaalsed eksperimente kaasata ravi, mis saab tarnida ajas ja mõju saab mõõta ka pikema aja jooksul. Näiteks Restivo ja van de Rijt eksperiment on tulemus mõõdeti iga päev 90 päeva, ja üks eksperimendid ma ütlen teile hiljem osas (Ferraro, Miranda, and Price 2011) jälgib tulemustega võrreldes 3 aastat mingisugust kulu. Need kolm võimalust suurusega, eeltöötluse teavet ning pikisuunalised ravi ja tulemust andmete on kõige levinum kui eksperimente käivitada peal alati-mõõtmised süsteemid (vt 2. peatükki rohkem alati-mõõtesüsteemide).

Kuigi digitaalse eksperimente pakuvad palju võimalusi, ka nemad jagada mõningaid puudusi nii analoog lab ja eksperimente. Näiteks eksperimendid ei saa kasutada mineviku uurimiseks ning neid saab ainult hinnata ravi toimet, mida saab manipuleerida. Samuti, kuigi eksperimendid on kahtlemata kasulik poliitika suunamiseks, täpne juhised nad võivad pakkuda on mõnevõrra piiratud, sest tüsistuste, näiteks keskkonna sõltuvus, täitmise probleeme ja tasakaalu mõju (Banerjee and Duflo 2009; Deaton 2010) . Lõpuks digitaalse eksperimente võimenduvad eetilisi probleeme loodud eksperimente. Pooldajad eksperimente trompet nende võime märkamatult ja juhuslikult sekkuda põhjuslike otsused miljoneid inimesi. Need omadused pakuvad teatud teaduslike eeliseid, kuid nad võivad ka teha eksperimente eetiliselt kompleksi (mõelda teadlased ravivad inimesi nagu "lab rotid" massiliselt). Lisaks on lisaks võimalik kahjusid osalejad, digitaalne eksperimente, sest nende ulatust, võib ka muresid häireid töötab sotsiaalseid süsteeme (nt muret häireid Wikipedia tasu süsteemi, kui Restivo ja van der Rijt andis liiga palju barnstars) .