4.3 kaksi ulottuvuutta kokeita: lab-kenttä ja analoginen-digitaali

Laboratoriokokeissa tarjoavat ohjaus, kenttäkokeet tarjoavat realismia, ja digitaalinen kenttäkokeiden yhdistää ohjaus ja realismia mittakaavassa.

Kokeet ovat monenlaisia ​​muotoja ja kokoja. Aiemmin tutkijat ovat pitäneet hyödyllisiä järjestää kokeita laboratorion kokeiden ja kenttätutkimusten välillä . Nyt kuitenkin tutkijoiden on järjestettävä kokeita analogisen kokeilun ja digitaalisten kokeiden välillä toisella jatkumolla. Tämä kaksiulotteinen muotoilutila auttaa sinua ymmärtämään eri lähestymistapojen vahvuuksia ja heikkouksia ja korostamaan suurimpien mahdollisuuksien alueet (kuva 4.1).

Kuva 4.1: Suunnittelutilan kaaviot kokeille. Aiemmin kokeilut vaihtelivat lab-kentän ulottuvuutta pitkin. Nyt ne vaihtelevat myös analogisen ja digitaalisen ulottuvuuden välillä. Tätä kaksiulotteista muotoilutilaa kuvataan neljällä kokeella, joita kuvataan tässä luvussa. Mielestäni suurimman mahdollisuuden alue on digitaalisen kenttätutkimuksen alue.

Yksi ulottuvuus, jolle voidaan järjestää kokeita, on lab-kentän ulottuvuus. Monet yhteiskuntatieteiden kokeilut ovat laboratoriokokeita, joissa perustutkintoa suorittavat opiskelijat suorittavat outoja tehtäviä laboratoriossa luennoille. Tämäntyyppinen kokeilu hallitsee psykologian tutkimusta, koska se mahdollistaa tutkijoiden luoda erittäin kontrolloituja asetuksia täsmällisten erojen eristämiseksi ja testaamiseksi sosiaalisista käyttäytymismalleista. Tietyissä ongelmissa jotain kuitenkin tuntuu hieman outoa siitä, että saataisiin aikaan vahvoja johtopäätöksiä ihmisen käyttäytymisestä sellaisilta epätavallisilta ihmisiltä, ​​jotka suorittavat tällaisia ​​epätavallisia tehtäviä sellaisessa epätavallisessa ympäristössä. Nämä huolenaiheet ovat johtaneet liikkumiseen kohti kenttätutkimuksia . Kenttätutkimukset yhdistävät satunnaistettujen kontrollikokeiden voimakas suunnittelu entistä edustavampien osallistujaryhmien kanssa, jotka suorittavat yleisempiä tehtäviä luonnollisemmissa olosuhteissa.

Vaikka jotkut ihmiset ajattelevat labo- ja kenttätutkimuksia kilpaileviksi menetelmiksi, on parasta ajatella niitä täydentävinä, erilaisin vahvuuksin ja heikkouksin. Esimerkiksi Correll, Benard, and Paik (2007) käyttivät sekä laboratoriokokeilua että kenttätutkimusta yrittäessään löytää "äitiysrangaistuksen" lähteet. Yhdysvalloissa äidit ansaitsevat vähemmän rahaa kuin lapsettomat naiset, vaikka vertailemalla samankaltaisia ​​taitoja käyttäviä naisia ​​vastaavissa työpaikoissa. Tälle mallille on olemassa monia mahdollisia selityksiä, joista yksi on se, että työnantajat puolustavat äitiä vastaan. (Mielenkiintoista, päinvastoin näyttää olevan totta isille: heillä on taipumus ansaita enemmän kuin verrattavissa olevat lapsettomat miehet.) Jotta voitiin arvioida äitien mahdollisia ennakkoluuloja, Correll ja hänen kollegoistivat kaksi kokeilua: yksi laboratoriossa ja yksi kentällä.

Ensinnäkin laboratoriokokeessa he kertoivat osanottajille, jotka olivat korkeakoulututkinnon suorittaneita, että yritys harjoitteli työnhakua henkilöstä johtamaan uutta itärannikon markkinointiosastoa. Opiskelijoille kerrottiin, että yritys halusi apua hankintaprosessissa, ja heitä pyydettiin tarkastelemaan useiden potentiaalisten ehdokkaiden jatkoa ja arvioimaan ehdokkaita useilla ulottuvuuksilla, kuten älykkyydellä, lämpöllä ja sitoutumisella työskentelyyn. Lisäksi opiskelijoilta kysyttiin, suosittelisiko hakijan palkkaaminen ja mitä he suosittelisivat aloituspalkaksi. Opiskelijoille tuntemattomia jatko-oppaita oli kuitenkin erityisesti suunniteltu olemaan samanlaisia ​​lukuun ottamatta yhtä asiaa: jotkut niistä osoittivat äitiyttä (listalla osallistuminen vanhempien ja opettajien yhteenliittymään) ja jotkut eivät. Correll ja kollegat havaitsivat, että opiskelijat eivät todennäköisesti suosittele äitien palkkaamista ja että he tarjosivat heille alhaisemman alkupalkan. Lisäksi sekä luokitusten että palkkaukseen liittyvien päätösten tilastollisen analyysin avulla Correll ja kollegat havaitsivat, että äitien haittatekijät selittyivät suurelta osin siitä, että heidät arvioitiin pätevyyden ja sitoutumisen kannalta alhaisemmiksi. Näin ollen tämä laboratoriokokeilussa Correll ja kollegat pystyivät mittaamaan kausaalivaikutuksen ja antamaan mahdollisen selityksen tästä vaikutuksesta.

Tietenkin voisi olla epäilevästi johtopäätöksiä koko Yhdysvaltain työmarkkinoista, jotka perustuvat muutaman sadan ylioppilastunnon päätöksiin, joilla ei todennäköisesti ole koskaan ollut kokoaikaista työtä, puhumattakaan palkkasi joku. Siksi Correll ja hänen kollegansa suorittivat myös täydentävän kenttätutkimuksen. He vastasivat satoihin mainostettuihin työpaikka-aukkoihin, joilla oli väärennettyjä kirjaimia ja jatko-osaa. Samoin kuin opiskelijoille osoitetut materiaalit, jotkut jatkavat merkittyä äitiyttä ja jotkut eivät. Correll ja kollegat havaitsivat, että äidit olivat vähemmän todennäköisesti kutsuttu haastatteluihin kuin yhtä päteviä lapsettomia naisia. Toisin sanoen todelliset työnantajat, jotka tekivät johdonmukaisia ​​päätöksiä luonnollisessa ympäristössä, käyttäytyivät aivan kuin perustutkinnon suorittaneet. Ovatko he samanlaisia ​​päätöksiä samasta syystä? Valitettavasti emme tiedä. Tutkijat eivät voineet pyytää työnantajia arvioimaan ehdokkaita tai selittämään päätöksiä.

Tämä pari kokeilua paljastaa paljon laboratoriokokeista yleensä. Lab-kokeilut tarjoavat tutkijoille täydellistä ympäristönhallintaa, jossa osallistujat tekevät päätöksiä. Joten esimerkiksi laboratoriokokeessa Correll ja työtoverit pystyivät varmistamaan, että kaikki jatkamiset luettiin hiljaisessa ympäristössä; kenttätutkimuksessa jotkut jatkamista ei ehkä edes ole luettu. Lisäksi, koska laboratoriotiedon osallistujat tietävät, että heitä tutkitaan, tutkijat voivat usein kerätä lisätietoja, jotka voivat auttaa selittämään, miksi osallistujat tekevät päätöksensä. Esimerkiksi Correll ja kollegat pyysi laboratoriokokeilua osallistujilta arvioimaan eri ulottuvuuksia. Tällaiset prosessitiedot voisivat auttaa tutkijoita ymmärtämään mekanismeja, jotka ovat eroja siitä, miten osallistujat kohtelevat jatkamista .

Toisaalta nämä täsmälliset ominaisuudet, joita olen juuri kuvannut eduiksi, ovat myös joskus haittoja. Kenttätutkimuksia miellyttävät tutkijat väittävät, että laboratoriokokeiden osallistujat voivat toimia hyvin erilaisella tavalla, koska he tietävät, että heitä tutkitaan. Esimerkiksi laboratoriokokeessa osallistujat voisivat arvata tutkimuksen tavoitteen ja muokata käyttäytymistään, jotta he eivät näyttäisi puolueellisilta. Lisäksi kenttätutkimuksia mieluummin suosivat tutkijat saattavat väittää, että pienet eroavaisuudet resumeissa voivat erota hyvin puhtaasta, steriilistä laboratorioympäristössä ja siten laboratorion kokeilu yliarvioi äitiyden vaikutuksen todellisiin palkkauspäätöksiin. Lopuksi monet kenttätutkimusten kannattajat kritisoivat laboratoriokokeiden riippuvuutta WEIRD-osallistujista: lähinnä länsimaista, koulutettua, teollistettua, (Henrich, Heine, and Norenzayan 2010a) ja demokraattista maata (Henrich, Heine, and Norenzayan 2010a) . Correllin ja työtovereiden (2007) tekemät kokeet kuvaavat laboratoriokentän jatkuvuuden kahta ääripäätä. Näiden kahden ääripään välissä on myös erilaisia ​​hybridi-malleja, kuten lähestymistapoja, kuten muiden kuin opiskelijoiden tuominen laboratorioksi tai kentällä, mutta silti osallistujilla on epätavallinen tehtävä.

Digitaalisen aikakauden lisäksi laboratorio-kentän ulottuvuuden lisäksi tutkijoilla on nyt toinen suuri ulottuvuus, jonka mukaan kokeilut voivat vaihdella: analogi-digitaalinen. Aivan kuten on olemassa puhtaita laboratoriokokeita, puhtaita kenttätutkimuksia ja erilaisia ​​hybridejä, on puhtaita analogisia kokeita, puhtaita digitaalisia kokeita ja erilaisia ​​hybridejä. On vaikeaa tarjota muodollista määritelmää tästä ulottuvuudesta, mutta hyödyllinen työmäärittely on se, että täysin digitaaliset kokeilut ovat kokeita, jotka käyttävät digitaalista infrastruktuuria osallistujien rekrytointiin, satunnaistamiseen, hoitojen toimittamiseen ja mittaustuloksiin. Esimerkiksi Restivo ja van de Rijtin (2012) tutkimus barnstarsista ja Wikipediasta oli täysin digitaalinen kokeilu, koska se käytti digitaalisia järjestelmiä kaikkiin neljään näistä vaiheista. Samoin täysin analogiset kokeet eivät käytä digitaalista infrastruktuuria mihinkään näistä neljästä vaiheesta. Monet psykologian klassisista kokeista ovat täysin analogisia kokeita. Näiden kahden ääripään välissä on osittain digitaalisia kokeita, jotka käyttävät analogisten ja digitaalisten järjestelmien yhdistelmää.

Kun jotkut ajattelevat digitaalisista kokeiluista, he ajattelevat välittömästi verkkokokeiluja. Tämä on valitettavaa, koska mahdollisuudet digitaalisten kokeiden suorittamiseen eivät ole pelkästään verkossa. Tutkijat voivat suorittaa osittain digitaalisia kokeita käyttämällä digitaalisia laitteita fyysisessä maailmassa käsittelemien tai mittausten tulosten saamiseksi. Esimerkiksi tutkijat voisivat käyttää älypuhelimia toimittamaan hoitoja tai antureita rakennetussa ympäristössä mittaamaan tuloksia. Itse asiassa, kuten myöhemmin nähdään tässä luvussa, tutkijat ovat jo käyttäneet (Allcott 2015) mittaamaan tuloksia energiankulutukseen liittyvissä kokeissa, joihin osallistui 8,5 miljoonaa kotitaloutta (Allcott 2015) . Kun digitaaliset laitteet yhdistyvät entistä enemmän ihmisten elämään ja anturit integroidaan rakennettuun ympäristöön, nämä mahdollisuudet käyttää osittain digitaalisia kokeita fyysisessä maailmassa lisääntyvät dramaattisesti. Toisin sanoen digitaaliset kokeilut eivät ole vain verkkokokeita.

Digitaaliset järjestelmät luovat uusia mahdollisuuksia kokeisiin kaikkialla lab-kentän jatkuvuusalueella. Esimerkiksi puhtaissa laboratoriokokeissa tutkijat voivat käyttää digitaalisia järjestelmiä osallistujien käyttäytymisen hienompiin mittauksiin; yksi esimerkki tällaisesta parannetusta mittauksesta on silmänvalvontalaite, joka tarjoaa tarkkoja ja jatkuvia mittauksia katseen sijainnista. Digitaalinen ikä luo myös mahdollisuuden kokeilla laboratorion kaltaisia ​​kokeita verkossa. Esimerkiksi tutkijat ovat nopeasti hyväksyneet Amazon Mechanical Turkin (MTurk) rekrytoimaan osallistujia verkkokokeisiin (kuva 4.2). MTurk vastaa "työnantajiin", joilla on tehtäviä, jotka on täytettävä "työntekijöillä", jotka haluavat suorittaa nämä tehtävät rahoille. Toisin kuin perinteiset työmarkkinat, tehtävät edellyttävät yleensä vain muutamia minuutteja, ja työnantajan ja työntekijän välinen vuorovaikutus on verkossa. Koska MTurk jäljittelee perinteisten laboratoriokokeiden osa-alueita - maksaa ihmisille tehtäviä, joita he eivät tekisi ilmaiseksi - se on luonnollisesti sopiva tiettyihin kokeiluihin. Pohjimmiltaan MTurk on luonut infrastruktuurin hallinnoimaan osanottajien joukkoa - rekrytoimalla ja maksamalla ihmisiä - ja tutkijat ovat hyödyntäneet kyseistä infrastruktuuria päästäkseen aina käytettävissä olevaan osallistujamäärään.

Kuvio 4.2: Papereita julkaistu Amazon Mechanical Turkin (MTurk) tietojen avulla. MTurk ja muut online-työmarkkinat tarjoavat tutkijoille kätevän tavan rekrytoida osallistujia kokeisiin. Mukautettu Bohannon (2016) .

Digitaaliset järjestelmät luovat entistä enemmän mahdollisuuksia kenttäkokeisiin kokeisiin. Erityisesti ne mahdollistavat tutkijoiden yhdistelemän tarkat ohjaus- ja prosessitiedot, jotka liittyvät laboratoriokokeisiin monipuolisempien osallistujien ja luonnollisempien asetusten kanssa, jotka liittyvät laboratoriokokeisiin. Lisäksi digitaalisilla kenttätutkimuksilla on kolme mahdollisuutta, jotka ovat vaikeita analogisissa kokeissa.

Ensinnäkin, kun useimmat analogiset labo- ja kenttäkokeet ovat satoja osallistujia, digitaalisilla kenttätutkimuksilla voi olla miljoonia osallistujia. Tämä mittakaavassa tapahtuva muutos johtuu siitä, että jotkut digitaaliset kokeet voivat tuottaa tietoja nollaan muuttuvilla kustannuksilla. Toisin sanoen, kun tutkijat ovat luoneet kokeellisen infrastruktuurin, osallistujamäärän lisääminen ei yleensä lisää kustannuksia. Osallistujamäärän lisääminen kertoimella 100 tai enemmän ei ole vain määrällinen muutos; se on kvalitatiivinen muutos, koska se mahdollistaa tutkijoiden oppimisen erilaisista kokeista (esim. erilaisten hoitovaikutusten heterogeenisuus) ja suorittaa täysin erilaisia ​​kokeellisia malleja (esim. suurryhmäkokeet). Tämä asia on niin tärkeä, palaan siihen luvun loppupuolella, kun tarjoan neuvoja digitaalisten kokeiden luomisesta.

Toiseksi, kun useimmat analogiset labo- ja kenttätutkimukset käsittelevät osallistujia erottamattomina widgeteinä, digitaaliset kenttätutkimukset käyttävät usein taustatietoja tutkimuksen suunnittelun ja analysoinnin vaiheista. Tätä taustatietoa, jota kutsutaan esikäsittelytavoiksi , on usein saatavilla digitaalisissa kokeissa, koska niitä käytetään aina jatkuvien mittausjärjestelmien päälle (ks. Luku 2). Esimerkiksi Facebookin tutkijalla on paljon ennaltaehkäiseviä tietoja ihmisistä hänen digitaalisessa kenttätutkimuksessaan, kuin yliopistotutkija tutkii analogisen kenttätutkimuksensa ihmisistä. Tämä esikäsittely mahdollistaa tehokkaamman kokeellisen mallin, kuten eston (Higgins, Sävje, and Sekhon 2016) ja kohdennetun rekrytoinnin osallistujat (Eckles, Kizilcec, and Bakshy 2016) ja tarkempaa analyysia - kuten hoidon vaikutusten heterogeenisuuden estimointi (Athey and Imbens 2016a) parempaa tarkkuutta (Bloniarz et al. 2016) .

Kolmanneksi, kun monet analogiset labo- ja kenttäkokeet tarjoavat hoitoja ja mittaavat tuloksia suhteellisen pakatussa ajanjaksossa, jotkut digitaaliset kenttätutkimukset tapahtuvat paljon kauemmin. Esimerkiksi Restivon ja van de Rijtin kokeilu oli tulos mitattuna päivittäin 90 päivää, ja yksi niistä kokeiluvuodoista, joista kerron myöhemmin luvussa (Ferraro, Miranda, and Price 2011) seurasi tuloksia kolmessa vuodessa periaatteessa kustannus. Nämä kolme mahdollisuuksien kokoa, esikäsittelytiedot ja pituussuuntainen käsittely ja tulosdata ovat yleisimmin silloin, kun kokeita käytetään kaikkien käytössä olevien mittausjärjestelmien päälle (ks. Luku 2, lisätietoja jatkuvista mittausjärjestelmistä).

Vaikka digitaaliset kenttätutkimukset tarjoavat monia mahdollisuuksia, heillä on myös joitain heikkouksia sekä analogisten laboratorioiden että analogisten kenttäkokeiden kanssa. Esimerkiksi kokeita ei voida käyttää menneisyyden tutkimiseen, ja ne voivat vain arvioida manipuloidun hoidon vaikutuksia. Vaikka kokeilut ovat epäilemättä hyödyllisiä ohjaamaan politiikkaa, tarkat ohjeet, joita he voivat tarjota, ovat jonkin verran rajallisia komplikaatioiden, kuten ympäristön riippuvuuden, yhteensopivuusongelmien ja tasapainovaikutusten vuoksi (Banerjee and Duflo 2009; Deaton 2010) . Digitaaliset kenttätutkimukset myös suurentavat eettisiä huolenaiheita, jotka ovat syntyneet kenttätutkimuksissa - aihe, josta käsittelen myöhemmin tässä luvussa ja luvussa 6.