4.3 kaksi ulottuvuutta kokeita: lab-kenttä ja analoginen-digitaali

Laboratoriokokeissa tarjoavat ohjaus, kenttäkokeet tarjoavat realismia, ja digitaalinen kenttäkokeiden yhdistää ohjaus ja realismia mittakaavassa.

Kokeita on useita eri muotoisia ja kokoisia. Mutta huolimatta näistä eroista, tutkijat ovat havainneet hyödyllistä järjestää kokeita pitkin jatkumon välillä laboratoriokokeissa ja kenttäkokeissa. Nyt kuitenkin tutkijoiden olisi myös järjestää kokeet pitkin jatkumon välillä analogisen kokeita ja digitaalisen kokeiluja. Tämä kaksiulotteinen malli tila auttaa ymmärtämään vahvuuksia ja heikkouksia erilaisia ​​lähestymistapoja ja ehdottaa alueita parhaat mahdollisuudet (Kuva 4.1).

Kuva 4.1: Kaaviokuva suunnittelu tilaa kokeita. Aiemmin kokeita vaihteli pitkin lab-kentän ulottuvuus. Nyt ne myös vaihtelevat analogia-digitaalinen ulottuvuus. Mielestäni alan parhaat mahdollisuudet on digitaalinen kenttäkokeissa.

Aiemmin tärkein tapa, että tutkijat järjestivät kokeissa oli pitkin lab-kentän ulottuvuus. Suurin osa kokeista yhteiskuntatieteissä ovat laboratoriokokeissa, joissa opiskelijat suorittavat outoja tehtäviä laboratorioon kurssin luottoa. Tämäntyyppinen kokeilu hallitsee psykologian tutkimukselle, koska sen avulla tutkijat voivat luoda aivan erityisiä hoitoja tarkoituksena on testata hyvin erityisiä teorioita sosiaalista käyttäytymistä. Tiettyjen ongelmat kuitenkin jotain tuntuu vähän oudolta noin piirustus vahva johtopäätöksiä ihmisen käyttäytymistä tällaisia ​​epätavallisia ihmiset suorittavat tällaisia ​​epätavallisia tehtäviä niin epätavallinen ympäristössä. Nämä huolet ovat johtaneet liike kohti kenttäkokeissa. Kenttäkokeissa yhdistää vahva muotoilu Satunnaistettujen ohjaus kokeiluja useamman edustavan ryhmien osallistujia, suorittaa enemmän yhteisiä tehtäviä, enemmän luonnon asetuksia.

Vaikka jotkut ihmiset ajattelevat lab ja kenttäkokeiden kuin kilpailevilla menetelmillä on parasta ajatella niitä täydentäviä menetelmiä erilaisia ​​vahvuuksia ja heikkouksia. Esimerkiksi Correll, Benard, and Paik (2007) käytetään sekä lab kokeilu ja kenttäkoe yrittää löytää lähteet "äitiyden rangaistus." Yhdysvalloissa, äidit ansaitsevat vähemmän rahaa kuin lapsettomia naisia, vaikka verrataan naisten vastaavat tiedot työskentelevien samanlaisia ​​työpaikkoja. On olemassa monia mahdollisia selityksiä tämän kuvion, ja yksi on, että työnantajat syrjivät äidit. (Kiinnostavaa, päinvastainen näyttää pitävän paikkansa isille: he saavat tavallisesti enemmän kuin vertailukelpoinen lapseton miehillä). Sen arvioimiseksi Puolueellisuuden vastaan ​​äidit, Correll ja työtovereiden juoksi kaksi kokeita: yksi laboratoriossa ja yksi kentällä.

Ensinnäkin lab kokeilu Correll ja kollegat kertoivat osallistujia, jotka olivat college-opiskelijaa, että Kaliforniassa toimiva start-up viestinnän yritys oli suorittaa työpaikan etsintään henkilö johtamaan uuden itärannikon markkinointiosastolle. Opiskelija kerrottiin, että yritys halusi avusta otossa ja heitä pyydettiin tarkistamaan ansioluettelot useita mahdollisia ehdokkaita ja arvioimaan ehdokkaita useita ulottuvuuksia, kuten niiden älykkyys, lämpöä, ja sitoutuminen työhön. Lisäksi opiskelijat kysyttiin he suosittelevat vuokraamalla hakijalle ja mitä he suosittelevat kuin alkupalkka. Tietämättä opiskelijat kuitenkin jatkuu oli nimenomaan rakennettu olla samanlainen paitsi yksi asia: jotkin jatkuu viestii synnytyksen (luettelemalla osallisuudesta vanhempainneuvosto) ja jotkut eivät. Correll havaitsi, että opiskelijat olivat vähemmän todennäköisesti suosittelemaan palkkaamista äitien ja tarjosi heille alempi alkupalkka. Edelleen kautta tilastollinen analyysi sekä arviot ja vuokraamista liittyvät päätökset, Correll havaittu, että äitien haitat suurelta osin selittää se, että äidit pidetty yhtä kannalta osaamisen ja sitoutumisen. Toisin sanoen, Correll väittää, että nämä piirteet ovat mekanismi, jonka avulla äidit ovat epäedullisessa asemassa. Siten tämä lab kokeilu sallittua Correll ja kollegoiden mittaamiseksi syy vaikutus ja tarjota mahdollinen selitys em.

Tietenkin voisi olla skeptinen tehdään päätelmät koko Yhdysvaltain työmarkkinoilla perustuu päätöksiin muutama sata opiskelijaa, jotka eivät luultavasti ole koskaan ollut koko ajan työtä, puhumattakaan palkkasi ihmisiä. Siksi Correll ja työtovereiden toteutti myös täydentäviä kenttäkokeessa. Tutkijat vastasi satoja mainostettuja avoimia työpaikkoja lähettämällä väärennettyjä työhakemukset ja jatkuu. Samanlainen materiaalien näkyy, että opiskelijoista, jotkut jatkuu viestitti äitiyden ja jotkut eivät. Correll ja kollegoineen havaitsi, että äidit olivat vähemmän todennäköisesti saada kutsutaan takaisin haastattelupyynnöt kuin yhtä päteviä lapsettomia naisia. Toisin sanoen, todellinen työnantajien tekee välillisistä päätöksiä luonnon helmassa käyttäytyi paljon kuin opiskelijaa. He tekevät samanlaisia ​​päätöksiä samasta syystä? Valitettavasti emme tiedä. Tutkijat eivät voineet pyytää työnantajia arvioimaan ehdokkaita tai selitä päätöksensä.

Tässä pari kokeiluja paljastaa paljon lab ja kenttäkokeissa yleensä. Laboratoriokokeissa tarjoavat tutkijoille lähes täydellisen hallinnan ympäristön, jossa osallistujat tekevät päätöksiä. Niinpä esimerkiksi laboratoriossa kokeessa Correll pystyi varmistamaan, että kaikki jatkuu luettiin rauhallisessa ympäristössä; alan kokeilu, jotkut jatkuu ehkä ole edes luettu. Edelleen, koska osallistujat laboratorio, jossa tietää, että ne tutkitaan, tutkijat pystyvät usein kerätä lisätietoja, jotka voivat auttaa heitä ymmärtämään, miksi osallistujat tekevät päätöksiään. Esimerkiksi Correll pyysi osallistujia laboratoriokokeen arvioimaan ehdokkaita eri ulottuvuuksia. Tällainen prosessi tietojen voisi auttaa tutkijoita ymmärtämään mekanismeja eroja siinä, miten osallistujat käsitellä jatkuu.

Toisaalta, juuri nämä samat ominaisuudet, että minä vain kuvata etuja myös joskus pidetty haittoja. Tutkijat, jotka haluavat kenttäkokeet väittävät osallistujat laboratoriokokeissa voisivat toimia hyvin eri tavalla, kun niitä seurataan tarkasti. Esimerkiksi laboratoriossa kokeessa osallistujat arvasit tavoitteena tutkimus- ja muuttaa käyttäytymistään, jotta ei näkyvät puolueellinen. Lisäksi tutkijat, jotka haluavat kenttäkokeet saattavat väittää, että pienet erot jatkuu vain erottua erittäin puhdas, steriili lab ympäristö, ja siten lab kokeilu yliarvioida vaikutus äitiyden todelliseen vuokraus päätöksiä. Lopuksi, monet kannattajat kenttäkokeiden arvostella laboratoriokokeissa riippuvuus WEIRD osallistujat ovat enimmäkseen opiskelijoita Western, koulutettuja, Teollisuusmaat, Rich, ja demokraattinen maat (Henrich, Heine, and Norenzayan 2010) . Kokeet by Correll ja työtovereiden (2007) kuvaavat kaksi ääripäätä on lab-kentän jatkumon. Vuonna näiden kahden ääripään välillä on olemassa erilaisia ​​hybridi mallien mukaan lukien lähestymistavat, kuten tuo ei-opiskelijoille osaksi lab tai menee alalla, mutta on edelleen osallistujat suorittavat epätavallinen tehtävä.

Sen lisäksi, että lab-kentän ulottuvuus, joka on ollut aikaisemmin, digitaaliajan tarkoittaa, että tutkijat nyt toinen merkittävä ulottuvuus, joka kokeita voi vaihdella: analoginen-digitaalinen. Aivan kuten on olemassa puhtaita laboratoriokokeissa, puhdas kenttäkokeita, ja erilaisia ​​hybridien välillä, on puhtaan analogisen kokeita, puhtaan digitaalisen kokeita ja erilaisia ​​hybridejä. On hankala tarjota virallista määritelmää tätä ulottuvuutta, vaan hyödyllinen työmääritelmä on, että täysin digitaalinen kokeet ovat kokeet, jotka käyttävät digitaalisia infrastruktuurin rekrytoida osallistujille, sekoita, toimittaa hoidot ja mitata tuloksia. Esimerkiksi Restivo ja van de Rijt n (2012) tutkimus barnstars ja Wikipedia oli täysin digitaalinen kokeilu, koska se käyttää digitaalisia järjestelmiä kaikkien neljän nämä vaiheet. Samoin täysin analoginen kokeet ovat kokeet, jotka eivät käytä digitaalista infrastruktuuria mihinkään näistä neljä vaihetta. Monet Classic kokeiluja psykologian ovat analogisia kokeita. Vuonna näiden kahden ääripään välillä on osittain digitaalinen kokeita, jotka käyttävät yhdistelmä analogisia ja digitaalisia järjestelmiä varten neljä vaihetta.

Kriittisesti, mahdollisuudet ajaa digitaalista kokeet eivät ole vain verkossa. Tutkijat voivat käyttää osittain digitaalinen kokeiden avulla digitaalisten laitteiden fyysisessä maailmassa jotta saadaan hoitoja tai mitata tuloksia. Esimerkiksi tutkijat voisivat käyttää älypuhelimia toimittaa hoitoja tai antureiden rakennetun ympäristön mitata tuloksia. Itse asiassa, kuten näemme myöhemmin tässä luvussa, tutkijat ovat jo käytössä kotiin voimamittareista mitata tuloksia kokeissa noin sosiaalisia normeja ja energiankulutus liittyy 8,5 miljoonaa kotitalouksien (Allcott 2015) . Koska digitaaliset laitteet tulevat yhä integroitu ihmisten elämään ja anturit integroituvat rakennetun ympäristön, nämä mahdollisuudet ajaa osittain digitaalisen kokeiluja fyysisessä maailmassa kasvaa dramaattisesti. Toisin sanoen, digitaalinen kokeet eivät ole vain verkossa kokeissa.

Digitaaliset järjestelmät luovat uusia mahdollisuuksia kokeissa kaikkialla pitkin lab-kentän jatkumon. Puhtaassa laboratoriokokeissa, esimerkiksi tutkijat voivat käyttää digitaalisia järjestelmiä hienompaa mittaamiseen osanottajien käyttäytymistä; yksi esimerkki tämäntyyppisestä parannetun mittaus on silmänliikekameraa laitteet, joka tarjoaa tarkat ja jatkuva toimenpiteitä katseen sijainti. Digitaaliaikaan luo myös mahdollisuuden ajaa lab kaltaisia ​​kokeita verkossa. Esimerkiksi tutkijat ovat nopeasti hyväksynyt Amazonin Mechanical Turk (MTurk) rekrytoida osallistujille online kokeita (Kuva 4.2). MTurk vastaa "työnantajan", joilla on tehtäviä, jotka on suoritettu kanssa "työntekijät", jotka haluavat suorittaa nämä tehtävät rahaa. Toisin kuin perinteiset työmarkkinat kuitenkin kuuluvista tehtävistä yleensä vaati vain muutaman minuutin, ja koko vuorovaikutusta työnantajan ja työntekijän on virtuaalinen. Koska MTurk jäljittelee näkökohtia perinteisen laboratoriokokeissa maksavien ihmisiä tehtävien suorittamiseen että he eivät tee ilmaiseksi-se on luonnollisesti sopii tietyntyyppisten kokeiluja. Pohjimmiltaan MTurk on luonut infrastruktuurin hallintaan poolin osallistujien-rekrytoinnin ja maksavat ihmisten ja tutkijat ovat hyödyntäneet että infrastruktuurin hyödyntää Always käytettävissä altaan osallistujia.

Kuva 4.2: Papers julkaistut tietojen avulla Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk ja muita online työmarkkinat tarjoavat tutkijoille kätevä tapa rekrytoida osallistujia kokeita varten.

Digitaalinen kokeita aiheuttaa entistä enemmän mahdollisuuksia kenttämäisiä kokeita. Digitaalinen kenttäkokeet voivat tarjota tiukka valvonta ja käsittelemään tietoa ymmärtää mahdollisia mekanismeja (kuten laboratoriokokeissa) ja monipuolisempia osallistujat tekee todelliset päätökset luonnollisessa ympäristössä (kuten kenttäkokeissa). Tämän lisäksi yhdistelmä hyviä ominaisuuksia vanhemmissa kokeissa, digitaalinen kenttäkokeet tarjoavat myös kolme mahdollisuuksia, jotka olivat vaikeita analogisessa laboratoriossa ja kenttäkokeissa.

Ensinnäkin, kun taas useimmat analogiset lab ja kenttäkokeiden on satoja osanottajia, digitaalinen kenttäkokeet voi olla miljoonia osallistujia. Tämä muutos mittakaavassa on, koska jotkut digitaalinen kokeita voi tuottaa dataa nolla muuttuvia kustannuksia. Eli kun tutkijat ovat luoneet kokeellinen infrastruktuuri, lisäämällä osallistujien määrä yleensä ei lisää kustannuksia. Määrän lisääminen osallistujien tekijällä 100 tai enemmän ei ole vain määrällinen muutos, se on laadullinen muutos, koska sen avulla tutkijat voivat oppia erilaisia ​​asioita kokeista (esim heterogeenisuus hoidon vaikutukset) ja ajaa täysin erilaisia ​​kokeellisia malleja ( esimerkiksi suuri ryhmä kokeilut). Tämä kohta on niin tärkeä, palaan se loppupuolella Luvun kun antaa neuvoja luoda digitaalinen kokeiluja.

Toiseksi, vaikka suurin osa analoginen lab ja kenttäkokeiden kohdella osallistujia erottamattomat widgetit, digitaalinen kenttäkokeet usein taustatietoa osallistujille suunnittelu ja analyysi vaiheissa tutkimuksen. Tämä taustatietoa, jota kutsutaan esikäsittely tiedot, on usein saatavilla digitaalisessa kokeita, koska ne tapahtuvat täysin mitatuksi ympäristöissä. Esimerkiksi tutkija Facebook on paljon enemmän esikäsittely tiedot kuin tutkija suunnittelemalla standardi lab kokeilu opiskelijaa. Tämä esikäsittely tiedot avulla tutkijat voivat siirtyä hoitoon osallistujat erottamattomat widgetit. Tarkemmin, esikäsittely tieto mahdollistaa tehokkaamman koeasetelmia-kuten esto (Higgins, Sävje, and Sekhon 2016) ja kohdennettu rekrytointi osallistujien (Eckles, Kizilcec, and Bakshy 2016) -ja oivaltavampi analyysi-kuten arviointi heterogeenisyys hoidon vaikutukset (Athey and Imbens 2016a) ja kovariaattina säätö parantaa tarkkuutta (Bloniarz et al. 2016) .

Kolmanneksi, kun taas monet analoginen laboratorio ja kenttäkokeet toimittaa hoitoja ja toimenpiteen tulosten suhteellisen pakattu aikaa, jotkut digitaalinen kenttäkokeet liittyy hoitoja, jotka voidaan toimittaa ajan ja vaikutukset voidaan mitata myös ajan myötä. Esimerkiksi Restivo ja van de Rijt koe on lopputulos mitattiin päivittäin 90 päivää, ja yksi kokeista Kerron siitä myöhemmin kappaleessa (Ferraro, Miranda, and Price 2011) seuraa tuloksia yli 3 vuotta klo periaatteessa mitään maksaa. Nämä kolme mahdollisuudet-size, esikäsittely tietoa, ja pitkittäinen käsittely ja lopputulos data-ovat yleisimpiä, kun kokeet päällä kulkevat aina-mittauksiin järjestelmissä (katso luku 2 enemmän aina päällä mittausjärjestelmiä).

Vaikka digitaalinen kenttäkokeet tarjoavat monia mahdollisuuksia, ne myös jakaa joitakin heikkouksia sekä analogisten lab ja kenttäkokeissa. Esimerkiksi kokeissa, ei voida käyttää tutkia aikaisemmin, ja ne voivat vain arvioida vaikutuksia hoitoja, jotka voidaan manipuloida. Lisäksi vaikka kokeet ovat epäilemättä hyödyllisiä ohjaamaan politiikan tarkkaa ennustetta ne voivat tarjota on melko rajallinen, koska komplikaatioita, kuten ympäristö- riippuvuus, vaikeuksia saavuttaa, ja tasapaino vaikutukset (Banerjee and Duflo 2009; Deaton 2010) . Lopuksi digitaalinen kenttäkokeissa suurentaa eettisiä kysymyksiä luoma kenttäkokeissa. Kannattajat kenttäkokeiden trumpetti kykyään huomaamattomasti ja satunnaisesti puuttua osaksi välillisiä tekemät päätökset miljoonia ihmisiä. Nämä ominaisuudet tarjoavat tiettyjä tieteellisiä etuja, mutta ne voivat myös tehdä kenttäkokeet eettisesti monimutkainen (ajattele sitä tutkijat kohdella ihmisiä kuin "lab rotat" laajamittaisesta). Edelleen lisäksi mahdollisia haittoja osallistujille, digitaalinen kenttäkokeiden koska niiden laajuuden, voi myös nostaa huolta häiriöitä työskennellä sosiaalisten järjestelmien (esim huoli häiritsevät Wikipedian palkitsemisjärjestelmää jos Restivo ja van der Rijt antoi liikaa barnstars) .