4.3 Twee dimensies van eksperimente: laboratorium-veld en analoog-digitale

Laboratorium eksperimente bied beheer, veldeksperimente bied realisme, en digitale veldeksperimente kombineer beheer en realisme by skaal.

Eksperimente kom in baie verskillende vorms en groottes. Maar, ten spyte van hierdie verskille, navorsers het gevind dat dit nuttig om eksperimente te organiseer op 'n kontinuum tussen laboratorium eksperimente en veldeksperimente. Nou, egter, navorsers moet ook eksperimente te organiseer op 'n kontinuum tussen analoog eksperimente en digitale eksperimente. Hierdie twee-dimensionele ontwerp ruimte sal jou help om die sterk- en swakpunte van die verskillende benaderings verstaan ​​en stel gebiede met die grootste geleentheid (Figuur 4.1).

Figuur 4.1: Skematiese van ontwerp ruimte vir eksperimente. In die verlede, eksperimente gewissel langs die laboratorium-veld dimensie. Nou, hulle ook wissel op die analoog-digitale dimensie. In my opinie, die gebied van die grootste geleentheid is digitale veldeksperimente.

In die verlede, die belangrikste manier waarop navorsers georganiseerde eksperimente was langs die laboratorium-veld dimensie. Die meerderheid van die eksperimente in die sosiale wetenskappe is laboratorium eksperimente waar voorgraadse studente uit te voer vreemde take in 'n laboratorium vir natuurlik krediet. Hierdie tipe eksperiment oorheers navorsing in sielkunde, want dit navorsers in staat stel om baie spesifieke behandelings ontwerp om baie spesifieke teorieë oor sosiale gedrag te toets te skep. Vir sekere probleme, maar iets voel 'n bietjie vreemd oor die tekens sterk gevolgtrekkings oor menslike gedrag uit sodanige ongewone mense presteer soos ongewone take in so 'n ongewone omgewing. Hierdie kommer het gelei tot 'n beweging in die rigting van die veld eksperimente. Veldeksperimente kombineer die sterk ontwerp van ewekansige beheer eksperimente met meer verteenwoordigend groepe deelnemers, uitvoerende meer algemeen take, in meer natuurlike instellings.

Alhoewel sommige mense dink van laboratorium en in die veld eksperimente as meeding metodes, is dit die beste om te dink aan dit as aanvullende metodes met verskillende sterk-en swakpunte. Byvoorbeeld, Correll, Benard, and Paik (2007) gebruik beide 'n laboratorium eksperiment en 'n stuk grond eksperiment in 'n poging om die bronne van die "moederskap straf." In die Verenigde State, moeders verdien minder geld as kinderlose vroue, selfs wanneer vergelyk vroue met 'n soortgelyke vaardighede werk in 'n soortgelyke werk. Daar is baie moontlike verklarings vir hierdie patroon, maar die een is wat werkgewers bevooroordeeld teen moeders. (Interessant genoeg, die teenoorgestelde blyk om waar te wees vir vaders; hulle is geneig om meer te verdien as vergelykbare kinderlose mans). Met die oog op moontlike vooroordeel teen moeders te evalueer, Correll en kollegas het twee eksperimente: een in die laboratorium en een in die veld.

In die eerste plek in 'n laboratorium eksperiment Correll en kollegas vertel deelnemers, wat die kollege voorgraadse was, wat 'n Kalifornië-gebaseerde aanloop kommunikasie-maatskappy is besig met 'n werk soek vir 'n persoon om te lei sy nuwe ooskus bemarking afdeling. Studente het gesê dat die maatskappy wou hul hulp in die aanstelling proses en hulle is gevra om CV's van 'n paar potensiële kandidate te hersien en om die kandidate op 'n aantal dimensies koers soos hul intelligensie, warmte, en toewyding om te werk. Verder is die studente gevra of hulle sou aanbeveel huur van die aansoeker en wat hulle sou aanbeveel as 'n beginsalaris. Unbeknownst aan die studente egter die CV's is spesifiek gebou soortgelyke behalwe vir een ding te wees: 'n paar van die CV's te kenne gegee moederskap (met die aanbieding van betrokkenheid by 'n ouer-onderwysersvereniging) en 'n paar het nie. Correll bevind dat studente was minder geneig om aan te beveel die huur van die ma's en het hulle laer aanvangsalaris. Verdere, deur 'n statistiese analise van beide die graderings en die verhuring besluite, Correll bevind dat nadele moeders se grootliks verklaar deur die feit dat moeders laer is aangewys in terme van bevoegdheid en toewyding. Met ander woorde, Correll voer aan dat hierdie eienskappe is die meganisme waardeur moeders benadeel. So, hierdie laboratorium eksperiment toegelaat Correll en kollegas 'n oorsaaklike uitwerking meet en bied 'n moontlike verklaring vir daardie effek.

Natuurlik, kan 'n mens skepties oor die maak van gevolgtrekkings oor die hele Amerikaanse arbeidsmark gebaseer op die besluite van 'n paar honderd-eerstejaars wat waarskynlik nooit 'n voltydse werk gehad het, wat nog te sê mense gehuur word. Daarom, Correll en kollegas het ook 'n aanvullende veld eksperiment. Die navorsers het gereageer op honderde geadverteerde werk openinge deur die stuur in vals dekbriewe en hervat. Soortgelyk aan die vertoon van die voorgraadse materiaal, 'n paar CV's te kenne gegee moederskap en 'n paar het nie. Correll en kollegas het bevind dat moeders was minder geneig om terug te kry 'n beroep vir onderhoude as ewe gekwalifiseerde kinderlose vroue. Met ander woorde, die werklike werkgewers maak gevolglike besluite in 'n natuurlike omgewing gedra baie soos die voorgraadse. Het hulle soortgelyke besluite vir dieselfde rede? Ongelukkig weet ons nie. Die navorsers was nie in staat om die werkgewers vra om die kandidate te gradeer of hul besluite te verduidelik.

Dit denim eksperimente toon 'n baie oor laboratorium en in die veld eksperimente in die algemeen. Laboratorium eksperimente bied navorsers naby die totale beheer van die omgewing waarin deelnemers om besluite te neem. So, byvoorbeeld, in die laboratorium eksperiment, Correll kon verseker dat al die CV's is gelees in 'n rustige omgewing; in die veld eksperiment, 'n paar van die CV's kan nie eens lees. Verder, omdat die deelnemers in die laboratorium omgewing weet dat hulle word bestudeer, navorsers is dikwels in staat om bykomende inligting wat hulle kan help om te verstaan ​​waarom die deelnemers maak hul besluite te samel. Byvoorbeeld, Correll gevra deelnemers in die laboratorium eksperiment om die kandidate op verskillende dimensies te gradeer. Hierdie soort proses data kan help navorsers verstaan ​​die meganismes agter verskille in hoe deelnemers behandel die CV's.

Aan die ander kant, is hierdie presies dieselfde eienskappe wat ek net beskryf word as voordele ook soms beskou as nadele. Navorsers wat verkies veldeksperimente argumenteer dat die deelnemers in laboratorium eksperimente heel anders kan optree wanneer hulle word nou waargeneem. Byvoorbeeld, in die laboratorium eksperiment deelnemers kon die doel van die navorsing geraai en verander hul gedrag sodat dit nie lyk bevooroordeeld. Verdere, navorsers wat verkies veldeksperimente kan argumenteer dat klein verskille op CV's kan net uit te staan ​​in 'n baie skoon, steriele laboratorium-omgewing, en sodoende die laboratorium eksperiment sal oorskat die effek van moederskap op werklike huur besluite. Ten slotte, baie voorstanders van veldeksperimente kritiseer laboratorium eksperimente afhanklikheid van WEIRD deelnemers: hoofsaaklik studente uit Wes, opgevoed, geïndustrialiseerde, Rich, en demokratiese lande (Henrich, Heine, and Norenzayan 2010) . Die eksperimente deur Correll en kollegas (2007) illustreer die twee uiterstes van die laboratorium-veld kontinuum. Tussen hierdie twee uiterstes is daar 'n verskeidenheid van gemengde modelle, insluitend benaderings soos die totstandkoming van nie-studente in 'n laboratorium of gaan in die veld, maar nog steeds deelnemers uit te voer 'n ongewone taak.

Benewens die laboratorium-veld dimensie wat bestaan ​​het in die verlede, die digitale era beteken dat navorsers het nou 'n tweede groot dimensie waarlangs eksperimente kan wissel: analoog-digitale. Net soos daar suiwer laboratorium eksperimente, suiwer veldeksperimente, en 'n verskeidenheid van basters tussen is daar suiwer analoog eksperimente, suiwer digitale eksperimente, en 'n verskeidenheid van basters. Dit is moeilik om 'n formele definisie van hierdie dimensie bied, maar 'n nuttige werksdefinisie is wat ten volle digitale eksperimente is eksperimente wat gebruik maak van digitale infrastruktuur om deelnemers te werf, dit enige, lewer behandelings, en meet uitkomste maak. Byvoorbeeld, Restivo en van die Rijt se (2012) studie van barnstars en Wikipedia is 'n ten volle digitale eksperiment, want dit gebruik digitale stelsels vir al vier van hierdie stappe. Net so ten volle analoog eksperimente is eksperimente wat nie gebruik van digitale infrastruktuur hoef te maak vir enige van hierdie vier stappe. Baie van die klassieke eksperimente in sielkunde is analoog eksperimente. Tussen hierdie twee uiterstes is daar gedeeltelik digitale eksperimente wat 'n kombinasie van analoog en digitale stelsels vir die vier stappe te gebruik.

Gee 'n kritiese, die geleenthede om uit te voer digitale eksperimente is nie net online. Navorsers kan gedeeltelik digitale eksperimente uit te voer deur die gebruik van digitale toestelle in die fisiese wêreld om behandelings lewer of te meet uitkomste. Byvoorbeeld, kan navorsers slimfone gebruik om behandelings of sensors te lewer in die beboude omgewing te uitkomste te meet. Trouens, soos ons later sal sien in hierdie hoofstuk, navorsers het reeds die huis mag meter om uitkomste in eksperimente oor sosiale norme en energieverbruik met 8,5 miljoen huishoudings te meet (Allcott 2015) . Soos digitale toestelle toenemend geïntegreer in mense se lewens en sensors raak opgeneem in die beboude omgewing, hierdie geleenthede om gedeeltelik digitale eksperimente uit te voer in die fisiese wêreld sal dramaties verhoog. Met ander woorde, digitale eksperimente is nie net online eksperimente.

Digitale stelsels te skep nuwe moontlikhede vir eksperimente oral langs die laboratorium-veld kontinuum. In suiwer laboratorium eksperimente, byvoorbeeld, navorsers kan digitale stelsels vir fyner meting van gedrag deelnemers se gebruik; 'n voorbeeld van hierdie tipe van 'n beter meting is oogbewegingslab toerusting wat presies en deurlopende mate blik plek bied. Die digitale era skep ook die moontlikheid om laboratorium-agtige eksperimente aanlyn loop. Byvoorbeeld, het navorsers vinnig aangeneem Amazon Meganiese Turk (MTurk) om deelnemers vir aanlyn eksperimente (Figuur 4.2) te werf. MTurk wedstryde "werkgewers" wat take wat voltooi moet word met "werkers" wat graag daardie take te voltooi vir geld. In teenstelling met tradisionele arbeidsmarkte egter die gewoonlik betrokke take vereis slegs 'n paar minute neem om te voltooi en die hele wisselwerking tussen werkgewer en werknemer is virtuele. Omdat MTurk boots aspekte van tradisionele laboratorium eksperimente-betalende mense om take wat hulle nie vir sou doen voltooi vry-dit is 'n natuurlike geskik vir sekere tipes eksperimente. In wese, MTurk het die infrastruktuur vir die bestuur van 'n poel van deelnemers-werwing en betaal mense-en navorsers het gebruik gemaak van die infrastruktuur om toegang tot 'n altyd beskikbare poel van deelnemers geskep.

Figuur 4.2: referate gepubliseer met behulp van data van Amazon Meganiese Turk (MTurk) (Bohannon 2016) . MTurk en ander aanlyn arbeidsmarkte bied navorsers 'n maklike manier om die deelnemers te werf vir eksperimente.

Digitale eksperimente te skep selfs meer moontlikhede vir veld-agtige eksperimente. Digitale veldeksperimente kan streng beheer en verwerk data bied om moontlike meganismes (soos laboratorium eksperimente) en meer diverse deelnemers maak regte besluite in 'n natuurlike omgewing (soos veldeksperimente) verstaan. Benewens hierdie kombinasie van goeie eienskappe van vroeër eksperimente, digitale veldeksperimente bied ook drie geleenthede wat moeilik in analoog laboratorium en in die veld eksperimente was.

Eerstens, terwyl die meeste analoog laboratorium en veldeksperimente het honderde deelnemers, digitale veldeksperimente kan miljoene deelnemers het. Hierdie verandering in skaal is omdat sommige digitale eksperimente data op nul veranderlike koste kan produseer. Dit wil sê, sodra navorsers 'n eksperimentele infrastruktuur geskep het, die verhoging van die aantal deelnemers tipies nie die koste te verhoog. Die verhoging van die aantal deelnemers met 'n faktor van 100 of meer is nie net 'n kwantitatiewe verandering, dit is 'n kwalitatiewe verandering, want dit navorsers in staat stel om verskillende dinge te leer uit eksperimente (bv, heterogeniteit van behandeling effekte) en hardloop heeltemal verskillende eksperimentele ontwerpe ( bv, 'n groot groep eksperimente). Hierdie punt is baie belangrik, ek sal terugkeer na dit teen die einde van die hoofstuk toe ek bied advies oor die skep van digitale eksperimente.

Tweedens, terwyl die meeste analoog laboratorium en in die veld eksperimente behandel deelnemers as ononderskeibaar widgets, digitale veldeksperimente gebruik dikwels agtergrond inligting oor die deelnemers in die ontwerp en analise stadiums van die ondersoek. Dit agtergrondinligting, wat pre-behandeling inligting genoem, is dikwels beskikbaar in digitale eksperimente, omdat hulle in volle gemeet omgewings te neem. Byvoorbeeld, 'n navorser by Facebook het baie meer pre-behandeling inligting as 'n navorser ontwerp van 'n standaard laboratorium eksperimenteer met voorgraadse. Dit pre-behandeling inligting in staat stel navorsers om verby die behandeling van deelnemers as ononderskeibaar widgets. Meer spesifiek, pre-behandeling inligting in staat stel om meer doeltreffend eksperimentele ontwerpe-soos blokkeer (Higgins, Sävje, and Sekhon 2016) en geteikende werwing van deelnemers (Eckles, Kizilcec, and Bakshy 2016) -en meer insiggewende analise-soos skatting van heterogeniteit behandeling effekte (Athey and Imbens 2016a) en koveranderlike aanpassing vir verbeterde akkuraatheid (Bloniarz et al. 2016) .

Derde, terwyl baie analoog laboratorium en in die veld eksperimente te lewer behandelings en meet uitkomste in 'n relatief saamgeperste hoeveelheid tyd, 'n paar digitale veldeksperimente betrek behandelings wat met verloop van tyd kan afgelewer word en die gevolge kan ook gemeet word met verloop van tyd. Byvoorbeeld, Restivo en van die Rijt se eksperiment het die uitkoms daaglikse gemeet vir 90 dae, en een van die eksperimente ek sal jou vertel oor later in die hoofstuk (Ferraro, Miranda, and Price 2011) spore uitkomste meer as 3 jaar by basies geen koste. Hierdie drie geleenthede-grootte, pre-behandeling inligting, en longitudinale behandeling en uitkoms data-is mees algemene wanneer eksperimente is uitgevoer op die top van altyd-op metings stelsels (sien Hoofstuk 2 vir meer inligting oor wat altyd aan meting stelsels).

Terwyl digitale veldeksperimente bied baie moontlikhede, hulle ook deel sommige swakhede met beide analoog laboratorium en in die veld eksperimente. Byvoorbeeld, kan eksperimente nie gebruik word om die verlede te bestudeer, en hulle kan slegs skat die gevolge van behandelings wat gemanipuleer kan word. Ook, hoewel eksperimente is ongetwyfeld nuttig om beleid te lei, die presiese leiding wat hulle kan bied is ietwat beperk as gevolg van komplikasies soos omgewing afhanklikheid, nakoming probleme, en ewewig effekte (Banerjee and Duflo 2009; Deaton 2010) . Ten slotte, digitale veldeksperimente maak die etiese kommer geskep deur veldeksperimente. Voorstanders van veldeksperimente basuin hul vermoë om onopsigtelik en lukraak gryp in gevolglike besluite wat deur miljoene mense. Hierdie eienskappe bied sekere wetenskaplike voordele, maar hulle kan ook veldeksperimente eties kompleks maak (daaroor dink as navorsers mense soos "laboratorium rotte" behandeling op 'n massiewe skaal). Verdere, bykomend tot moontlike nadelig vir deelnemers, digitale veldeksperimente, as gevolg van hul omvang, kan ook kommer oor die ontwrigting van werk sosiale stelsels in te samel (bv, kommer oor die orde van Wikipedia se beloning stelsel as Restivo en Van der Rijt het te veel barnstars) .