4.3 Twee dimensies van eksperimente: laboratorium-veld en analoog-digitale

Laboratorium eksperimente bied beheer, veldeksperimente bied realisme, en digitale veldeksperimente kombineer beheer en realisme by skaal.

Eksperimente kom in baie verskillende vorms en groottes voor. In die verlede het navorsers dit nuttig gevind om eksperimente langs 'n kontinuum tussen laboratorium eksperimente en veld eksperimente te organiseer. Nou moet navorsers egter ook eksperimente organiseer langs 'n tweede kontinuum tussen analoog eksperimente en digitale eksperimente . Hierdie tweedimensionele ontwerpruimte sal jou help om die sterk punte en swakpunte van verskillende benaderings te verstaan ​​en die areas van die grootste geleentheid uit te lig (figuur 4.1).

Figuur 4.1: Skematiese ontwerpruimte vir eksperimente. In die verlede het eksperimente gewissel langs die laboratoriumdimensie. Nou wissel hulle ook op die analoog-digitale dimensie. Hierdie tweedimensionele ontwerpruimte word geïllustreer deur vier eksperimente wat ek in hierdie hoofstuk beskryf. Na my mening is die gebied van die grootste geleentheid digitale veld eksperimente.

Een dimensie waarlangs eksperimente georganiseer kan word, is die laboratoriumdimensie. Baie eksperimente in die sosiale wetenskappe is laboratoriumeksperimente waar voorgraadse studente vreemde take in 'n laboratorium vir kursuskrediet verrig. Hierdie tipe eksperiment oorheers navorsing in sielkunde omdat dit navorsers in staat stel om hoogs beheerde instellings te skep om spesifieke teorieë oor sosiale gedrag presies te kan isoleer en te toets. Vir sekere probleme voel dit egter 'n bietjie vreemd om sterk gevolgtrekkings oor menslike gedrag te trek van sulke ongewone mense wat sulke ongewone take in so 'n ongewone omgewing uitvoer. Hierdie bekommernisse het gelei tot 'n beweging na veld eksperimente . Veld eksperimente kombineer die sterk ontwerp van gerandomiseerde kontrole eksperimente met meer verteenwoordigende groepe van deelnemers wat meer algemene take in meer natuurlike instellings uitvoer.

Alhoewel sommige mense van laboratorium- en veldeksperimente as mededingende metodes dink, is dit die beste om hulle as komplementêr te dink, met verskillende sterk punte en swakpunte. Byvoorbeeld, Correll, Benard, and Paik (2007) het beide 'n laboratorium-eksperiment en 'n veldeksperiment gebruik om die bronne van die moederskapstraf te vind. In die Verenigde State verdien moeders minder geld as kinderslose vroue, selfs wanneer vergelykende vroue met soortgelyke vaardighede wat in soortgelyke werksgeleenthede werk. Daar is baie moontlike verduidelikings vir hierdie patroon, waarvan een is dat werkgewers bevooroordeeld is teen moeders. (Interessant genoeg, die teenoorgestelde blyk waar te wees vir vaders: hulle is geneig om meer te verdien as vergelykbare kinderlose mans.) Om moontlike vooroordeel teen moeders te beoordeel, het Correll en kollegas twee eksperimente uitgevoer: een in die laboratorium en een in die veld.

Eerstens, in 'n laboratorium-eksperiment het hulle aan deelnemers, wat voorgraadse universiteitstudente was, gesê dat 'n maatskappy 'n werk soek vir 'n persoon om sy nuwe East Coast-bemarkingsafdeling te lei. Die studente het gesê dat die maatskappy hul hulp in die verhuringsproses wou hê, en hulle is gevra om die resume van verskeie potensiële kandidate te hersien en om die kandidate op 'n aantal dimensies te evalueer, soos hul intelligensie, warmte en toewyding tot werk. Verder is die studente gevra of hulle aanbeveel om die aansoeker te huur en wat hulle as aanvangs salaris sal aanbeveel. Onbekend aan die studente, egter, is die CV's spesifiek gebou om soortgelyk te wees, behalwe vir een ding: sommige van hulle het moederskap genoem (deur deelname aan 'n ouer-onderwyservereniging) en sommige het nie. Correll en kollegas het bevind dat die studente minder geneig was om aan te beveel om die moeders te huur en dat hulle hulle 'n laer aanvangsalaris aangebied het. Verder, deur middel van 'n statistiese analise van beide die graderings en die huurverwante besluite, het Correll en kollegas bevind dat moeders se nadele grotendeels verklaar word deur die feit dat hulle laer in terme van bevoegdheid en toewyding gegradeer is. Dus, hierdie laboratorium-eksperiment het Correll en kollegas toegelaat om 'n oorsaaklike effek te meet en 'n moontlike verduideliking daarvoor te gee.

Natuurlik kan mens skepties wees om gevolgtrekkings te maak oor die hele Amerikaanse arbeidsmark, gebaseer op die besluite van 'n paar honderd voorgraadse studente wat waarskynlik nooit voltydse werk gehad het nie, laat staan ​​iemand gehuur. Daarom het Correll en kollegas ook 'n aanvullende veldeksperiment uitgevoer. Hulle het gereageer op honderde geadverteerde werksopnames met namaakbriewe en hervat. Soortgelyk aan die materiaal wat aan die voorgraadse studente getoon word, begin sommige van die gesin se moederskap en sommige het nie. Correll en kollegas het bevind dat moeders minder geneig was om teruggekeer te word vir onderhoude as gelyke gekwalifiseerde kinderlose vroue. Met ander woorde, werklike werkgewers wat gevolglike besluite neem in 'n natuurlike omgewing, het baie soos die voorgraadse studente gedra. Het hulle om dieselfde rede soortgelyke besluite geneem? Ongelukkig weet ons nie. Die navorsers was nie in staat om die werkgewers te vra om die kandidate te bepaal of hul besluite te verduidelik nie.

Hierdie paar eksperimente toon baie oor laboratorium- en veldeksperimente in die algemeen. Laboratorium eksperimente bied navorsers nagenoeg totale beheer oor die omgewing waarin deelnemers besluite neem. So byvoorbeeld, in die laboratorium-eksperiment, was Correll en kollegas in staat om te verseker dat al die CV's in 'n stil omgewing gelees is; In die veld eksperiment is sommige van die CV's dalk nie eens gelees nie. Verder, omdat deelnemers in die laboratorium-omgewing weet dat hulle bestudeer word, kan navorsers dikwels addisionele data versamel wat kan help verduidelik waarom deelnemers hul besluite neem. Correll en kollegas het byvoorbeeld die deelnemers aan die laboratorium-eksperiment gevra om die kandidate op verskillende dimensies te bepaal. Hierdie soort prosesdata kan navorsers help om die meganismes agter die verskille in hoe deelnemers die resumes behandel, te verstaan.

Aan die ander kant, hierdie presiese eienskappe wat ek net as voordele beskryf het, word ook soms as nadele beskou. Navorsers wat veld-eksperimente verkies, argumenteer dat deelnemers aan laboratorium-eksperimente baie anders kan optree omdat hulle weet dat hulle bestudeer word. Byvoorbeeld, in die laboratoriumeksperiment kon deelnemers die doel van die navorsing geraai het en hul gedrag verander het sodat dit nie bevooroordeeld was nie. Verder kan navorsers wat veldeksperimente verkies, argumenteer dat klein verskille in hervatings net in 'n baie skoon, steriele laboratoriumomgewing kan uitsteek. Die laboratorium-eksperiment sal dus die invloed van moederskap op werklike verhuringsbesluite oorskat. Tenslotte kritiseer baie voorstanders van veld eksperimente laboratorium eksperimente se vertroue op WEIRD deelnemers: hoofsaaklik studente van Westerse, Opvoed, Industriële, Ryk en Demokratiese lande (Henrich, Heine, and Norenzayan 2010a) . Die eksperimente van Correll en kollegas (2007) illustreer die twee uiterstes op die laboratorium-kontinuum. Tussen hierdie twee uiterstes is daar ook 'n verskeidenheid hibriede ontwerpe, insluitend benaderings soos om nie-studente in 'n laboratorium in te bring of in die veld te gaan nie, maar steeds deelnemers het 'n ongewone taak.

Benewens die laboratoriumdimensie wat in die verlede bestaan ​​het, beteken die digitale era dat navorsers nou 'n tweede groot dimensie het waarlangs eksperimente kan wissel: analoog-digitaal. Net soos daar suiwer laboratorium eksperimente, suiwer veld eksperimente, en 'n verskeidenheid basters in tussen, is daar suiwer analoog eksperimente, suiwer digitale eksperimente, en 'n verskeidenheid van basters. Dit is moeilik om 'n formele definisie van hierdie dimensie aan te bied, maar 'n nuttige werkdefinisie is dat volledig digitale eksperimente eksperimente is wat gebruik maak van digitale infrastruktuur om deelnemers te werf, willekeurig te maak, behandelings te lewer en uitkomste te meet. Byvoorbeeld, Restivo en van de Rijt (2012) studie van barnstars en Wikipedia was 'n volledig digitale eksperiment omdat dit digitale stelsels vir al vier van hierdie stappe gebruik het. Net so maak nie van analoog eksperimente gebruik van digitale infrastruktuur vir enige van hierdie vier stappe nie. Baie van die klassieke eksperimente in die sielkunde is volledig analoog eksperimente. Tussen hierdie twee uiterstes is daar gedeeltelik digitale eksperimente wat 'n kombinasie van analoog en digitale stelsels gebruik.

Wanneer sommige van digitale eksperimente dink, dink hulle dadelik aan aanlyn-eksperimente. Dit is jammer omdat die geleenthede om digitale eksperimente uit te voer nie net aanlyn is nie. Navorsers kan gedeeltelik digitale eksperimente uitvoer deur digitale toestelle in die fisiese wêreld te gebruik om behandelings te lewer of uitkomste te meet. Byvoorbeeld, navorsers kan slimfone gebruik om behandelings of ore in die gebou te lewer om uitkomste te meet. Trouens, soos ons later in hierdie hoofstuk sal sien, het navorsers reeds (Allcott 2015) gebruik om uitkomste te meet in eksperimente oor energieverbruik met 8,5 miljoen huishoudings (Allcott 2015) . Aangesien digitale toestelle toenemend in mense se lewens geïntegreer word en sensors geïntegreer word in die beboude omgewing, sal hierdie geleenthede om gedeeltelik digitale eksperimente in die fisiese wêreld te hardloop dramaties toeneem. Met ander woorde, digitale eksperimente is nie net aanlyn-eksperimente nie.

Digitale stelsels skep oral nuwe moontlikhede vir eksperimente op die lab-veld kontinuum. In suiwer laboratorium eksperimente kan navorsers byvoorbeeld digitale stelsels gebruik vir fyner meting van deelnemers se gedrag; Een voorbeeld van hierdie tipe verbeterde meting is oogopsporingstoerusting wat presiese en deurlopende maatreëls van blikposisie bied. Die digitale era skep ook die moontlikheid om lab-like eksperimente aanlyn te laat loop. Byvoorbeeld, navorsers het vinnig die Amazon Mechanical Turk (MTurk) aangeneem om deelnemers vir aanlyn-eksperimente te werf (Figuur 4.2). MTurk pas by "werkgewers" wat take moet hê wat voltooi moet word met "werkers" wat daardie take vir geld wil voltooi. In teenstelling met tradisionele arbeidsmarkte vereis die take egter gewoonlik net 'n paar minute om te voltooi, en die hele interaksie tussen werkgewer en werker is aanlyn. Omdat MTurk aspekte van tradisionele laboratorium-eksperimente naboots - mense betaal om take te voltooi wat hulle nie gratis sou doen nie - dit is natuurlik geskik vir sekere soorte eksperimente. In wese het MTurk die infrastruktuur geskep om 'n poel van deelnemers te bestuur - mense te werf en te betaal - en navorsers het voordeel getrek uit die infrastruktuur om in 'n altyd beskikbare poel van deelnemers aan te sluit.

Figuur 4.2: Referate gepubliseer met behulp van data van Amazon Mechanical Turk (MTurk). MTurk en ander aanlyn-arbeidsmarkte bied navorsers 'n gerieflike manier om deelnemers vir eksperimente te werf. Aangepas uit Bohannon (2016) .

Digitale stelsels skep nog meer moontlikhede vir veldagtige eksperimente. In die besonder stel hulle navorsers in staat om die noue beheer en verwerking van data wat met laboratoriumeksperimente geassosieer word met die meer diverse deelnemers en meer natuurlike instellings wat met lab eksperimente geassosieer word, te kombineer. Daarbenewens bied digitale veld eksperimente ook drie geleenthede wat moeilik was in analoog eksperimente.

Eerstens, terwyl die meeste analoog laboratorium- en veldeksperimente honderde deelnemers het, kan digitale veld eksperimente miljoene deelnemers hê. Hierdie skaalverandering is omdat sommige digitale eksperimente data teen nul veranderlike koste kan produseer. Dit is, sodra navorsers 'n eksperimentele infrastruktuur geskep het, verhoog die aantal deelnemers gewoonlik nie die koste nie. Om die aantal deelnemers met 'n faktor van 100 of meer te verhoog, is nie net 'n kwantitatiewe verandering nie; Dit is 'n kwalitatiewe verandering, want dit stel navorsers in staat om verskillende dinge van eksperimente te leer (bv. heterogeniteit van behandelingseffekte) en om heeltemal verskillende eksperimentele ontwerpe te gebruik (bv. grootgroep eksperimente). Hierdie punt is so belangrik, ek sal terugkeer na die einde van die hoofstuk wanneer ek advies bied oor die skep van digitale eksperimente.

Tweedens, terwyl die meeste analoog laboratorium- en veldeksperimente deelnemers as ononderskeibare widgets behandel, gebruik digitale veld eksperimente dikwels agtergrond inligting oor deelnemers in die ontwerp en analise stadiums van die navorsing. Hierdie agtergrondinligting, wat vooraf behandelingsinligting genoem word , is dikwels beskikbaar in digitale eksperimente, omdat hulle op die beste meetmetodes gebruik word (sien hoofstuk 2). Byvoorbeeld, 'n navorser by Facebook het baie meer voorbehandeling inligting oor mense in haar digitale veld eksperiment as 'n universiteit navorser het oor die mense in haar analoog veld eksperiment. Hierdie voorbehandeling maak dit moontlik om meer doeltreffende eksperimentele ontwerpe, soos blokkering (Higgins, Sävje, and Sekhon 2016) en geteikende werwing van deelnemers (Eckles, Kizilcec, and Bakshy 2016) - en meer insiggewende analise - soos die beraming van heterogeniteit van behandelingseffekte (Athey and Imbens 2016a) en kovariate aanpassing vir verbeterde presisie (Bloniarz et al. 2016) .

Derdens, terwyl baie analoog laboratorium- en veldeksperimente behandelings lewer en die uitkomste meet in 'n relatief gekomprimeerde hoeveelheid tyd, gebeur sommige digitale veld eksperimente oor baie langer tydskale. Byvoorbeeld, die eksperiment van Restivo en van de Rijt het die uitslag daagliks vir 90 dae gemeet en een van die eksperimente wat ek later in die hoofstuk (Ferraro, Miranda, and Price 2011) het oor drie jaar na basiese nee gevolg koste. Hierdie drie geleenthede-grootte, voorbehandelingsinligting, en longitudinale behandelings- en uitkomsdata-kom meestal voor wanneer eksperimente op die top van metingstelsels uitgevoer word (sien hoofstuk 2 vir meer oor altyd-op-metingstelsels).

Terwyl digitale veld eksperimente baie moontlikhede bied, deel hulle ook swakhede met analoog laboratorium- en analoogveld eksperimente. Byvoorbeeld, eksperimente kan nie gebruik word om die verlede te bestudeer nie, en hulle kan slegs die effekte van behandelings wat gemanipuleer kan word, skat. Ook, hoewel eksperimente ongetwyfeld nuttig is om beleid te rig, is die presiese leiding wat hulle bied, ietwat beperk as gevolg van komplikasies soos omgewingsafhanklikheid, voldoeningsprobleme (Banerjee and Duflo 2009; Deaton 2010) . Digitale veld eksperimente vergroot ook die etiese kwessies wat deur veld eksperimente geskep word. 'N Onderwerp wat ek later in hierdie hoofstuk en in hoofstuk 6 sal aanspreek.