4.3 Två dimensioner av experiment: lab-fältet och analog-digitala

Lab experiment ger kontroll, fältförsök erbjuda realism, och digitala fältförsök kombinerar kontroll och realism i stor skala.

Experiment finns i många olika former och storlekar. Men trots dessa skillnader har forskare funnit det vara bra att organisera experiment längs ett kontinuum mellan lab experiment och fältförsök. Men nu forskare bör också organisera experiment längs ett kontinuum mellan analoga experiment och digitala experiment. Detta tvådimensionell formgivning utrymme kommer att hjälpa dig att förstå styrkor och svagheter i olika metoder och föreslå områden som har störst möjlighet (figur 4.1).

Figur 4.1: Schematisk design utrymme för experiment. Förr i tiden, experiment varierade längs labbfält dimensionen. Nu, de också variera för analog-digital dimension. Enligt min mening är det område som har störst möjlighet digitala fältexperiment.

Förr i tiden, det främsta sättet att forskare organiserade experiment var längs labbfält dimensionen. Majoriteten av experiment inom samhällsvetenskap är lab experiment där studenter utför konstiga uppgifter i ett labb för kurs kredit. Denna typ av experiment dominerar forskningen inom psykologi eftersom det gör det möjligt för forskare att skapa mycket specifika behandlingar som syftar till att testa mycket specifika teorier om socialt beteende. För vissa problem, men känns något lite konstigt att dra säkra slutsatser om mänskligt beteende från sådana ovanliga människor som utför sådana ovanliga uppgifter i en sådan ovanlig inställning. Dessa bekymmer har lett till en rörelse mot fältexperiment. Fältförsök kombinerar starka utformningen av randomiserade kontrollerade experiment med flera representativa grupper av deltagare, utför mer vanliga uppgifter, i mer naturliga inställningar.

Även om vissa människor tänker på lab och fältförsök som konkurrerande metoder, är det bäst att tänka på dem som kompletterande metoder med olika styrkor och svagheter. Till exempel, Correll, Benard, and Paik (2007) används både ett labb experiment och fältförsök i ett försök att hitta källorna till "moderskap straff." I USA, mödrar tjänar mindre pengar än barnlösa kvinnor, även när jämför kvinnor med liknande kompetens som arbetar i liknande jobb. Det finns många möjliga förklaringar till detta mönster, och ett är att arbetsgivare diskriminerar mödrar. (Intressant nog verkar det motsatta är sant för fäder: de tenderar att tjäna mer än jämförbara barnlösa män). För att bedöma eventuell partiskhet mot mödrar, Correll och kollegor körde två experiment: en i labbet och en i fält.

Först, i ett labb experiment Correll och kollegor berättade deltagare, som var college studenter, att en Kalifornien-baserade nystartade kommunikationsföretag bedrev en anställning söka efter en person att leda sin nya östkusten marknadsavdelning. Eleverna fick höra att företaget ville deras hjälp i anställningsprocessen och de ombads att granska återupptar flera potentiella kandidater och för att betygsätta kandidaterna på ett antal dimensioner såsom deras intelligens, värme och engagemang att arbeta. Vidare fick eleverna om de skulle rekommendera hyra sökanden och vad de skulle rekommendera som en ingångslön. Unbeknownst till eleverna, men de återupptar var speciellt konstruerade för att vara lika med undantag för en sak: några av de återupptar signalerade moderskap (genom att lista inblandning i en föräldramöte association) och vissa inte. Correll fann att eleverna var mindre benägna att rekommendera hyra mödrarna och erbjöd dem lägre ingångslön. Vidare, genom en statistisk analys av både betyg och anställningsrelaterade beslut, Correll fann att mödrarnas nackdelar till stor del förklarades av det faktum att mödrar rankade lägre i fråga om kompetens och engagemang. Med andra ord, hävdar Correll att dessa egenskaper är den mekanism genom vilken mödrar missgynnas. Således, denna labb experiment tillät Correll och kollegor för att mäta en kausal effekt och ger en möjlig förklaring till detta ändamål.

Naturligtvis kan man vara skeptisk dra slutsatser om hela den amerikanska arbetsmarknaden bygger på beslut av några hundra studenter som har förmodligen aldrig haft ett heltidsjobb, än mindre hyrda människor. Därför Correll och kollegor genomförde också en kompletterande fältförsök. Forskarna svarade på hundratals annonserade lediga genom att skicka in falska följebrev och meritförteckningar. I likhet med de material som visas på studenter, en del återupptar signalerade moderskap och vissa inte. Correll och kollegor fann att mödrar var mindre benägna att få kallas tillbaka för intervjuer än lika kvalificerade barnlösa kvinnor. Med andra ord, verkliga arbetsgivare gör följdbeslut i en naturlig miljö betedde sig mycket som de studenter. Har de fatta liknande beslut av samma skäl? Tyvärr vet vi inte. Forskarna kunde inte be arbetsgivare att betygsätta kandidaterna eller förklara sina beslut.

Detta par av experiment avslöjar en hel del om lab och fältförsök i allmänhet. Lab experiment har forskare nära total kontroll över den miljö där deltagarna att fatta beslut. Så, till exempel, i labbet experiment, var Correll kunna säkerställa att alla återupptar lästes i en lugn miljö, i fältförsöket, några av de återupptar kanske inte ens lästs. Vidare, eftersom deltagarna i inställningen lab vet att de håller på att studeras, forskare ofta kan samla in ytterligare uppgifter som kan hjälpa dem att förstå varför deltagarna fattar sina beslut. Till exempel frågade Correll deltagarna i labbet experiment för att betygsätta kandidaterna på olika dimensioner. Denna typ av processdata kan hjälpa forskarna att förstå mekanismerna bakom skillnaderna i hur deltagarna behandla återupptas.

Å andra sidan är dessa exakt samma egenskaper som jag just beskrivit som fördelar också ibland anses nackdelar. Forskare som föredrar fältförsök hävdar att deltagarna i lab experiment kan agera mycket annorlunda när de blir noga. Till exempel i labbet experiment deltagare kanske har gissat målet för forskning och ändrat sitt beteende för att inte verka partisk. Vidare, forskare som föredrar fältförsök skulle kunna hävda att små skillnader på återupptar kan bara stå ut i en mycket ren, steril labbmiljö, och därmed labbet experimentet överskatta effekten av moderskap på verkliga anställningsbeslut. Slutligen, många förespråkare av fältförsök kritiserar laborationer beroendet KUSLIGA deltagare: främst studenter från västra, utbildade, industrialiserade, rika och demokratiska länder (Henrich, Heine, and Norenzayan 2010) . Försöken av Correll och kollegor (2007) visar de två ytterligheterna på labb fältet kontinuum. Mellan dessa två ytterligheter finns det en mängd av hybrid mönster, inklusive metoder såsom att icke-studenter i ett labb eller gå in på området, men fortfarande har deltagarna utföra en ovanlig uppgift.

Förutom labbet fältet dimension som har funnits i det förflutna innebär den digitala tidsåldern att forskarna har nu en andra större dimension längs vilken experiment kan variera: analog-digital. Precis som det finns rena lab experiment, rena fältexperiment, och en mängd olika hybrider däremellan, det är rena analoga experiment, rent digitala experiment, och en mängd olika hybrider. Det är svårt att erbjuda en formell definition av denna dimension, men en användbar arbetsdefinition är att helt digitala experiment är experiment som utnyttjar digital infrastruktur för att rekrytera deltagare slumpmässigt, leverera behandlingar, och mäta resultaten. Till exempel Restivo och van de Rijt s (2012) studie av barnstars och Wikipedia var en helt digital experiment eftersom det brukade digitala system för alla fyra av dessa steg. Likaså helt analoga experiment är experiment som inte använder sig av digital infrastruktur för någon av dessa fyra steg. Många av de klassiska experiment i psykologi är analoga experiment. Mellan dessa två ytterligheter finns delvis digitala experiment som använder en kombination av analoga och digitala system för de fyra stegen.

Kritiskt, att möjligheterna köra digitala experiment är inte bara på nätet. Forskare kan köra delvis digitala experiment genom att använda digitala enheter i den fysiska världen för att leverera behandlingar eller mäta resultaten. Till exempel kan forskarna använda smarta telefoner för att leverera behandlingar eller sensorer i den byggda miljön för att mäta resultaten. I själva verket, som vi kommer att se längre fram i detta kapitel, forskare har redan använt hem effektmätare för att mäta resultat i experiment om sociala normer och energiförbrukning som omfattar 8,5 miljoner hushåll (Allcott 2015) . Som digitala enheter blir allt mer integrerade i människors liv och sensorer integreras i byggda miljön, att dessa möjligheter köra delvis digitala experiment i den fysiska världen kommer att öka dramatiskt. Med andra ord, digitala experiment är inte bara online-experiment.

Digitala system skapar nya möjligheter för experiment överallt längs labb fältet kontinuum. I rena lab experiment, till exempel, kan forskarna använda digitala system för finare mätning av deltagarnas beteende; ett exempel på denna typ av förbättrad mätning är eye-tracking utrustning som ger exakta och kontinuerliga åtgärder av blick plats. Den digitala tidsåldern skapar också möjligheten att köra labbliknande experiment på nätet. Till exempel har forskare snabbt antagit Amazon Mechanical Turk (MTurk) att rekrytera deltagare för online experiment (figur 4.2). MTurk matchar "arbetsgivare" som har uppgifter som måste kompletteras med "arbetare" som vill att slutföra dessa uppgifter för pengarna. Till skillnad från traditionella arbetsmarknader, men arbetsuppgifterna kräver oftast bara några minuter att fylla i och hela samspelet mellan arbetsgivare och arbetstagare är virtuella. Eftersom MTurk härmar aspekter av traditionella labbexperiment-betala folk för att utföra uppgifter som de inte skulle göra för fri-det är naturligtvis lämpad för vissa typer av experiment. I huvudsak har MTurk skapat infrastrukturen för att hantera en pool deltagare-rekrytering och betala folk-och forskare har utnyttjat denna infrastruktur för att utnyttja en alltid tillgänglig pool deltagare.

Figur 4.2: Papers publiceras med hjälp av data från Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk och andra online arbetsmarknader erbjuda forskare ett bekvämt sätt att rekrytera deltagare för experiment.

Digitala experiment skapar ännu fler möjligheter för fältliknande experiment. Digitala fältförsök kan erbjuda snäva kontroll och processdata för att förstå möjliga mekanismer (som lab experiment) och mer varierande deltagarna göra riktiga beslut i en naturlig miljö (som fältförsök). I tillägg till denna kombination av goda egenskaper för tidigare experiment, digitala fältexperiment erbjuder även tre möjligheter som var svåra i analoga lab och fältexperiment.

Först, medan de flesta analoga lab och fältförsök har hundratals deltagare, kan digitala fältförsök har miljontals deltagare. Denna förändring i skala beror på att vissa digitala experiment kan ta fram data till noll rörlig kostnad. Det vill säga, när forskare har skapat en experimentell infrastruktur, vilket ökar antalet deltagare typiskt inte ökar kostnaden. En ökning av antalet deltagare med en faktor av 100 eller mer är inte bara en kvantitativ förändring, är det en kvalitativ förändring, eftersom det gör det möjligt för forskare att lära sig olika saker från experiment (t.ex. heterogenitet av behandlingseffekter) och drivs helt olika experimentell design ( t.ex. stor grupp experiment). Denna punkt är så viktigt, kommer jag tillbaka till det i slutet av kapitlet när jag ger råd om att skapa digitala experiment.

För det andra, medan de flesta analoga lab och fältförsök behandla deltagarna oskiljbara widgets, digitala fältexperiment använder ofta bakgrundsinformation om deltagarna i utformning och analys stadier av forskningen. Denna bakgrundsinformation, som kallas förbehandling information är ofta finns i digitala experiment eftersom de äger rum i fullständigt uppmätta miljöer. Till exempel kan en forskare vid Facebook har mycket mer förbehandling information än en forskare att utforma en standardlabbexperiment med studenter. Denna förbehandling information gör det möjligt för forskare att gå bortom att behandla deltagarna oskiljbara widgets. Mer specifikt, förbehandling information gör det möjligt effektivare experimentell design-såsom blockering (Higgins, Sävje, and Sekhon 2016) och målinriktad rekrytering av deltagare (Eckles, Kizilcec, and Bakshy 2016) -och mer insiktsfull analys-såsom uppskattning av heterogenitet av behandlingseffekter (Athey and Imbens 2016a) och kovariat justering för förbättrad precision (Bloniarz et al. 2016) .

För det tredje, medan många analoga lab och fältförsök leverera behandlingar och mäta resultat i en relativt komprimerad tid, vissa digitala fältexperiment innebär behandlingar som kan levereras över tiden och effekterna kan också mätas över tiden. Till exempel har Restivo och van de Rijt experiment resultatet mäts dagligen under 90 dagar, och ett av experimenten ska jag berätta om senare i kapitlet (Ferraro, Miranda, and Price 2011) spår utfall under 3 år på i princip ingen kosta. Dessa tre möjligheter storlek, förbehandling information och längd behandling och utfall-är vanligast när experiment körs ovanpå alltid-på mätningar system (se kapitel 2 för mer på ständig mätsystem).

Medan digitala fältförsök erbjuder många möjligheter, de också vissa brister med både analoga lab och fältexperiment. Till exempel, kan försök som inte användas för att studera det förflutna, och de endast kan uppskatta effekterna av behandlingar som kan manipuleras. Dessutom, även om experimenten är utan tvekan bra att vägleda politik, är något begränsad på grund av komplikationer såsom miljöberoende problem efterlevnad, och jämviktseffekter exakt vägledning de kan erbjuda (Banerjee and Duflo 2009; Deaton 2010) . Slutligen, digitala fältexperiment förstora de etiska problem som skapats av fältförsök. Förespråkare av fältförsök trumpet deras förmåga att diskret och slumpmässigt ingripa i följd beslut som fattas av miljontals människor. Dessa funktioner ger vissa vetenskapliga fördelar, men de kan också göra fältförsök etiskt komplexa (tänker på det som forskare behandla människor som "labbråttor" i stor skala). Vidare, förutom eventuella skador till deltagarna, digitala fältexperiment, på grund av sin storlek, kan också väcka frågor om avbrott i arbets sociala system (t.ex. oro störa Wikipedia belöningssystem om Restivo och van der Rijt gav alltför många barnstars) .