4.1 Inledning
I de metoder som omfattas hittills i denna bok-observera beteende (kapitel 2) och ställa frågor (kapitel 3) -researchers samla in data om vad som förekommer naturligt i världen. Tillvägagångssättet I detta kapitel gående experiment-är fundamentalt annorlunda. När forskare köra experiment, de systematiskt ingripa i världen för att skapa data som är idealiskt lämpade för att svara på frågor om orsak och verkan relationer.
Orsak och verkan frågor är mycket vanliga i social forskning, och exempel inkluderar frågor såsom Har ökar lärarnas löner öka elevernas lärande? Vad är effekten av minimilönen på sysselsättningen? Hur en arbetssökande ras påverka sin chans att få ett jobb? Förutom dessa uttryckligen orsaks frågor, ibland orsak och verkan frågor är implicit i mer allmänna frågor om maximering av vissa prestanda metriska. Till exempel är frågan "Vilken färg knappen maximera donationer på en NGO hemsida webbplats?" Verkligen massor av frågor om effekten av olika knappfärger på donationer.
Ett sätt att svara på orsak och verkan frågor är att leta efter mönster i befintliga data. Till exempel, med hjälp av data från tusentals skolor, kanske du räkna ut att eleverna lär sig mer i skolor som erbjuder höga lärarlöner. Men inte detta samband visar att högre löner orsakar eleverna att lära sig mer? Självklart inte. Skolor där lärare tjänar mer kan vara olika på många sätt. Till exempel kan elever i skolor med hög lärarlöner kommer från rikare familjer. Således, vad som ser ut som en effekt av lärare kan bara komma från att jämföra olika typer av studenter. Dessa unmeasured skillnader mellan elever kallas confounders, och i allmänhet, möjlighet att confounders härjar på forskare förmåga att svara på orsak och verkan frågor genom att leta efter mönster i befintliga data.
En lösning på problemet med confounders är att försöka göra rättvisa jämförelser genom att justera för observerbara skillnader mellan grupperna. Till exempel kanske du kan ladda ner fastighetsskatt data från ett antal statliga webbplatser. Sedan kan du jämföra elevernas prestationer i skolan där bostadspriserna är liknande men lärarlöner är olika, och du fortfarande kan finna att eleverna lär sig mer i skolor med högre lön lärare. Men det finns fortfarande många möjliga confounders. Kanske föräldrarna till dessa studerande skiljer sig deras utbildningsnivå eller kanske skolor skiljer sig i deras närhet till allmänna bibliotek eller kanske skolor med högre lön lärare har också högre lön för rektorer och huvud lön, inte lärare lön, är verkligen vad ökar studenternas lärande. Du kan försöka att mäta dessa andra faktorer också, men listan över möjliga confounders är väsentligen oändliga. I många situationer, du bara inte kan mäta och justera för alla möjliga confounders. Denna metod kan bara ta dig så långt.
En bättre lösning på problemet med störande variabler är igång experiment. Experiment gör det möjligt för forskare att gå bortom korrelationerna i naturligt förekommande uppgifter i syfte att på ett tillförlitligt svar orsak och verkan fråga. I den analoga ålder, experiment var ofta logistiskt svårt och dyrt. Nu, i den digitala tidsåldern, logistiska begränsningar gradvis bleknar bort. Inte bara är det lättare att göra experiment som dessa forskare har gjort tidigare, är det nu möjligt att köra nya typer av experiment.
I vad jag har skrivit så långt jag har varit lite lös i mitt språk, men det är viktigt att skilja mellan två saker: experiment och randomiserade kontrollerade experiment. I ett experiment en forskare ingriper i världen och sedan mäter ett resultat. Jag har hört detta tillvägagångssätt beskrivs som "störa och observera." Denna strategi är mycket effektiv i naturvetenskap, men i medicinska och samhällsvetenskap, det finns en annan metod som fungerar bättre. I en randomiserad, kontrollerad experiment en forskare ingriper för vissa människor och inte för andra, och kritiskt, forskaren bestämmer vilka människor får intervention randomisering (t.ex. vända ett mynt). Detta förfarande säkerställer att randomiserade kontrollerade experiment skapa rättvisa jämförelser mellan två grupper: en som har fått interventionen och en som inte har. Med andra ord, randomiserade kontrollerade experiment är en lösning på problemen med confounders. Trots de stora skillnaderna mellan experiment och randomiserade kontrollerade experiment, sociala forskare använder ofta dessa termer omväxlande. Jag ska följa denna konvention, men på vissa punkter, kommer jag bryta konventionen att betona värdet av randomiserade kontrollerade experiment över experiment utan randomisering och en kontrollgrupp.
Randomiserade kontrollerade experiment har visat sig vara ett effektivt sätt att lära sig om den sociala världen, och i detta kapitel, ska jag lära dig mer om hur man använder dem i din forskning. I avsnitt 4.2, ska jag illustrera den grundläggande logiken i experiment med ett exempel på ett experiment på Wikipedia. Sedan, i avsnitt 4.3, ska jag beskriva skillnaden mellan lab experiment och fältförsök och skillnaderna mellan analoga experiment och digitala experiment. Vidare kommer jag hävdar att digitala fältexperiment kan erbjuda de bästa egenskaperna hos analoga laboratorieexperiment (tight kontroll) och analoga fältförsök (realism), alla på en skala som inte var möjligt tidigare. Nästa, i avsnitt 4.4, ska jag beskriva tre begrepp-giltighet, heterogenitet behandlingseffekter, och mekanismer-som är kritiska för att utforma rika experiment. Med den bakgrunden kommer jag att beskriva vilka avvägningar som är involverade i de två huvudstrategier för att utföra digitala experiment: att göra det själv (avsnitt 4.5.1) eller samarbetar med den kraftfulla (punkt 4.5.2). Slutligen ska jag avsluta med några konstruktion råd om hur du kan dra nytta av den verkliga kraften i digitala experiment (avsnitt 4.6.1) och beskriva några av ansvar som följer med denna befogenhet (avsnitt 4.6.2). Kapitlet kommer att presenteras med ett minimum av matematisk notation och formellt språk; läsare som är intresserade av en mer formell, matematisk metod för försök bör också läsa den tekniska bilagan i slutet av kapitlet.
