4.1 Inledning
I de tillvägagångssätt som hittills behandlats i detta bokobservationsbeteende (kapitel 2) och ställa frågor (kapitel 3) samlar forskningsaktörer data utan att avsiktligt och systematiskt förändra världen. Tillvägagångssättet som omfattas av det här kapitlet kör experimentet är fundamentalt annorlunda. När forskare driver experiment, intervenerar de systematiskt i världen för att skapa data som är idealiska för att svara på frågor om orsak-och-effekt-relationer.
Orsak-och-effektfrågor är mycket vanliga inom samhällsforskning, och exempel är frågor som: ökar ökad lärarlön elevlärning? Vad är effekten av minimilön på sysselsättningsgraden? Hur påverkar en arbetssökandes ras hennes chans att få ett jobb? Förutom dessa uttryckligen orsaksspecifika frågor är ibland orsaksspecifika frågor implicita i mer allmänna frågor om maximering av vissa prestationsmått. Till exempel är frågan "Vilken färg borde donate-knappen vara på en icke-statlig webbplats?" Är verkligen många frågor om effekten av olika knappfärger på donationer.
Ett sätt att svara på orsaksspecifika frågor är att leta efter mönster i befintlig data. Till exempel, återvända till frågan om effekten av lärarlöner på studentinlärning kan du beräkna att eleverna lär sig mer i skolor som erbjuder höga lärarlöner. Men visar denna korrelation att högre löner gör att eleverna lär sig mer? Självklart inte. Skolor där lärare tjänar mer kan vara olika på många sätt. Till exempel kan elever i skolor med hög lärarlön komma från rikare familjer. Således, som ser ut som en effekt av lärare, kan det bara vara att jämföra olika typer av studenter. Dessa obemannade skillnader mellan studenter kallas förskingrar , och i allmänhet orsakar möjligheten till förvirring att förorsaka forskarnas förmåga att svara på orsaksspecifika frågor genom att leta efter mönster i befintliga data.
En lösning på problemet med confounders är att försöka göra rättvisa jämförelser genom att justera för observerbara skillnader mellan grupper. Till exempel kan du hämta data om fastighetsskatt från ett antal offentliga webbplatser. Då kan du jämföra studentprestanda i skolor där bostadspriserna är likartade men lärarlönerna är olika, och du kan fortfarande konstatera att eleverna lär sig mer i skolor med högre lärarlön. Men det finns fortfarande många möjliga confounders. Kanske föräldrarnas föräldrar skiljer sig åt på deras utbildningsnivå. Eller kanske skolorna skiljer sig i närheten av offentliga bibliotek. Eller kanske skolorna med högre lärarlön också har högre lön för huvudmän, och huvudlön, inte lärarlön, är verkligen vad som ökar elevinlärningen. Du kan försöka mäta och justera för dessa faktorer också, men listan över möjliga confounders är i grunden oändlig. I många situationer kan du bara inte mäta och anpassa för alla möjliga konfronteringar. Som svar på denna utmaning har forskare utvecklat ett antal tekniker för att göra kausala uppskattningar från icke-experimentella data. Jag diskuterade några av dem i kapitel 2, men för vissa typer av frågor är dessa tekniker begränsade och experimenten erbjuder en lovande alternativ.
Experiment gör det möjligt för forskare att gå utöver korrelationerna i naturligt förekommande data för att på ett tillförlitligt sätt kunna svara på vissa orsaksspecifika frågor. I den analoga åldern var experiment ofta logistiskt svåra och dyra. Nu, i den digitala tidsåldern, blir logistiska begränsningar gradvis borta. Det är inte bara lättare att göra experiment som de som gjorts tidigare, det är nu möjligt att köra nya typer av experiment.
I det jag har skrivit hittills har jag varit lite lös på mitt språk, men det är viktigt att skilja mellan två saker: experiment och randomiserade kontrollerade experiment. I ett experiment ingriper en forskare i världen och mäter sedan ett resultat. Jag har hört detta tillvägagångssätt som beskrivs som "stör och observera." I ett randomiserat kontrollerat experiment ingriper en forskare för vissa människor och inte för andra, och forskaren bestämmer vilka personer som får ingripandet genom randomisering (t ex vändning av ett mynt). Randomiserade kontrollerade experiment skapar rättvisa jämförelser mellan två grupper: en som har fått interventionen och en som inte har det. Med andra ord är randomiserade kontrollerade experiment en lösning på problemen med confounders. Perturb-and-observe experiments, involverar emellertid bara en enda grupp som har fått interventionen, och därför kan resultaten leda forskare till fel konklusion (som jag visar snart). Trots de viktiga skillnaderna mellan experiment och randomiserade kontrollerade experiment använder sociala forskare ofta dessa villkor utbytbart. Jag följer denna konvention men på vissa punkter bryter jag konventionen för att betona värdet av randomiserade kontrollerade experiment över experiment utan randomisering och en kontrollgrupp.
Randomiserade kontrollerade experiment har visat sig vara ett kraftfullt sätt att lära sig om den sociala världen, och i det här kapitlet ska jag visa dig mer om hur man använder dem i din forskning. I avsnitt 4.2 ska jag illustrera experimentets grundläggande logik med ett exempel på ett experiment på Wikipedia. Sedan ska jag i avsnitt 4.3 beskriva skillnaden mellan labbförsök och fältförsök och skillnaderna mellan analoga experiment och digitala experiment. Vidare argumenterar jag för att digitala fältförsök kan erbjuda de bästa egenskaperna hos analoga laboratorieexperiment (tight control) och analoga fältförsök (realism), allt på en skala som inte var möjligt tidigare. Därefter beskriver jag i avsnitt 4.4 tre begreppsgiltighet, heterogenitet av behandlingseffekter och mekanismer som är kritiska för att utforma rika experiment. Med den bakgrunden ska jag beskriva de avvägningar som är inblandade i de två huvudstrategierna för att genomföra digitala experiment: göra det själv eller samarbeta med de mäktiga. Slutligen kommer jag att sluta med några designråd om hur du kan utnyttja den verkliga kraften i digitala experiment (avsnitt 4.6.1) och beskriva något ansvar som följer med den kraften (avsnitt 4.6.2).
