4.1 Indledning

I de tilgange, der er dækket hidtil i denne bogoverholdende adfærd (kapitel 2) og stille spørgsmål (kapitel 3), samler forskere data uden forsætligt og systematisk at ændre verden. Den tilgang, der er omfattet af dette kapitel-løbende forsøg - er fundamentalt anderledes. Når forskere kører eksperimenter, interagerer de systematisk i verden for at skabe data, der er ideel til at besvare spørgsmål om årsagssammenhæng.

Årsagsspørgsmål er meget almindelige i social forskning, og eksempler omfatter spørgsmål som: Stiger stigende lærerlønninger elevindlæring? Hvad er effekten af ​​mindstelønnen på beskæftigelsesfrekvenserne? Hvordan påvirker en jobsøgeres race sin chance for at få et job? Ud over disse eksplicit kausalspørgsmål er undertiden årsagsspørgsmål implicitte i mere generelle spørgsmål om maksimering af nogle præstationsmålinger. For eksempel spørgsmålet "Hvilken farve skal donationsknappen være på en NGOs hjemmeside?" Er virkelig mange spørgsmål om effekten af ​​forskellige knapfarver på donationer.

En måde at besvare årsagsspørgsmål på er at søge efter mønstre i eksisterende data. For eksempel, når du vender tilbage til spørgsmålet om effekten af ​​lærerlønninger på studerendes læring, kan du beregne, at eleverne lærer mere i skoler, der tilbyder høj lærerløn. Men viser denne sammenhæng, at højere lønninger får eleverne til at lære mere? Selvfølgelig ikke. Skoler, hvor lærere tjener mere, kan være forskellige på mange måder. For eksempel kan elever i skoler med højt lærer løn komme fra rigere familier. Således, hvad der ligner en effekt af lærere, kunne netop komme fra at sammenligne forskellige typer studerende. Disse uimplementerede forskelle mellem elever kaldes confounders , og generelt kan muligheden for forstyrrelser ødelægge forskernes evne til at besvare årsagsspørgsmål ved at kigge efter mønstre i eksisterende data.

En løsning på problemet med confounders er at forsøge at gøre retfærdige sammenligninger ved at justere for observerbare forskelle mellem grupper. For eksempel kan du muligvis downloade ejendomsskatten data fra en række offentlige hjemmesider. Derefter kunne du sammenligne elevers præstationer i skoler, hvor boligpriserne er ens, men lærernes lønninger er forskellige, og du kan stadig finde ud af, at eleverne lærer mere i skoler med højere lærerløn. Men der er stadig mange mulige confounders. Måske varierer forældrene hos disse studerende på deres uddannelsesniveau. Eller måske er skolerne forskellige i deres nærhed til offentlige biblioteker. Eller måske har skolerne med højere lærerløn også højere løn for skoleledere, og hovedstolpenge, ikke lærerløn, er virkelig, hvad der øger læreruddannelsen. Du kan også prøve at måle og justere for disse faktorer, men listen over mulige confounders er i det væsentlige endeløs. I mange situationer kan du ikke måle og justere for alle mulige confounders. Som reaktion på denne udfordring har forskere udviklet en række teknikker til at fremkalde kausal estimater fra ikke-eksperimentelle data. Jeg diskuterede nogle af dem i kapitel 2 - men for visse typer spørgsmål er disse teknikker begrænset, og eksperimenter giver en lovende alternativ.

Eksperimenter gør det muligt for forskere at bevæge sig ud over korrelationerne i naturligt forekommende data for pålideligt at besvare visse årsagsspørgsmål. I den analoge alder var eksperimenter ofte logistisk vanskelige og dyre. Nu, i den digitale tidsalder, falder logistiske begrænsninger gradvis væk. Ikke alene er det lettere at lave eksperimenter som dem, der er gjort tidligere, det er nu muligt at køre nye former for forsøg.

I det jeg har skrevet hidtil har jeg været lidt løs på mit sprog, men det er vigtigt at skelne mellem to ting: eksperimenter og randomiserede kontrollerede eksperimenter. I et forsøg går en forsker ind i verden og måler derefter et resultat. Jeg har hørt denne tilgang beskrevet som "perturb og observere." I et randomiseret kontrolleret eksperiment intervenerer en forsker for nogle mennesker og ikke for andre, og forskeren bestemmer, hvilke personer der modtager interventionen ved hjælp af randomisering (f. Eks. En mønt). Randomiserede kontrollerede eksperimenter skaber retfærdige sammenligninger mellem to grupper: en der har modtaget interventionen og en der ikke har. Med andre ord er randomiserede kontrollerede eksperimenter en løsning på problemerne med confounders. Perturb-og-observere eksperimenter involverer dog kun en enkelt gruppe, der har modtaget interventionen, og derfor kan resultaterne føre forskere til den forkerte konklusion (som jeg viser snart). På trods af de vigtige forskelle mellem eksperimenter og randomiserede kontrollerede eksperimenter bruger sociale forskere ofte disse termer omveksling. Jeg følger denne konvention, men på visse punkter vil jeg bryde konventet for at understrege værdien af ​​randomiserede kontrollerede eksperimenter over eksperimenter uden randomisering og en kontrolgruppe.

Randomiserede kontrollerede eksperimenter har vist sig at være en stærk måde at lære om den sociale verden, og i dette kapitel vil jeg vise dig mere om, hvordan du bruger dem i din forskning. I afsnit 4.2 illustrerer jeg eksperimentets grundlæggende logik med et eksempel på et eksperiment på Wikipedia. Derefter beskriver jeg i afsnit 4.3 forskellen mellem laboratorieforsøg og felteksperimenter og forskellene mellem analoge eksperimenter og digitale eksperimenter. Desuden vil jeg hævde, at digitale felteksperimenter kan tilbyde de bedste funktioner i analoge lab eksperimenter (tæt kontrol) og analoge felteksperimenter (realisme), alt på en skala, der ikke var muligt tidligere. Dernæst beskriver jeg i afsnit 4.4 tre begreber-validitet, heterogenitet af behandlingseffekter og mekanismer - der er afgørende for udformningen af ​​rige eksperimenter. Med den baggrund beskriver jeg de afvejninger, der er involveret i de to hovedstrategier til gennemførelse af digitale eksperimenter: gør det selv eller samarbejder med de magtfulde. Endelig slutter jeg med nogle design råd om, hvordan du kan udnytte den virkelige kraft af digitale eksperimenter (afsnit 4.6.1) og beskrive noget af det ansvar, der følger med den magt (afsnit 4.6.2).