4.1 Innledning

I de tilnærmingene som er dekket så langt i denne bokobservasjonsadferansen (kapittel 2) og stille spørsmål (kapittel 3) samler forskere data uten forsettlig og systematisk forandring av verden. Tilnærmingen som dekkes i dette kapitlet kjører eksperimenter-er fundamentalt annerledes. Når forskere driver eksperimenter, intervenerer de systematisk i verden for å skape data som er ideell til å svare på spørsmål om årsakssammenheng.

Årsak og virkning spørsmål er svært vanlige i sosial forskning, og eksempler inkluderer spørsmål som: øker lærerlønnene elevers læring? Hva er effekten av minimumslønn på sysselsetting? Hvordan påvirker en jobbsøkeres rase hennes sjanse til å få jobb? I tillegg til disse eksplisitt årsaksspørsmålene, er noen ganger årsaksspørsmål implisitte i mer generelle spørsmål om maksimalisering av noen ytelsesstatistikk. For eksempel spørsmålet "Hvilken farge skal donasjonsknappen være på en NGOs nettside?" Er veldig mange spørsmål om effekten av forskjellige knappfarger på donasjoner.

En måte å svare på årsakssvar spørsmål er å lete etter mønstre i eksisterende data. For eksempel, når du går tilbake til spørsmålet om effekten av lærerlønn på studentlæring, kan du regne ut at studentene lærer mer i skoler som tilbyr høy lærerlønn. Men viser denne sammenhengen at høyere lønninger fører til at elevene lærer mer? Selvfølgelig ikke. Skoler der lærere tjener mer, kan være forskjellige på mange måter. For eksempel kan studenter i skoler med høy lærerlønn komme fra rikere familier. Slik ser det ut som en effekt av lærere, kan det bare komme fra å sammenligne ulike typer studenter. Disse uimplementerte forskjellene mellom elevene kalles forstyrrelser , og generelt kan muligheten for forstyrrelser ødelegge forskernes evne til å svare på årsak og effekt spørsmål ved å lete etter mønstre i eksisterende data.

En løsning på problemet med confounders er å forsøke å gjøre rettferdige sammenligninger ved å justere for observerbare forskjeller mellom grupper. For eksempel kan du kanskje laste ned eiendomsskattedata fra en rekke offentlige nettsteder. Deretter kan du sammenligne elevprestasjoner i skolene der boligprisene er like, men lærerlønnene er forskjellige, og du kan fortsatt finne at studentene lærer mer i skoler med høyere lærerlønn. Men det er fortsatt mange mulige confounders. Kanskje foreldrene til disse elevene er forskjellige i utdanningsnivået. Eller kanskje er skolene forskjellige i nærheten av offentlige biblioteker. Eller kanskje har skolene med høyere lærerlønn også høyere lønn for oppdragsgivere, og hovedstolpenning, ikke lærerlønn, er egentlig det som øker studentenes læring. Du kan også prøve å måle og justere for disse faktorene, men listen over mulige confounders er i det hele tatt uendelig. I mange situasjoner kan du bare ikke måle og justere for alle mulige confounders. Som svar på denne utfordringen har forskere utviklet en rekke teknikker for å lage kausal estimater fra ikke-eksperimentelle data. Jeg diskuterte noen av dem i kapittel 2, men for visse typer spørsmål er disse teknikkene begrenset, og eksperimenter gir lovende alternativ.

Eksperimenter gjør det mulig for forskere å bevege seg utover korrelasjonene i naturlig forekommende data for å kunne på en pålitelig måte svare på visse årsaksspørsmål. I den analoge alderen var eksperimenter ofte logistisk vanskelig og dyr. Nå, i den digitale tidsalderen, blir logistiske begrensninger gradvis fading unna. Ikke bare er det lettere å gjøre eksperimenter som de som er gjort tidligere, det er nå mulig å kjøre nye typer eksperimenter.

I det jeg har skrevet så langt har jeg vært litt løs på språket mitt, men det er viktig å skille mellom to ting: eksperimenter og randomiserte kontrollerte eksperimenter. I et forsøk går en forsker inn i verden og måler deretter et utfall. Jeg har hørt denne tilnærmingen beskrevet som "perturb og observere." I et randomisert kontrollert eksperiment intervenerer en forsker for noen mennesker og ikke for andre, og forskeren bestemmer hvilke personer som mottar intervensjonen ved randomisering (for eksempel å snu en mynt). Randomiserte kontrollerte eksperimenter skaper rettferdige sammenligninger mellom to grupper: en som har mottatt intervensjonen og en som ikke har det. Med andre ord er randomiserte kontrollerte eksperimenter en løsning på problemene med confounders. Perturb-og-observere eksperimenter, involverer imidlertid bare en enkelt gruppe som har mottatt intervensjonen, og derfor kan resultatene føre forskere til feil konklusjon (som jeg vil vise snart). Til tross for de viktige forskjellene mellom eksperimenter og randomiserte kontrollerte eksperimenter, bruker sosiale forskere ofte disse betingelsene utveksling. Jeg følger denne konvensjonen, men på bestemte punkter vil jeg bryte konvensjonen for å understreke verdien av randomiserte kontrollerte eksperimenter over eksperimenter uten randomisering og en kontrollgruppe.

Tilfeldige kontrollerte eksperimenter har vist seg å være en kraftig måte å lære om den sosiale verden, og i dette kapitlet vil jeg vise deg mer om hvordan du bruker dem i din forskning. I avsnitt 4.2 illustrerer jeg grunnleggende logikk for eksperimentering med et eksempel på et eksperiment på Wikipedia. I avsnitt 4.3 beskriver jeg forskjellen mellom laboratorieeksperimenter og felteksperimenter og forskjellene mellom analoge eksperimenter og digitale eksperimenter. Videre vil jeg argumentere for at digitale felteksperimenter kan tilby de beste funksjonene i analoge laboratorieforsøk (tett kontroll) og analoge felteksperimenter (realisme), alt på en skala som ikke var mulig tidligere. Deretter skal jeg i avsnitt 4.4 beskrive tre begreper-validitet, heterogenitet av behandlingseffekter og mekanismer-som er kritiske for å designe rike eksperimenter. Med den bakgrunnen vil jeg beskrive avvikene som er involvert i de to hovedstrategiene for å gjennomføre digitale eksperimenter: gjør det selv eller samarbeide med de mektige. Til slutt konkluderer jeg med noen designråd om hvordan du kan dra nytte av den virkelige kraften til digitale eksperimenter (avsnitt 4.6.1) og beskrive noe av ansvaret som følger med den kraften (avsnitt 4.6.2).