4.1 Innledning
I tilnærminger dekket så langt i denne boken-observere atferden (kapittel 2) og stille spørsmål (kapittel 3) -researchers samle inn data om hva som er naturlig forekommende i verden. Tilnærmingen I dette kapitlet varige eksperimenter-er fundamentalt forskjellig. Når forskerne kjøre eksperimenter, de systematisk gripe inn i verden for å skape data som er ideell for å svare på spørsmål om årsak og virkning relasjoner.
Årsak og virkning spørsmålene er svært vanlig i samfunnsforskningen, og eksempler omfatter spørsmål som virker å øke lærerlønninger øke elevenes læring? Hva er effekten av minstelønn på sysselsetting? Hvordan en jobbsøker rase påvirke henne sjansen for å få en jobb? I tillegg til disse eksplisitt kausale spørsmål, noen ganger føre og virkning spørsmålene er implisitt i mer generelle spørsmål om maksimering av noen resultatberegningen. For eksempel spørsmålet "Hvilken farge knappen vil maksimere donasjoner på en NGO nettsted området?" Er egentlig mange spørsmål om effekten av forskjellige knappe farger på donasjoner.
En måte å svare på årsak og virkning spørsmål er å se etter mønstre i eksisterende data. For eksempel ved hjelp av data fra tusenvis av skoler, kan du beregne at elevene lærer mer på skoler som tilbyr høy lærerlønninger. Men dette betyr korrelasjonen viser at høyere lønn føre elevene til å lære mer? Selvfølgelig ikke. Skoler der lærere tjener mer kan være forskjellige på mange måter. For eksempel kan elever på skoler med høy lærerlønninger kommer fra velstående familier. Derfor, hva ser ut som en effekt av lærere kan bare komme fra å sammenligne ulike typer studenter. Disse umålte forskjeller mellom elevene blir kalt confounders, og generelt, muligheten for confounders tærer på forskere muligheten til å svare på årsak og virkning spørsmål ved å se etter mønstre i eksisterende data.
En løsning på problemet med confounders er å prøve å gjøre rettferdige sammenligninger ved å justere for observerbare forskjeller mellom gruppene. For eksempel kan du være i stand til å laste ned eiendomsskatt data fra en rekke offentlige nettsteder. Deretter kan du sammenligne elevprestasjoner i skolen, hvor boligprisene er like, men lærerens lønn er forskjellige, og du fremdeles kan finne at elevene lærer mer i skoler med høyere lærerlønn. Men, det er fortsatt mange mulige confoundere. Kanskje foreldrene til disse studentene har ulik utdanningsnivået eller kanskje skolene ulik nærhet til offentlige biblioteker eller kanskje skoler med høyere lærer lønn har også høyere lønn for rektorer og rektor lønn, ikke lærer lønn, er egentlig hva er økende elevenes læring. Du kan prøve å måle disse andre faktorer også, men listen over mulige confounders er egentlig uendelige. I mange situasjoner, du bare ikke kan måle og justere for alle mulige confoundere. Denne tilnærmingen kan bare ta deg så langt.
En bedre løsning på problemet med confounders kjører eksperimenter. Eksperimenter aktivere forskere å gå utover den korrelasjoner i naturlig forekommende data for å pålitelig svare årsak og virkning spørsmålet. I den analoge alder, eksperimenter var ofte logistisk vanskelig og kostbart. Nå, i den digitale tidsalder, logistiske begrensninger gradvis filtrert bort. Ikke bare er det lettere å gjøre eksperimenter som disse forskerne har gjort i det siste, er det nå mulig å kjøre nye typer eksperimenter.
I det jeg har skrevet så langt har jeg vært litt løs i mitt språk, men det er viktig å skille mellom to ting: eksperimenter og randomiserte kontrollerte forsøk. I et eksperiment forsker griper inn i verden, og så måler et utfall. Jeg har hørt denne tilnærmingen beskrevet som "forurolige og observere." Denne strategien er svært effektiv i naturvitenskap, men i medisinske og samfunnsfag, det er en annen tilnærming som fungerer bedre. I en randomisert kontrollert forsøk forsker intervenerer for noen mennesker og ikke for andre, og kritisk, forskeren bestemmer hvilke mennesker mottar intervensjon ved randomisering (f.eks flippe en mynt). Denne prosedyren sikrer at randomiserte kontrollerte eksperimenter skape rettferdige sammenligninger mellom to grupper: en som har mottatt intervensjon og en som ikke har. Med andre ord, randomiserte kontrollerte eksperimenter er en løsning på problemene med confoundere. Til tross for de viktige forskjellene mellom eksperimenter og randomiserte kontrollerte forsøk, samfunnsforskere ofte bruker disse begrepene om hverandre. Jeg vil følge denne konvensjonen, men på enkelte punkter, vil jeg bryte konvensjonen for å understreke verdien av randomiserte kontrollerte forsøk i løpet av eksperimenter uten randomisering og kontrollgruppe.
Randomiserte kontrollerte forsøk har vist seg å være en effektiv måte å lære om den sosiale verden, og i dette kapittelet vil jeg lære deg mer om hvordan du bruker dem i din forskning. I avsnitt 4.2, vil jeg illustrere den grunnleggende logikken i eksperimentering med et eksempel på et eksperiment på Wikipedia. Deretter, i kapittel 4.3, vil jeg beskrive forskjellen mellom laboratorieforsøk og feltforsøk og forskjellene mellom analoge eksperimenter og digitale eksperimenter. Videre vil jeg hevde at digitale feltforsøk kan tilby de beste funksjonene til analoge laboratorieeksperimenter (stram kontroll) og analog feltforsøk (realisme), alle på en skala som ikke var mulig tidligere. Deretter i kapittel 4.4, vil jeg beskrive tre konsepter-validitet, heterogenitet av behandlingseffekter, og mekanismer-som er kritiske for å designe rike eksperimenter. Med den bakgrunn vil jeg beskrive de avveininger som er involvert i de to hovedstrategier for å gjennomføre digitale eksperimenter: gjør det selv (avsnitt 4.5.1) eller samarbeider med den kraftige (avsnitt 4.5.2). Til slutt vil jeg avslutte med noen design råd om hvordan du kan dra nytte av den reelle makten av digitale eksperimenter (avsnitt 4.6.1) og beskrive noen av ansvaret som følger med denne kraften (avsnitt 4.6.2). Kapittelet vil bli presentert med et minimum av matematisk notasjon og formelt språk; lesere som er interessert i en mer formell, matematisk tilnærming til eksperimenter bør også lese Teknisk vedlegg på slutten av kapitlet.
