4.1 Indledning
I de tilgange dækket hidtil i denne bog-observere adfærd (kapitel 2) og stille spørgsmål (kapitel 3) -researchers indsamle data om, hvad der forekommer naturligt i verden. Den fremgangsmåde er dækket i dette kapitel kørende eksperimenter-er fundamentalt forskellig. Når forskerne kører eksperimenter, de systematisk gribe ind i verden for at skabe data, der er ideel til at besvare spørgsmål om årsag og virkning relationer.
Årsag og virkning spørgsmål er meget almindelige i social forskning, og eksempler omfatter spørgsmål som Er stigende lærerlønninger øge elevernes læring? Hvad er effekten af mindstelønnen på beskæftigelsesfrekvensen? Hvordan en jobansøger løb påvirke hendes chance for at få et job? Ud over disse udtrykkeligt kausale spørgsmål, nogle gange give-and-effect spørgsmål er implicit i mere generelle spørgsmål om maksimering af nogle metrisk. For eksempel spørgsmålet "Hvad knappen farve vil maksimere donationer på en ngo website site?" Er virkelig masser af spørgsmål om effekten af forskellige knap farver på donationer.
En måde at besvare årsag og virkning spørgsmål er at kigge efter mønstre i eksisterende data. For eksempel ved hjælp af data fra tusindvis af skoler, kan du beregne, at eleverne lærer mere i skoler, der tilbyder høje lærerlønninger. Men er denne sammenhæng viser, at højere lønninger forårsager studerende til at lære mere? Selvfølgelig ikke. Skoler, hvor lærerne tjener mere kan være forskellige på mange måder. For eksempel kan eleverne i skoler med høje lærerlønninger kommer fra velhavende familier. Således hvad der ligner en effekt af lærere bare kunne komme fra at sammenligne forskellige typer af studerende. Disse ikke-målte forskelle mellem elever kaldes confoundere, og generelt muligheden for konfoundere skaber ravage på forskere evne til at besvare årsag og virkning spørgsmål ved at lede efter mønstre i eksisterende data.
En løsning på problemet med konfoundere er at forsøge at gøre en fair sammenligning ved at justere for observerbare forskelle mellem grupperne. For eksempel kan du være i stand til at downloade ejendomsskat data fra en række offentlige hjemmesider. Så kunne du sammenligne elevernes resultater i skoler, hvor huspriser ligner men lærerlønninger er forskellige, og du stadig kan finde, at eleverne lærer mere i skoler med højere lærer løn. Men der er stadig mange mulige konfoundere. Måske forældre til disse studerende er forskellige i deres uddannelsesniveau eller måske skolerne er forskellige i deres nærhed til offentlige biblioteker eller måske skolerne med højere lærer løn har også højere løn til skoleledere og vigtigste løn, ikke lærer løn, er virkelig, hvad er stigende elevernes læring. Du kan prøve at måle disse andre faktorer så godt, men listen over mulige konfoundere er væsentlige uendelige. I mange situationer, du bare ikke kan måle og justere for alle de mulige konfoundere. Denne fremgangsmåde kan kun tage dig så langt.
En bedre løsning på problemet med konfoundere kører eksperimenter. Eksperimenter give forskerne mulighed for at bevæge sig ud over de sammenhænge i naturligt forekommende data for at pålideligt besvare årsag og virkning spørgsmål. I den analoge alder, eksperimenter var ofte logistisk vanskeligt og dyrt. Nu, i den digitale tidsalder, logistiske begrænsninger er gradvist forsvinde. Ikke alene er det nemmere at gøre eksperimenter som disse forskere har gjort i fortiden, er det nu muligt at køre nye former for eksperimenter.
I hvad jeg har skrevet hidtil har jeg været lidt løs i mit sprog, men det er vigtigt at skelne mellem to ting: eksperimenter og randomiserede kontrollerede eksperimenter. I et eksperiment forsker intervenerer i verden og derefter måler et resultat. Jeg har hørt denne tilgang beskrevet som "forstyrrer og observere." Denne strategi er meget effektiv i naturvidenskab, men i medicinske og samfundsvidenskab, der er en anden tilgang, der virker bedre. I et randomiseret, kontrolleret eksperiment en forsker intervenerer for nogle mennesker og ikke for andre, og, kritisk, forskeren bestemmer, hvilke folk får den intervention randomisering (f.eks flipping en mønt). Denne procedure sikrer, at randomiserede kontrollerede eksperimenter skabe rimelige sammenligninger mellem to grupper: en, der har modtaget intervention og en, der har ikke. Med andre ord, randomiserede kontrollerede eksperimenter er en løsning på problemerne med konfoundere. På trods af de betydelige forskelle mellem eksperimenter og randomiserede kontrollerede eksperimenter, sociale forskere bruger ofte disse udtryk i flæng. Jeg vil følge denne konvention, men på visse punkter, vil jeg bryde konvention at understrege værdien af randomiserede kontrollerede eksperimenter i løbet af eksperimenter uden randomisering og en kontrolgruppe.
Randomiserede kontrollerede eksperimenter har vist sig at være en effektiv måde at lære om den sociale verden, og i dette kapitel, vil jeg lære dig mere om, hvordan man bruger dem i din forskning. I afsnit 4.2, vil jeg illustrere den grundlæggende logik eksperimenter med et eksempel på et eksperiment på Wikipedia. Så, i afsnit 4.3, vil jeg beskrive forskellen mellem lab eksperimenter og feltforsøg og forskellene mellem analoge eksperimenter og digitale eksperimenter. Endvidere vil jeg argumentere for, at digitale markforsøg kan tilbyde de bedste funktioner fra analoge lab forsøg (stram kontrol) og analog markforsøg (realisme), alle på en skala, der ikke var muligt tidligere. Dernæst i afsnit 4.4, vil jeg beskrive tre begreber-gyldighed, heterogenitet behandling effekter, og mekanismer-, som er kritiske for at designe rige eksperimenter. Med den baggrund vil jeg beskrive de kompromiser i de to vigtigste strategier for gennemførelse af digitale eksperimenter: at gøre det selv (afsnit 4.5.1) eller partnering med den kraftfulde (afsnit 4.5.2). Endelig vil jeg slutte med nogle design råd om, hvordan du kan drage fordel af den reelle magt i digitale eksperimenter (afsnit 4.6.1) og beskrive nogle af ansvar, der følger med denne magt (punkt 4.6.2). Kapitlet vil blive præsenteret med et minimum af matematisk notation og formelle sprog; læsere er interesseret i en mere formel, matematisk tilgang til eksperimenter bør også læse det tekniske tillæg i slutningen af kapitlet.
