4.1 Inleiding

In de tot dusverre behandelde benaderingen in dit boekobservatiegedrag (hoofdstuk 2) en het stellen van vragen (hoofdstuk 3) verzamelen onderzoekers gegevens zonder de wereld opzettelijk en systematisch te veranderen. De benadering die in dit hoofdstuk wordt behandeld - het uitvoeren van experimenten - is fundamenteel anders. Wanneer onderzoekers experimenten uitvoeren, komen ze systematisch in de wereld tussen om gegevens te maken die bij uitstek geschikt zijn om vragen over oorzaak-en-gevolgrelaties te beantwoorden.

Oorzaak-en-gevolg vragen zijn heel gebruikelijk in sociaal onderzoek, en voorbeelden omvatten vragen zoals: verhoogt het aantal lerarensalarissen het leren van studenten? Wat is het effect van minimumloon op de arbeidsdeelname? Hoe beïnvloedt de race van een sollicitant haar kansen op een baan? Naast deze expliciet causale vragen zijn soms oorzaak-gevolg-vragen impliciet in meer algemene vragen over maximalisatie van sommige prestatiemetingen. Bijvoorbeeld, de vraag "Welke kleur moet de donatieknop op de website van een NGO staan?" Is echt veel vragen over het effect van verschillende knopkleuren op donaties.

Een manier om oorzaak-en-gevolgvragen te beantwoorden, is door te zoeken naar patronen in bestaande gegevens. Als u bijvoorbeeld terugkeert naar de vraag over het effect van lerarensalarissen op het leren van studenten, zou u kunnen berekenen dat studenten meer leren op scholen die hoge lerarensalarissen bieden. Maar toont deze correlatie aan dat hogere lonen ertoe leiden dat studenten meer leren? Natuurlijk niet. Scholen waar leraren meer verdienen, kunnen op veel manieren verschillen. Bijvoorbeeld, studenten op scholen met hoge lerarensalarissen kunnen afkomstig zijn van rijkere gezinnen. Wat lijkt op een effect van leerkrachten, kan dus alleen maar komen van het vergelijken van verschillende soorten studenten. Deze ongemeten verschillen tussen studenten worden confounders genoemd , en in het algemeen veroorzaakt de mogelijkheid van confounders grote schade aan het vermogen van onderzoekers om oorzaak-en-gevolgvragen te beantwoorden door te zoeken naar patronen in bestaande gegevens.

Een oplossing voor het probleem van confounders is om te proberen eerlijke vergelijkingen te maken door aan te passen voor waarneembare verschillen tussen groepen. U kunt bijvoorbeeld mogelijk onroerendgoedbelastinggegevens downloaden van een aantal overheidswebsites. Vervolgens kunt u de prestaties van studenten vergelijken op scholen waar de huizenprijzen vergelijkbaar zijn, maar de salarissen van docenten verschillen en u merkt misschien nog steeds dat studenten meer leren op scholen met een hogere leraarsprijs. Maar er zijn nog steeds veel mogelijke confounders. Misschien verschillen de ouders van deze studenten in hun opleidingsniveau. Of misschien verschillen de scholen in hun nabijheid tot openbare bibliotheken. Of misschien hebben de scholen met hogere leraar betalen ook hogere lonen voor opdrachtgevers, en hoofdloon, niet leraar betalen, is echt wat het leren van studenten verhoogt. Je zou ook kunnen proberen deze factoren te meten en aan te passen, maar de lijst met mogelijke verstoringen is in wezen eindeloos. In veel situaties kun je gewoon niet meten en aanpassen voor alle mogelijke confounders. Als reactie op deze uitdaging hebben onderzoekers een aantal technieken ontwikkeld voor het maken van causale schattingen van niet-experimentele gegevens - ik heb er een paar besproken in hoofdstuk 2 - maar voor bepaalde soorten vragen zijn deze technieken beperkt en bieden experimenten een veelbelovend antwoord. alternatief.

Experimenten stellen onderzoekers in staat verder te gaan dan de correlaties in natuurlijk voorkomende gegevens om op betrouwbare wijze bepaalde oorzaak-gevolg-vragen te beantwoorden. In het analoge tijdperk waren experimenten vaak logistiek moeilijk en duur. Nu, in het digitale tijdperk, verdwijnen logistieke beperkingen geleidelijk. Het is niet alleen gemakkelijker om experimenten uit te voeren zoals in het verleden, maar het is nu mogelijk om nieuwe soorten experimenten uit te voeren.

In wat ik tot nu toe heb geschreven, ben ik een beetje los in mijn taal geweest, maar het is belangrijk om twee dingen te onderscheiden: experimenten en gerandomiseerde gecontroleerde experimenten. In een experiment grijpt een onderzoeker in de wereld in en meet vervolgens een uitkomst. Ik heb deze benadering beschreven als "verstoren en observeren". In een gerandomiseerd gecontroleerd experiment intervenieert een onderzoeker voor sommige mensen en niet voor anderen, en de onderzoeker beslist welke mensen de interventie ontvangen door randomisatie (bijvoorbeeld een munt omdraaien). Gerandomiseerde gecontroleerde experimenten creëren eerlijke vergelijkingen tussen twee groepen: een die de interventie heeft ontvangen en een die dat niet heeft gedaan. Met andere woorden, gerandomiseerde gecontroleerde experimenten zijn een oplossing voor de problemen van confounders. Perturb-en-observeer-experimenten omvatten echter slechts een enkele groep die de interventie heeft ontvangen, en daarom kunnen de resultaten onderzoekers naar de verkeerde conclusie leiden (zoals ik binnenkort zal laten zien). Ondanks de belangrijke verschillen tussen experimenten en gerandomiseerde gecontroleerde experimenten, gebruiken sociale onderzoekers deze termen vaak door elkaar. Ik zal deze conventie volgen, maar op bepaalde punten zal ik de conventie schenden om de waarde te benadrukken van gerandomiseerde gecontroleerde experimenten met experimenten zonder randomisatie en een controlegroep.

Gerandomiseerde gecontroleerde experimenten hebben bewezen een krachtige manier te zijn om over de sociale wereld te leren, en in dit hoofdstuk zal ik je meer laten zien hoe je ze kunt gebruiken in je onderzoek. In paragraaf 4.2 zal ik de basislogica van het experimenteren illustreren met een voorbeeld van een experiment op Wikipedia. Vervolgens, in paragraaf 4.3, zal ik het verschil beschrijven tussen laboratoriumexperimenten en veldexperimenten en de verschillen tussen analoge experimenten en digitale experimenten. Verder zal ik beweren dat digitale veldexperimenten de beste eigenschappen van analoge laboratoriumexperimenten (strakke controle) en analoge veldexperimenten (realisme) kunnen bieden, allemaal op een schaal die voorheen niet mogelijk was. Vervolgens beschrijf ik in paragraaf 4.4 drie concepten - validiteit, heterogeniteit van behandelingseffecten en mechanismen - die cruciaal zijn voor het ontwerpen van rijke experimenten. Met die achtergrond zal ik de compromissen beschrijven die betrokken zijn bij de twee belangrijkste strategieën voor het uitvoeren van digitale experimenten: doe het zelf of ga partnerschappen aan met de machtigen. Tot slot zal ik afsluiten met een aantal ontwerpadviezen over hoe je kunt profiteren van de echte kracht van digitale experimenten (paragraaf 4.6.1) en een deel van de verantwoordelijkheid beschrijven die bij die kracht hoort (paragraaf 4.6.2).