4.1 Inleiding

In de aanpak tot nu toe die in dit boek het observeren van het gedrag (hoofdstuk 2) en het stellen van vragen (hoofdstuk 3) -onderzoekers gegevens te verzamelen over wat er van nature in de wereld. De aanpak die in dit hoofdstuk-running-experimenten is fundamenteel verschillend. Toen onderzoekers lopen experimenten, ze systematisch in te grijpen in de wereld om gegevens die bij uitstek geschikt is voor het beantwoorden van vragen over oorzaak-en-gevolg relaties te creëren.

Oorzaak en gevolg vragen zijn heel gebruikelijk in sociaal onderzoek, en voorbeelden bevat vragen als Is het verhogen van lerarensalarissen te verhogen leren van studenten? Wat is het effect van het minimumloon op de arbeidsparticipatie? Hoe werkt een sollicitant race effect haar kans op het krijgen van een baan? Naast deze expliciet causale vragen, soms oorzaak-en-effect vragen zijn impliciet in meer algemene vragen over het maximaliseren van een aantal prestaties metrische. Bijvoorbeeld de vraag "Wat knop kleur zal donaties te maximaliseren op een NGO website site?" Is echt veel vragen over het effect van verschillende kleuren knoop van donaties.

Een manier om te beantwoorden oorzaak-en-effect vragen is om te kijken naar patronen in bestaande gegevens. Bijvoorbeeld met behulp van de gegevens van duizenden scholen, kun je berekenen dat leerlingen meer te weten in de scholen die een hoge lerarensalarissen te bieden. Maar, deze correlatie zien dat hogere salarissen leiden studenten om meer te leren? Natuurlijk niet. Scholen waar leraren verdienen meer mogelijk anders op vele manieren. Het is bijvoorbeeld mogelijk leerlingen in scholen met een hoge lerarensalarissen komen uit rijkere gezinnen. Dus, wat lijkt op een effect van de leraren gewoon zou kunnen komen van het vergelijken van verschillende soorten studenten. Deze unmeasured verschillen tussen studenten worden verstorende variabelen genoemd, en in het algemeen, de mogelijkheid van confounders keet op de onderzoekers in staat om te beantwoorden oorzaak en gevolg vragen door te zoeken naar patronen in bestaande gegevens.

Een oplossing voor het probleem van verstorende factoren is proberen eerlijke vergelijking te maken door het aanpassen waarneembare verschillen tussen de groepen. Bijvoorbeeld, zou u in staat zijn om de onroerende voorheffing gegevens te downloaden uit een aantal websites van de overheid. Dan kun je de prestaties van leerlingen in de scholen waar de huizenprijzen zijn vergelijkbaar, maar de lerarensalarissen zijn anders te vergelijken, en je nog steeds zou kunnen vinden dat leerlingen meer te weten in scholen met een hogere leraar loon. Maar, er zijn nog veel mogelijk verstorende variabelen. Misschien zijn de ouders van deze studenten verschillen in hun opleidingsniveau of misschien afwijken van de scholen in hun nabijheid tot openbare bibliotheken of misschien de scholen met een hogere leraar loon hebben ook een hogere beloning voor opdrachtgevers en opdrachtgever loon, geen leraar te betalen, is echt wat toeneemt het leren van studenten. Je zou kunnen proberen om deze andere factoren meten ook, maar de lijst van mogelijke verstorende variabelen is in wezen eindeloos. In veel situaties, je kan het gewoon niet te meten en aan te passen voor alle mogelijke confounders. Deze aanpak kan alleen neemt u tot nu toe.

Een betere oplossing voor het probleem van verstorende factoren loopt experimenten. Experimenten in staat stellen de onderzoekers verder te gaan dan de correlaties in de natuur voorkomende gegevens om betrouwbaar te beantwoorden oorzaak-en-effect vraag. In het analoge tijdperk, werden experimenten vaak logistiek moeilijk en kostbaar. Nu, in het digitale tijdperk, logistieke beperkingen geleidelijk vervagen. Niet alleen is het gemakkelijker te doen experimenten zoals die onderzoekers in het verleden, is het nu mogelijk om nieuwe soorten experimenten uitgevoerd.

In wat ik tot dusver heb geschreven heb ik een beetje los in mijn taal geweest, maar het is belangrijk om onderscheid te maken tussen twee dingen: experimenten en gerandomiseerde gecontroleerde experimenten. In een experiment grijpt een onderzoeker in de wereld en meet een uitkomst toen. Ik heb deze aanpak beschreven als gehoord "verstoren en te observeren." Deze strategie is zeer effectief in de natuurwetenschappen, maar in de medische en sociale wetenschappen, is er een andere benadering die beter werkt. In een gerandomiseerd gecontroleerd experiment tussenkomt onderzoeker voor sommige mensen en niet voor anderen, en kritisch, de onderzoeker beslist welke mensen de interventie van randomisatie ontvangen (bv, het opgooien van een munt). Deze procedure garandeert dat gerandomiseerde gecontroleerde experimenten maken eerlijke vergelijkingen tussen twee groepen: een die de interventie en een die niet heeft ontvangen. Met andere woorden, gerandomiseerde experimenten een oplossing voor de problemen van verstorende factoren. Ondanks de grote verschillen tussen de experimenten en gerandomiseerde gecontroleerde experimenten, sociale wetenschappers maken vaak gebruik van deze termen door elkaar. Ik zal deze conventie te volgen, maar op bepaalde punten, zal ik het verdrag om de waarde van gerandomiseerde gecontroleerde experimenten via experimenten benadrukken zonder randomisatie en een controlegroep te breken.

Gerandomiseerde gecontroleerde experimenten hebben bewezen een krachtige manier om te leren over de sociale wereld te zijn, en in dit hoofdstuk, zal ik u meer weten over hoe ze te gebruiken in uw onderzoek te onderwijzen. In paragraaf 4.2, zal ik de fundamentele logica van de experimenten illustreren met een voorbeeld van een experiment op Wikipedia. Dan, in paragraaf 4.3, zal ik het verschil tussen lab experimenten en veldexperimenten en de verschillen tussen analoge en digitale experimenten experimenten te beschrijven. Verder zal ik beweren dat digitale veldexperimenten de beste eigenschappen van analoge lab experimenten (strikte controle) en analoge veldexperimenten (realisme), allemaal op een schaal die niet mogelijk was eerder kan bieden. Vervolgens wordt in paragraaf 4.4, zal ik drie begrippen-validiteit, heterogeniteit van de effecten van de behandeling, en mechanismen-die essentieel zijn voor het ontwerpen van rijke experimenten te beschrijven. Met die achtergrond zal ik de trade-offs die betrokken zijn bij de twee belangrijkste strategieën voor het uitvoeren van digitale experimenten te beschrijven: het zelf te doen (paragraaf 4.5.1), of samen met de krachtige (paragraaf 4.5.2). Tot slot zal ik afsluiten met een aantal ontwerpen advies over hoe u kunt profiteren van de echte kracht van digitale experimenten (paragraaf 4.6.1) en beschrijf een aantal van de verantwoordelijkheid die wordt geleverd met dat vermogen (paragraaf 4.6.2). Het hoofdstuk zal worden gepresenteerd met een minimum van wiskundige notatie en formele taal; lezers geïnteresseerd zijn in een meer formele, wiskundige benadering van experimenten moet ook lezen het technisch aanhangsel aan het einde van het hoofdstuk.