4.1 Inleiding

In die benaderings tot dusver in hierdie boekwaarnemingsgedrag (hoofstuk 2) en vra vrae (hoofstuk 3), versamel navorsers data sonder om die wêreld doelbewus en sistematies te verander. Die benadering wat in hierdie hoofstuk-lopende eksperimente gedek word, is fundamenteel anders. Wanneer navorsers eksperimenteer, word hulle stelselmatig ingryp in die wêreld om data te skep wat ideaal is om vrae oor oorsaak-en-effek verhoudings te beantwoord.

Oorsaak-en-gevolg vrae is baie algemeen in sosiale navorsing, en voorbeelde sluit in vrae soos: Verhoogde onderwysersalarisse verhoog leerderopleiding? Wat is die effek van minimum loon op indiensnemingsgeld? Hoe beïnvloed 'n werker se wedloop haar kans om werk te kry? Benewens hierdie uitdruklike oorsaaklike vrae, is soms oorsaak-en-gevolg vrae impliciet in meer algemene vrae oor die maksimalisering van enkele prestasie statistieke. Byvoorbeeld, die vraag "Watter kleur moet die donate knoppie wees op 'n NRO se webwerf?" Is baie vrae oor die effek van verskillende knoppie kleure op donasies.

Een manier om oorsaak-en-gevolg vrae te beantwoord is om patrone in bestaande data te soek. Byvoorbeeld, om terug te keer na die vraag oor die uitwerking van onderwysersalarisse op studenteleer, kan jy bereken dat studente meer leer in skole wat hoë onderwysers se salarisse bied. Maar, beteken dit korrelasie toon dat hoër salarisse veroorsaak studente om meer te leer? Natuurlik nie. Skole waar onderwysers meer verdien, kan op baie maniere anders wees. Byvoorbeeld, studente in skole met hoë onderwysers salarisse kan van ryker gesinne kom. Dus, wat lyk soos 'n effek van onderwysers, kan net kom uit die vergelyking van verskillende tipes studente. Hierdie ongemete verskille tussen studente word confounders genoem, en oor die algemeen word die moontlikheid van confounders verwoes deur navorsers se vermoë om oorsaak-en-gevolg vrae te beantwoord deur patrone in bestaande data te soek.

Een oplossing vir die probleem van confounders is om regverdige vergelykings te maak deur aan te pas vir waarneembare verskille tussen groepe. U kan byvoorbeeld eiendomsbelastingdata van 'n aantal regeringswebwerwe aflaai. Dan kan jy die student se prestasie in skole vergelyk, waar huispryse soortgelyk is, maar onderwysers salarisse verskil, en jy kan steeds vind dat studente meer leer in skole met hoër onderwysers betaal. Maar daar is nog baie moontlike confounders. Miskien verskil die ouers van hierdie studente op hul vlak van onderwys. Of dalk verskil die skole in hulle nabyheid aan openbare biblioteke. Of dalk het die hoërskoolleerlinge ook hoër skoolhoofde vir skoolhoofde, en skoolhoof betaal, nie onderwyser betaal nie, is eintlik wat studente leerder aan die toeneem. Jy kan ook probeer om hierdie faktore te meet en aan te pas, maar die lys van moontlike confounders is eintlik eindeloos. In baie situasies kan jy nie net meet en aanpas vir al die moontlike confounders nie. In antwoord op hierdie uitdaging het navorsers 'n aantal tegnieke ontwikkel om oorsaaklike ramings uit nie-eksperimentele data te maak. Ek het sommige van hulle in hoofstuk 2 bespreek, maar vir sekere soorte vrae is hierdie tegnieke beperk en eksperimente bied 'n belowende alternatiewe.

Eksperimente stel navorsers in staat om buite die korrelasies van natuurlike data te beweeg om sekere oorsaak-en-gevolg vrae betroubaar te beantwoord. In die analoog ouderdom was eksperimente dikwels logisties moeilik en duur. Nou, in die digitale era, word logistieke beperkinge geleidelik verdwyn. Nie net is dit makliker om eksperimente te doen soos dié wat in die verlede gedoen is nie, dit is nou moontlik om nuwe soorte eksperimente uit te voer.

In wat ek tot dusver geskryf het, was ek 'n bietjie los in my taal, maar dit is belangrik om tussen twee dinge te onderskei: eksperimente en gerandomiseerde beheerde eksperimente. In 'n eksperiment betree 'n navorser in die wêreld en meet hy dan 'n uitkoms. Ek het hierdie benadering gehoor wat beskryf word as "versteur en waarneem." In 'n gerandomiseerde beheerde eksperiment betree ' n navorser vir sommige mense en nie vir ander nie, en die navorser besluit watter mense die ingryping deur randomisering ontvang (bv. 'N muntstuk). Randomized controlled experiments skep regverdige vergelykings tussen twee groepe: een wat die ingryping ontvang het en een wat nie. Met ander woorde, gerandomiseerde beheerde eksperimente is 'n oplossing vir die probleme van confounders. Perturb-en-waarneem eksperimente behels egter slegs 'n enkele groep wat die ingryping ontvang het, en daarom kan die resultate navorsers tot die verkeerde gevolgtrekking lei (soos ek binnekort wys). Ten spyte van die belangrike verskille tussen eksperimente en gerandomiseerde beheerde eksperimente, gebruik sosiale navorsers hierdie terme dikwels wisselvallig. Ek sal hierdie konvensie volg, maar op sekere punte breek ek die konvensie om die waarde van gerandomiseerde, beheerde eksperimente oor eksperimente sonder willekeurige en 'n beheergroep te beklemtoon.

Willekeurige beheerde eksperimente het bewys dat dit 'n kragtige manier is om oor die sosiale wêreld te leer, en in hierdie hoofstuk sal ek jou meer vertel oor hoe om dit in jou navorsing te gebruik. In afdeling 4.2 illustreer ek die basiese logika van eksperimenteer met 'n voorbeeld van 'n eksperiment op Wikipedia. Dan beskryf ek in afdeling 4.3 die verskil tussen laboratorium eksperimente en veld eksperimente en die verskille tussen analoog eksperimente en digitale eksperimente. Verder sal ek argumenteer dat digitale veld eksperimente die beste kenmerke van analoog laboratorium eksperimente (stywe beheer) en analoog veld eksperimente (realisme) kan bied, alles op 'n skaal wat nie voorheen moontlik was nie. Volgende, in afdeling 4.4, sal ek drie begrippe-geldigheid, heterogeniteit van behandelingseffekte, en meganismes beskryf - wat van kritieke belang is vir die ontwerp van ryk eksperimente. Met die agtergrond beskryf ek die afwykings wat betrokke is by die twee hoofstrategieë vir die uitvoer van digitale eksperimente: doen dit self of partnering met die kragtige. Ten slotte concludeer ek met 'n paar ontwerpadvies oor hoe jy die werklike krag van digitale eksperimente kan gebruik (afdeling 4.6.1) en beskryf sommige van die verantwoordelikheid wat by daardie krag kom (afdeling 4.6.2).