4.2 Hvad er eksperimenter?

Randomiserede kontrollerede eksperimenter har fire vigtigste ingredienser: rekruttering af deltagere, randomisering af behandling, levering af behandling, og måling af resultater.

Randomiserede kontrollerede eksperimenter kan antage mange former og kan bruges til at studere mange typer af adfærd. Men, på deres kerne, randomiserede kontrollerede eksperimenter har fire vigtigste ingredienser: rekruttering af deltagere, randomisering af behandling, levering af behandling, og måling af resultater. Den digitale tidsalder ændrer ikke den grundlæggende karakter af eksperimenter, men det gør dem lettere logistisk. For eksempel i fortiden det måske været vanskeligt at måle opførslen af ​​millioner af mennesker, men det er nu rutinemæssigt sker i mange digitale systemer. Forskere, der kan finde ud af at udnytte disse nye muligheder vil være i stand til at køre eksperimenter, der var umuligt tidligere.

For at gøre alt dette en smule mere konkret-både hvad har opholdt sig det samme, og hvad der har ændret-lad os overveje Michael Restivo og Arnout van de Rijt s (2012) . Forskerne ønskede at forstå virkningen af ​​uformelle peer belønninger på redaktionelle bidrag til Wikipedia. Især de studerede virkningerne af barnstars, en pris, der helst Wikipedian kan give til andre Wikipedian at anerkende hårdt arbejde og due diligence. Restivo og van de Rijt gav barnstars til 100 fortjenstfulde Wikipedianere. Derefter Restivo og van de Rijt spores modtagernes efterfølgende bidrag til Wikipedia i løbet af de næste 90 dage. Meget til deres overraskelse, de mennesker, som de tildelte barnstars tendens til at gøre færre redigeringer efter én. Med andre ord, syntes de barnstars at afskrække snarere end opmuntrende bidrag.

Heldigvis Restivo og van de Rijt ikke kører en "forstyrrer og observere" eksperiment; de kørte en randomiseret kontrolleret eksperiment. Så ud over at vælge 100 top bidragsydere til at modtage en barnstar, de også plukket 100 top bidragsydere til hvem de ikke giver et barnstar. Disse hundrede tjente som en kontrolgruppe, og der fik en barnstar og som ikke var bestemt tilfældigt. Når Restivo og van de Rijt så på kontrolgruppen de fandt, at det havde en brat fald i bidragene også. Endelig, når forskerne sammenlignet folk i behandlingsgruppen (dvs. modtagne barnstars) og folk i kontrolgruppen, fandt de, at den barnstar forårsagede redaktører til at bidrage med omkring 60% mere. Men denne stigning i bidrag fandt sted som en del af et samlet fald i begge grupper.

Da denne undersøgelse viser, kontrolgruppen i forsøg er kritisk på en måde, der er noget paradoksalt. Med henblik på præcist at måle effekten af ​​barnstars, Restivo og van der Rijt behov at observere folk, der ikke modtog barnstars. Mange gange forskere, der ikke er fortrolige med eksperimenter undlader at sætte pris på den utrolige værdi kontrolgruppen. Hvis Restivo og van de Rijt ikke havde en kontrolgruppe, ville de have trukket præcis den forkerte konklusion. Kontrol grupper er så vigtigt, at den administrerende direktør for en større casino selskab har sagt, at der kun er tre måder at medarbejderne kan affyret fra hans firma: tyveri, seksuel chikane, og kører et eksperiment uden en kontrolgruppe (Schrage 2011) .

Restivo og van de Rijt undersøgelse illustrerer de fire vigtigste ingredienser i et eksperiment: rekruttering, randomisering, intervention og resultater. Tilsammen udgør disse fire ingredienser tillader forskerne at bevæge sig ud over sammenhænge og måle den kausale effekt af behandlinger. Konkret randomisering betyder, at når du sammenligner resultater for behandlings- og kontrolgrupper, du får et skøn over den kausale effekt af, at intervention for at sæt deltagere. Med andre ord, med et randomiseret, kontrolleret eksperiment kan du være sikker på, at eventuelle forskelle i resultater skyldes interventionen og ikke en confounder, en påstand om, at jeg gør præcis i det tekniske tillæg hjælp rammen mulige resultater.

Ud over at være en god illustration af mekanik af eksperimenter, Restivo og van de Rijt undersøgelse viser også, at logistikken i digitale eksperimenter kan være helt anderledes fra analoge eksperimenter. I Restivo og van de Rijt eksperiment, var det let at give barnstar til nogen i verden, og det var let at spore resultatet-antal redigeringer-over en længere periode (fordi redigeringshistorik registreres automatisk af Wikipedia). Denne evne til at levere behandlinger og måle resultater uden omkostninger er kvalitativt modsætning eksperimenter i fortiden. Selvom dette eksperiment involverede 200 personer, kunne det have været kørt med 2.000 eller 20.000 mennesker. De vigtigste ting forhindrer forskerne fra opskalering deres eksperiment med en faktor på 100 var ikke koste, det var etik. Det vil sige, gjorde Restivo og van de Rijt ikke ønsker at give barnstars til ikke fortjener redaktører og de ​​ikke ønsker deres eksperiment for at forstyrre Wikipedia samfund (Restivo and Rijt 2012; Restivo and Rijt 2014) . Så selv om forsøget med Restivo og van de Rijt er relativt enkel, viser det tydeligt, at nogle ting om eksperimenter har opholdt sig det samme, og nogle har ændret sig. Især den grundlæggende logik eksperimenter er den samme, men logistikken er ændret. Dernæst for mere tydeligt at isolere de muligheder, som denne ændring, vil jeg sammenligne de eksperimenter, som forskerne kan gøre nu til den slags eksperimenter, der er blevet gjort i fortiden.