4.2 Hva er eksperimenter?

Randomiserte kontrollerte forsøk har fire hovedingredienser: rekruttering av deltakere, randomisering av behandling, levering av behandlingen, og måling av resultater.

Randomiserte kontrollerte eksperimenter kan ta mange former og kan brukes til å studere mange typer av oppførsel. Men på sin kjerne, randomiserte kontrollerte forsøk har fire hovedingredienser: rekruttering av deltakere, randomisering av behandling, levering av behandlingen, og måling av resultater. Den digitale tidsalder endrer ikke grunnleggende natur eksperimentering, men det gjør dem lettere logistisk. For eksempel, i det siste kan det ha vært vanskelig å måle oppførselen til millioner av mennesker, men som nå rutinemessig skjer i mange digitale systemer. Forskere som kan finne ut hvordan du kan utnytte disse nye mulighetene vil være i stand til å kjøre eksperimenter som var umulig tidligere.

For å gjøre dette litt mer konkret, både det som har forblitt det samme, og hva som er endret-la oss vurdere Michael Restivo og Arnout van de Rijt s (2012) . Forskerne ønsket å forstå effekten av uformelle peer belønninger på redaksjonelle bidrag til Wikipedia. Spesielt studerte de effektene av barnstars, en pris som noen Wikipedian kan gi til noen annen Wikipedian å erkjenne hardt arbeid og due diligence. Restivo og van de Rijt ga barnstars til 100 fortjenstfull wikipedianere. Deretter Restivo og van de Rijt spores mottakernes påfølgende bidrag til Wikipedia i løpet av de neste 90 dagene. Mye til sin overraskelse, folk som de tildelt barnstars tendens til å gjøre færre endringer etter å ha mottatt en. Med andre ord, de barnstars syntes å være nedslående fremfor å oppmuntre bidrag.

Heldigvis Restivo og van de Rijt var ikke kjører en "forurolige og observere" eksperiment; de ble publisert en randomisert kontrollert forsøk. Så, i tillegg til å velge 100 største bidragsyterne til å motta en barnstar, de også plukket 100 største bidragsyterne til hvem de ikke gir en barnstar. Disse hundre fungerte som en kontrollgruppe, og som fikk en barnstar og som ikke ble bestemt tilfeldig. Når Restivo og van de Rijt sett på kontrollgruppen de fant at den hadde en bratt fall i bidrag også. Til slutt, når forskerne sammenlignet personer i behandlingsgruppen (dvs. mottatt barnstars) og personer i kontrollgruppen, fant de at barnstar forårsaket redaktører til å bidra med om lag 60% mer. Men denne økningen i bidraget fant sted som en del av en generell nedgang i begge gruppene.

Ettersom denne studien viser, er kontrollgruppen i eksperimenter kritisk på en måte som er noe paradoksalt. For å nøyaktig måle effekten av barnstars, Restivo og van der Rijt nødvendig for å observere mennesker som ikke mottar barnstars. Mange ganger forskere som ikke er kjent med eksperimenter ikke klarer å sette pris på den utrolige verdien av kontrollgruppen. Hvis Restivo og van de Rijt ikke har en kontrollgruppe, ville de ha trukket helt feil konklusjon. Kontrollgrupper er så viktig at administrerende direktør i et stort kasino selskapet har sagt at det er bare tre måter at ansatte kan bli skutt fra hans selskap: tyveri, seksuell trakassering, og kjører et eksperiment uten kontrollgruppe (Schrage 2011) .

Restivo og van de Rijt studie illustrerer de fire viktigste ingrediensene i et eksperiment: rekruttering, randomisering, intervensjon og utfall. Sammen utgjør disse fire ingrediensene tillate forskere å gå utover sammenhenger og måle den kausale effekten av behandlinger. Konkret betyr randomisering at når du sammenligner resultatene for behandlings- og kontrollgrupper du få et anslag av årsakseffekten av at inngrep for det sett av deltakere. Med andre ord, med en randomisert kontrollert eksperiment kan du være sikker på at eventuelle forskjeller i resultatene skyldes intervensjonen og ikke en confounder, en påstand om at jeg gjør nøyaktig i teknisk vedlegg ved hjelp av mulige utfall rammeverket.

I tillegg til å være en fin illustrasjon av mekanikerne av eksperimenter viser Restivo og van de Rijt studie også at logistikken av digitale eksperimenter kan være helt forskjellig fra analoge eksperimenter. I Restivo og van de Rijt eksperiment, var det lett å gi barnstar til hvem som helst i verden, og det var lett å spore utfallet-antall redigeringer-over lengre tid (fordi redigeringshistorikk blir automatisk registrert av Wikipedia). Denne evnen til å levere behandlinger og måle resultatene uten kostnader er kvalitativt motsetning eksperimenter i fortiden. Selv om dette eksperimentet involverte 200 personer, kunne det ha blitt kjørt med 2.000 eller 20.000 mennesker. Det viktigste å hindre forskerne fra skalere opp sine forsøk med en faktor på 100 ble ikke koste, det var etikk. Det er, Restivo og van de Rijt ikke ønsker å gi barnstars til ufortjente redaktører og de ​​ikke ønsker at deres eksperiment for å forstyrre Wikipedia samfunnet (Restivo and Rijt 2012; Restivo and Rijt 2014) . Så, selv om forsøket på Restivo og van de Rijt er relativt enkelt, viser det tydelig at noen ting om forsøk har forblitt det samme, og noen har endret seg. Spesielt, er den grunnleggende logikk eksperimentering det samme, men logistikken har endret seg. Deretter for å klarere isolere de mulighetene som skapes av denne endringen, vil jeg sammenligne forsøkene at forskerne kan gjøre nå for å slags eksperimenter som har blitt gjort i fortiden.