4.2 Wat is eksperimente?

Gerandomiseerde beheerde eksperimente het vier hoofbestanddele: werwing van deelnemers, randomisatietechnieken van behandeling, lewering van behandeling, en meting van uitkomste.

Willekeurige beheerde eksperimente het vier hoofbestanddele: werwing van deelnemers, randomisering van behandeling, aflewering van behandeling, en meting van uitkomste. Die digitale era verander nie die fundamentele aard van eksperimente nie, maar dit maak dit logisties makliker. Byvoorbeeld, in die verlede was dit dalk moeilik om die gedrag van miljoene mense te meet, maar dit gebeur tans gereeld in baie digitale stelsels. Navorsers wat kan uitvind hoe om hierdie nuwe geleenthede te benut, sal eksperimente wat voorheen onmoontlik was, kan uitvoer.

Om dit alles bietjie meer konkreet te maak - beide wat dieselfde gebly het en wat verander het, laat ons 'n eksperiment oorweeg deur Michael Restivo en Arnout van de Rijt (2012) . Hulle wou die effek van informele portuurbelonings op redaksionele bydraes tot Wikipedia verstaan. In die besonder het hulle die gevolge van barnstars bestudeer , 'n toekenning wat enige Wikipedia kan gee aan enige ander Wikipedian om harde werk en due diligence te erken. Restivo en Van de Rijt het barnstars tot 100 verdienstelike Wikipedians gegee. Daarna het hulle die volgende 90 dae die ontvangers se daaropvolgende bydraes na Wikipedia opgevolg. Tot hul verbasing, die mense aan wie hulle toegeken het, het geneig om minder wysigings te maak nadat hulle een ontvang het. Met ander woorde, die skuurstane was ontmoedigend eerder as om bydraes aan te moedig.

Gelukkig het Restivo en Van de Rijt nie 'n 'perturb and observe'-eksperiment uitgevoer nie; hulle het 'n gerandomiseerde beheerde eksperiment uitgevoer. So, bykomend tot die keuse van 100 top-bydraers om 'n skutster te ontvang, het hulle ook 100 top bydraers gekies aan wie hulle nie een gegee het nie. Hierdie 100 het as 'n kontrolegroep gedien. En krities, wie was in die behandelingsgroep en wie in die kontrolegroep was, is willekeurig bepaal.

Toe Restivo en Van de Rijt na die gedrag van mense in die kontrolegroep gekyk het, het hulle bevind dat hul bydraes ook afneem. Verder, toe Restivo en Van de Rijt mense in die behandelingsgroep (dws gestudeerde sterretjies) aan mense in die kontrolegroep vergelyk, het hulle bevind dat mense in die behandelingsgroep ongeveer 60% meer bygedra het. Met ander woorde, die bydraes van albei groepe was oorlede, maar dié van die kontrolegroep het soveel vinniger gedoen.

Soos hierdie studie illustreer, is die kontrolegroep in eksperimente krities op 'n manier wat ietwat paradoksaal is. Om die effek van skutsters te bepaal, moes Restivo en van de Rijt mense wat nie skuurstere ontvang het, waarneem nie. Navorsers wat nie met eksperimente vertroud is nie, het baie keer nie die ongelooflike waarde van die kontrolegroep waardeer nie. As Restivo en Van de Rijt nie 'n kontrolegroep gehad het nie, sou hulle presies die verkeerde gevolgtrekking geteken het. Beheergroepe is so belangrik dat die hoof uitvoerende beampte van 'n groot casino-maatskappy het gesê dat daar net drie maniere is waarop werknemers van sy maatskappy ontslaan kan word: vir diefstal, seksuele teistering of om 'n eksperiment sonder 'n kontrolegroep (Schrage 2011) .

Restivo en Van de Rijt se studie illustreer die vier hoofbestanddele van 'n eksperiment: werwing, randomisering, intervensie en uitkomste. Saam, hierdie vier bestanddele laat wetenskaplikes verder as korrelasies beweeg en meet die oorsaaklike effek van behandelings. Spesifiek, randomisering beteken dat mense in die behandelings- en kontrolegroepe soortgelyk sal wees. Dit is belangrik omdat dit beteken dat enige verskil in uitkomste tussen die twee groepe toegeskryf kan word aan die behandeling en nie 'n confounder nie.

Behalwe vir 'n goeie illustrasie van die meganika van eksperimente, toon Restivo en van de Rijt se studie ook dat die logistiek van digitale eksperimente heeltemal anders kan wees as dié van analoog eksperimente. In die eksperiment van Restivo en van de Rijt was dit maklik om die barnstar aan enigiemand te gee, en dit was maklik om die uitslag-aantal wysigings op te spoor - oor 'n lang tydperk (omdat wysigingsgeskiedenis outomaties deur Wikipedia opgeneem word). Hierdie vermoë om behandelings te lewer en gratis te meet, is kwalitatief anders as eksperimente in die verlede. Alhoewel hierdie eksperiment 200 mense gehad het, kon dit met 2000 of selfs 20,000 mense uitgevoer word. Die vernaamste ding om te verhoed dat die navorsers hul eksperiment met 'n faktor van 100 opskal, was nie die koste nie; dit was etiek. Dit wil sê, Restivo en Van de Rijt wou nie skildstrywers gee aan redakteurs wat nie verdien het nie, en hulle wou nie hê dat hul eksperiment die Wikipedia-gemeenskap moet ontwrig nie (Restivo and Rijt 2012, 2014) . Ek sal terugkeer na sommige etiese oorwegings wat later deur eksperimente in hierdie hoofstuk en in hoofstuk 6 ontstaan ​​het.

Ten slotte toon die eksperiment van Restivo en van de Rijt duidelik dat, terwyl die basiese logika van eksperimente nie verander het nie, die logistiek van digitale-leeftyd eksperimente dramaties kan verskil. Ten einde die geleenthede wat deur hierdie veranderinge geskep is, duideliker te isoleer, vergelyk ek die eksperimente wat navorsers nou kan doen met die soort eksperimente wat in die verlede gedoen is.