4.2 Wat is eksperimente?

Gerandomiseerde beheerde eksperimente het vier hoofbestanddele: werwing van deelnemers, randomisatietechnieken van behandeling, lewering van behandeling, en meting van uitkomste.

Gerandomiseerde beheerde eksperimente kan baie vorms aanneem en kan gebruik word om baie verskillende tipes van gedrag bestudeer. Maar, op hul kern, gerandomiseerde beheerde eksperimente het vier hoofbestanddele: werwing van deelnemers, randomisatietechnieken van behandeling, lewering van behandeling, en meting van uitkomste. Die digitale era nie die fundamentele aard van eksperimentering verander, maar dit maak dit makliker logisties. Byvoorbeeld, in die verlede het dit dalk moeilik om die gedrag van miljoene mense te meet, maar dit is nou gereeld gebeur in baie digitale stelsels. Navorsers wat kan uitvind hoe om hierdie nuwe geleenthede te benut sal in staat wees om eksperimente wat voorheen onmoontlik was hardloop.

Om dit alles 'n bietjie meer konkrete-beide wat dieselfde gebly het en wat verander het-laat ons kyk na Michael Restivo en Arnout van die Rijt se maak (2012) . Die navorsers wou die uitwerking van informele eweknie belonings op redaksionele bydraes tot Wikipedia verstaan. In die besonder, bestudeer hulle die gevolge van barnstars, 'n toekenning wat enige Wikipedian kan gee aan enige ander Wikipedian aan harde werk en due diligence erken. Restivo en van die Rijt het barnstars 100 verdienstelike Wikipediane. Dan, Restivo en van die Rijt nagespoor daaropvolgende bydraes die ontvangers se Wikipedia oor die volgende 90 dae. Tot hul verbasing, die volk vir wie hulle toegeken barnstars geneig om minder wysigings na ontvangs van 'n. Met ander woorde, die barnstars gelyk te word ontmoedig eerder as aanmoediging bydrae.

Gelukkig Restivo en van die Rijt is nie hardloop 'n "beroering bring en te onderhou" eksperiment; hulle hardloop 'n gerandomiseerde beheerde eksperiment. So, bykomend tot die keuse van 100 top bydraers tot 'n barnstar ontvang, hulle ook gekies 100 top bydraers tot wie hulle nie 'n barnstar gegee het nie. Hierdie honderd gedien as 'n kontrole groep, en wat het 'n barnstar en wat nie is lukraak bepaal. Wanneer Restivo en van die Rijt gekyk na die kontrole groep het hulle gevind dat dit 'n skerp daling in bydraes ook. Ten slotte, wanneer die navorsers in vergelyking mense in die behandeling groep (dit wil sê, ontvang barnstars) en mense in die kontrole groep, het hulle gevind dat die barnstar veroorsaak redakteurs om sowat 60% meer bydra. Maar, hierdie toename in bydrae plaasvind as deel van 'n algehele afname in beide groepe.

Aangesien hierdie studie illustreer, die kontrole groep in eksperimente is van kritieke belang in 'n manier wat paradoksale. Ten einde die effek van barnstars presies te meet, Restivo en Van der Rijt wat nodig is om mense wat nie barnstars ontvang het nie in ag te neem. Baie keer navorsers wat nie vertroud is met eksperimente nie die ongelooflike waarde van die kontrole groep waardeer. As Restivo en van die Rijt n kontrole groep nie gehad het nie, sou hulle presies die verkeerde gevolgtrekking. Beheer groepe is so belangrik dat die hoof uitvoerende beampte van 'n groot casino maatskappy het gesê dat daar net drie maniere waarop mense kan afgedank word van sy maatskappy: diefstal, seksuele teistering, en loop 'n eksperiment sonder 'n kontrole groep (Schrage 2011) .

Restivo en van die Rijt se studie illustreer die vier hoofbestanddele van 'n eksperiment: werwing, randomisatietechnieken, intervensie, en uitkomste. Saam, hierdie vier bestanddele toelaat wetenskaplikes om te beweeg na korrelasies en meet die oorsaaklike uitwerking van behandelings. Spesifiek, randomisatietechnieken beteken dat wanneer jy uitkomste vir die behandeling en beheer groepe vergelyk jy 'n skatting van die oorsaaklike uitwerking van daardie ingryping vir daardie stel deelnemers kry. Met ander woorde, met 'n gerandomiseerde beheerde eksperiment wat jy kan seker wees dat enige verskille in uitkomste word veroorsaak deur die ingryping en nie 'n confounder, 'n eis dat ek maak presies in die Tegniese bylaag met behulp van die potensiële uitkomste raamwerk.

Benewens die feit dat 'n mooi voorbeeld van die meganika van eksperimente, Restivo en van die Rijt se studie toon ook dat die logistiek van digitale eksperimente heeltemal anders as analoog eksperimente kan wees. In Restivo en eksperimenteer van die Rijt se, was dit maklik om die barnstar gee aan enigiemand in die wêreld en dit was maklik om die uitkoms-aantal wysigings-oor 'n lang tydperk van die tyd (as gevolg wysigingsgeskiedenis word outomaties aangeteken deur Wikipedia) op te spoor. Hierdie vermoë om behandelings lewer en meet uitkomste teen geen koste is kwalitatief anders as eksperimente in die verlede. Alhoewel hierdie eksperiment betrokke 200 mense, kan dit gewees het hardloop met 2000 of 20000 mense. Die belangrikste ding voorkoming van die navorsers van opskaling hul eksperiment met 'n faktor van 100 is nie kos, dit was etiek. Dit wil sê, Restivo en van die Rijt wou nie barnstars om onverdienstelike redakteurs gee en hulle wou nie hul eksperiment om die Wikipedia gemeenskap ontwrig (Restivo and Rijt 2012; Restivo and Rijt 2014) . So, hoewel die eksperiment van Restivo en van die Rijt is relatief eenvoudig, dit duidelik blyk dat 'n paar dinge oor eksperimente dieselfde gebly het en 'n paar het verander. In die besonder, die basiese logika van eksperimentering is dieselfde, maar die logistiek verander. Volgende, ten einde meer duidelik die geleenthede geskep isoleer deur hierdie verandering, ek sal die eksperimente wat navorsers nou kan doen om die soorte eksperimente wat gedoen is in die verlede te vergelyk.