Willekeurich kontrolearren eksperiminten hawwe fjouwer wichtichste yngrediïnten: werving fan dielnimmers, randomization fan behanneling, levering fan behanneling, en mjitting fan útkomsten.
Randomisearre kontrolearjende eksperiminten hawwe fjouwer wichtige yngrediïnten: wervingen fan dielnimmers, randomisearring fan behanneling, levering fan behanneling, en mjitting fan resultaten. De digitale leeftiid feroaret net de fûnemintele karakter fan eksperimentaasje, mar it makket it makliker logistysk. Bygelyks, yn it ferline, it kin wêze dat it gedrach fan miljoenen minsken mjitten wie, mar dat is no regelmjittich yn in protte digitale systemen. Undersikers dy't útfine kinne hoe't dizze nije kânsen har ynset wurde kin eksperiminten útfiere dy't earder inisjatyf wiene.
Om dit alles wat beton te meitsjen - sawol wat itselde bleaun hat en wat feroaret - lit ús in eksperimint fan Michael Restivo en Arnout van de Rijt (2012) beskôgje. Se woe it effekt fan 'e ynformeare pjierferliedingen begripe op redaksje-bydragen oan Wikipedia. Benammen studearre se de effekten fan barnstars , in priis dat alle Wikipedianen in oare Wikipedian kinne jaan om hurde wurken te rekkenjen en dúdlikens . Restivo en van de Rijt joegen barnstars oan 100 wurdearring fan Wikipedians. Dêrnei folge se de folgjende bydragen oan Wikipedia yn 'e oare 90 dagen. In soad nei har ferrassing, de minsken dêr't se har barnstars útrikt hawwe, hiene tenei om minder feroaringen te meitsjen nei it ûntfangen fan ien. Mei oare wurden, de barnstars wiene lykwols te ûntbûgjen as antwurd te stimulearjen.
Gelokkich wiene Restivo en van de Rijt net in "perturbearje en observearje" eksperiment; se rûnen in randomisearre kontrolearre eksperimint. Dus, neist it kiezen fan 100 boppesteande oanwêzigen om in barnstar te krijen, namen se ek 100 boppeneamde dielnimmers dy't se gjin ien jaan. Dizze 100 betsjutten as kontrôlesgroep. En, kritysk, wa wie yn 'e behannelinggroep en wa't yn' e kontrôtgroep waard willekeurich fêststeld.
Doe't Restivo en van de Rijt nei it gedrach fan minsken yn 'e kontrôtgroep seagen, fûnen se dat har bydragen ek ôfnimme. Fierder, doe't Restivo en van de Rijt minsken yn 'e behanningsgroep fergriemen (krekt stjoerde barnstars) oan minsken yn' e kontrôtgroep, fûnen se dat minsken yn 'e behannele groep sa'n 60% mear levere. Mei oare wurden, de bydragen fan beide groepen waarden ferstoarn, mar dy fan 'e kontrôtgroep soargen makliker.
As dizze stúdzje yllustrearret, is de kontrôlesgroep yn eksperiminten kritysk op in manier dy't wat paradoxlik is. Om krekt it effekt fan barnstars mjitten te moasten, moast Restivo en van de Rijt minsken besjen, dy't gjin barnstars hiene. In protte kearen, ûndersikers dy't net mei eksperiminten binne bekend meitsje om de ûnfergonlike wearde fan 'e kontrôtgroep te wurdearjen. As Restivo en van de Rijt net in kontrôle hawwe hiene, soenen se krekt de ferkearde konklúzje tekene hawwe. Kontrôles binne sa wichtich dat de CEO fan in wichtich kazino bedriuw hat sein dat der mar trije manieren binne dat meiwurkers fan syn bedriuw ôfbrutsen wurde kinne: foar deftigens, foar seksueel-ferslaving, of foar in eksperimint sûnder in kontrôle-groep (Schrage 2011) .
Restivo en van de Rijt's stúdzje yllustrearje de fjouwer wichtichste yngrediïnten fan in eksperimint: wervingen, randomisearring, yntervinsje en resultaten. Mei-inoar kinne dizze fjouwer yngripenten wittenskippers tagelyk oer korrelaasjes ferpleatse en magearje it kausale effekt fan behannelingen. Spesifyk betsjut randomisearring dat minsken yn 'e behanneling en kontrôle groepen fergelykje. Dit is wichtich omdat it betsjuttet dat elke ferskil yn resultaten tusken de beide groepen oan de behanneling pleatst wurde kin en net in ferfanger.
Neist in moaie yllustraasje fan 'e meganika fan eksperiminten is Restivo en van de Rijt syn stúdzje ek sjen dat de logistyk fan digitale eksperiminten folslein oars wêze kinne fan dy fan analogen eksperiminten. Yn eksperimint fan Restivo en van de Rijt wie it maklik om de barnstar oan elkenien te jaan, en it maklik om it resultaat-tal fan bewurkingen te kontrolearjen - oer in ferlingde perioade (om't dizze skiednis automatysk opnommen is troch Wikipedia). Dizze feardichheid om behandelingen te ferliezen en maatregelingen sûnder kosten te kwalifisearjen is kwalitatyf oars as eksperiminten yn it ferline. Hoewol dit eksperimint belutsen hat 200 minsken, kin it mei 2.000 of sels 20.000 minsken rinne. It wichtichste ding dat de ûndersikers fan it skaljen fan har eksperiment troch in faktor fan 100 net foarkommen; It wie etik. Dat is, Restivo en van de Rijt winsken net barnstars foar unbeheindere redaksjes te jaan, en se wisten net dat harren eksperimint de Wikipedia-mienskip (Restivo and Rijt 2012, 2014) . Ik kom werom nei guon fan 'e etyske oerienkomsten dy't troch eksperiminten opnommen binne letter yn dit haadstik en yn haadstik 6.
As konklúzje docht bliken út it eksperiment fan Restivo en van de Rijt dat dúdlikens de logika fan eksperimintaasje net feroaret, kin de logistyk fan digitale-eksperiminten dramatysk ferskille. Dêrnei ferlykje ik de eksperiminten dy't ûndersikers no kinne mei de soarten eksperiminten dy't yn it ferline dien binne, it dúdliker isolearje fan de kânsen dy't makke binne troch dizze feroaringen.