4.2 Kaj so poskusi?
Randomizirani nadzorovani poskusi imajo štiri glavne sestavine: zaposlovanje udeležencev, popačenosti zdravljenja, zagotavljanje zdravljenja in merjenje izidov.
Randomizirani kontrolirani posegi imajo štiri glavne sestavine: zaposlovanje udeležencev, randomiziranje zdravljenja, izvajanje zdravljenja in merjenje rezultatov. Digitalna doba ne spreminja temeljne narave eksperimentiranja, vendar olajša logistično. Na primer, v preteklosti je bilo morda težko izmeriti obnašanje milijonov ljudi, toda to se zdaj redno dogaja v številnih digitalnih sistemih. Raziskovalci, ki lahko ugotovijo, kako izkoristiti te nove možnosti, bodo lahko izvajali eksperimente, ki jih prej ni bilo mogoče.
Da bi to postalo malo bolj konkretno - tako, kar je ostalo enako in kaj se je spremenilo - razmislimo o poskusu Michael Restiva in Arnout van de Rijt (2012) . Želeli so si razumeti učinek neformalnih vrstnih nagrad na uredniške prispevke v Wikipediji. Zlasti so proučili učinke barnstars , nagrade, ki jih lahko katerikoli Wikipedian dati kateremu koli drugemu Wikipedianu, da potrdi trdo delo in skrbnost. Restiv in van de Rijt sta dala barnstare 100 zaslužnim Wikipedijancem. Nato so sledili naslednjim prispevkom prejemnikov v Wikipedijo v naslednjih 90 dneh. Precej na njihovo presenečenje so ljudje, ki jim je podelil barnstars, po prejemu enega od njih narekoval manj sprememb. Povedano drugače, zdi se, da so sejalniki zdržali in ne spodbudili prispevka.
Na srečo, Restivo in van de Rijt niso izvajali eksperimenta "perturbi in opazovanja"; vodili so naključno nadzorovan poskus. Torej, poleg izbire 100 največjih sodelavcev, ki so prejeli barnstar, so izbrali tudi 100 najboljših sodelavcev, ki jim ga niso dali. Teh 100 je služilo kot kontrolna skupina. In kritično, kdo je bil v skupini za zdravljenje in ki je bil v kontrolni skupini, je bil naključno določen.
Ko sta Restiv in van de Rijt pogledala na vedenje ljudi v kontrolni skupini, sta ugotovila, da se tudi njihovi prispevki zmanjšujejo. Nadalje, ko sta Restivo in van de Rijt primerjali osebe v skupini za zdravljenje (tj. Prejete sode) osebam v kontrolni skupini, so ugotovili, da so ljudje v skupini za zdravljenje prispevali približno 60% več. Z drugimi besedami, prispevki obeh skupin so bili umirjeni, vendar pa so kontrolne skupine naredile veliko hitreje.
Kot prikazuje ta študija, je kontrolna skupina v poskusih kritična na način, ki je nekoliko paradoksičen. Za natančno merjenje učinka barnstars je bilo treba Restivo in van de Rijt opazovati ljudi, ki niso prejeli barnstars. Raziskovalci, ki niso seznanjeni s poskusi, velikokrat ne cenijo neverjetne vrednosti kontrolne skupine. Če družba Restivo in van de Rijt nista imeli kontrolne skupine, bi natančno sklepali na napačen zaključek. Kontrolne skupine so tako pomembne, da je glavni izvršni direktor glavnega igralniškega podjetja povedal, da obstajajo samo trije načini, kako se lahko zaposleni odpustijo iz svoje družbe: za krajo, za spolno nadlegovanje ali za izvajanje preizkusa brez kontrolne skupine (Schrage 2011) .
V študiji Restivo in van de Rijt so prikazane štiri glavne sestavine eksperimenta: zaposlovanje, randomizacija, intervencija in rezultati. Skupaj te štiri sestavine omogočajo znanstvenikom, da presegajo korelacije in merijo vzročni učinek zdravljenja. Natančneje, randomizacija pomeni, da bodo ljudje v skupinah za zdravljenje in nadzor podobni. To je pomembno, ker pomeni, da je vsaka razlika v rezultatih med obema skupinama mogoče pripisati zdravljenju in ne zamenjavi.
Poleg tega, da je lepa ilustracija mehanike eksperimentov, študija Restiva in van de Rijt tudi kaže, da se logistika digitalnih eksperimentov lahko popolnoma razlikuje od analognih eksperimentov. V preizkusu Restivo in van de Rijt je bilo zlahka dati barnstar vsem, in bilo je enostavno slediti številu izidov - v daljšem časovnem obdobju (ker se zgodovina urejanja samodejno beleži v Wikipediji). Ta sposobnost zagotavljanja zdravljenja in merjenja rezultatov brez stroškov je kakovostno drugačna od eksperimentov v preteklosti. Čeprav je ta preizkus vključeval 200 ljudi, bi ga lahko uporabljali 2.000 ali celo 20.000 ljudi. Glavna stvar, ki raziskovalcem preprečuje povečanje njihovega eksperimenta s faktorjem 100, ni bila strošek; to je bila etika. To pomeni, da Restiv in van de Rijt nista želeli dati barnstars nezahtevnim urednikom in niso želeli, da bi njihov poskus motil skupnost Wikipedije (Restivo and Rijt 2012, 2014) . Vrnil se bom na nekaj etičnih razlogov, ki so jih postavili poskusi kasneje v tem poglavju in v 6. poglavju.
Na koncu poskusi Restiva in van de Rijt jasno kažejo, da medtem ko se osnovna logika eksperimentiranja ni spremenila, se lahko logika eksperimenta digitalne dobe dramatično razlikuje. Nato, da bi bolj jasno izolirali priložnosti, ki so jih povzročile te spremembe, bom primerjal poskuse, ki jih raziskovalci lahko zdaj naredijo z vrstami eksperimentov, ki so bili storjeni v preteklosti.
