4.2 Koje su eksperimenti?
Randomizirane kontrolirane eksperimente imaju četiri glavne sastojke: regrutovanje učesnika, randomizaciju liječenja, isporuka liječenja, i mjerenje ishoda.
Randomizovani kontrolisani eksperimenti imaju četiri glavna sastojka: regrutaciju učesnika, randomizaciju lečenja, isporuku lečenja i merenje ishoda. Digitalno doba ne menja osnovnu prirodu eksperimentisanja, ali to olakšava logistiku. Na primer, u prošlosti je možda bilo teško izmeriti ponašanje miliona ljudi, ali to se sada rutinski dešava u mnogim digitalnim sistemima. Istraživači koji mogu shvatiti kako iskoristiti ove nove mogućnosti biće u stanju da pokrenu eksperimente koji su ranije bili nemogući.
Kako bi ovo postalo malo konkretnije - i ono što je ostalo ista i šta se promenilo - razmotrimo eksperiment Majkla Restiva i Arnouta van de Rijta (2012) . Želeo je da razumeju efekat neformalnih nagrada kolege na uređivački doprinos Vikipediji. Konkretno, proučavali su efekte barnstarsa , nagradu koju svaki Wikipedian može dati bilo kojem drugom Wikipedianu da prizna naporan rad i dužnu pažnju. Restivo i van de Rijt dali su barnstare 100 zaslužnim Vikipedijancima. Potom su pratili naknadne doprinose primaoca Vikipediji u narednih 90 dana. Mnogo na njihovo iznenađenje, ljudi kojima su dodijelili barnstare su imali manje izmjena nakon što su ga primili. Drugim riječima, barnstari su činili da su odvraćali, a ne ohrabrili doprinos.
Na sreću, Restivo i van de Rijt nisu pokrenuli eksperiment "perturbi i posmatrati"; oni su vodili randomizirani kontrolisani eksperiment. Dakle, pored izbora 100 najvećih doprinosa za prijem barnstar-a, izabrali su i 100 najboljih doprinosa kojima nisu dali. Ovi 100 služili su kao kontrolna grupa. I kritički, ko je bio u grupi lečenja i koji je bio u kontrolnoj grupi određen je slučajno.
Kada su Restivo i van de Rijt pogledali ponašanje ljudi u kontrolnoj grupi, utvrdili su da se i njihovi doprinosi smanjuju. Nadalje, kada su Restivo i van de Rijt upoređivali ljude u grupi za lečenje (tj. Primili barnstare) osobama kontrolne grupe, utvrdili su da su ljudi u lečenju doprineli oko 60% više. Drugim riječima, doprinosi obe grupe bili su smireni, ali oni kontrolne grupe su radili mnogo brže.
Kao što pokazuje ova studija, kontrolna grupa u eksperimentima je kritična na način koji je donekle paradoksalan. Da bi precizno merili efekat barnstara, Restivo i van de Rijt su morali posmatrati ljude koji nisu primili barnstare. Mnogo puta istraživači koji nisu upoznati sa eksperimentima ne vrednuju neverovatnu vrednost kontrolne grupe. Ako Restivo i van de Rijt nisu imali kontrolnu grupu, oni bi nacrtali tačno pogrešan zaključak. Kontrolne grupe su toliko važne da je izvršni direktor glavne kompanije za kazino rekao da postoje samo tri načina na koje se zaposlenici mogu otpustiti od svoje kompanije: za krađu, za seksualno uznemiravanje ili za pokretanje eksperimenta bez kontrolne grupe (Schrage 2011) .
Studija Restivo i van de Rijt ilustruju četiri glavna sastojka eksperimenta: zapošljavanje, randomizacija, intervencija i ishodi. Zajedno, ova četiri sastojka omogućavaju naučnicima da izađu izvan korelacije i mere uzročno dejstvo lečenja. Naročito, randomizacija znači da će ljudi u lečenju i kontrolnim grupama biti slični. Ovo je važno jer to znači da se bilo koja razlika u ishodima između dve grupe može pripisati lečenju, a ne konfiguratoru.
Osim što je lepa ilustracija mehanike eksperimenta, studija Restiva i van de Rijt takođe pokazuje da se logistika digitalnih eksperimenata može potpuno razlikovati od analognih eksperimenata. U eksperimentu Restivo i van de Rijt bilo je lako dati Barnstar svima, a lako je bilo pratiti broj rezultata izmena - tokom dužeg vremenskog perioda (jer Wikipedia istovremeno snima istoriju). Ova sposobnost pružanja tretmana i merenja ishoda bez ikakvih troškova kvalitativno se razlikuju od eksperimenata u prošlosti. Iako je ovaj eksperiment obuhvatao 200 ljudi, moglo je da se upravlja sa 2.000 ili čak 20.000 ljudi. Glavna stvar koja je spriječila istraživače da povećaju svoj eksperiment u faktoru od 100 nije bila cijena; to je bila etika. To jest, Restivo i van de Rijt nisu željeli dati barnstare nepažljivim urednicima, a nisu želeli da njihov eksperiment ometa zajednicu Vikipedije (Restivo and Rijt 2012, 2014) . Vratiću se na neke od etičkih razloga eksperimenata kasnije u ovom poglavlju iu poglavlju 6.
Na kraju, eksperimenti Restiva i van de Rijt jasno pokazuju da dok se osnovna logika eksperimenta nije promenila, logistika eksperimenata digitalnog doba može biti dramatično različita. Zatim, kako bih jasnije izolovao mogućnosti koje su nastale ovim promjenama, uporediću eksperimente koje istraživači mogu sada uraditi s tipovima eksperimenata koji su urađeni u prošlosti.
