4.2 Što su eksperimenti?
Randomizirani kontrolirani pokusi imaju četiri glavne sastojke: pronalazak sudionika, randomizacije liječenja, isporuke liječenja, i mjerenje ishoda.
Randomizirani kontrolirani eksperimenti imaju četiri glavna sastojka: zapošljavanje sudionika, randomizaciju liječenja, isporuku liječenja i mjerenje ishoda. Digitalno doba ne mijenja temeljnu prirodu eksperimentiranja, ali olakšava logistiku. Na primjer, u prošlosti bilo je teško mjeriti ponašanje milijuna ljudi, ali to se sada redovito događa u mnogim digitalnim sustavima. Istraživači koji mogu shvatiti kako iskoristiti ove nove mogućnosti moći će pokrenuti pokuse koji prethodno nisu bili mogući.
Da bi to bilo sve konkretnije - i ono što je ostalo isto i što se promijenilo - razmislimo o eksperimentu Michaela Restiva i Arnouta van de Rijta (2012) . Htjeli su shvatiti učinak neformalnih vršnjaka na dopisima uredništva na Wikipediju. Posebno su proučavali učinke barnstars , nagradu koju bilo koji Wikipedian može dati bilo kojem drugom Wikipediju da prizna naporan rad i dubinsku brigu. Restivo i van de Rijt dali su barnstars na 100 zaslužnih Wikipedija. Zatim su pratili naknadne doprinose primatelja u Wikipediji sljedećih 90 dana. Mnogo na svoje iznenađenje, ljudi kojima su dodijelili barnstars su skloni napraviti manje uređivanja nakon što je primio jedan. Drugim riječima, barnstars činilo se da obeshrabruju, a ne potičući doprinos.
Srećom, Restivo i van de Rijt nisu pokrenuli eksperiment "perturb and observe"; pokrenuli su randomizirani kontrolirani eksperiment. Dakle, osim odabira 100 najboljih suradnika koji su primili barnstar, također su odabrali 100 najboljih suradnika kojima nisu dali. Ta je 100 služila kao kontrolna skupina. I, kritički, tko je bio u liječenju i koji je bio u kontrolnoj skupini bio slučajno određen.
Kada su Restivo i van de Rijt gledali ponašanje ljudi u kontrolnoj skupini, otkrili su da su njihovi doprinosi također smanjujući. Nadalje, kad su Restivo i van de Rijt uspoređivali ljude u skupini liječenja (tj. Primili barnstars) ljudima u kontrolnoj skupini, otkrili su da su ljudi u liječenju pridonijeli oko 60% više. Drugim riječima, doprinos obje skupine bio je preminuo, ali oni u kontrolnoj skupini rade mnogo brže.
Kao što ova studija pokazuje, kontrolna skupina u eksperimentima kritična je na način koji je pomalo paradoksalan. Da bi se precizno izmjerio učinak barnstara, Restivo i van de Rijt trebali su promatrati ljude koji nisu primali barnstars. Mnogo puta, istraživači koji nisu upoznati s eksperimentima ne razumiju nevjerojatnu vrijednost kontrolne skupine. Ako Restivo i van de Rijt nisu imali kontrolnu skupinu, oni bi točno nacrtali pogrešan zaključak. Kontrolne grupe toliko su važne da je glavni direktor tvrtke za kockarnicu kazao da postoje samo tri načina da zaposlenici mogu biti otpušteni iz svoje tvrtke: krađe, seksualno uznemiravanje ili pokretanje eksperimenta bez kontrolne skupine (Schrage 2011) ,
Istraživanje Restiva i van de Rijta ilustrira četiri glavna sastojka eksperimenta: zapošljavanje, randomizaciju, intervencije i ishode. Zajedno, ova četiri sastojka omogućuju znanstvenicima da se presele izvan korelacije i mjere kauzalni učinak tretmana. Naime, randomizacija znači da će ljudi u liječenju i kontrolnim skupinama biti slični. To je važno jer znači da se bilo koja razlika u rezultatima između dvije skupine može pripisati tretmanu, a ne zbunjujućem.
Osim što je lijepa ilustracija mehanike eksperimenata, istraživanje tvrtke Restivo i van de Rijt također pokazuje da logistika digitalnih eksperimenata može biti potpuno drugačija od onih analognih eksperimenata. U pokusu Restiva i van de Rijta bilo je lako dati barnstar svima, a bilo je lako pratiti ishod - broj uređivanja - tijekom duljeg vremenskog razdoblja (jer se povijest uređivanja automatski bilježi u Wikipediji). Ova sposobnost isporuke tretmana i mjerenje ishoda bez ikakvih troškova kvalitativno je različita od eksperimenata u prošlosti. Iako je ovaj eksperiment uključivao 200 ljudi, mogao je upravljati s 2.000 ili čak 20.000 ljudi. Glavna stvar koja sprječava znanstvenike da povećaju svoj eksperiment faktorom 100 nije bila cijena; to je bila etika. To jest, Restivo i van de Rijt nisu željeli dati barnstars nezasluženim urednicima, a nisu htjeli da njihov eksperiment poremetiti zajednicu Wikipedije (Restivo and Rijt 2012, 2014) . Vratit ću se na neka od etičkih razmatranja koje su postavili eksperimenti kasnije u ovom poglavlju i u 6. poglavlju.
Zaključno, eksperiment Restivo i van de Rijta jasno pokazuje da dok se osnovna logika eksperimentiranja nije promijenila, logistika digitalnih dobnih eksperimenata može biti dramatično drugačija. Zatim, kako bismo jasnije izolirali prilike stvorene ovim promjenama, usporedit ću eksperimente koje istraživači mogu učiniti sada s vrstama eksperimenata koji su učinjeni u prošlosti.
