4.2 Što su eksperimenti?

Randomizirani kontrolirani pokusi imaju četiri glavne sastojke: pronalazak sudionika, randomizacije liječenja, isporuke liječenja, i ​​mjerenje ishoda.

Randomizirani kontrolirani pokusi može uzeti mnoge oblike, a može se koristiti za proučavanje mnoge vrste ponašanja. No, u svojoj jezgri, randomizirane kontrolirane pokuse imaju četiri glavne sastojke: pronalazak sudionika, randomizacije liječenja, isporuke liječenja, i mjerenje ishoda. Digitalno doba ne mijenja temeljnu prirodu eksperimentiranja, ali to ne bi ih lakše logistički. Na primjer, u prošlosti to moglo biti teško mjeriti ponašanje milijuna ljudi, ali to je sada rutinski događa u mnogim digitalnim sustavima. Istraživači koji mogu shvatiti kako iskoristiti te nove prilike će moći izvoditi eksperimente koje je nemoguće ranije.

Da bi se to sve malo konkretniji-i ono što je ostalo isto, a što se promijenilo-razmotrimo Michael Restivo i Arnout van de Rijt-a (2012) . Istraživači su htjeli razumjeti učinak neformalnih peer nagrade na uređivačku doprinose Wikipediji. Posebno su proučavali učinke barnstars, nagradu da bilo Wikipedian može dati na bilo koji drugi Wikipedian priznati trud i due diligence. Restivo i van de Rijt dao barnstars do 100 zaslužnim Vikipediji. Zatim Restivo i van de Rijt prati naknadne priloge primatelja na Wikipediji u narednih 90 dana. Na svoje iznenađenje, ljudi kojima su dodijeljene barnstars skloni napraviti manje izmjene primio jedan. Drugim riječima, barnstars činilo se da obeshrabrujuće nego ohrabrujuće doprinos.

Srećom, Restivo i van de Rijt nisu radili eksperiment "perturbacije i promatrati"; oni su trčali je kontrolirana eksperiment. Dakle, osim odabira 100 najaktivnije članove primiti barnstar, oni su također skupili 100 najaktivnije članove kome nije dao barnstar. Ovi sto služila je kao kontrolna grupa, a koja je dobio barnstar a koja nije određena je nasumično. Kad Restivo i van de Rijt pogledao na kontrolnu skupinu, otkrili su da je imao strmi pad doprinosa previše. Na kraju, kada su istraživači u odnosu ljudi u liječenoj skupini (tj dobila barnstars) i ljudi u kontrolnoj skupini, oni su otkrili da barnstar izazvao urednici pridonijeti oko 60% više. No, to povećanje doprinosa odvija kao dio ukupnog pada u obje skupine.

Kao što je ova studija pokazuje, kontrolna skupina u pokusima je kritično na način koji je pomalo paradoksalno. Kako bi se precizno izmjeriti učinak barnstars, Restivo i van der Rijt potrebno promatrati ljude koji nisu primili barnstars. Mnogo puta znanstvenici koji nisu upoznati s pokusima ne cijeniti nevjerojatnu vrijednost kontrolne skupine. Ako Restivo i van de Rijt nije imala kontrolnu skupinu, oni bi izvučeni točno pogrešan zaključak. Kontrolne grupe su toliko važno da je izvršni direktor velike casino tvrtke je rekao da postoje samo tri načina na koje zaposlenici mogu dobiti otkaz od svoje tvrtke: krađa, seksualno uznemiravanje i provođenja eksperimenta bez kontrolne skupine (Schrage 2011) .

Restivo i Van de Rijtkroz studija pokazuje četiri glavne sastojke eksperiment: zapošljavanje, randomizacije, intervencije i rezultate. Zajedno, ove četiri sastojci omogućuju znanstvenicima da se presele izvan korelacija i izmjeriti uzročnu učinak tretmana. Naime, randomizacije znači da kad usporedite rezultate za liječenje i kontrolne skupine te dobiti procjenu uzročnog utjecaja tog zahvata za taj skup sudionika. Drugim riječima, s randomiziranom kontroliranom pokusu, možete biti sigurni da su sve razlike u ishodima zbog intervencije, a ne u confounder, tvrde da bi precizno u Tehničkom dodatku koristeći okvir mogućih ishoda.

Osim što je lijepa ilustracija mehaniku eksperimenata, Restivo i Van de Rijtkroz Studija također pokazuje da je logistika digitalnih eksperimenata može biti potpuno različita od analognih pokusa. U Restivo i van de Rijtkroz je eksperiment, to je lako dati barnstar nikome u svijetu, a to je lako pratiti ishod-broj uređivanja-tijekom dužeg vremenskog razdoblja (jer povijest uređivanja automatski zabilježen Wikipedia). Ta sposobnost da dostavi tretmane i mjerenje rezultata bez troškova kvalitativno razliku od eksperimenata u prošlosti. Iako je ovo istraživanje provedeno na 200 ljudi, moglo se raditi sa 2.000 ili 20.000 osoba. Glavna stvar sprečavanje istraživače iz skaliranje svoj eksperiment s faktorom 100 nije trošak, to je etika. To jest, Restivo i van de Rijt nije htio dati barnstars do zaslužuju urednika, a oni ne žele njihov eksperiment bi ometalo zajednica Wikipedije (Restivo and Rijt 2012; Restivo and Rijt 2014) . Dakle, iako je eksperiment Restivo i van de Rijtkroz je relativno jednostavan, to jasno pokazuje da su neke stvari o pokusima ostao isti, a neki su se promijenile. Konkretno, osnovna logika eksperimentiranja je isti, ali logistika su se promijenile. Dalje, kako bi se jasnije izdvojiti mogućnosti stvorene ove promjene, ja ću usporediti eksperimente koji znanstvenici mogu učiniti sada na vrste eksperimenata koje su učinili u prošlosti.