4.2 Koje su eksperimenti?

Randomizirane kontrolirane eksperimente imaju četiri glavne sastojke: regrutovanje učesnika, randomizaciju liječenja, isporuka liječenja, i ​​mjerenje ishoda.

Randomizirane kontrolirane eksperimente može imati različite oblike i može se koristiti za proučavanje mnoge vrste ponašanja. Ali, u svojoj suštini, randomizirane kontrolirane eksperimente imaju četiri glavne sastojke: regrutovanje učesnika, randomizaciju liječenja, isporuka liječenja, i mjerenje ishoda. Digitalno doba ne mijenja osnovnu prirodu eksperimentisanja, ali ne bi ih lakše logistički. Na primjer, u prošlosti je možda bilo teško mjeriti ponašanje miliona ljudi, ali to je sada rutinski događa u mnogim digitalnim sistemima. Istraživači koji mogu shvatiti kako iskoristiti te nove mogućnosti će biti u mogućnosti da rade eksperimente koje je bilo nemoguće ranije.

Da bi sve ovo malo konkretnije-i ono što je ostao isti i ono što promijenila-razmotrimo Michael Restivo i Arnout Van de Rijt a (2012) . Istraživači su želeli da razumiju učinak neformalnih peer nagrade na uređivačku doprinos Wikipediji. Posebno su proučavali efekte barnstars, nagradu da bilo Wikipedian može dati bilo koji drugi Wikipedian da prizna napornog rada i due diligence. Restivo i van de Rijt dao barnstars do 100 zaslužnih Wikipedijanaca. Zatim, Restivo i van de Rijt bager naknadne doprinosa primalaca na Wikipediji u narednih 90 dana. Mnogo na njihovo iznenađenje, ljudi kojima su nagrađeni barnstars tendenciju da se manje izmjene nakon primanja jednog. Drugim riječima, barnstars činilo da se obeshrabruju, a ne ohrabruje doprinos.

Srećom, Restivo i van de Rijt nije vođenje "remete i posmatrati" eksperiment; oni su trčali po slučajnom pod kontrolom eksperiment. Dakle, osim izbora 100 vrh doprinose kako bi dobili barnstar, oni su izabrali 100 top doprinose kojima nije dao barnstar. Ovi sto je služila kao kontrolna grupa, a koji je dobio barnstar i koji nije bio nasumično određen. Kada Restivo i van de Rijt pogledao kontrolne grupe su otkrili da je imao veliki pad doprinosa previše. Na kraju, kada su istraživači u odnosu ljudi u grupi liječenja (tj, dobila barnstars) i ljudi u kontrolnoj grupi, otkrili su da je barnstar izazvao urednici da doprinese oko 60% više. Ali, ovo povećanje doprinos odvija kao dio ukupnog pada u obje grupe.

Kao što je ova studija pokazuje, u kontrolnoj grupi u eksperimentima je kritično na način koji je pomalo paradoksalno. Kako bi se precizno mjerenje efekat barnstars, Restivo i van der Rijt potrebno posmatrati ljude koji nisu dobili barnstars. Mnogo puta istraživači koji nisu upoznati sa eksperimentima ne cijeniti neverovatno vrijednost kontrolne grupe. Ako Restivo i van de Rijt nije imao kontrolne grupe, oni bi izvući potpuno pogrešan zaključak. Kontrolne grupe su toliko važni da je direktor jedne velike kazino kompanija je rekao da postoje samo tri načina da zaposleni mogu dobiti otkaz iz svoje firme: krađa, seksualno uznemiravanje, a radi eksperiment bez kontrolne grupe (Schrage 2011) .

Restivo i van de Rijt studija pokazuje četiri glavne sastojke eksperiment: zapošljavanja, randomizaciju, intervencije i rezultate. Zajedno, ove četiri sastojci omogućavaju naučnicima da krenu dalje korelacije i mjeriti uzročne učinak tretmana. Naime, randomizacija znači da kada se uporede rezultati za grupe tretman i kontrolu dobijete procjenu uzročne efekta te intervencije za taj skup učesnika. Drugim riječima, s randomizovanih eksperiment možete biti sigurni da je bilo razlike u ishodima su uzrokovane intervencije, a ne confounder, tvrdnja da sam se precizno u Tehničkom Dodatku pomoću okvira potencijalne ishode.

Osim što je lijep ilustracija mehanike eksperimenata, Restivo i van de Rijt studija također pokazuje da logistički digitalnih eksperimenata može biti potpuno drugačiji od analognih eksperimenata. U Restivo i van de Rijt eksperimenta, bilo je lako dati barnstar nikome u svijetu i bilo je lako pratiti ishod-broj uređivanja-u dužem vremenskom periodu (jer edit povijest se automatski bilježe Wikipedia). Ova sposobnost da isporuči tretmane i mjerenje ishoda bez troškova je kvalitativno razliku od eksperimenata u prošlosti. Iako je ovaj eksperiment uključeni 200 ljudi, moglo se raditi sa 2.000 ili 20.000 ljudi. Glavna stvar sprečava istraživači iz skaliranje svoje eksperiment za faktor 100 nije koštao, to je etika. To jest, Restivo i van de Rijt nije želio dati barnstars da ne zaslužuju urednicima i da ne žele njihov eksperiment poremetiti Wikipedia zajednice (Restivo and Rijt 2012; Restivo and Rijt 2014) . Dakle, iako je eksperiment Restivo i van de Rijt je relativno jednostavan, to jasno pokazuje da se neke stvari o eksperimentima su ostali isti, a neki su se promijenile. Konkretno, osnovna logika eksperimentisanja je isti, ali logistike su se promijenile. Zatim, kako bi se jasnije izolirati mogućnosti koje ove promjene, ja ću uporediti eksperimenata koji istraživači mogu učiniti sada na vrste eksperimenata koje su činili u prošlosti.