4.2 Ce sunt experimente?

Experimentele randomizate controlate au patru ingrediente principale: recrutarea participanților, randomizare de tratament, de livrare de tratament, si masurare a rezultatelor.

Experimentele randomizate controlate pot lua multe forme și pot fi folosite pentru a studia mai multe tipuri de comportament. Dar, în miezul lor, experimente controlate randomizate au patru ingrediente principale: recrutarea participanților, randomizare de tratament, de livrare de tratament, si masurare a rezultatelor. Vârsta digitală nu schimbă caracterul fundamental al experimentelor, dar nu le face mai ușor de vedere logistic. De exemplu, în trecut, ar fi fost dificil să se măsoare comportamentul de milioane de oameni, dar care se întâmplă acum în mod obișnuit în multe sisteme digitale. Cercetatorii care pot da seama cum de a valorifica aceste noi oportunități vor fi capabili de a rula experimente care au fost imposibil anterior.

Pentru a face acest lucru tot un pic mai concret, atât ceea ce a rămas la fel și ceea ce s- a schimbat să ia în considerare Michael Restivo și Arnout van de Rijt lui (2012) . Cercetatorii au vrut sa inteleaga efectul de recompense informale la egal la egal privind contribuțiile editoriale la Wikipedia. În special, au studiat efectele barnstars, un premiu pe care orice Wikipedian poate da oricărei alte Wikipedian să recunoască munca grea și de due diligence. Restivo și van de Rijt a dat barnstars la 100 wikipediști merita. Apoi, Restivo și van de Rijt urmărite contribuțiilor ulterioare ale beneficiarilor la Wikipedia în următoarele 90 de zile. Spre surprinderea lor, oamenii cărora le -au acordat barnstars au avut tendința de a face mai puține modificări după ce a primit unul. Cu alte cuvinte, barnstars păreau să fie descurajarea, mai degrabă decât să încurajeze contribuție.

Din fericire, Restivo și van de Rijt nu au fost difuzate un experiment "decumpăni și să observe"; acestea au fost difuzate un experiment clinic randomizat controlat. Așa că, în plus față de alegerea 100 de colaboratori de top pentru a primi o barnstar, au ales, de asemenea, 100 de colaboratori de top la care ei nu au dat un barnstar. Aceste sute servit ca grup martor și care a primit un barnstar și care nu a fost determinată în mod aleatoriu. Atunci când Restivo și van de Rijt sa uitat la grupul de control au constatat că acesta a avut o scădere abruptă a contribuțiilor prea. In cele din urma, cand cercetatorii au comparat persoanele din grupul de tratament (de exemplu, a primit barnstars) și persoanele din grupul de control, au descoperit că barnstar a provocat editorii să contribuie cu aproximativ 60% mai mult. Însă, această creștere a contribuției a avut loc ca parte a unui declin general în ambele grupuri.

Deoarece acest studiu ilustreaza, grupul de control în experimente este critică într-un mod oarecum paradoxal. Pentru a măsura cu precizie efectul barnstars, Restivo și van der Rijt necesare pentru a observa oameni care nu au primit barnstars. De multe ori cercetătorii care nu sunt familiarizați cu experimente nu reușesc să aprecieze valoarea incredibilă a grupului de control. În cazul în care Restivo și van de Rijt nu a avut un grup de control, acestea s-ar fi desenat exact concluzia greșită. Grupele de control sunt atât de importante încât CEO - ul unei mari companii de casino a spus că există doar trei moduri în care angajații pot fi concediați de la compania sa: furtul, hărțuirea sexuală, și care rulează un experiment fără un grup de control (Schrage 2011) .

Restivo și van de Rijt de studiu ilustreaza cele patru componente principale ale unui experiment: recrutare, randomizare, intervenție și a rezultatelor. Împreună, aceste patru ingrediente permit oamenilor de știință să se deplaseze dincolo de corelații și se măsoară efectul cauzal al tratamentelor. In mod specific, randomizare înseamnă că, atunci când compara rezultatele pentru tratament și control grupurile pe care le obține o estimare a efectului cauzal al intervenției pentru că acel set de participanți. Cu alte cuvinte, cu un experiment randomizat , controlat , puteți fi siguri că orice diferențe între rezultatele sunt cauzate de intervenția și nu o confounder, o afirmație care - l fac exact în apendicele tehnic utilizând cadrul potențialelor rezultate.

În plus față de a fi o ilustrare frumos a mecanicii experimentelor, Restivo și van de Rijt, studiul lui, de asemenea, arata ca logistica de experimente digitale pot fi complet diferit de experimente analogice. În Restivo și experimentul van de Rijt a lui, a fost ușor pentru a da barnstar oricărei persoane din lume și a fost ușor pentru a urmări rezultatul-numărul de modificări-pe o perioadă mai lungă de timp (deoarece istoricul este înregistrată automat de Wikipedia). Aceasta abilitate de a oferi tratamente si masura a rezultatelor la nici un cost este calitativ , spre deosebire de experimente în trecut. Cu toate că acest experiment a implicat 200 de oameni, ar fi fost rulat cu 2.000 sau 20.000 de oameni. Principalul lucru împiedicând cercetătorii de la extinderea experimentului lor cu un factor de 100 nu a fost costa, era etică. Asta este, Restivo și van de Rijt nu a vrut să dea barnstars pentru editori nevrednici și nu au vrut experimentul lor să perturbe comunitatea Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) , (Restivo and Rijt 2012; Restivo and Rijt 2014) . Așa că, deși experimentul Restivo și van de Rijt este relativ simplu, se arată în mod clar că unele lucruri despre experimentele au ramas la fel, iar unele s-au schimbat. În special, logica de bază de experimentare este aceeași, dar logistica s-au schimbat. În continuare, în scopul de a izola mai clar oportunitățile create de această schimbare, voi compara experimentele pe care cercetatorii le pot face acum la tipurile de experimente care au fost făcute în trecut.