4.2 Ce sunt experimente?

Experimentele randomizate controlate au patru ingrediente principale: recrutarea participanților, randomizare de tratament, de livrare de tratament, si masurare a rezultatelor.

Experimentele controlate aleatoriu au patru ingrediente principale: recrutarea participanților, randomizarea tratamentului, furnizarea tratamentului și măsurarea rezultatelor. Era digitală nu schimbă natura fundamentală a experimentării, dar face mai ușor din punct de vedere logistic. De exemplu, în trecut, ar fi putut fi dificil să se măsoare comportamentul a milioane de oameni, dar acest lucru se întâmplă în mod curent în multe sisteme digitale. Cercetătorii care știu cum să exploateze aceste noi oportunități vor putea să efectueze experimente care au fost imposibile anterior.

Pentru a face acest lucru un pic mai concret - atât ceea ce a rămas același, cât și ceea ce sa schimbat - să luăm în considerare un experiment realizat de Michael Restivo și Arnout van de Rijt (2012) . Ei au dorit să înțeleagă efectul recompenselor neoficiale pe contribuțiile editoriale la Wikipedia. În special, ei au studiat efectele barnstars , un premiu pe care orice Wikipedian îl poate da oricărui alt Wikipedian să recunoască munca grea și due diligence. Restivo și van de Rijt au oferit barnstare celor 100 de oameni care merită Wikipedia. Apoi, au urmărit contribuțiile ulterioare ale beneficiarilor la Wikipedia în următoarele 90 de zile. Spre surprinderea lor, oamenii cărora le-au acordat bastoane au tendința de a face mai puține editări după ce au primit unul. Cu alte cuvinte, barnstarii păreau să fie descurajați mai degrabă decât să încurajeze contribuția.

Din fericire, Restivo și van de Rijt nu au derulat un experiment "perturba și observa"; ei conduceau un experiment controlat randomizat. Deci, pe lângă alegerea a 100 de contribuabili de top pentru a primi un barnstar, au ales de asemenea 100 de contribuabili de top, cărora nu le-au dat unul. Aceste 100 au servit drept grup de control. Și, critic, cine era în grupul de tratament și care era în grupul de control a fost determinat aleatoriu.

Când Restivo și van de Rijt au analizat comportamentul persoanelor din grupul de control, au constatat că și contribuțiile lor au scăzut. Mai mult, când Reztivo și van de Rijt au comparat persoanele din grupul de tratament (adică, au primit barnstare) persoanelor din grupul de control, au descoperit că persoanele din grupul de tratament au contribuit cu aproximativ 60% mai mult. Cu alte cuvinte, contribuțiile ambelor grupuri au fost în detenție, însă cele ale grupului de control au fost mult mai rapide.

După cum arată acest studiu, grupul de control în experimente este critic într-un mod care este oarecum paradoxal. Pentru a măsura cu precizie efectul barnstarelor, Restivo și van de Rijt aveau nevoie să observe oameni care nu primiseră barnstars. De multe ori, cercetătorii care nu sunt familiarizați cu experimentele nu reușesc să aprecieze valoarea incredibilă a grupului de control. Dacă Reztivo și van de Rijt nu aveau un grup de control, ar fi tras exact concluzia greșită. Grupurile de control sunt atât de importante încât CEO-ul unei companii majore de cazinouri a declarat că există doar trei modalități prin care angajații să poată fi concediați de la compania sa: pentru furt, pentru hărțuire sexuală sau pentru desfășurarea unui experiment fără grup de control (Schrage 2011) .

Studiul lui Restivo și lui van de Rijt ilustrează cele patru componente principale ale unui experiment: recrutare, randomizare, intervenție și rezultate. Împreună, aceste patru componente permit oamenilor de știință să depășească corelațiile și să măsoare efectul cauzal al tratamentelor. În mod specific, randomizarea înseamnă că persoanele din grupurile de tratament și de control vor fi similare. Acest lucru este important deoarece înseamnă că orice diferență de rezultate între cele două grupuri poate fi atribuită tratamentului și nu o confuzie.

Pe lângă faptul că a fost o ilustrare frumoasă a mecanicii experimentelor, studiile lui Restivo și van de Rijt arată, de asemenea, că logistica experimentelor digitale poate fi complet diferită de cea a experimentelor analoage. În experimentul lui Restivo și al lui van de Rijt, era ușor să dai barnstar-ului la nimeni și a fost ușor să urmăriți rezultatul - numărul de editări - pentru o perioadă lungă de timp (deoarece istoricul editelor este înregistrat automat de Wikipedia). Această abilitate de a furniza tratamente și de a măsura rezultatele fără costuri este calitativ diferită de experiențele din trecut. Deși acest experiment a implicat 200 de persoane, ar fi putut fi rulat cu 2 000 sau chiar 20 000 de persoane. Principalul lucru care împiedică cercetătorii să-și extindă experimentul cu un factor de 100 nu a costat; era etică. Adică Restivo și van de Rijt nu au vrut să ofere barnstars editorilor de nerăbdare și nu au vrut ca experimentul lor să perturbe comunitatea Wikipedia (Restivo and Rijt 2012, 2014) . Voi reveni la unele dintre considerentele etice ridicate de experimente mai târziu în acest capitol și în capitolul 6.

În concluzie, experimentul lui Restivo și lui van de Rijt arată în mod clar că, în timp ce logica de bază a experimentării nu sa schimbat, logistica experimentelor de vârstă digitală poate fi dramatic diferită. În continuare, pentru a izola mai clar oportunitățile create de aceste schimbări, voi compara experimentele pe care cercetătorii le pot face acum cu tipurile de experimente care au fost făcute în trecut.