4.2 Quins són els experiments?
Experiments controlats aleatoris tenen quatre ingredients principals: reclutament de participants, l'assignació a l'atzar del tractament, l'administració de tractaments i mesurament dels resultats.
Els experiments controlats aleatoris tenen quatre ingredients principals: reclutament de participants, aleatorització del tractament, lliurament de tractaments i mesurament dels resultats. L'era digital no canvia la naturalesa fonamental de l'experimentació, sinó que facilita la logística. Per exemple, en el passat, podria haver estat difícil mesurar el comportament de milions de persones, però ara passa sovint en molts sistemes digitals. Els investigadors que puguin esbrinar com aprofitar aquestes noves oportunitats podran executar experiments impossibles prèviament.
Per fer-ho tot una mica més concret, tant el que ha quedat igual com el que ha canviat, considerem un experiment de Michael Restivo i Arnout van de Rijt (2012) . Volien comprendre l'efecte de les recompenses informals d'iguals a les contribucions editorials a Wikipedia. En particular, van estudiar els efectes dels barnstars , un premi que qualsevol Wikipedista pot donar a qualsevol altre wikipedari per reconèixer el treball dur i la diligència deguda. Restivo i van de Rijt van donar barnstars a 100 mereixedors de wikipedistas. Després, van seguir les contribucions posteriors dels destinataris a Wikipedia durant els propers 90 dies. Molt per la seva sorpresa, les persones a les quals van concedir els barnstars tendien a fer menys modificacions després de rebre'l. En altres paraules, els barnstars semblaven desanimar-se més que fomentar la contribució.
Afortunadament, Restivo i van de Rijt no tenien una prova de "pertorbar i observar". tenien un experiment controlat aleatori. Així, a més de triar a 100 col·laboradors principals per rebre un barnstar, també van escollir 100 col·laboradors principals als quals no van donar-ne cap. Aquests 100 van servir com a grup de control. I, críticament, qui estava en el grup de tractament i que estava en el grup de control es va determinar de forma aleatòria.
Quan Restivo i van de Rijt analitzar el comportament de les persones del grup de control, van trobar que les seves contribucions també estaven disminuint. A més, quan Restivo i van de Rijt comparaven les persones del grup de tractament (és a dir, van rebre els intestins) a les persones del grup de control, van trobar que les persones del grup de tractament van contribuir amb un 60% més. En altres paraules, les contribucions d'ambdós grups eren mútues, però les del grup de control estaven fent molt més ràpid.
Tal com ho demostra aquest estudi, el grup de control en experiments és crític d'una manera tan paradoxal. Per tal de mesurar amb precisió l'efecte dels barnstars, Restivo i van de Rijt necessitaven observar persones que no rebien barnstars. Moltes vegades, els investigadors que no estan familiaritzats amb experiments no aconsegueixen apreciar l'increïble valor del grup de control. Si Restivo i van de Rijt no havien tingut un grup de control, haurien extret exactament la conclusió equivocada. Els grups de control són tan importants que el CEO d'una empresa de casino important ha dit que només hi ha tres maneres de destituir els empleats de la seva empresa: el robatori, l'assetjament sexual o l'execució d'un experiment sense un grup de control (Schrage 2011) .
L'estudi de Restivo i van de Rijt il·lustra els quatre ingredients principals d'un experiment: reclutament, aleatorització, intervenció i resultats. Junts, aquests quatre ingredients permeten als científics superar les correlacions i mesurar l'efecte causal dels tractaments. Concretament, l'aleatorització significa que les persones en els grups de tractament i control seran similars. Això és important perquè significa que qualsevol diferència en els resultats entre els dos grups es pot atribuir al tractament i no a un confundor.
A més de ser una bella il·lustració de la mecànica d'experiments, l'estudi de Restivo i van de Rijt també mostra que la logística d'experiments digitals pot ser completament diferent a la dels experiments analògics. A l'experiment de Restivo i van de Rijt, era senzill donar-li a algú la barnstar, i era fàcil fer un seguiment del nombre de resultats-nombre d'edicions-durant un període de temps prolongat (perquè la història d'edició es registra automàticament a Wikipedia). Aquesta capacitat de lliurar tractaments i mesurar els resultats sense cost és qualitativament diferent dels experiments en el passat. Encara que aquest experiment va implicar a 200 persones, podria haver estat executat amb 2.000 o fins a 20.000 persones. El principal que impedia als investigadors augmentar el seu experiment en un factor de 100 no era cost; era ètica. És a dir, Restivo i van de Rijt no volien donar als editors immadurs, i no volien que la seva experiència interrompre la comunitat de Wikipedia (Restivo and Rijt 2012, 2014) . Tornaré a algunes de les consideracions ètiques plantejades pels experiments més endavant en aquest capítol i en el capítol 6.
En conclusió, l'experiment de Restivo i van de Rijt mostra clarament que mentre la lògica bàsica de l'experimentació no ha canviat, la logística d'experiments en edat digital pot ser molt diferent. A continuació, per aïllar més clarament les oportunitats que generen aquests canvis, compararé els experiments que els investigadors poden fer ara amb els tipus d'experiments que s'han realitzat en el passat.
