4.2 Quins són els experiments?

Experiments controlats aleatoris tenen quatre ingredients principals: reclutament de participants, l'assignació a l'atzar del tractament, l'administració de tractaments i mesurament dels resultats.

experiments controlats aleatoris poden prendre moltes formes i pot ser utilitzat per estudiar molts tipus de comportament. Però, en el fons, els experiments controlats aleatoris tenen quatre ingredients principals: reclutament de participants, l'assignació a l'atzar del tractament, l'administració de tractaments i mesurament dels resultats. L'era digital no canvia la naturalesa fonamental de l'experimentació, però fa que siguin més fàcils de vista logístic. Per exemple, en el passat que podria haver estat difícil mesurar el comportament de milions de persones, però que ara està succeint de forma rutinària en molts sistemes digitals. Els investigadors que es pot trobar la manera d'aprofitar aquestes noves oportunitats podran dur a terme experiments que eren impossibles anteriorment.

Per fer tot això una mica més concret, tant el que ha romàs igual i el que ha canviat, considerarem Michael Restivo i Arnout van de Rijt de (2012) . Els investigadors desitjaven entendre l'efecte de recompenses per parells informals sobre les contribucions de redacció en Wikipedia. En particular, es van estudiar els efectes de barnstars, un premi que qualsevol wikipedista pot donar a qualsevol altre wikipedista reconèixer el treball dur i la diligència deguda. Restivo i van de Rijt van donar barnstars a 100 wikipedistas que mereixen. Llavors, Restivo i van de Rijt rastrejats aportacions posteriors dels beneficiaris de Wikipedia durant els propers 90 dies. Per a la seva sorpresa, les persones a les que atorguen barnstars tendien a fer menys canvis després de rebre un. En altres paraules, els barnstars semblaven estar desanimant en lloc de fomentar la contribució.

Afortunadament, Restivo i van de Rijt no estaven corrent un experiment de "pertorbar i observar"; que estaven corrent un experiment controlat aleatori. Així, a més de l'elecció de 100 contribuents principals per rebre una estrella de graner, també van recollir 100 principals contribuents als quals no va donar un estel de graner. Aquests cent van servir com a grup de control, i que té un estel de graner i que no es va determinar a l'atzar. Quan Restivo i van de Rijt van observar el grup de control es va trobar que tenia una forta caiguda de les cotitzacions també. Finalment, quan els investigadors van comparar les persones en el grup de tractament (és a dir, rebuda barnstars) i les persones en el grup de control, es van trobar que l'estrella de graner causat als editors contribueixen amb al voltant del 60% més. No obstant això, aquest augment de la contribució es duia a terme com a part d'una disminució general en tots dos grups.

Com il·lustra aquest estudi, el grup de control en els experiments és crítica en una forma que és una cosa paradoxal. Per tal de mesurar amb precisió l'efecte de barnstars, Restivo i van der Rijt necessari observar a les persones que no van rebre barnstars. Moltes vegades els investigadors que no estan familiaritzats amb els experiments no tenen en compte l'increïble valor del grup de control. Si Restivo i van de Rijt no tenien un grup de control, s'haurien dibuixat exactament la conclusió equivocada. Els grups de control són tan importants que el CEO d'una important companyia de casino ha dit que només hi ha tres formes en què els empleats poden ser acomiadats de la seva empresa: robatori, assetjament sexual, i l'execució d'un experiment sense un grup control (Schrage 2011) .

Restivo i de van de Rijt estudi il·lustra els quatre ingredients principals d'un experiment: el reclutament, l'assignació a l'atzar, la intervenció i els resultats. En conjunt, aquests quatre ingredients permeten als científics van més enllà de les correlacions i mesuren l'efecte causal de tractaments. En concret, l'assignació a l'atzar vol dir que quan es comparen els resultats per als grups de tractament i de control s'obté una estimació de l'efecte causal que la intervenció per a aquest conjunt de participants. En altres paraules, amb un experiment controlat aleatori que pot estar segur que qualsevol diferència en els resultats són causats per la intervenció i no un factor de confusió, una afirmació que faig precisa en l'apèndix tècnic utilitzant el marc de possibles resultats.

A més de ser una bona il·lustració de la mecànica d'experiments, Restivo i de van de Rijt estudi també mostra que la logística d'experiments digitals poden ser completament diferent d'experiments analògics. En Restivo i l'experiment de van de Rijt, era fàcil donar l'estrella de graner a qualsevol persona al món i era fàcil per seguir el resultat-nombre d'edicions, durant un període prolongat de temps (a causa de editar la història es registra automàticament per Wikipedia). Aquesta capacitat d'oferir tractaments i mesurar els resultats sense cost és qualitativament a diferència dels experiments en el passat. Encara que aquest experiment va consistir en 200 persones, que podria haver estat executat amb 2.000 o 20.000 persones. El principal la prevenció dels investigadors de l'ampliació del seu experiment en un factor de 100 no va ser el cost, que era l'ètica. És a dir, Restivo i van de Rijt no volen donar barnstars als editors que no ho mereixen i que no volen que el seu experiment per interrompre la comunitat Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Per tant, tot i que l'experiment de Restivo i van de Rijt és relativament simple, es mostra clarament que algunes coses sobre els experiments s'han mantingut igual i alguns han canviat. En particular, la lògica bàsica de l'experimentació és el mateix, però la logística han canviat. A continuació, per tal d'aïllar amb més claredat les oportunitats creades per aquest canvi, vaig a comparar els experiments que els investigadors poden fer ara per al tipus d'experiments que s'han fet en el passat.