4.2 Quali sono gli esperimenti?
Esperimenti controllati randomizzati hanno quattro ingredienti principali: reclutamento dei partecipanti, randomizzazione di trattamento, di consegna di trattamento, e di misurazione dei risultati.
Gli esperimenti randomizzati controllati hanno quattro ingredienti principali: reclutamento dei partecipanti, randomizzazione del trattamento, consegna del trattamento e misurazione dei risultati. L'era digitale non cambia la natura fondamentale della sperimentazione, ma lo rende più facile dal punto di vista logistico. Ad esempio, in passato, sarebbe stato difficile misurare il comportamento di milioni di persone, ma ciò sta accadendo regolarmente in molti sistemi digitali. I ricercatori che possono capire come sfruttare queste nuove opportunità saranno in grado di eseguire esperimenti che prima erano impossibili.
Per rendere tutto questo un po 'più concreto - sia quello che è rimasto lo stesso sia quello che è cambiato - prendiamo in considerazione un esperimento di Michael Restivo e Arnout van de Rijt (2012) . Volevano capire l'effetto dei premi peer informali sui contributi editoriali a Wikipedia. In particolare, hanno studiato gli effetti dei barnstars , un premio che qualsiasi Wikipedico può dare a qualsiasi altro Wikipediano per riconoscere il duro lavoro e la dovuta diligenza. Restivo e van de Rijt hanno regalato barnstars a 100 Wikipediani meritevoli. Successivamente, hanno rintracciato i successivi contributi dei destinatari su Wikipedia nei successivi 90 giorni. Con loro grande sorpresa, le persone a cui hanno assegnato i barnstars tendevano a fare meno modifiche dopo averle ricevute. In altre parole, i barnstars sembravano scoraggianti piuttosto che un contributo incoraggiante.
Fortunatamente, Restivo e van de Rijt non stavano conducendo un esperimento "perturb and observ"; stavano conducendo un esperimento controllato randomizzato. Quindi, oltre a scegliere 100 migliori contributori per ricevere una barnstar, hanno anche scelto 100 tra i maggiori contributori a cui non hanno dato uno. Questi 100 sono serviti come gruppo di controllo. E, in modo critico, chi era nel gruppo di trattamento e chi era nel gruppo di controllo era determinato casualmente.
Quando Restivo e van de Rijt hanno osservato il comportamento delle persone nel gruppo di controllo, hanno scoperto che anche i loro contributi stavano diminuendo. Inoltre, quando Restivo e van de Rijt hanno confrontato le persone nel gruppo di trattamento (cioè, ricevuto barnstars) con le persone nel gruppo di controllo, hanno scoperto che le persone nel gruppo di trattamento hanno contribuito per circa il 60% in più. In altre parole, i contributi di entrambi i gruppi stavano diminuendo, ma quelli del gruppo di controllo stavano facendo molto più velocemente.
Come illustra questo studio, il gruppo di controllo negli esperimenti è critico in un modo alquanto paradossale. Per misurare con precisione l'effetto dei barnstars, Restivo e van de Rijt dovevano osservare le persone che non ricevevano barnstars. Molte volte, i ricercatori che non hanno familiarità con gli esperimenti non riescono ad apprezzare l'incredibile valore del gruppo di controllo. Se Restivo e van de Rijt non avessero avuto un gruppo di controllo, avrebbero tratto esattamente la conclusione sbagliata. I gruppi di controllo sono così importanti che il CEO di un'importante società di casinò ha affermato che ci sono solo tre modi in cui i dipendenti possono essere licenziati dalla sua azienda: furto, molestie sessuali o esecuzione di un esperimento senza un gruppo di controllo (Schrage 2011) .
Lo studio di Restivo e van de Rijt illustra i quattro ingredienti principali di un esperimento: reclutamento, randomizzazione, intervento e risultati. Insieme, questi quattro ingredienti consentono agli scienziati di andare oltre le correlazioni e misurare l'effetto causale dei trattamenti. Specificamente, la randomizzazione significa che le persone nei gruppi di trattamento e controllo saranno simili. Questo è importante perché significa che qualsiasi differenza nei risultati tra i due gruppi può essere attribuita al trattamento e non un fattore di confondimento.
Oltre a rappresentare una buona illustrazione della meccanica degli esperimenti, lo studio di Restivo e van de Rijt mostra anche che la logistica degli esperimenti digitali può essere completamente diversa da quella degli esperimenti analogici. Nell'esperimento di Restivo e van de Rijt, è stato facile dare la barnstar a chiunque, ed è stato facile rintracciare il risultato - numero di modifiche - per un lungo periodo di tempo (perché la cronologia delle modifiche è automaticamente registrata da Wikipedia). Questa capacità di fornire trattamenti e misurare i risultati a costo zero è qualitativamente diversa dagli esperimenti del passato. Anche se questo esperimento ha coinvolto 200 persone, avrebbe potuto essere eseguito con 2.000 o anche 20.000 persone. La cosa principale che impediva ai ricercatori di aumentare il loro esperimento di un fattore di 100 non era un costo; era etica. Vale a dire, Restivo e van de Rijt non volevano dare barnstars a editori non meritevoli, e non volevano che il loro esperimento interrompesse la comunità di Wikipedia (Restivo and Rijt 2012, 2014) . Tornerò su alcune delle considerazioni etiche sollevate dagli esperimenti più avanti in questo capitolo e nel capitolo 6.
In conclusione, l'esperimento di Restivo e van de Rijt mostra chiaramente che mentre la logica di base della sperimentazione non è cambiata, la logistica degli esperimenti sull'era digitale può essere drammaticamente diversa. Successivamente, al fine di isolare più chiaramente le opportunità create da questi cambiamenti, confronterò gli esperimenti che i ricercatori possono fare ora con i tipi di esperimenti che sono stati fatti in passato.
