4.2 Quali sono gli esperimenti?

Esperimenti controllati randomizzati hanno quattro ingredienti principali: reclutamento dei partecipanti, randomizzazione di trattamento, di consegna di trattamento, e di misurazione dei risultati.

esperimenti controllati randomizzati può assumere molte forme e possono essere utilizzati per studiare molti tipi di comportamento. Ma, nella loro essenza, gli esperimenti randomizzati e controllati hanno quattro ingredienti principali: reclutamento dei partecipanti, randomizzazione di trattamento, di consegna di trattamento, e di misurazione dei risultati. L'era digitale non modifica la natura fondamentale della sperimentazione, ma rende più facili logistico. Ad esempio, in passato sarebbe stato difficile misurare il comportamento di milioni di persone, ma è ora abitualmente accade in molti sistemi digitali. I ricercatori che possono a capire come sfruttare queste nuove opportunità saranno in grado di eseguire esperimenti che erano impossibili in precedenza.

Per rendere tutto questo un po 'più concreto, sia ciò che è rimasto lo stesso e ciò che è cambiato, prendiamo in considerazione Michael Restivo e Arnout van de Rijt di (2012) . I ricercatori hanno voluto capire l'effetto di premi pari informali sui contributi editoriali a Wikipedia. In particolare, hanno studiato gli effetti di Barnstars, un premio che ogni wikipediano può dare a qualsiasi altro wikipediano a riconoscere il duro lavoro e di due diligence. Restivo e van de Rijt dato Barnstars a 100 Wikipediani meritevoli. Poi, Restivo e van de Rijt monitorati contributi successivi dei beneficiari ad Wikipedia nel corso dei prossimi 90 giorni. Con loro grande sorpresa, le persone a cui sono assegnati Barnstars tendevano a fare meno modifiche dopo aver ricevuto uno. In altre parole, i Barnstars sembravano scoraggiare, piuttosto che incoraggiare contributo.

Fortunatamente, Restivo e van de Rijt non erano in esecuzione un esperimento di "turbare e osservare"; erano in esecuzione un esperimento controllato randomizzato. Così, oltre a scegliere 100 migliori collaboratori per ricevere un barnstar, hanno anche raccolto 100 migliori collaboratori ai quali non ha dato una barnstar. Questi cento serviti come gruppo di controllo, e che ha ottenuto un barnstar e che non è stato determinato in modo casuale. Quando Restivo e van de Rijt guardato il gruppo di controllo hanno scoperto che aveva un forte calo dei contributi troppo. Infine, quando i ricercatori hanno confrontato persone nel gruppo di trattamento (ad esempio, Barnstars ricevute) e le persone nel gruppo di controllo, hanno scoperto che il barnstar causato editori a contribuire circa il 60% in più. Ma, questo aumento del contributo era in corso come parte di un calo generale in entrambi i gruppi.

Poiché questo studio illustra il gruppo di controllo in esperimenti è critico in un modo che è alquanto paradossale. Al fine di misurare con precisione l'effetto di Barnstars, Restivo e van der Rijt necessario per osservare le persone che non hanno ricevuto Barnstars. Molte volte i ricercatori che non hanno familiarità con gli esperimenti non riescono ad apprezzare l'incredibile valore del gruppo di controllo. Se Restivo e van de Rijt non avevano un gruppo di controllo, avrebbero tratto esattamente la conclusione sbagliata. I gruppi di controllo sono così importanti che il CEO di una grande azienda del casinò ha detto che ci sono solo tre modi in cui i dipendenti possono essere licenziato dalla sua azienda: furti, molestie sessuali, e l'esecuzione di un esperimento senza un gruppo di controllo (Schrage 2011) .

Restivo e van de Rijt di studio illustra i quattro ingredienti principali di un esperimento: il reclutamento, la randomizzazione, interventi e risultati. Insieme, questi quattro ingredienti permettono agli scienziati di andare oltre le correlazioni e misurare l'effetto causale di trattamenti. In particolare, la randomizzazione significa che quando si confrontano i risultati per i gruppi di trattamento e di controllo si ottiene una stima degli effetti causali di intervento che per quella serie di partecipanti. In altre parole, con un esperimento randomizzato controllato si può essere sicuri che eventuali differenze nei risultati sono causate dall'intervento e non un fattore di confondimento, una domanda che faccio preciso nell'allegato tecnico utilizzando il framework potenziali risultati.

Oltre ad essere una bella illustrazione della meccanica di esperimenti, Restivo e van de Rijt di studio mostra anche che la logistica di esperimenti digitali possono essere completamente diverso da esperimenti analogici. In Restivo e l'esperimento di van de Rijt, era facile dare la barnstar a chiunque nel mondo ed è stato facile rintracciare il risultato-numero di modifiche, per un periodo prolungato di tempo (perché la storia di modifica viene registrata automaticamente da Wikipedia). Questa capacità di fornire trattamenti e misurare i risultati senza costi qualitativamente diversamente esperimenti in passato. Anche se questo esperimento ha coinvolto 200 persone, si sarebbe potuto correre con 2.000 o 20.000 persone. La cosa principale impedendo ai ricercatori di scaling fino loro esperimento di un fattore 100 non è stato costare, era etica. Cioè, Restivo e van de Rijt non volevano dare Barnstars per i redattori immeritevoli e loro non vogliono che il loro esperimento per interrompere la comunità di Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Quindi, anche se l'esperimento di Restivo e van de Rijt è relativamente semplice, mostra chiaramente che alcune cose circa gli esperimenti sono rimasti gli stessi e alcuni sono cambiati. In particolare, la logica di base della sperimentazione è lo stesso, ma la logistica sono cambiati. Successivamente, al fine di isolare più chiaramente le opportunità create da questo cambiamento, io confrontare gli esperimenti che i ricercatori possono fare ora per i tipi di esperimenti che sono stati fatti in passato.