4.6.1 Creare i dati sui costi variabili pari a zero

La chiave per eseguire esperimenti di grandi dimensioni è portare il costo variabile a zero. I modi migliori per farlo sono l'automazione e la progettazione di esperimenti divertenti.

Gli esperimenti digitali possono avere strutture di costo notevolmente diverse, e questo consente ai ricercatori di eseguire esperimenti che in passato erano impossibili. Un modo per pensare a questa differenza è notare che gli esperimenti hanno generalmente due tipi di costi: costi fissi e costi variabili. I costi fissi sono costi che rimangono invariati indipendentemente dal numero di partecipanti. Ad esempio, in un esperimento di laboratorio, i costi fissi possono essere i costi di affitto dello spazio e acquisto di mobili. I costi variabili , d'altra parte, cambiano a seconda del numero di partecipanti. Ad esempio, in un esperimento di laboratorio, i costi variabili potrebbero venire dal personale pagante e dai partecipanti. In generale, gli esperimenti analogici hanno costi fissi bassi e costi variabili elevati, mentre gli esperimenti digitali hanno costi fissi elevati e costi variabili bassi (figura 4.19). Anche se gli esperimenti digitali hanno costi variabili bassi, è possibile creare molte eccitanti opportunità quando si guida il costo variabile fino a zero.

Figura 4.19: Schema delle strutture di costo negli esperimenti analogici e digitali. In generale, gli esperimenti analogici hanno costi fissi bassi e costi variabili elevati, mentre gli esperimenti digitali hanno costi fissi elevati e costi variabili bassi. Le diverse strutture di costo significano che gli esperimenti digitali possono essere eseguiti su una scala che non è possibile con esperimenti analogici.

Vi sono due elementi principali dei pagamenti a costi variabili per il personale e i pagamenti ai partecipanti - e ciascuno di questi può essere portato a zero utilizzando strategie diverse. I pagamenti al personale derivano dal lavoro che gli assistenti di ricerca reclutano partecipanti, offrendo trattamenti e misurando i risultati. Ad esempio, l'esperimento sul campo analogico di Schultz e colleghi (2007) sull'utilizzo di elettricità ha richiesto agli assistenti di ricerca di recarsi in ciascuna casa per fornire il trattamento e leggere il contatore elettrico (figura 4.3). Tutto questo sforzo da parte degli assistenti di ricerca significava che aggiungere una nuova famiglia allo studio avrebbe comportato un aumento dei costi. D'altra parte, per l'esperimento sul campo digitale di Restivo e van de Rijt (2012) sull'effetto dei premi sugli editor di Wikipedia, i ricercatori potrebbero aggiungere più partecipanti praticamente senza alcun costo. Una strategia generale per ridurre i costi amministrativi variabili è sostituire il lavoro umano (che è costoso) con il lavoro al computer (che è economico). Approssimativamente, puoi chiedertelo: questo esperimento può essere eseguito mentre tutti i membri del mio team di ricerca stanno dormendo? Se la risposta è sì, hai fatto un ottimo lavoro di automazione.

Il secondo tipo principale di costo variabile è il pagamento ai partecipanti. Alcuni ricercatori hanno utilizzato Amazon Mechanical Turk e altri mercati del lavoro online per ridurre i pagamenti necessari per i partecipanti. Per portare i costi variabili a zero, tuttavia, è necessario un approccio diverso. Per molto tempo i ricercatori hanno progettato esperimenti così noiosi da dover pagare le persone per partecipare. Ma se potessi creare un esperimento in cui la gente vuole essere? Questo può sembrare inverosimile, ma ti fornirò un esempio qui di seguito dal mio lavoro, e ci sono altri esempi nella tabella 4.4. Si noti che questa idea di progettare esperimenti divertenti riecheggia alcuni dei temi del capitolo 3 relativi alla progettazione di sondaggi più piacevoli e al capitolo 5 riguardante la progettazione della collaborazione di massa. Quindi, penso che il godimento dei partecipanti - ciò che potrebbe anche chiamarsi esperienza dell'utente - sarà una parte sempre più importante del design della ricerca nell'era digitale.

Se si desidera creare esperimenti con dati a costo zero zero, è necessario assicurarsi che tutto sia completamente automatizzato e che i partecipanti non richiedano alcun pagamento. Per mostrare come ciò sia possibile, descriverò la mia ricerca di tesi sul successo e il fallimento dei prodotti culturali.

La mia tesi è stata motivata dalla sconcertante natura del successo dei prodotti culturali. Hit canzoni, libri best-seller e film di successo sono molto, molto più di successo della media. Per questo motivo, i mercati di questi prodotti sono spesso definiti mercati "vincitori-prendono tutti". Eppure, allo stesso tempo, quale particolare canzone, libro o film avrà successo è incredibilmente imprevedibile. Lo sceneggiatore William Goldman (1989) riassunto elegantemente molte ricerche accademiche affermando che, quando si tratta di prevedere il successo, "nessuno sa niente". L'imprevedibilità dei mercati del vincitore-take-all mi ha fatto domandare quanto successo abbia avuto di qualità e quanto è solo fortuna. Oppure, espresso in modo leggermente diverso, se potessimo creare mondi paralleli e farli evolvere tutti in modo indipendente, le stesse canzoni diventerebbero popolari in ogni mondo? E, se no, quale potrebbe essere un meccanismo che causa queste differenze?

Per rispondere a queste domande, noi-Peter Dodds, Duncan Watts (il mio consulente per la tesi di laurea) e io abbiamo condotto una serie di esperimenti sul campo online. In particolare, abbiamo creato un sito Web chiamato MusicLab in cui le persone potevano scoprire nuova musica e l'abbiamo usata per una serie di esperimenti. Abbiamo reclutato partecipanti pubblicando banner pubblicitari su un sito Web di interesse per adolescenti (figura 4.20) e attraverso citazioni nei media. I partecipanti che arrivano sul nostro sito web hanno fornito il consenso informato, completato un breve questionario di background e sono stati assegnati in modo casuale a una delle due condizioni sperimentali - influenza indipendente e sociale. Nella condizione indipendente, i partecipanti hanno preso decisioni su quali canzoni ascoltare, dati solo i nomi delle band e delle canzoni. Durante l'ascolto di una canzone, ai partecipanti è stato chiesto di valutarla dopo di che hanno avuto l'opportunità (ma non l'obbligo) di scaricare la canzone. Nella condizione di influenza sociale, i partecipanti hanno avuto la stessa esperienza, tranne che potevano vedere anche quante volte ogni canzone era stata scaricata dai partecipanti precedenti. Inoltre, i partecipanti alla condizione di influenza sociale sono stati assegnati in modo casuale a uno degli otto mondi paralleli, ognuno dei quali si è evoluto in modo indipendente (figura 4.21). Usando questo disegno, abbiamo eseguito due esperimenti correlati. Nel primo, abbiamo presentato le canzoni ai partecipanti in una griglia non ordinata, che ha fornito loro un debole segnale di popolarità. Nel secondo esperimento, abbiamo presentato le canzoni in una lista graduata, che ha fornito un segnale molto più forte di popolarità (figura 4.22).

Figura 4.20: Un esempio di banner pubblicitario che i miei colleghi e io usavamo per reclutare partecipanti per gli esperimenti (Salganik, Dodds, and Watts 2006) . Riprodotto per autorizzazione di Salganik (2007) , figura 2.12.

Figura 4.21: Progetto sperimentale per gli esperimenti (Salganik, Dodds, and Watts 2006) . I partecipanti sono stati assegnati in modo casuale a una delle due condizioni: influenza indipendente e sociale. I partecipanti alla condizione indipendente hanno fatto le loro scelte senza alcuna informazione su ciò che le altre persone avevano fatto. I partecipanti alla condizione di influenza sociale sono stati assegnati casualmente a uno degli otto mondi paralleli, dove potevano vedere la popolarità - misurata dai download dei precedenti partecipanti - di ogni canzone nel loro mondo, ma non potevano vedere alcuna informazione, né so anche dell'esistenza di, uno qualsiasi degli altri mondi. Adattato da Salganik, Dodds, and Watts (2006) , figura s1.

Abbiamo scoperto che la popolarità delle canzoni differiva in tutto il mondo, suggerendo che la fortuna ha avuto un ruolo importante nel successo. Ad esempio, in un mondo la canzone "Lockdown" di 52Metro è arrivata in 1 su 48 canzoni, mentre in un altro mondo è arrivata al 40 °. Questa era esattamente la stessa canzone in competizione con tutte le stesse canzoni, ma in un mondo è stata fortunata e negli altri no. Inoltre, confrontando i risultati tra i due esperimenti, abbiamo scoperto che l'influenza sociale aumenta la natura di tutti questi mercati, che forse suggerisce l'importanza dell'abilità. Ma, guardando attraverso i mondi (che non possono essere fatti al di fuori di questo tipo di esperimenti sui mondi paralleli), abbiamo scoperto che l'influenza sociale ha effettivamente aumentato l'importanza della fortuna. Inoltre, sorprendentemente, furono le canzoni di più alto richiamo dove la fortuna contava di più (figura 4.23).

Figura 4.22: Schermate delle condizioni di influenza sociale negli esperimenti (Salganik, Dodds, and Watts 2006) . Nella condizione di influenza sociale dell'esperimento 1, i brani, insieme al numero di download precedenti, sono stati presentati ai partecipanti disposti in una griglia rettangolare 16 \(\times\) 3, in cui le posizioni delle canzoni sono state assegnate casualmente per ciascuna partecipante. Nell'esperimento 2, i partecipanti alla condizione di influenza sociale hanno mostrato i brani, con il conteggio dei download, presentati in una colonna in ordine decrescente di popolarità corrente.

Figura 4.23: Risultati degli esperimenti MusicLab che mostrano la relazione tra appeal e successo (Salganik, Dodds, and Watts 2006) . L'assioma \(x\) è la quota di mercato della canzone nel mondo indipendente, che serve come misura dell'appello della canzone, e l'asse- \(y\) è la quota di mercato della stessa canzone in gli otto mondi di influenza sociale, che servono come misura del successo delle canzoni. Abbiamo scoperto che l'aumento dell'influenza sociale sperimentata dai partecipanti, in particolare il cambiamento di layout dall'esperimento 1 all'esperimento 2 (figura 4.22), ha reso il successo più imprevedibile, soprattutto per le canzoni con il più alto appeal. Adattato da Salganik, Dodds, and Watts (2006) , figura 3.

MusicLab è stato in grado di funzionare a costo essenzialmente zero a causa del modo in cui è stato progettato. Innanzitutto, tutto era completamente automatizzato e quindi era in grado di funzionare mentre stavo dormendo. In secondo luogo, la compensazione era musica gratis, quindi non c'era alcun costo variabile di compensazione dei partecipanti. L'uso della musica come compensazione illustra anche come a volte ci sia un compromesso tra costi fissi e variabili. L'uso della musica ha aumentato i costi fissi perché dovevo passare il tempo a ottenere il permesso dai gruppi e a preparare rapporti per la reazione dei partecipanti alla loro musica. Ma in questo caso, aumentare i costi fissi per diminuire i costi delle variabili era la cosa giusta da fare; questo è ciò che ci ha permesso di eseguire un esperimento che era circa 100 volte più grande di un esperimento di laboratorio standard.

Inoltre, gli esperimenti MusicLab dimostrano che il costo variabile zero non deve essere fine a se stesso; piuttosto, può essere un mezzo per eseguire un nuovo tipo di esperimento. Si noti che non abbiamo utilizzato tutti i nostri partecipanti per eseguire un esperimento standard di laboratorio sull'influenza sociale 100 volte. Invece, abbiamo fatto qualcosa di diverso, che potreste pensare di passare da un esperimento psicologico a uno sociologico (Hedström 2006) . Piuttosto che concentrarsi sul processo decisionale individuale, abbiamo focalizzato il nostro esperimento sulla popolarità, un risultato collettivo. Questo passaggio a un risultato collettivo significava che avevamo bisogno di circa 700 partecipanti per produrre un singolo punto dati (c'erano 700 persone in ciascuno dei mondi paralleli). Quella scala era possibile solo a causa della struttura dei costi dell'esperimento. In generale, se i ricercatori vogliono studiare come nascono i risultati collettivi delle decisioni individuali, gli esperimenti di gruppo come MusicLab sono molto eccitanti. In passato, sono stati logisticamente difficili, ma quelle difficoltà stanno svanendo a causa della possibilità di zero dati a costo variabile.

Oltre a illustrare i vantaggi dei dati a costo zero zero, gli esperimenti di MusicLab mostrano anche una sfida con questo approccio: costi fissi elevati. Nel mio caso, sono stato estremamente fortunato a poter lavorare con un talentuoso sviluppatore web di nome Peter Hausel per circa sei mesi per costruire l'esperimento. Questo è stato possibile solo perché il mio consulente, Duncan Watts, aveva ricevuto una serie di sovvenzioni per sostenere questo tipo di ricerca. La tecnologia è migliorata da quando abbiamo creato MusicLab nel 2004, quindi sarebbe stato molto più facile costruire un esperimento come questo ora. Ma strategie ad alto costo fisso sono davvero possibili solo per i ricercatori che in qualche modo riescono a coprire quei costi.

In conclusione, gli esperimenti digitali possono avere strutture di costo notevolmente differenti rispetto agli esperimenti analogici. Se vuoi eseguire esperimenti davvero grandi, dovresti cercare di ridurre il più possibile il tuo costo variabile e idealmente fino a zero. Puoi farlo automatizzando la meccanica del tuo esperimento (ad esempio, sostituendo il tempo umano con il tempo del computer) e progettando esperimenti in cui le persone vogliono essere. I ricercatori che possono progettare esperimenti con queste funzionalità saranno in grado di eseguire nuovi tipi di esperimenti che sono stati non è possibile in passato. Tuttavia, la possibilità di creare zero esperimenti a costo variabile può sollevare nuove questioni etiche, l'argomento che ora affronterò.