4.6.1 Creare i dati sui costi variabili pari a zero

La chiave per la gestione di grandi esperimenti sta guidando il costo variabile a zero. Il modo migliore per fare questo sono l'automazione e la progettazione di esperimenti divertenti.

Esperimenti digitali possono avere strutture di costo radicalmente diversi e questo permette ai ricercatori di eseguire esperimenti che erano impossibili in passato. Più in particolare, gli esperimenti hanno generalmente due tipi principali di costi:. Costi fissi e costi variabili i costi fissi sono costi che non cambiano a seconda di quanti i partecipanti si dispone. Ad esempio, in un esperimento di laboratorio, i costi fissi potrebbero essere il costo di affitto lo spazio e l'acquisto di mobili. I costi variabili, d'altra parte, i cambiamenti a seconda di quanti i partecipanti si dispone. Ad esempio, in un esperimento di laboratorio, i costi variabili potrebbero provenire dal pagamento del personale e dei partecipanti. In generale, gli esperimenti analogici avere bassi costi fissi e costi variabili elevati, e gli esperimenti digitali hanno alti costi fissi e costi variabili bassi (Figura 4.18). Con il disegno del caso, si può guidare il costo variabile del tuo esperimento fino a zero, e questo può creare interessanti opportunità di ricerca.

Figura 4.18: Schema di strutture di costo in analogici e digitali esperimenti. In generale, gli esperimenti analogici avere bassi costi fissi e costi variabili elevati, mentre gli esperimenti digitali hanno alti costi fissi e bassi costi variabili. Le diverse strutture di costo significa che esperimenti digitali possono funzionare ad una scala che non è possibile con esperimenti analogici.

Ci sono due elementi principali del rapporto costo-pagamenti variabili al personale e ai pagamenti ai partecipanti, e ciascuno di questi può essere guidato a zero usando diverse strategie. I pagamenti al personale derivano dal lavoro che gli assistenti di ricerca non reclutare i partecipanti, offrendo trattamenti, e misurare i risultati. Ad esempio, l'esperimento campo analogico di Schultz e colleghi (2007) sulle norme sociali e l'uso di energia elettrica assistenti di ricerca che devono spostarsi per ogni casa di consegnare il trattamento e leggere il contatore elettrico (Figura 4.3). Tutto questo sforzo assistenti di ricerca ha fatto sì che l'aggiunta di una nuova famiglia allo studio avrebbe aggiunto al costo. D'altra parte, per l'esperimento sul campo digitale di Restivo e van de Rijt (2012) sui premi di Wikipedia, i ricercatori potrebbero aggiungere altri partecipanti praticamente a costo zero. Una strategia generale per la riduzione dei costi amministrativi variabili è quello di sostituire il lavoro umano (che è costoso) con il lavoro di computer (che è a buon mercato). Approssimativamente, si può chiedere a te stesso: può questo esperimento eseguito mentre tutti nel mio gruppo di ricerca sta dormendo? Se la risposta è sì, avete fatto un grande lavoro di automazione.

Il secondo tipo principale di costo variabile è versamenti ai partecipanti. Alcuni ricercatori hanno usato Amazon Mechanical Turk e in altri mercati del lavoro on-line per diminuire i pagamenti che sono necessari per i partecipanti. Per guidare costi variabili fino a zero, tuttavia, è necessario un approccio diverso. Per lungo tempo, i ricercatori hanno progettato esperimenti che sono così noioso che devono pagare le persone a partecipare. Ma, che cosa se è possibile creare un esperimento che la gente vuole essere in? Questo può sembrare esagerato, ma ti darò un esempio qui sotto dal mio lavoro, e ci sono più esempi in tabella 4.4. Si noti che questo approccio alla progettazione esperimenti divertenti riecheggia alcuni dei temi nel capitolo 3 per quanto riguarda la progettazione di sondaggi più piacevole e nel Capitolo 5 per quanto riguarda la progettazione di collaborazione di massa. Quindi, penso che partecipante godimento, che cosa potrebbe anche essere chiamato l'esperienza degli utenti, sarà una parte sempre più importante del disegno di ricerca nell'era digitale.

Se si desidera creare lo zero esperimenti costi variabili si vorrà per assicurarsi che tutto è completamente automatizzato e che i partecipanti non richiedono alcun pagamento. Al fine di mostrare come questo sia possibile, io descrivo la mia tesi di ricerca sul successo e il fallimento di prodotti culturali. Questo esempio mostra anche che lo zero dati di costo variabile non si tratta solo di fare le cose più conveniente. Piuttosto, si tratta di permettere esperimenti che non sarebbe possibile altrimenti.

La mia tesi è stata motivata dalla natura enigmatica di successo per i prodotti culturali. canzoni di successo, la migliore vendita libri e film di successo sono molto, molto più successo rispetto alla media. A causa di questo, i mercati per questi prodotti sono spesso chiamati "winner-take-all" mercati. Eppure, allo stesso tempo, quale particolare canzone, libro, o un film avranno successo è incredibilmente imprevedibile. Lo sceneggiatore William Goldman (1989) elegantemente riassunto un sacco di ricerca accademica dicendo che, quando si tratta di prevedere il successo, "nessuno sa niente." L'imprevedibilità del vincitore prende tutti i mercati mi ha fatto chiedo quanto di successo è il risultato di qualità e quanto è solo questione di fortuna. O, espresso in modo leggermente diverso, se potessimo creare mondi paralleli e averli tutti evolvere in modo indipendente, sarebbero le stesse canzoni diventato popolare in ogni mondo? E, se non, quale potrebbe essere un meccanismo che fa sì che queste differenze?

Al fine di rispondere a queste domande, noi-Peter Dodds, Duncan Watts (la mia tesi di laurea consigliere), e I-ha organizzato una serie di esperimenti sul campo in linea. In particolare, abbiamo costruito un sito web chiamato MusicLab dove le persone potessero scoprire nuova musica, e abbiamo usato per una serie di esperimenti. Abbiamo reclutato partecipanti eseguendo banner su un sito web Teen-interesse (Figura 4.19) e attraverso menzioni nei media. I partecipanti che arrivano al nostro sito web fornito il consenso informato, hanno compilato un breve questionario di fondo, e sono stati assegnati in modo casuale a uno dei due influenza sperimentali condizioni-indipendente e sociale. Nella condizione indipendente, i partecipanti hanno preso decisioni su quali canzoni da ascoltare, data solo i nomi delle band e le canzoni. Durante l'ascolto di una canzone, i partecipanti sono stati invitati a votare dopo che hanno avuto l'opportunità (ma non l'obbligo) per scaricare il brano. Nella condizione di influenza sociale, i partecipanti hanno avuto la stessa esperienza, tranne che potrebbero anche vedere quante volte ogni canzone era stato scaricato dai partecipanti precedenti. Inoltre, i partecipanti nella condizione influenza sociale sono stati assegnati in modo casuale a uno degli otto mondi paralleli, ciascuno dei quali si sono evoluti in modo indipendente (Figura 4.20). Utilizzando questo progetto, abbiamo eseguito due esperimenti relativi. Nel primo, abbiamo presentato ai partecipanti le canzoni in una griglia non differenziati, che ha fornito loro un segnale debole di popolarità. Nel secondo esperimento, abbiamo presentato le canzoni in una graduatoria, che ha fornito un segnale molto più forte della popolarità (Figura 4.21).

Figura 4.19: Un esempio di banner che i miei colleghi ed io usati per reclutare i partecipanti per gli esperimenti MusicLab (Salganik, Dodds, and Watts 2006) .

Figura 4.20: Disegno sperimentale per gli esperimenti MusicLab (Salganik, Dodds, and Watts 2006) . I partecipanti sono stati assegnati in modo casuale in una delle due condizioni: l'influenza indipendente e sociale. I partecipanti nella condizione indipendente fatto le loro scelte senza alcuna informazione su ciò che gli altri avevano fatto. I partecipanti nella condizione influenza sociale sono stati assegnati in modo casuale in una delle otto mondi paralleli, dove si potevano vedere la popolarità, come misurato da download di precedenti partecipanti-di ogni canzone nel loro mondo, ma non potevano vedere alcuna informazione, né hanno anche conoscere l'esistenza di, uno qualsiasi degli altri mondi.

Abbiamo scoperto che la popolarità delle canzoni differiva tra i mondi che suggeriscono un ruolo importante di fortuna. Per esempio, in un mondo della canzone "Chiusura" da 52Metro è venuto in 1 °, e in un altro mondo è venuto in 40 di 48 canzoni. Questa era esattamente la stessa canzone in competizione con tutte le stesse canzoni, ma in un mondo che è stato fortunato e negli altri non ha fatto. Inoltre, confrontando i risultati attraverso i due esperimenti abbiamo scoperto che l'influenza sociale porta al successo più diseguale, che forse crea l'aspetto di prevedibilità. Ma, guardando attraverso i mondi (che non può essere fatto al di fuori di questo tipo di esperimento mondi paralleli), abbiamo scoperto che l'influenza sociale effettivamente aumentato l'imprevedibilità. Inoltre, sorprendentemente, sono stati i brani di maggiore appeal che hanno i risultati più imprevedibili (Figura 4.22).

Figura 4.21: Immagini di condizioni di influenza sociale negli esperimenti MusicLab (Salganik, Dodds, and Watts 2006) . Nella condizione influenza sociale nell'esperimento 1, le canzoni, insieme al numero di immagini precedenti, sono stati presentati ai partecipanti disposte a 16 X 3 griglia rettangolare, dove le posizioni delle canzoni sono stati randomizzati per ciascun partecipante. Nell'esperimento 2, i partecipanti nella condizione influenza sociale sono state mostrate le canzoni, con i conteggi per il scaricare, presentati in una colonna in ordine di popolarità corrente discendente.

Figura 4.22: I risultati degli esperimenti MusicLab che mostrano la relazione tra fascino e il successo (Salganik, Dodds, and Watts 2006) . L'asse x è la quota di mercato del brano nel mondo indipendente, che serve come misura del ricorso della canzone, e l'asse y è la quota di mercato della stessa canzone in 8 mondi di influenza sociale, che serve come misura del successo dei brani. Abbiamo trovato che l'aumento del influenza sociale che i partecipanti hanno sperimentato-specifico, il cambiamento nel layout da esperimento 1 a sperimentare 2 (Figura 4.21) -caused successo a diventare più imprevedibili, in particolare per i più alti canzoni di ricorso.

MusicLab era in grado di funzionare a praticamente zero costo variabile a causa del modo in cui è stato progettato. In primo luogo, tutto era completamente automatizzato così è stato in grado di correre mentre dormivo. In secondo luogo, la compensazione era musica gratis quindi non c'era alcun costo di compensazione partecipante variabili. L'uso della musica come risarcimento illustra anche come ci sia a volte un trade-off tra costi fissi e costi variabili. Usando la musica aumentato i costi fissi, perché ho dovuto trascorrere del tempo assicurare il permesso dalle fasce e redazione dei documenti per le bande di circa la reazione dei partecipanti alla loro musica. Ma, in questo caso, l'aumento dei costi fissi, al fine di ridurre i costi variabili è stata la cosa giusta da fare; questo è ciò che ci ha permesso di eseguire un esperimento che era di circa 100 volte più grande di un esperimento di laboratorio standard.

Inoltre, gli esperimenti dimostrano che MusicLab costo zero variabile non deve essere fine a se stesso; piuttosto, esso può essere un mezzo per l'esecuzione di un nuovo tipo di esperimento. Si noti che non abbiamo usato tutti i nostri partecipanti di eseguire una influenza sociale laboratorio esperimento standard di 100 volte. Invece, abbiamo fatto qualcosa di diverso, che si potrebbe pensare, come il passaggio da un esperimento psicologico di un esperimento sociologico (Hedström 2006) . Piuttosto che concentrarsi su singoli processi decisionali, abbiamo focalizzato la nostra esperimento su popolarità, un risultato collettivo. Questo interruttore a un risultato collettivo significava che abbiamo richiesto circa 700 partecipanti per la produzione di un singolo punto di dati (c'erano 700 persone in ognuno dei mondi paralleli). Quella scala è stato possibile solo grazie alla struttura dei costi dell'esperimento. In generale, se i ricercatori vogliono studiare come gli esiti collettiva nascono da decisioni individuali, esperimenti di gruppo come MusicLab sono molto eccitante. In passato, sono stati logisticamente difficile, ma tali difficoltà sono sbiadimento a causa della possibilità di dati di costo variabili a zero.

Oltre ad illustrare i benefici di dati relativi ai costi variabili pari a zero, gli esperimenti MusicLab mostrano anche una sfida con questo approccio: alti costi fissi. Nel mio caso, sono stato molto fortunato ad essere in grado di lavorare con uno sviluppatore web di talento di nome Peter Hausel per circa sei mesi per costruire l'esperimento. Questo è stato possibile solo perché il mio consulente, Duncan Watts, aveva ricevuto un certo numero di borse di studio per sostenere questo tipo di ricerca. La tecnologia è migliorata da quando abbiamo costruito MusicLab nel 2004, e sarebbe molto più facile costruire un esperimento come questo ora. Ma, strategie alti costi fissi sono davvero possibile solo per i ricercatori che possono in qualche modo coprire tali costi.

In conclusione, gli esperimenti digitali possono avere strutture di costo radicalmente diverse rispetto esperimenti analogici. Se si desidera eseguire veramente grandi esperimenti, si dovrebbe cercare di diminuire il costo variabile, per quanto possibile e idealmente tutta la strada a 0. È possibile farlo, automatizzando la meccanica del tuo esperimento (ad esempio, sostituendo il tempo umano con il tempo di computer) e la progettazione di esperimenti che le persone vogliono essere in. i ricercatori in grado di progettare esperimenti con queste caratteristiche saranno in grado di eseguire nuovi tipi di esperimenti che non erano possibili in passato.