4.6.1 Crear zero les dades de costos variables

La clau per executar experiments de grans dimensions és conduir el vostre cost variable a zero. Les millors maneres de fer-ho són l'automatització i el disseny d'experiments divertits.

Els experiments digitals poden tenir estructures de costos molt diferents, i això permet als investigadors executar experiments impossibles en el passat. Una manera de pensar en aquesta diferència és assenyalar que els experiments solen tenir dos tipus de costos: costos fixos i costos variables. Els costos fixos són els costos que romanen sense canvis, independentment del nombre de participants. Per exemple, en una prova de laboratori, els costos fixos podrien ser els costos d'arrendament d'espai i la compra de mobles. Els costos variables , d'altra banda, canvien segons el nombre de participants. Per exemple, en un experiment de laboratori, els costos variables poden provenir del personal i dels participants. En general, els experiments analògics tenen baixos costos fixos i elevats costos variables, mentre que els experiments digitals tenen elevats costos fixos i baixos costos variables (figura 4.19). Tot i que els experiments digitals tenen baixos costos variables, podeu crear moltes oportunitats interessants quan conduïu el cost variable fins a zero.

Figura 4.19: Esquema de les estructures de costos en experiments analògics i digitals. En general, els experiments analògics tenen baixos costos fixos i elevats costos variables, mentre que els experiments digitals tenen uns elevats costos fixos i uns costos variables baixos. Les diferents estructures de costos fan que els experiments digitals puguin funcionar a una escala que no és possible amb experiments analògics.

Hi ha dos elements principals de pagaments de costos variables per al personal i els pagaments als participants, i cadascun d'ells es pot aplicar a zero utilitzant estratègies diferents. Els pagaments al personal provenen del treball que els assistents de recerca fan per reclutar els participants, lliurar tractaments i mesurar els resultats. Per exemple, l'experiment de camp analògic de Schultz i col·legues (2007) sobre el consum d'electricitat requereix assistents de recerca per viatjar a cada habitatge per lliurar el tractament i llegir el comptador elèctric (figura 4.3). Tot aquest esforç dels assistents a la recerca va suposar que afegir un nou habitatge a l'estudi s'incrementaria al cost. D'altra banda, per a l'experiment de camp digital de Restivo i van de Rijt (2012) sobre l'efecte dels premis als redactors de Wikipedia, els investigadors podrien afegir més participants a pràcticament cap cost. Una estratègia general per reduir costos administratius variables és substituir el treball humà (que és car) amb treballs informàtics (que és barat). Aproximadament, podeu preguntar-vos: "Pot aquesta prova funcionar mentre tothom al meu equip de recerca està dormint? Si la resposta és sí, ha fet un gran treball d'automatització.

El segon tipus principal de cost variable és el pagament als participants. Alguns investigadors han utilitzat Amazon Mechanical Turk i altres mercats laborals en línia per disminuir els pagaments que es necessiten per als participants. Per conduir els costos variables tot el camí a zero, però, cal un enfocament diferent. Durant molt de temps, els investigadors han dissenyat experiments tan avorrits que han de pagar a la gent per participar. Però, què passa si pugueu crear una prova que la gent vulgui participar? Això pot semblar molt útil, però us donaré un exemple a continuació del meu treball, i hi ha més exemples a la taula 4.4. Tingueu en compte que aquesta idea de dissenyar experiències divertides es fa ressò d'alguns dels temes del capítol 3 sobre el disseny d'enquestes més divertides i al capítol 5 sobre el disseny de la col·laboració en massa. Per tant, crec que el gaudi dels participants, el que també es pot anomenar experiència de l'usuari, serà una part cada vegada més important del disseny de la recerca en l'era digital.

Si voleu crear experiments amb dades de cost variable de zero, haureu d'assegurar-vos que tot està totalment automatitzat i que els participants no requereixen cap pagament. Per mostrar com això és possible, vaig a descriure la meva investigació sobre dissertació sobre l'èxit i el fracàs dels productes culturals.

La meva dissertació va estar motivada per la naturalesa desconcertant de l'èxit dels productes culturals. Les cançons d'èxit, els llibres més venuts i les pel·lícules de gran èxit són molt més reeixides que la mitjana. Per això, els mercats d'aquests productes solen anomenar-se mercats "guanyadors". Tanmateix, al mateix temps, quina cançó, llibre o pel·lícula en particular tindrà èxit és increïblement impredictible. El guionista William Goldman (1989) resumir elegantment moltes investigacions acadèmiques dient que, quan es tracta de predir l'èxit, "ningú no sap res". La impredicció dels mercats guanyador-pren-em va fer preguntar-me quant d'èxit és un resultat de qualitat i quant és només sort. O, expressat de manera lleugerament diferent, si poguéssim crear mons paral·lels i que tots evolucionessin independentment, les mateixes cançons es tornarien populars en cada món? I si no, quin podria ser un mecanisme que provoqui aquestes diferències?

Per respondre aquestes preguntes, nosaltres-Peter Dodds, Duncan Watts (el meu assessor de dissertació), i vaig fer una sèrie d'experiments de camp en línia. En concret, vam crear un lloc web anomenat MusicLab on la gent podia descobrir música nova i la utilitzem per a una sèrie d'experiments. Reclutem als participants executant anuncis de bàner en un lloc web d'interès per a adolescents (figura 4.20) i mitjançant mencions als mitjans de comunicació. Els participants que van arribar al nostre lloc web van proporcionar un consentiment informat, van completar un breu qüestionari de fons i es van assignar aleatòriament a una de les dues condicions experimentals: influència independent i social. En la condició independent, els participants van prendre decisions sobre quines cançons per escoltar, donades només els noms de les bandes i les cançons. Mentre escoltava una cançó, es va demanar als participants que valoren després que tinguessin l'oportunitat (però no l'obligació) de descarregar la cançó. En la condició d'influència social, els participants tenien la mateixa experiència, excepte que també podien veure quantes vegades els participants anteriors havien descarregat cada cançó. A més, els participants en la condició d'influència social es van assignar aleatòriament a un dels vuit mons paral·lels, cadascun dels quals va evolucionar de forma independent (figura 4.21). Utilitzant aquest disseny, hem realitzat dos experiments relacionats. En el primer, presentem les cançons als participants en una graella sense classificar, que els va proporcionar un senyal feble de popularitat. En el segon experiment, vam presentar les cançons en una llista classificada, que proporcionava un senyal de popularitat molt més fort (figura 4.22).

Figura 4.20: Un exemple d'anunci de bàner que els meus companys i jo solíem reclutar els participants dels experiments de MusicLab (Salganik, Dodds, and Watts 2006) . Reproduït amb permís de Salganik (2007) , figura 2.12.

Figura 4.21: Disseny experimental per als experiments de MusicLab (Salganik, Dodds, and Watts 2006) . Els participants es van assignar aleatòriament a una de les dues condicions: influència independent i social. Els participants en la condició independent van prendre les seves decisions sense cap tipus d'informació sobre el que altres persones havien fet. Els participants en la condició d'influència social es van assignar aleatòriament a un dels vuit mons paral·lels, on van poder veure la popularitat -després de descàrregues de participants anteriors- de cada cançó del seu món, però no podien veure cap informació sobre, ni tampoc fins i tot sabem sobre l'existència de qualsevol dels altres mons. Adaptat de Salganik, Dodds, and Watts (2006) , figura s1.

Hem descobert que la popularitat de les cançons difereix entre els mons, suggerint que la sort va tenir un paper important en l'èxit. Per exemple, en un món, la cançó "Lockdown" de 52Metro va venir a la primera de 48 cançons, mentre que en un altre món va arribar a la 40a. Era exactament la mateixa cançó que competia contra totes les altres cançons, però en un món va tenir sort i en els altres no ho va fer. A més, mitjançant la comparació dels resultats entre els dos experiments, hem constatat que la influència social augmenta la naturalesa guanyadora de tots aquests mercats, que potser suggereix la importància de l'habilitat. Però, a través del món (que no es pot fer fora d'aquest tipus d'experiments en mons paral·lels), vam veure que la influència social va augmentar la importància de la sort. A més, sorprenentment, van ser les cançons de major atractiu on més va importar la sort (figura 4.23).

Figura 4.22: Captures de pantalla de les condicions d'influència social en els experiments de MusicLab (Salganik, Dodds, and Watts 2006) . En la condició d'influència social de l'experiment 1, es van presentar les cançons, juntament amb el nombre de descàrregues anteriors, als participants disposats en una graella rectangular de 16 \(\times\) 3, on les posicions de les cançons van ser assignades aleatòriament per a cadascuna participant. A l'experiment 2, els participants en la condició d'influència social van mostrar les cançons, amb recompte de descàrregues, presentades en una columna en ordre descendent de popularitat actual.

Figura 4.23: Resultats dels experiments de MusicLab que mostren la relació entre apel·lació i èxit (Salganik, Dodds, and Watts 2006) . La \(x\) -axis és la quota de mercat de la cançó en el món independent, que serveix com a mesura de l'atractiu de la cançó, i \(y\) -axis és la quota de mercat de la mateixa cançó a els vuit mons d'influència social, que serveixen de mesura de l'èxit de les cançons. Vam trobar que l'augment de la influència social que van experimentar els participants (específicament, el canvi en el disseny de l'experiment 1 a l'experiment 2 (figura 4.22) va fer que l'èxit sigui més impredictible, especialment per a les cançons amb més atractiu. Adaptat de Salganik, Dodds, and Watts (2006) , figura 3.

MusicLab va poder executar bàsicament un cost variable zero a causa de la forma en què va ser dissenyat. En primer lloc, tot estava totalment automatitzat pel que va poder córrer mentre dormia. En segon lloc, la compensació era música gratuïta, de manera que no hi havia un cost variable de compensació per partícip. L'ús de la música com a compensació també il·lustra com de vegades hi ha una compensació entre costos fixos i variables. L'ús de la música va augmentar els costos fixos perquè havia de passar temps assegurant el permís de les bandes i preparant informes per a ells sobre la reacció dels participants a la seva música. Però, en aquest cas, augmentar els costos fixos per disminuir els costos de les variables era el correcte; això és el que ens va permetre executar un experiment que era 100 vegades més gran que un experiment de laboratori estàndard.

A més, els experiments de MusicLab mostren que el cost variable zero no ha de ser un fi en si mateix; més aviat, pot ser un mitjà per executar un nou tipus d'experiment. Tingueu en compte que no hem utilitzat tots els participants per executar un experiment de laboratori d'influència social estàndard 100 vegades. En comptes d'això, vam fer alguna cosa diferent, que es podria pensar en passar d'un experiment psicològic a un sociològic (Hedström 2006) . En comptes de centrar-nos en la presa de decisions individuals, centrem el nostre experiment en popularitat, un resultat col·lectiu. Aquest canvi a un resultat col·lectiu va suposar que es requereixen aproximadament 700 participants per produir un únic punt de dades (hi havia 700 persones en cadascun dels mons paral·lels). Aquesta escala només era possible a causa de l'estructura de costos de l'experiment. En general, si els investigadors volen estudiar com sorgeixen els resultats col·lectius a partir de decisions individuals, experiments en grups com MusicLab són molt emocionants. En el passat, han estat logísticament difícils, però aquestes dificultats s'estan esvaïnt a causa de la possibilitat de zero dades de costos variables.

A més d'il·lustrar els beneficis de dades de cost variable zero, els experiments de MusicLab també mostren un repte amb aquest enfocament: costos fixos elevats. En el meu cas, vaig tenir molta sort de poder treballar amb un desenvolupador web amb talent anomenat Peter Hausel durant uns sis mesos per construir l'experiment. Això només era possible perquè el meu assessor, Duncan Watts, havia rebut diverses subvencions per donar suport a aquest tipus de recerca. La tecnologia ha millorat des de la creació de MusicLab el 2004, pel que seria molt més fàcil construir un experiment com aquest ara. Però, les estratègies de costos fixos elevats són realment només possibles per als investigadors que d'alguna manera poden cobrir aquests costos.

En conclusió, els experiments digitals poden tenir estructures de costos molt diferents que els experiments analògics. Si voleu executar experiments realment grans, haureu d'intentar disminuir el cost variable tant com sigui possible i, idealment, fins a zero. Podeu fer això automatitzant la mecànica de la vostra experiència (per exemple, substituint el temps humà amb temps d'ordinador) i dissenyant experiments que vulguin participar. Els investigadors que poden dissenyar experiments amb aquestes funcions podran executar nous tipus d'experiments no és possible en el passat. No obstant això, la possibilitat de crear experiments de cost variable zero pot generar noves preguntes ètiques, el tema que abordaré ara.