4.6.1 Crear zero les dades de costos variables

La clau per gestionar grans experiments està impulsant el seu cost variable a zero. Les millors maneres de fer això són l'automatització i el disseny d'experiments agradables.

experiments digitals poden tenir estructures de costos dràsticament diferents i això permet als investigadors dur a terme experiments que eren impossibles en el passat. Més específicament, els experiments tenen generalment dos tipus principals de costos :. Costos fixos i costos variables Els costos fixos són costos que no canvien depenent del nombre de participants que té. Per exemple, en un experiment de laboratori, els costos fixos podrien ser el cost de llogar l'espai i la compra de mobles. Els costos variables, d'altra banda, el canvi depenent del nombre de participants que té. Per exemple, en un experiment de laboratori, els costos variables poden provenir de pagament de personal i els participants. En general, els experiments analògics tenen costos fixos baixos i alts costos variables, i els experiments digitals tenen alts costos fixos i baixos costos variables (Figura 4.18). Amb un disseny adequat, es pot conduir el cost variable del seu experiment fins al final a zero, i això pot crear interessants oportunitats de recerca.

Figura 4.18: Esquema de l'estructura de costos en els experiments analògics i digitals. En general, els experiments analògics tenen costos fixos baixos i alts costos variables que els experiments duts digitals tenen alts costos fixos i baixos costos variables. Les estructures de costos diferents signifiquen que els experiments digitals poden funcionar a una escala que no és possible amb els experiments analògics.

Hi ha dos elements principals de cost-pagaments variables per al personal i els pagaments als participants i cadascun d'ells pot ser accionat a zero utilitzant diferents estratègies. Pagaments al personal es deriven de la feina que els assistents d'investigació no contractació dels participants, el lliurament dels tractaments, i el mesurament dels resultats. Per exemple, l'experiment de camp analògic de Schultz i els seus col·legues (2007) sobre les normes socials i assistents d'investigació d'ús d'electricitat requerida per viatjar a cada llar per administrar el tractament i llegir el mesurador d'electricitat (Figura 4.3). Tot aquest esforç per assistents d'investigació significava que l'addició d'una nova llar per a l'estudi hauria afegit al cost. D'altra banda, per a l'experiment de camp digital del Restivo i van de Rijt (2012) a les recompenses en Wikipedia, els investigadors podrien afegir més participants pràcticament sense cost. Una estratègia general per reduir els costos administratius variables és reemplaçar el treball humà (que és car) amb l'equip de treball (que és barat). A grans trets, es pot preguntar-se: pot executar aquest experiment, mentre que tothom en el meu equip de recerca està dormint? Si la resposta és sí, vostè ha fet un gran treball d'automatització.

El segon tipus principal de cost variable és pagaments als participants. Alguns investigadors han utilitzat Amazon Mechanical Turk i altres mercats de treball en línia per disminuir els pagaments que són necessaris per als participants. Per reduir els costos variables fins arribar a zero, però, és necessari un enfocament diferent. Durant molt temps, els investigadors han dissenyat experiments que són tan avorrits que han de pagar a la gent a participar-hi. Però, el que si pot crear un experiment que la gent vol estar? Això pot semblar desgavellada, però et donaré un exemple a continuació del meu propi treball, i hi ha més exemples a la Taula 4.4. Recordeu que aquest enfocament per al disseny d'experiments agradables es fa ressò d'alguns dels temes en el capítol 3 en relació amb el disseny d'enquestes més agradables i en el capítol 5 en relació amb el disseny de la col·laboració massiva. Per tant, crec que el participant gaudeixi-el que es pot anomenar també l'experiència de l'usuari, serà una part cada vegada més important del disseny de la recerca en l'era digital.

Per crear zero costos variables experiments vostè voldrà assegurar-se que tot està totalment automatitzat i que els participants no requereixen cap pagament. Per tal de mostrar com això és possible, descriuré la meva tesi doctoral sobre l'èxit i el fracàs dels productes culturals. Aquest exemple també mostra que les dades zero cost variable no es tracta només de fer les coses més barat. Més aviat, es tracta de permetre experiments que no serien possibles d'una altra manera.

La meva tesi va ser motivat per la naturalesa enigmàtica d'èxit per als productes culturals. cançons d'èxit, llibres més venuts i pel·lícules d'èxit són molt, molt més èxit que la mitjana. A causa d'això, el mercat d'aquests productes són sovint anomenats "-guanyador s'emporta tot" mercats. No obstant això, al mateix temps, el que en particular cançó, llibre o pel·lícula tindran èxit és molt impredictible. El guionista William Goldman (1989) resumeix elegantment fins a un munt de recerca acadèmica dient que, quan es tracta de predir l'èxit, "ningú sap res." La imprevisibilitat de el guanyador es porta tots els mercats fan que em pregunti quant d'èxit és el resultat de la qualitat i la quantitat és qüestió de sort. O, expressat de forma lleugerament diferent, si poguéssim crear mons paral·lels i tenen tots ells evolucionen de forma independent, serien les mateixes cançons arribat a ser popular a cada món? I, si no, el que podria ser un mecanisme que fa que aquestes diferències?

Per tal de respondre a aquestes preguntes, ens-Peter Dodds, Duncan Watts (la meva tesi assessor), i I-córrer una sèrie d'experiments de camp en línia. En particular, hem construït un lloc web anomenat MusicLab on la gent pogués descobrir nova música, i el fem servir per a una sèrie d'experiments. Es van reclutar participants mitjançant l'execució dels anuncis de pancarta en un lloc web per a adolescents interès (Figura 4.19) i per mitjà de mencions en els mitjans de comunicació. Els participants que arribin a la nostra pàgina web sempre el consentiment informat, van completar un qüestionari curt de fons, i van ser assignats aleatòriament a un de dos experimentals influència independent de les condicions i social. En la condició d'independent, els participants prenen decisions sobre quines cançons per escoltar, tenint en compte només els noms de les bandes i les cançons. Mentre escolta una cançó, es va demanar als participants que qualifiquin que després de la qual cosa van tenir l'oportunitat (però no l'obligació) per descarregar la cançó. En la condició d'influència social, els participants van tenir la mateixa experiència, llevat que també es podien veure quantes vegades cada cançó havia descarregat pels participants anteriors. D'altra banda, els participants en la condició de la influència social van ser assignats aleatòriament a un dels vuit mons paral·lels cadascun dels quals van evolucionar de manera independent (Figura 4.20). Amb aquest disseny, ens trobem amb dos experiments relacionats. A la primera, es van presentar les cançons participants en una quadrícula no seleccionats, el que els proporciona un senyal feble de la popularitat. En el segon experiment, es van presentar les cançons en una llista classificada, el que proporciona un senyal molt més forta de la popularitat (Figura 4.21).

Figura 4.19: Un exemple d'anunci de la bandera que els meus col·legues i jo utilitzen per reclutar participants per als experiments MusicLab (Salganik, Dodds, and Watts 2006) .

Figura 4.20: Disseny experimental per als experiments MusicLab (Salganik, Dodds, and Watts 2006) . Els participants van ser assignats a l'atzar a un de dos condicions: influència independent i social. Els participants en la condició independent van prendre les seves decisions sense cap tipus d'informació sobre el que altres havien fet. Els participants en la condició de la influència social van ser assignats a l'atzar a un dels vuit mons paral·lels, on van poder veure la popularitat-mesura per les descàrregues dels participants-d'anteriors cada cançó en el seu món, però que no podien veure cap informació, ni tampoc si més no saber sobre l'existència de qualsevol dels altres mons.

Es va trobar que la popularitat de les cançons diferia en tots els mons que suggereix un paper important de sort. Per exemple, en un món de la cançó "Lockdown" per 52Metro va entrar en 1a, i en un altre món va arribar al lloc 40 de 48 cançons. Això era exactament la mateixa cançó competint contra totes les mateixes cançons, però en un món que va tenir sort i en els altres no ho va fer. A més, mitjançant la comparació dels resultats entre els dos experiments, es va trobar que la influència social condueix a l'èxit més desigual, que potser crea l'aparença de previsibilitat. No obstant això, mirant a través dels mons (que no es poden fer fora d'aquest tipus d'experiment mons paral·lels), es va trobar que la influència social en realitat va augmentar la imprevisibilitat. A més, sorprenentment, era el cant de major atractiu que tenen els resultats més impredictibles (Figura 4.22).

Figura 4.21: Imatges de les condicions d'influència social en els experiments MusicLab (Salganik, Dodds, and Watts 2006) . En la condició d'influència social en l'experiment 1, les cançons, juntament amb el nombre de descàrregues anteriors, es van presentar als participants disposats en una reixeta rectangular 16 X 3, on les posicions de les cançons van ser assignats a l'atzar per a cada participant. En l'experiment 2, els participants en la condició de la influència social es mostren les cançons, amb recomptes de descàrrega, que es presenten en una columna en ordre de popularitat actual descendent.

Figura 4.22: Els resultats dels experiments MusicLab que mostren la relació entre el recurs i l'èxit (Salganik, Dodds, and Watts 2006) . L'eix x és la quota de mercat de la cançó en el món independent, que serveix com una mesura de l'apel·lació de la cançó, i l'eix i és la quota de mercat de la mateixa cançó en els 8 mons d'influència social, que serveix com una mesura de l'èxit de les cançons. Es va trobar que l'augment de la influència social que els participants van experimentar-específicament, el canvi en el disseny de l'experiment 1 per a l'experiment 2 (Figura 4.21): provocada èxit per ser més impredictible, sobretot per les cançons més alts de recurs.

MusicLab era capaç de córrer a essencialment zero cost variable per la forma en què va ser dissenyat. En primer lloc, tot estava completament automatitzat pel que era capaç de córrer mentre estava dormint. En segon lloc, la compensació era música lliure així que no hi havia cost de compensació participant variable. L'ús de la música com a compensació també il·lustra com de vegades hi ha un equilibri entre costos fixos i costos variables. Utilitzant la música augment dels costos fixos perquè havia de passar temps obtenir permís de les bandes i la preparació d'informes per a les bandes sobre la reacció dels participants a la seva música. Però, en aquest cas, l'augment dels costos fixos per tal de disminuir els costos variables va ser el que cal fer; això és el que ens va permetre realitzar un experiment que era aproximadament 100 vegades més gran que un experiment de laboratori estàndard.

A més, els experiments mostren que MusicLab zero cost variable no ha de ser un fi en si mateix; Més aviat, pot ser un mitjà per a l'execució d'un nou tipus d'experiment. Cal notar que no fem servir tots els nostres participants per realitzar un experiment de laboratori estàndard d'influència social 100 vegades. En lloc d'això, vam fer alguna cosa diferent, el que es podria considerar com el canvi d'un experiment psicològic a un experiment sociològic (Hedström 2006) . En lloc de centrar-se en la presa de decisions individuals, ens hem centrat el nostre experiment en popularitat, un resultat col·lectiu. Aquest canvi a un resultat col·lectiu significava que requereix al voltant de 700 participants per produir un únic punt de dades (havia 700 persones a cada un dels mons paral·lels). Aquesta escala va ser possible gràcies a l'estructura de costos de l'experiment. En general, si els investigadors volen estudiar com els resultats col·lectiva sorgeixen de les decisions individuals, els experiments de grup, com MusicLab són molt emocionants. En el passat, han estat logísticament difícil, però aquestes dificultats són la decoloració causa de la possibilitat que les dades de costos variables zero.

A més d'il·lustrar els beneficis de les dades de costos variables zero, els experiments MusicLab també mostren un desafiament amb aquest enfocament: els alts costos fixos. En el meu cas, jo era molt afortunat de poder treballar amb un desenvolupador web amb talent anomenat Peter Hausel durant uns sis mesos per construir l'experiment. Això només va ser possible perquè el meu assessor, Duncan Watts, havia rebut una sèrie de subvencions per donar suport a aquest tipus d'investigació. La tecnologia ha millorat des que vam construir MusicLab el 2004, i seria molt més fàcil construir un experiment com aquest ara. No obstant això, les estratègies d'alts costos fixos són realment només és possible per als investigadors que poden cobrir d'alguna manera aquests costos.

En conclusió, els experiments digitals poden tenir dràsticament diferents estructures de costos que els experiments analògics. Si voleu executar realment grans experiments, vostè ha de tractar de disminuir el seu cost variable tant com sigui possible i idealment fins al final a 0. Això es pot fer mitjançant l'automatització de la mecànica del seu experiment (per exemple, la substitució de temps humà amb el temps a l'ordinador) i el disseny d'experiments que les persones volen estar en. els investigadors que poden dissenyar experiments amb aquestes característiques seran capaços d'executar nous tipus d'experiments que no eren possibles en el passat.