4.6.1 Crear cero los datos de costes variables

La clave para ejecutar experimentos grandes es llevar su costo variable a cero. Las mejores formas de hacerlo son la automatización y el diseño de experimentos divertidos.

Los experimentos digitales pueden tener estructuras de costos dramáticamente diferentes, y esto permite a los investigadores realizar experimentos que eran imposibles en el pasado. Una forma de pensar acerca de esta diferencia es observar que los experimentos generalmente tienen dos tipos de costos: costos fijos y costos variables. Los costos fijos son costos que permanecen sin cambios independientemente del número de participantes. Por ejemplo, en un experimento de laboratorio, los costos fijos pueden ser los costos de alquilar espacio y comprar muebles. Los costos variables , por otro lado, cambian según la cantidad de participantes. Por ejemplo, en un experimento de laboratorio, los costos variables pueden provenir del personal de pago y los participantes. En general, los experimentos analógicos tienen costos fijos bajos y altos costos variables, mientras que los experimentos digitales tienen altos costos fijos y bajos costos variables (figura 4.19). Aunque los experimentos digitales tienen bajos costos variables, puede crear muchas oportunidades emocionantes cuando conduce el costo variable a cero.

Figura 4.19: Esquema de la estructura de costos en los experimentos analógicos y digitales. En general, los experimentos analógicos tienen costos fijos bajos y altos costos variables que los experimentos llevados digitales tienen altos costos fijos y bajos costes variables. Las estructuras de costos diferentes significan que los experimentos digitales pueden funcionar a una escala que no es posible con los experimentos analógicos.

Hay dos elementos principales de pagos de costos variables para el personal y pagos a los participantes, y cada uno de estos puede reducirse a cero utilizando diferentes estrategias. Los pagos al personal provienen del trabajo que realizan los asistentes de investigación para reclutar participantes, administrar tratamientos y medir los resultados. Por ejemplo, el experimento de campo analógico de Schultz y colegas (2007) sobre el uso de electricidad requirió que los asistentes de investigación viajaran a cada hogar para entregar el tratamiento y leer el medidor eléctrico (figura 4.3). Todo este esfuerzo de los asistentes de investigación significó que agregar un nuevo hogar al estudio habría aumentado el costo. Por otro lado, para el experimento de campo digital de Restivo y van de Rijt (2012) sobre el efecto de los premios en los editores de Wikipedia, los investigadores podrían agregar más participantes prácticamente sin costo. Una estrategia general para reducir los costos administrativos variables es reemplazar el trabajo humano (que es caro) con el trabajo de la computadora (que es barato). Aproximadamente, usted puede preguntarse: ¿Se puede ejecutar este experimento mientras todo el personal de mi equipo de investigación está durmiendo? Si la respuesta es sí, has hecho un gran trabajo de automatización.

El segundo tipo principal de costo variable son los pagos a los participantes. Algunos investigadores han utilizado Amazon Mechanical Turk y otros mercados laborales en línea para disminuir los pagos que se necesitan para los participantes. Sin embargo, para llevar los costos variables a cero, se necesita un enfoque diferente. Durante mucho tiempo, los investigadores diseñaron experimentos que son tan aburridos que tienen que pagar a las personas para que participen. Pero, ¿y si pudieras crear un experimento en el que la gente quisiera estar? Esto puede sonar exagerado, pero le daré un ejemplo más abajo de mi propio trabajo, y hay más ejemplos en la tabla 4.4. Tenga en cuenta que esta idea de diseñar experimentos agradables se hace eco de algunos de los temas del capítulo 3 sobre el diseño de encuestas más agradables y en el capítulo 5 sobre el diseño de la colaboración masiva. Por lo tanto, creo que el disfrute de los participantes -lo que también podría llamarse experiencia del usuario- será una parte cada vez más importante del diseño de investigación en la era digital.

Si desea crear experimentos con datos de costo variable cero, deberá asegurarse de que todo esté completamente automatizado y de que los participantes no requieran ningún pago. Para mostrar cómo esto es posible, describiré mi tesis sobre el éxito y el fracaso de los productos culturales.

Mi disertación fue motivada por la desconcertante naturaleza del éxito de los productos culturales. Las canciones populares, los libros más vendidos y las películas taquilleras tienen mucho, mucho más éxito que la media. Debido a esto, los mercados para estos productos a menudo se llaman mercados de "el ganador se lleva todo". Sin embargo, al mismo tiempo, qué canción, libro o película en particular tendrá éxito es increíblemente impredecible. El guionista William Goldman (1989) resumió elegantemente una gran cantidad de investigaciones académicas al decir que, cuando se trata de predecir el éxito, "nadie sabe nada". La imprevisibilidad de los mercados donde el ganador se lleva todo me hizo preguntarme cuánto de éxito es el resultado de calidad y cuánto es solo suerte. O, expresado de forma ligeramente diferente, si pudiéramos crear mundos paralelos y hacer que todos evolucionen independientemente, ¿se popularizarían las mismas canciones en cada mundo? Y, si no, ¿qué podría ser un mecanismo que causa estas diferencias?

Para responder estas preguntas, nosotros, Peter Dodds, Duncan Watts (mi asesor de disertación) y yo, realizamos una serie de experimentos de campo en línea. En particular, creamos un sitio web llamado MusicLab, donde las personas podían descubrir nueva música, y lo usamos para una serie de experimentos. Reclutamos participantes mediante la publicación de publicidades en un sitio web de interés para adolescentes (figura 4.20) y mediante menciones en los medios. Los participantes que llegaron a nuestro sitio web dieron su consentimiento informado, completaron un breve cuestionario de antecedentes y fueron asignados aleatoriamente a una de las dos condiciones experimentales: influencia social e independiente. En la condición independiente, los participantes tomaron decisiones sobre qué canciones escuchar, dado solo los nombres de las bandas y las canciones. Mientras escuchaban una canción, se les pidió a los participantes que la calificaran, después de lo cual tuvieron la oportunidad (pero no la obligación) de descargar la canción. En la condición de influencia social, los participantes tenían la misma experiencia, excepto que también podían ver cuántas veces cada canción había sido descargada por participantes anteriores. Además, los participantes en la condición de influencia social fueron asignados aleatoriamente a uno de ocho mundos paralelos, cada uno de los cuales evolucionó de forma independiente (figura 4.21). Usando este diseño, ejecutamos dos experimentos relacionados. En el primero, presentamos las canciones a los participantes en una grilla no ordenada, lo que les proporcionó una débil señal de popularidad. En el segundo experimento, presentamos las canciones en una lista clasificada, que proporcionó una señal de popularidad mucho más fuerte (figura 4.22).

Figura 4.20: Un ejemplo de banner publicitario que mis colegas y yo utilizamos para reclutar participantes para los experimentos de MusicLab (Salganik, Dodds, and Watts 2006) . Reproducido con permiso de Salganik (2007) , figura 2.12.

Figura 4.21: Diseño experimental para los experimentos de MusicLab (Salganik, Dodds, and Watts 2006) . Los participantes fueron asignados aleatoriamente a una de dos condiciones: influencia independiente y social. Los participantes en la condición independiente tomaron sus decisiones sin ninguna información sobre lo que otras personas habían hecho. Los participantes en la condición de influencia social fueron asignados aleatoriamente a uno de ocho mundos paralelos, donde pudieron ver la popularidad, según lo medido por descargas de participantes anteriores, de cada canción en su mundo, pero no pudieron ver ninguna información, ni tampoco incluso saber sobre la existencia de, cualquiera de los otros mundos. Adaptado de Salganik, Dodds, and Watts (2006) , figura s1.

Descubrimos que la popularidad de las canciones difería en todo el mundo, lo que sugiere que la suerte jugó un papel importante en el éxito. Por ejemplo, en un mundo, la canción "Lockdown" de 52Metro entró en primer lugar de 48 canciones, mientras que en otro mundo llegó en 40. Esta fue exactamente la misma canción que compite contra todas las otras canciones, pero en un mundo tuvo suerte y en los otros no. Además, al comparar los resultados en los dos experimentos, descubrimos que la influencia social aumenta la naturaleza del ganador se lleva todo de estos mercados, lo que tal vez sugiere la importancia de la habilidad. Pero mirando a través de los mundos (lo cual no se puede hacer fuera de este tipo de experimento de mundos paralelos), descubrimos que la influencia social en realidad aumentaba la importancia de la suerte. Además, sorprendentemente, fueron las canciones de mayor atractivo donde la suerte más importaba (figura 4.23).

Figura 4.22: Capturas de pantalla de las condiciones de influencia social en los experimentos de MusicLab (Salganik, Dodds, and Watts 2006) . En la condición de influencia social en el experimento 1, las canciones, junto con el número de descargas previas, se presentaron a los participantes dispuestos en una cuadrícula rectangular 16 \(\times\) 3, donde las posiciones de las canciones se asignaron aleatoriamente para cada partícipe. En el experimento 2, los participantes en la condición de influencia social mostraron las canciones, con conteos de descargas, presentados en una columna en orden descendente de popularidad actual.

Figura 4.23: Resultados de los experimentos de MusicLab que muestran la relación entre el atractivo y el éxito (Salganik, Dodds, and Watts 2006) . El eje \(x\) es la cuota de mercado de la canción en el mundo independiente, que sirve como una medida del atractivo de la canción, y el eje \(y\) es la cuota de mercado de la misma canción en los ocho mundos de influencia social, que sirve como una medida del éxito de las canciones. Descubrimos que al aumentar la influencia social que experimentaron los participantes -específicamente, el cambio en el diseño del experimento 1 al experimento 2 (figura 4.22) - causó que el éxito se volviera más impredecible, especialmente para las canciones con mayor atractivo. Adaptado de Salganik, Dodds, and Watts (2006) , figura 3.

MusicLab fue capaz de ejecutarse a un costo variable esencialmente cero debido a la forma en que fue diseñado. En primer lugar, todo estaba completamente automatizado, por lo que fue capaz de funcionar mientras dormía. En segundo lugar, la compensación era música gratuita, por lo que no hubo un costo variable de compensación para el participante. El uso de la música como compensación también ilustra cómo a veces hay una compensación entre los costos fijos y variables. El uso de la música aumentó los costos fijos porque tuve que perder tiempo para obtener el permiso de las bandas y preparar informes para ellos sobre la reacción de los participantes a su música. Pero en este caso, aumentar los costos fijos para disminuir los costos de las variables era lo correcto; eso es lo que nos permitió ejecutar un experimento que era aproximadamente 100 veces más grande que un experimento de laboratorio estándar.

Además, los experimentos de MusicLab muestran que el costo variable cero no tiene que ser un fin en sí mismo; más bien, puede ser un medio para ejecutar un nuevo tipo de experimento. Tenga en cuenta que no usamos a todos nuestros participantes para ejecutar un experimento estándar de laboratorio de influencia social 100 veces. En cambio, hicimos algo diferente, lo que podría pensarse como pasar de un experimento psicológico a uno sociológico (Hedström 2006) . En lugar de centrarnos en la toma de decisiones individual, centramos nuestro experimento en la popularidad, un resultado colectivo. Este cambio a un resultado colectivo significó que necesitábamos alrededor de 700 participantes para producir un solo punto de datos (había 700 personas en cada uno de los mundos paralelos). Esa escala solo fue posible debido a la estructura de costos del experimento. En general, si los investigadores quieren estudiar cómo surgen los resultados colectivos de las decisiones individuales, los experimentos grupales como MusicLab son muy emocionantes. En el pasado, han sido logísticamente difíciles, pero esas dificultades se están desvaneciendo debido a la posibilidad de cero datos de costo variable.

Además de ilustrar los beneficios de los datos de costo variable cero, los experimentos de MusicLab también muestran un desafío con este enfoque: altos costos fijos. En mi caso, tuve la enorme suerte de poder trabajar con un talentoso desarrollador web llamado Peter Hausel durante aproximadamente seis meses para construir el experimento. Esto solo fue posible porque mi asesor, Duncan Watts, había recibido varias subvenciones para apoyar este tipo de investigación. La tecnología ha mejorado desde que construimos MusicLab en 2004, por lo que sería mucho más fácil construir un experimento como este ahora. Pero, las estrategias de alto costo fijo solo son posibles para los investigadores que de alguna manera pueden cubrir esos costos.

En conclusión, los experimentos digitales pueden tener estructuras de costos dramáticamente diferentes a los experimentos analógicos. Si desea ejecutar experimentos realmente grandes, debe intentar disminuir su costo variable tanto como sea posible e idealmente hasta llegar a cero. Puede hacerlo automatizando la mecánica de su experimento (por ejemplo, reemplazando el tiempo humano con el tiempo de la computadora) y diseñando experimentos en los que las personas deseen participar. Los investigadores que puedan diseñar experimentos con estas características podrán ejecutar nuevos tipos de experimentos que fueron no es posible en el pasado. Sin embargo, la capacidad de crear experimentos con cero costos variables puede plantear nuevas preguntas éticas, el tema que ahora abordaré.