4.6.1 Crear cero los datos de costes variables

La clave para manejar grandes experimentos está impulsando su costo variable a cero. Las mejores maneras de hacer esto son la automatización y el diseño de experimentos agradables.

experimentos digitales pueden tener estructuras de costos drásticamente diferentes y esto permite a los investigadores llevar a cabo experimentos que eran imposibles en el pasado. Más específicamente, los experimentos tienen generalmente dos tipos principales de costos:. Costes fijos y costes variables Los costos fijos son costos que no cambian dependiendo del número de participantes que tiene. Por ejemplo, en un experimento de laboratorio, los costes fijos podrían ser el costo de alquilar el espacio y la compra de muebles. Los costos variables, por otro lado, el cambio dependiendo del número de participantes que tiene. Por ejemplo, en un experimento de laboratorio, los costos variables pueden provenir de pago de personal y los participantes. En general, los experimentos analógicos tienen costos fijos bajos y altos costos variables, y los experimentos digitales tienen altos costos fijos y bajos costes variables (Figura 4.18). Con un diseño adecuado, se puede conducir el coste variable de su experimento hasta el final a cero, y esto puede crear interesantes oportunidades de investigación.

Figura 4.18: Esquema de la estructura de costos en los experimentos analógicos y digitales. En general, los experimentos analógicos tienen costos fijos bajos y altos costos variables que los experimentos llevados digitales tienen altos costos fijos y bajos costes variables. Las estructuras de costos diferentes significan que los experimentos digitales pueden funcionar a una escala que no es posible con los experimentos analógicos.

Hay dos elementos principales de coste-pagos variables para el personal y los pagos a los participantes y cada uno de ellos puede ser accionado a cero utilizando diferentes estrategias. Pagos al personal se derivan del trabajo que los asistentes de investigación no contratación de los participantes, la entrega de los tratamientos, y la medición de los resultados. Por ejemplo, el experimento de campo analógico de Schultz y sus colegas (2007) sobre las normas sociales y asistentes de investigación de uso de electricidad requerida para viajar a cada hogar para administrar el tratamiento y leer el medidor de electricidad (Figura 4.3). Todo este esfuerzo por asistentes de investigación significaba que la adición de un nuevo hogar para el estudio habría añadido al coste. Por otro lado, para el experimento de campo digital del Restivo y van de Rijt (2012) en las recompensas en Wikipedia, los investigadores podrían añadir más participantes prácticamente sin costo. Una estrategia general para reducir los costos administrativos variables es reemplazar el trabajo humano (que es caro) con el equipo de trabajo (que es barato). A grandes rasgos, se puede preguntarse: puede ejecutar este experimento, mientras que todo el mundo en mi equipo de investigación está durmiendo? Si la respuesta es sí, usted ha hecho un gran trabajo de automatización.

El segundo tipo principal de costo variable es pagos a los participantes. Algunos investigadores han utilizado Amazon Mechanical Turk y otros mercados de trabajo en línea para disminuir los pagos que son necesarios para los participantes. Para reducir los costes variables hasta llegar a cero, sin embargo, es necesario un enfoque diferente. Durante mucho tiempo, los investigadores han diseñado experimentos que son tan aburridos que tienen que pagar a la gente a participar. Pero, lo que si puede crear un experimento que la gente quiere estar? Esto puede sonar descabellada, pero te voy a dar un ejemplo a continuación de mi propio trabajo, y hay más ejemplos en la Tabla 4.4. Tenga en cuenta que este enfoque para el diseño de experimentos agradables se hace eco de algunos de los temas en el capítulo 3 en relación con el diseño de encuestas más agradables y en el capítulo 5 en relación con el diseño de la colaboración masiva. Por lo tanto, creo que el participante disfrute-lo que se puede llamar también la experiencia del usuario, será una parte cada vez más importante del diseño de la investigación en la era digital.

Si desea crear cero costos variables experimentos usted querrá asegurarse de que todo está totalmente automatizado y que los participantes no requieren ningún pago. Con el fin de mostrar cómo esto es posible, voy a describir mi tesis doctoral sobre el éxito y el fracaso de los productos culturales. Este ejemplo también muestra que los datos cero costo variable no se trata sólo de hacer las cosas más barato. Más bien, se trata de permitir experimentos que no serían posibles de otra manera.

Mi tesis fue motivado por la naturaleza enigmática de éxito para los productos culturales. canciones de éxito, libros más vendidos y películas de éxito son mucho, mucho más éxito que el promedio. Debido a esto, el mercado de estos productos son a menudo llamados "-ganador se lleva todo" mercados. Sin embargo, al mismo tiempo, lo que en particular canción, libro o película tendrán éxito es muy impredecible. El guionista William Goldman (1989) resume elegantemente hasta un montón de investigación académica diciendo que, cuando se trata de predecir el éxito, "nadie sabe nada." La imprevisibilidad de el ganador se lleva todos los mercados hacen que me pregunte cuánto de éxito es el resultado de la calidad y la cantidad es cuestión de suerte. O, expresado de forma ligeramente diferente, si pudiéramos crear mundos paralelos y tienen todos ellos evolucionan de forma independiente, serían las mismas canciones llegado a ser popular en cada mundo? Y, si no, lo que podría ser un mecanismo que hace que estas diferencias?

Con el fin de responder a estas preguntas, nos-Peter Dodds, Duncan Watts (mi tesis asesor), e I-corrieron una serie de experimentos de campo en línea. En particular, hemos construido un sitio web llamado MusicLab donde la gente pudiera descubrir nueva música, y lo usamos para una serie de experimentos. Se reclutaron participantes mediante la ejecución de los anuncios de banner en un sitio web para adolescentes interés (Figura 4.19) y por medio de menciones en los medios de comunicación. Los participantes que lleguen a nuestra página web siempre el consentimiento informado, completaron un cuestionario corto de fondo, y fueron asignados aleatoriamente a uno de dos experimentales influencia independiente de las condiciones y social. En la condición de independiente, los participantes toman decisiones sobre qué canciones para escuchar, teniendo en cuenta sólo los nombres de las bandas y las canciones. Mientras escucha una canción, se pidió a los participantes que califiquen que después de lo cual tuvieron la oportunidad (pero no la obligación) para descargar la canción. En la condición de influencia social, los participantes tuvieron la misma experiencia, a menos que también se podían ver cuántas veces cada canción había sido descargado por los participantes anteriores. Por otra parte, los participantes en la condición de la influencia social fueron asignados aleatoriamente a uno de los ocho mundos paralelos cada uno de los cuales evolucionaron de forma independiente (Figura 4.20). Con este diseño, nos encontramos con dos experimentos relacionados. En la primera, se presentaron las canciones participantes en una cuadrícula no seleccionados, lo que les proporciona una señal débil de la popularidad. En el segundo experimento, se presentaron las canciones en una lista clasificada, lo que proporciona una señal mucho más fuerte de la popularidad (Figura 4.21).

Figura 4.19: Un ejemplo de anuncio de la bandera que mis colegas y yo utilizan para reclutar participantes para los experimentos MusicLab (Salganik, Dodds, and Watts 2006) .

Figura 4.20: Diseño experimental para los experimentos MusicLab (Salganik, Dodds, and Watts 2006) . Los participantes fueron asignados al azar a uno de dos condiciones: influencia independiente y social. Los participantes en la condición independiente tomaron sus decisiones sin ningún tipo de información acerca de lo que otros habían hecho. Los participantes en la condición de la influencia social fueron asignados al azar a uno de los ocho mundos paralelos, donde pudieron ver la popularidad-medida por las descargas de los participantes-de anteriores cada canción en su mundo, pero que no podían ver ninguna información, ni tampoco siquiera saber sobre la existencia de cualquiera de los otros mundos.

Se encontró que la popularidad de las canciones difería en todos los mundos que sugiere un papel importante de suerte. Por ejemplo, en un mundo de la canción "Lockdown" por 52Metro entró en 1ª, y en otro mundo llegó en el lugar 40 de 48 canciones. Esto era exactamente la misma canción compitiendo contra todas las mismas canciones, pero en un mundo que tuvo suerte y en los otros no lo hizo. Además, mediante la comparación de los resultados entre los dos experimentos, se encontró que la influencia social conduce al éxito más desigual, que tal vez crea la apariencia de previsibilidad. Sin embargo, mirando a través de los mundos (que no se pueden hacer fuera de este tipo de experimento mundos paralelos), se encontró que la influencia social en realidad aumentó la imprevisibilidad. Además, sorprendentemente, era el canto de mayor atractivo que tienen los resultados más impredecibles (Figura 4.22).

Figura 4.21: Imágenes de las condiciones de influencia social en los experimentos MusicLab (Salganik, Dodds, and Watts 2006) . En la condición de influencia social en el experimento 1, las canciones, junto con el número de descargas anteriores, se presentaron a los participantes dispuestos en una rejilla rectangular 16 X 3, donde las posiciones de las canciones fueron asignados al azar para cada participante. En el experimento 2, los participantes en la condición de la influencia social se muestran las canciones, con recuentos de descarga, que se presentan en una columna en orden de popularidad actual descendente.

Figura 4.22: Los resultados de los experimentos MusicLab que muestran la relación entre el recurso y el éxito (Salganik, Dodds, and Watts 2006) . El eje x es la cuota de mercado de la canción en el mundo independiente, que sirve como una medida de la apelación de la canción, y el eje y es la cuota de mercado de la misma canción en los 8 mundos de influencia social, que sirve como una medida del éxito de las canciones. Se encontró que el aumento de la influencia social que los participantes experimentaron-específicamente, el cambio en el diseño del experimento 1 para el experimento 2 (Figura 4.21): provocada éxito para ser más impredecible, sobre todo para las canciones más altos de recurso.

MusicLab era capaz de correr a esencialmente cero costo variable por la forma en que fue diseñado. En primer lugar, todo estaba completamente automatizado por lo que era capaz de correr mientras estaba durmiendo. En segundo lugar, la compensación era música libre así que no había costo de compensación participante variable. El uso de la música como compensación también ilustra cómo a veces hay un equilibrio entre costes fijos y costes variables. Utilizando la música aumento de los costos fijos porque tenía que pasar tiempo obtener permiso de las bandas y la preparación de informes para las bandas sobre la reacción de los participantes a su música. Pero, en este caso, el aumento de los costes fijos con el fin de disminuir los costos variables fue lo que hay que hacer; eso es lo que nos permitió realizar un experimento que era aproximadamente 100 veces más grande que un experimento de laboratorio estándar.

Además, los experimentos muestran que MusicLab cero costo variable no tiene que ser un fin en sí mismo; Más bien, puede ser un medio para la ejecución de un nuevo tipo de experimento. Nótese que no usamos todos nuestros participantes para realizar un experimento de laboratorio estándar de influencia social 100 veces. En lugar de ello, hicimos algo diferente, lo que se podría considerar como el cambio de un experimento psicológico a un experimento sociológico (Hedström 2006) . En lugar de centrarse en la toma de decisiones individuales, nos hemos centrado nuestro experimento en popularidad, un resultado colectivo. Este cambio a un resultado colectivo significaba que requiere alrededor de 700 participantes para producir un único punto de datos (había 700 personas en cada uno de los mundos paralelos). Esa escala fue posible gracias a la estructura de costos del experimento. En general, si los investigadores quieren estudiar cómo los resultados colectiva surgen de las decisiones individuales, los experimentos de grupo, como MusicLab son muy emocionantes. En el pasado, han sido logísticamente difícil, pero esas dificultades son la decoloración debido a la posibilidad de que los datos de costes variables cero.

Además de ilustrar los beneficios de los datos de costes variables cero, los experimentos MusicLab también muestran un desafío con este enfoque: los altos costos fijos. En mi caso, yo era muy afortunado de poder trabajar con un desarrollador web con talento llamado Peter Hausel durante unos seis meses para construir el experimento. Esto sólo fue posible porque mi asesor, Duncan Watts, había recibido una serie de subvenciones para apoyar este tipo de investigación. La tecnología ha mejorado desde que construimos MusicLab en 2004, y sería mucho más fácil construir un experimento como este ahora. Sin embargo, las estrategias de altos costes fijos son realmente sólo es posible para los investigadores que pueden cubrir de alguna manera esos costos.

En conclusión, los experimentos digitales pueden tener drásticamente diferentes estructuras de costos que los experimentos analógicos. Si desea ejecutar realmente grandes experimentos, usted debe tratar de disminuir su coste variable tanto como sea posible e idealmente hasta el final a 0. Esto se puede hacer mediante la automatización de la mecánica de su experimento (por ejemplo, la sustitución de tiempo humano con el tiempo en la computadora) y el diseño de experimentos que las personas quieren estar en. los investigadores que pueden diseñar experimentos con estas características serán capaces de ejecutar nuevos tipos de experimentos que no eran posibles en el pasado.