4.5.1 Usar entornos existentes

Puede ejecutar experimentos dentro de los entornos existentes, a menudo sin ningún tipo de codificación o sociedad.

Logísticamente, la forma más fácil de hacer un experimento digital es superponer su experimento sobre un entorno existente. Dichos experimentos pueden ejecutarse a una escala razonablemente grande y no requieren una asociación con una empresa o un extenso desarrollo de software.

Por ejemplo, Jennifer Doleac y Luke Stein (2013) aprovecharon un mercado en línea similar a Craigslist para realizar un experimento que midió la discriminación racial. Promocionaron miles de iPod y, al variar sistemáticamente las características del vendedor, pudieron estudiar el efecto de la raza en las transacciones económicas. Además, usaron la escala de su experimento para estimar cuándo el efecto era más grande (heterogeneidad de los efectos del tratamiento) y para ofrecer algunas ideas sobre por qué podría ocurrir el efecto (mecanismos).

Los anuncios de iPod de Doleac y Stein variaron en tres dimensiones principales. Primero, los investigadores variaron las características del vendedor, que fue señalado por la mano fotografiada sosteniendo el iPod [blanco, negro, blanco con tatuaje] (figura 4.13). Segundo, variaron el precio de venta [$ 90, $ 110, $ 130]. En tercer lugar, variaron la calidad del texto del anuncio [de alta calidad y baja calidad (por ejemplo, errores de capitalización y errores de Spelin)]. Por lo tanto, los autores tenían un diseño 3 \(\times\) 3 \(\times\) 2 que se desplegó en más de 300 mercados locales, desde ciudades (por ejemplo, Kokomo, Indiana y North Platte, Nebraska) hasta mega- ciudades (por ejemplo, Nueva York y Los Ángeles).

Figura 4.13: Manos usadas en el experimento de Doleac and Stein (2013) . Los iPods fueron vendidos por vendedores con diferentes características para medir la discriminación en un mercado en línea. Reproducido con permiso de Doleac and Stein (2013) , figura 1.

Promediado en todas las condiciones, los resultados fueron mejores para los vendedores blancos que para los vendedores negros, y los vendedores tatuados obtuvieron resultados intermedios. Por ejemplo, los vendedores blancos recibieron más ofertas y tuvieron precios de venta final más altos. Más allá de estos efectos promedio, Doleac y Stein estimaron la heterogeneidad de los efectos. Por ejemplo, una predicción de la teoría anterior es que la discriminación sería menor en los mercados donde hay más competencia entre los compradores. Usando el número de ofertas en ese mercado como una medida de la cantidad de competencia del comprador, los investigadores encontraron que los vendedores negros sí recibieron peores ofertas en mercados con un bajo grado de competencia. Además, al comparar los resultados de los anuncios con texto de alta calidad y baja calidad, Doleac y Stein descubrieron que la calidad del anuncio no afectaba la desventaja que enfrentan los vendedores negros y tatuados. Finalmente, aprovechando el hecho de que los anuncios se colocaron en más de 300 mercados, los autores encontraron que los vendedores negros estaban más en desventaja en las ciudades con altas tasas de criminalidad y alta segregación residencial. Ninguno de estos resultados nos da una comprensión precisa de por qué los vendedores negros tuvieron peores resultados, pero, cuando se combinan con los resultados de otros estudios, pueden comenzar a informar las teorías sobre las causas de la discriminación racial en diferentes tipos de transacciones económicas.

Otro ejemplo que muestra la capacidad de los investigadores para realizar experimentos de campo digitales en sistemas existentes es la investigación de Arnout van de Rijt y sus colegas (2014) sobre las claves del éxito. En muchos aspectos de la vida, personas aparentemente similares terminan con resultados muy diferentes. Una posible explicación para este patrón es que las ventajas pequeñas, y esencialmente aleatorias, pueden afianzarse y crecer con el tiempo, un proceso que los investigadores llaman una ventaja acumulativa . Para determinar si los éxitos iniciales pequeños se cierran o se desvanecen, van de Rijt y colegas (2014) intervinieron en cuatro sistemas diferentes que otorgaban éxito a los participantes seleccionados al azar, y luego midieron los impactos posteriores de este éxito arbitrario.

Más específicamente, van de Rijt y sus colegas (1) prometieron dinero para proyectos seleccionados al azar en Kickstarter, un sitio web de crowdfunding; (2) evaluaciones positivas seleccionadas positivamente en Epinions, un sitio web de revisión de productos; (3) otorgó premios a colaboradores elegidos al azar en Wikipedia; y (4) firmas de peticiones seleccionadas aleatoriamente en change.org. Encontraron resultados muy similares en los cuatro sistemas: en cada caso, los participantes a los que aleatoriamente se les otorgó algún éxito temprano tuvieron más éxito posterior que sus pares que de otra manera serían completamente indistinguibles (figura 4.14). El hecho de que el mismo patrón aparezca en muchos sistemas aumenta la validez externa de estos resultados porque reduce la posibilidad de que este patrón sea un artefacto de cualquier sistema en particular.

Figura 4.14: Efectos a largo plazo del éxito otorgado aleatoriamente en cuatro sistemas sociales diferentes. Arnout van de Rijt y sus colegas (2014) (1) prometieron dinero para proyectos seleccionados al azar en Kickstarter, un sitio web de crowdfunding; (2) evaluaciones positivas seleccionadas positivamente en Epinions, un sitio web de revisión de productos; (3) otorgó premios a colaboradores elegidos al azar en Wikipedia; y (4) firmas de peticiones seleccionadas aleatoriamente en change.org. Adaptado de Rijt et al. (2014) , figura 2.

En conjunto, estos dos ejemplos muestran que los investigadores pueden realizar experimentos de campo digitales sin la necesidad de asociarse con empresas o construir sistemas digitales complejos. Además, la tabla 4.2 proporciona incluso más ejemplos que muestran el rango de lo que es posible cuando los investigadores usan la infraestructura de los sistemas existentes para brindar tratamiento y / o medir los resultados. Estos experimentos son relativamente baratos para los investigadores y ofrecen un alto grado de realismo. Pero ofrecen a los investigadores un control limitado sobre los participantes, los tratamientos y los resultados a medir. Además, para los experimentos que tienen lugar en un solo sistema, los investigadores deben preocuparse de que los efectos puedan ser impulsados ​​por dinámicas específicas del sistema (por ejemplo, la forma en que Kickstarter clasifica los proyectos o la forma en que change.org clasifica las peticiones, para más información, ver la discusión sobre la confusión algorítmica en el capítulo 2). Finalmente, cuando los investigadores intervienen en los sistemas de trabajo, surgen cuestiones éticas complicadas sobre el posible daño a los participantes, los no participantes y los sistemas. Consideraremos estas cuestiones éticas con más detalle en el capítulo 6, y hay una excelente discusión de ellas en el apéndice de van de Rijt et al. (2014) . Las ventajas y desventajas que conlleva trabajar en un sistema existente no son ideales para cada proyecto, y por esa razón algunos investigadores construyen su propio sistema experimental, como lo ilustraré a continuación.