4.5.1.1 entornos de uso existentes

Puede ejecutar experimentos dentro de los entornos existentes, a menudo sin ningún tipo de codificación o sociedad.

Punto de vista logístico, la manera más fácil de hacer experimentos digitales es fusionar con el experimento en la parte superior de un entorno existente, lo que le permite ejecutar un experimento de campo digital. Estos experimentos se pueden ejecutar en una escala razonablemente grande y no requieren asociación con una empresa o un amplio desarrollo de software.

Por ejemplo, Jennifer Doleac y Lucas Stein (2013) se aprovecharon de un mercado en línea (por ejemplo, craigslist) para ejecutar un experimento que mide la discriminación racial. Doleac y Stein anuncian miles de iPods, y variando sistemáticamente las características de este vendedor, que fueron capaces de estudiar el efecto de la raza sobre las transacciones económicas. Además, Doleac y Stein utilizan la escala de su experimento para estimar cuando el efecto es más grande (heterogeneidad de los efectos del tratamiento) y ofrecer algunas ideas sobre por qué el efecto podría ocurrir (mecanismos).

Antes del estudio de Doleac y Stein, había habido dos enfoques principales para medir experimentalmente la discriminación. En correspondencia estudios de los investigadores a crear hojas de vida de las personas de diferentes razas de ficción y el uso de estas hojas de vida de, por ejemplo, se aplican para diferentes puestos de trabajo. Bertrand y de Mullainathan (2004) de papel con el título memorable "Son Emily y Greg más empleables Que Lakisha y Jamal? Un experimento de campo en el mercado laboral por discriminación "es un maravilloso ejemplo de un estudio por correspondencia. Los estudios por correspondencia tienen un costo relativamente bajo y por observación, que permite a un solo investigador para recoger miles de observaciones en un estudio típico. Sin embargo, los estudios por correspondencia de discriminación racial han sido cuestionados porque los nombres de señal potencialmente muchas cosas además de la carrera del solicitante. Es decir, nombres como Greg, Emily, Lakisha, y Jamal puede ser señal de la clase social además de la raza. Por lo tanto, cualquier diferencia en el tratamiento de hojas de vida de Greg y Jamal podría deberse a más de las diferencias de raza presuntos de los solicitantes. Estudios de auditoría, por el contrario, implican la contratación de actores de diferentes razas para aplicar en persona por puestos de trabajo. A pesar de que los estudios de auditoría proporcionan una señal clara de raza solicitante, que son muy caros y por observación, lo que significa que por lo general sólo tienen cientos de observaciones.

En su experimento de campo digital, Doleac y Stein fueron capaces de crear un híbrido atractivo. Ellos fueron capaces de recoger datos a un costo relativamente bajo y por observación-resultando en miles de observaciones (como en un estudio por correspondencia) -y que fueron capaces de señalar carrera usando fotografías-que resulta en una señal clara uncounfounded de raza (como en un estudio de auditoría ). Por lo tanto, el entorno en línea permite a los investigadores a veces para crear nuevos tratamientos que tienen propiedades que son difíciles de construir de otra manera.

Los anuncios de iPod Doleac y Stein variaron a lo largo de tres dimensiones principales. En primer lugar, se variaron las características del vendedor, que fue señalado por la mano fotografiado sosteniendo el iPod [blanco, negro, blanco con el tatuaje] (Figura 4.12). En segundo lugar, variaron el precio de venta [$ 90, $ 110, $ 130]. En tercer lugar, variaron la calidad del texto del anuncio [de alta calidad y de baja calidad (por ejemplo, errores y errores de capitalización spelin)]. Por lo tanto, los autores tuvieron un diseño de 3 x 3 x 2 que se desplegó a través de más de 300 mercados locales que van desde las ciudades (por ejemplo, Kokomo, IN y North Platte, NE) para las mega-ciudades (por ejemplo, Nueva York y Los Angeles).

Figura 4.12: Manos utilizados en el experimento de Doleac and Stein (2013) . iPods fueron vendidos por los vendedores con características diferentes para medir la discriminación en un mercado electrónico.

Promediado en todas las condiciones, los resultados fueron mejores para el vendedor que el vendedor blanco negro, con el vendedor tatuado tener resultados intermedios. Por ejemplo, los vendedores blancos recibido más ofertas y tenía los mayores precios de venta finales. Más allá de estos efectos promedio, Doleac y Stein estimó la heterogeneidad de los efectos. Por ejemplo, una predicción de la teoría anterior es que la discriminación sería menor en los mercados que son más competitivos. Utilizando el número de ofertas recibidas como sustituto de la competencia en el mercado, los autores encontraron que los vendedores negros de hecho reciben ofertas peores en los mercados con un bajo grado de competencia. Además, mediante la comparación de los resultados de los anuncios con alta calidad y un texto de baja calidad, Doleac y Stein encontró que la calidad del anuncio no afecta la desventaja que enfrentan los vendedores negros y tatuados. Por último, aprovechando el hecho de que los anuncios fueron colocados en más de 300 mercados, los autores encuentran que los vendedores negros son más desfavorecidos en ciudades con altos índices de criminalidad y alta segregación residencial. Ninguno de estos resultados nos dan una comprensión precisa de exactamente por qué los vendedores negros tenían peores resultados, pero, cuando se combina con los resultados de otros estudios, se puede empezar a informar a las teorías sobre las causas de la discriminación racial en diferentes tipos de transacciones económicas.

Otro ejemplo que muestra la capacidad de los investigadores para llevar a cabo experimentos de campo digitales en los sistemas existentes es la investigación por Arnout van de Rijt y sus colegas (2014) sobre las claves del éxito. En muchos aspectos de la vida, la gente aparentemente similares terminan con resultados muy diferentes. Una posible explicación de este patrón es que los pequeños y esencialmente aleatorios ventajas pueden lock-in y crecer con el tiempo, un proceso que los investigadores llaman ventaja acumulativa. Con el fin de determinar si los pequeños éxitos iniciales lock-in o se desvanecen, van de Rijt y sus colegas (2014) han intervenido en cuatro sistemas diferentes que conceden el éxito de participantes seleccionados al azar, y luego midieron los efectos a largo plazo de este éxito arbitraria.

Más específicamente, van de Rijt y colegas 1) se comprometieron dinero para los proyectos seleccionados al azar en kickstarter.com , un sitio web de crowdfunding; 2) puntuación positiva opiniones seleccionados al azar en el sitio web epinions ; 3) dio premios a elegidas al azar y colaboradores de Wikipedia ; y 4) firmado seleccionada aleatoriamente peticiones en change.org . Los investigadores encontraron resultados muy similares en los cuatro sistemas: en cada caso, los participantes que recibieron al azar un cierto éxito temprano pasó a tener más éxito posterior que sus compañeros de otro modo completamente indistinguibles (Figura 4.13). El hecho de que el mismo patrón apareció en muchos sistemas aumenta la validez externa de estos resultados, ya que reduce la posibilidad de que este patrón es un artefacto de cualquier sistema particular.

Figura 4.13: Efectos a largo plazo de éxito conferido al azar en cuatro sistemas sociales diferentes. Arnout van de Rijt y sus colegas (2014) 1) se comprometieron dinero para los proyectos seleccionados al azar en kickstarter.com , un sitio web de crowdfunding; 2) puntuación positiva opiniones seleccionados al azar en el sitio web epinions ; 3) dio premios a elegidas al azar y colaboradores de Wikipedia ; y 4) firmado seleccionada aleatoriamente peticiones en change.org .

Juntos, estos dos ejemplos muestran que los investigadores pueden llevar a cabo experimentos de campo digitales sin la necesidad de asociarse con empresas o la necesidad de construir sistemas digitales complejos. Además, la Tabla 4.2 proporciona aún más ejemplos que muestran el rango de lo que es posible cuando los investigadores usan la infraestructura de los sistemas existentes para entregar los resultados del tratamiento y / o medir. Estos experimentos son relativamente baratos para los investigadores y ofrecen un alto grado de realismo. Sin embargo, estos experimentos los investigadores ofrecen un control limitado sobre los participantes, los tratamientos y las consecuencias que han de medirse. Además, para los experimentos que se realizan en un solo sistema, los investigadores tienen que estar preocupado de que los efectos podrían ser impulsados ​​por la dinámica específica del sistema (por ejemplo, la forma en que el pedal de arranque se ubica proyectos o la forma en que se ubica change.org peticiones; para más información, véase la discusión acerca de los factores de confusión algorítmico en el capítulo 2). Por último, cuando los investigadores intervienen en los sistemas de trabajo, cuestiones éticas difíciles emergen sobre una posible daño a los participantes, no participantes, y los sistemas. Los tendremos en cuenta cuestión ética en más detalle en el capítulo 6, y hay una excelente discusión de los mismos en el apéndice de Van de Rijt (2014) . Las compensaciones que vienen con el trabajo en un sistema existente no son ideales para cada proyecto, y por esa razón algunos investigadores a construir su propio sistema experimental, el tema de la siguiente sección.