4.3 Dos dimensiones de experimentos: laboratorio de campo y analógico-digitales
Los experimentos de laboratorio ofrecen un control, los experimentos de campo ofrecen realismo, y experimentos de campo combinan digitales de control y realismo a escala.
Los experimentos vienen en muchas formas y tamaños diferentes. Pero, a pesar de estas diferencias, los investigadores han encontrado útil organizar experimentos a lo largo de un continuo entre los experimentos de laboratorio y experimentos de campo. Ahora, sin embargo, los investigadores deberían también organizar experimentos a lo largo de un continuo entre los experimentos analógicos y digitales experimentos. Este espacio de diseño en dos dimensiones le ayudará a entender las fortalezas y debilidades de los diferentes enfoques y sugerir áreas de mayor oportunidad (Figura 4.1).
Figura 4.1: Esquema de espacio de diseño de experimentos. En el pasado, los experimentos variaron a lo largo de la dimensión del campo de laboratorio. Ahora, también varían en la dimensión de analógico a digital. En mi opinión, la zona de mayor oportunidad está experimentos de campo digitales.
En el pasado, la principal forma que los investigadores organizaron experimentos fue a lo largo de la dimensión del campo de laboratorio. La mayoría de los experimentos en las ciencias sociales son experimentos de laboratorio donde los estudiantes universitarios realizan tareas extrañas en un laboratorio para el crédito del curso. Este tipo de experimento domina la investigación en psicología, ya que permite a los investigadores para crear tratamientos muy específicos diseñados para poner a prueba las teorías muy específicas sobre el comportamiento social. Para ciertos problemas, sin embargo, algo se siente un poco extraño en sacar conclusiones firmes sobre el comportamiento humano a partir de tales personas inusuales que realizan este tipo de tareas inusuales en un entorno tan inusual. Estas preocupaciones han llevado a un movimiento hacia experimentos de campo. Los experimentos de campo combinan la fuerte diseño de experimentos controlados aleatorios con grupos más representativos de los participantes, la realización de las tareas más comunes, en los entornos más naturales.
Aunque algunas personas piensan de experimentos de laboratorio y de campo como los métodos de la competencia, lo mejor es pensar en ellos como métodos complementarios con diferentes fortalezas y debilidades. Por ejemplo, Correll, Benard, and Paik (2007) utiliza tanto un experimento de laboratorio y un experimento de campo en un intento de encontrar las fuentes de la "penalización de la maternidad". En los Estados Unidos, las madres ganan menos dinero que las mujeres sin hijos, incluso cuando que comparan mujeres con habilidades similares que trabajan en puestos de trabajo similares. Hay muchas explicaciones posibles para este modelo, y una es que los empleadores están sesgadas en contra de las madres. (Curiosamente, lo contrario parece ser cierto para los padres: tienden a ganar más que los hombres sin hijos comparables). Con el fin de evaluar el posible sesgo en contra de las madres, Correll y colegas realizaron dos experimentos: uno en el laboratorio y otro en el campo.
En primer lugar, en un experimento de laboratorio Correll y sus colegas dijeron los participantes, que eran estudiantes universitarios, que una compañía de comunicaciones de puesta en marcha con sede en California estaba llevando a cabo una búsqueda de empleo para una persona para dirigir su nuevo departamento de marketing de la Costa Este. Los estudiantes se les dijo que la compañía quería su ayuda en el proceso de contratación y se les pidió revisar hojas de vida de varios posibles candidatos y para evaluar los candidatos en una serie de dimensiones tales como la inteligencia, el calor, y el compromiso de trabajar. Además, se pidió a los estudiantes si recomendarían la contratación de la demandante y lo recomendaría como un salario inicial. Sin el conocimiento de los estudiantes, sin embargo, las hojas de vida fueron construidos específicamente para ser similar excepto por una cosa: algunas de las hojas de vida señaliza la maternidad (haciendo una lista de participación en una asociación de padres y profesores) y otros no. Correll encontró que los estudiantes eran menos propensos a recomendar la contratación de las madres y les ofrecen menor salario inicial. Además, a través de un análisis estadístico de los dos las votaciones y las decisiones relacionadas con el suministro de mano, Correll encontró que las desventajas de las madres se explican en gran medida por el hecho de que las madres fueron clasificadas bajo en términos de competencia y compromiso. En otras palabras, Correll argumenta que estos rasgos son el mecanismo a través del cual las madres están en desventaja. Por lo tanto, este experimento de laboratorio permitió Correll y colegas para medir un efecto causal y proporcionar una posible explicación para el efecto.
Por supuesto, uno podría ser escépticos acerca de sacar conclusiones sobre la totalidad del mercado laboral de Estados Unidos sobre la base de las decisiones de unos pocos cientos de estudiantes que probablemente nunca han tenido un trabajo a tiempo completo, y mucho menos contratados personas. Por lo tanto, Correll y sus colegas también llevaron a cabo un experimento de campo complementaria. Los investigadores respondieron a cientos de ofertas de trabajo anunciadas mediante el envío de cartas de presentación y hojas de vida falsos. De manera similar a los materiales que se muestran a los estudiantes universitarios, algunas hojas de vida señalizan la maternidad y algunos no lo hicieron. Correll y sus colegas encontraron que las madres eran menos propensos a ser llamado de nuevo para las entrevistas que las mujeres sin hijos igualmente calificados. En otras palabras, los empleadores real de toma de decisiones de consecuencias en un entorno natural se comportaron muy similar a los estudiantes universitarios. ¿Se toman decisiones similares por la misma razón? Por desgracia, no sabemos. Los investigadores no pudieron hacer los empleadores para evaluar los candidatos o explicar sus decisiones.
Este par de experimentos revela mucho acerca de los experimentos de laboratorio y de campo en general. Los experimentos de laboratorio ofrecen a los investigadores cerca de un control total del medio ambiente en el que los participantes están tomando decisiones. Así, por ejemplo, en el experimento de laboratorio, Correll fue capaz de asegurar que todas las hojas de vida se leyeron en un entorno tranquilo; en el experimento de campo, algunas de las hojas de vida podría ni siquiera han sido leídos. Además, dado que los participantes en el entorno de laboratorio saben que están siendo estudiados, los investigadores son a menudo capaces de recoger datos adicionales que pueden ayudar a entender por qué los participantes están haciendo sus decisiones. Por ejemplo, Correll pidió a los participantes en el experimento de laboratorio para evaluar los candidatos de diferentes dimensiones. Este tipo de datos de proceso podría ayudar a los investigadores a entender los mecanismos que subyacen a las diferencias en cómo los participantes tratan las hojas de vida.
Por otro lado, estas mismas características exactas que he descrito como ventajas son también a veces se consideran desventajas. Los investigadores que prefieren los experimentos de campo argumentan que los participantes en los experimentos de laboratorio podrían actuar de manera muy diferente cuando están siendo observados de cerca. Por ejemplo, en el laboratorio participantes del experimento podrían haber adivinado el objetivo de la investigación y alterado su comportamiento de manera que no aparecen sesgados. Además, los investigadores que prefieren los experimentos de campo podría argumentar que las pequeñas diferencias en hojas de vida sólo pueden sobresalir en un entorno de laboratorio muy limpio, estéril, y por lo tanto el experimento de laboratorio se sobre-estimar el efecto de la maternidad en las decisiones de contratación de bienes. Por último, muchos defensores de los experimentos de campo critican experimentos de laboratorio dependencia de los participantes EXTRAÑO: principalmente estudiantes de occidental, educado, industrializado, rico y países Democrática (Henrich, Heine, and Norenzayan 2010) . Los experimentos realizados por Correll et al (2007) ilustran los dos extremos del continuo campo de laboratorio. Entre estos dos extremos hay una gran variedad de diseños híbridos que incluyen enfoques tales como traer no estudiantes en un laboratorio o de entrar en el campo pero sigue teniendo los participantes realizan una tarea inusual.
Además de la dimensión del campo de laboratorio que ha existido en el pasado, la era digital significa que los investigadores ahora tienen una segunda dimensión principal por la que los experimentos pueden variar: analógico-digital. Al igual que hay experimentos puros de laboratorio, experimentos de campo puros, y una variedad de híbridos en el medio, hay experimentos puros analógicas, digitales experimentos puros, y una variedad de híbridos. Es difícil ofrecer una definición formal de esta dimensión, pero una definición de trabajo útil es que los experimentos son totalmente digitales experimentos que hacen uso de la infraestructura digital para reclutar a los participantes, de forma aleatoria, aplicar tratamientos y medir los resultados. Por ejemplo, Restivo y van de Rijt de (2012) estudio de barnstars y Wikipedia fue un experimento completamente digital, ya que utiliza sistemas digitales para los cuatro de estos pasos. Del mismo modo totalmente experimentos analógicos son experimentos que no hacen uso de la infraestructura digital para cualquiera de estos cuatro pasos. Muchos de los experimentos clásicos de la psicología son experimentos analógicos. Entre estos dos extremos hay parcialmente experimentos digitales que utilizan una combinación de sistemas analógicos y digitales para los cuatro pasos.
Fundamentalmente, las oportunidades para ejecutar experimentos digitales no son sólo en línea. Los investigadores pueden realizar experimentos parcialmente digitales mediante el uso de dispositivos digitales en el mundo físico con el fin de ofrecer tratamientos o medir los resultados. Por ejemplo, los investigadores podrían utilizar los teléfonos inteligentes para ofrecer tratamientos o sensores en el entorno construido para medir los resultados. De hecho, como veremos más adelante en este capítulo, los investigadores han utilizado ya los medidores de potencia a casa para medir los resultados de los experimentos sobre las normas sociales y el consumo de energía que implica 8,5 millones de hogares (Allcott 2015) . Dado que los dispositivos digitales integrado cada vez más en la vida de las personas y los sensores se integren en el entorno construido, estas oportunidades para realizar experimentos parcialmente digitales en el mundo físico aumentará dramáticamente. En otras palabras, los experimentos digitales no son sólo experimentos en línea.
Los sistemas digitales crean nuevas posibilidades para experimentos en todas partes a lo largo del continuo de campo de laboratorio. En experimentos de laboratorio puras, por ejemplo, los investigadores pueden usar los sistemas digitales para la medición más fina del comportamiento de los participantes; un ejemplo de este tipo de equipos es una mejor medición de seguimiento ocular que proporciona medidas precisas y continuas de ubicación mirada. La era digital también crea la posibilidad de realizar experimentos en laboratorio como en línea. Por ejemplo, los investigadores han adoptado rápidamente Amazon Mechanical Turk (MTurk) para reclutar participantes para los experimentos en línea (Figura 4.2). MTurk coincide con "empleadores" que tienen tareas que deben completarse con "trabajadores" que deseen completar las tareas para el dinero. A diferencia de los mercados de trabajo tradicionales, sin embargo, las tareas que implica por lo general sólo requieren unos minutos para completar y toda la interacción entre el empleador y el trabajador es virtual. Debido a que imita MTurk aspectos de los experimentos de laboratorio tradicionales de pago de las personas para realizar las tareas que no iban a hacer por libre que se adapta de forma natural para ciertos tipos de experimentos. Esencialmente, MTurk ha creado la infraestructura para la gestión de un grupo de participantes de la contratación y el pago de las personas y los investigadores han aprovechado de esa infraestructura para aprovechar la piscina siempre disponible de los participantes.
Figura 4.2: artículos publicados a partir de datos de Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk y otros mercados de trabajo en línea ofrecen a los investigadores una manera conveniente para reclutar participantes para los experimentos.
experimentos digitales crean aún más posibilidades para experimentos de campo similares. experimentos de campo digitales pueden ofrecer datos de control y de proceso ajustados para comprender los mecanismos posibles (como experimentos de laboratorio) y mayor diversidad de participantes que toman decisiones reales en un entorno natural (como los experimentos de campo). Además de esta combinación de buenas características de experimentos anteriores, los experimentos de campo digitales también ofrecen tres oportunidades que eran difíciles en los experimentos de laboratorio y de campo analógicas.
En primer lugar, mientras que la mayoría de los experimentos de laboratorio y de campo analógicos tienen cientos de participantes, los experimentos de campo digitales pueden tener millones de participantes. Este cambio de escala se debe a que algunos experimentos digitales pueden producir datos a un costo variable de cero. Es decir, una vez que los investigadores han creado una infraestructura experimental, aumentando el número de participantes normalmente no aumenta el costo. El aumento del número de participantes en un factor de 100 o más no es sólo un cambio cuantitativo, es un cambio cualitativo, ya que permite a los investigadores a aprender cosas diferentes de experimentos (por ejemplo, la heterogeneidad de los efectos del tratamiento) y ejecutar completamente diferentes diseños experimentales ( por ejemplo, experimentos de grupos grandes). Este punto es tan importante, voy a volver a ella hacia el final del capítulo, cuando ofrezco consejos sobre la creación de experimentos digitales.
En segundo lugar, mientras que la mayoría de los experimentos de laboratorio y de campo analógicas tratan a los participantes como widgets indistinguibles, los experimentos de campo digitales suelen utilizar la información de fondo sobre los participantes en las etapas de diseño y análisis de la investigación. Esta información de fondo, que se llama información previa al tratamiento, a menudo está disponible en experimentos digitales porque tienen lugar en ambientes totalmente medidos. Por ejemplo, un investigador en Facebook tiene mucha más información de pre-tratamiento de un investigador que diseña un experimento de laboratorio estándar con estudiantes universitarios. Esta información pre-tratamiento permite a los investigadores a moverse más allá de tratar los participantes componentes tal y como indistinguibles. Más específicamente, la información pre-tratamiento permite diseños más eficientes-tales como el bloqueo experimentales (Higgins, Sävje, and Sekhon 2016) y el reclutamiento selectivo de los participantes (Eckles, Kizilcec, and Bakshy 2016) -y-análisis más profundo, tales como la estimación de la heterogeneidad de los efectos del tratamiento (Athey and Imbens 2016a) y el ajuste de covarianza para la mejora de la precisión (Bloniarz et al. 2016) .
En tercer lugar, mientras que muchos experimentos de laboratorio y de campo analógica ofrecen tratamientos y medir los resultados en una cantidad relativamente comprimido de tiempo, algunos experimentos de campo digitales implican tratamientos que pueden ser entregados en el tiempo y los efectos también se pueden medir con el tiempo. Por ejemplo, el experimento Restivo y de van de Rijt tiene el resultado medido al día durante 90 días, y uno de los experimentos que te dirá más adelante en el capítulo (Ferraro, Miranda, and Price 2011) rastrea los resultados de más de 3 años en básicamente, no hay costo. son los datos más común estas tres oportunidades de tamaño, de información previa al tratamiento, y el tratamiento longitudinal y de resultados cuando los experimentos se ejecutan en la parte superior del siempre-en sistemas de medición (véase el Capítulo 2 para más información sobre siempre-en los sistemas de medición).
Mientras que los experimentos de campo digitales ofrecen muchas posibilidades, también comparten algunas debilidades tanto con laboratorio analógico y experimentos de campo. Por ejemplo, los experimentos no se pueden utilizar para estudiar el pasado, y sólo pueden estimar los efectos de los tratamientos que pueden ser manipulados. Además, aunque los experimentos son, sin duda, útil para orientar la política, la orientación exacta que pueden ofrecer es algo limitada debido a complicaciones tales como la dependencia del medio ambiente, problemas de cumplimiento y los efectos de equilibrio (Banerjee and Duflo 2009; Deaton 2010) . Por último, los experimentos de campo digitales magnifican los problemas éticos creados por experimentos de campo. Los defensores de los experimentos de campo trompeta su capacidad de intervenir discretamente y de forma aleatoria en las decisiones de consecuencias hechas por millones de personas. Estas características ofrecen ciertas ventajas científicas, pero también pueden hacer experimentos de campo éticamente compleja (pensar en ello como investigadores tratar a las personas como "ratas de laboratorio" en una escala masiva). Por otra parte, además de los posibles daños a los participantes, los experimentos de campo digitales, por su magnitud, pueden también plantear inquietudes acerca de la interrupción de los sistemas sociales de trabajo (por ejemplo, la preocupación por la interrupción del sistema de recompensa Wikipedia si Restivo y van der Rijt dieron demasiados barnstars) .
