4.4 Más allá de experimentos sencillos
Vamos a pasar más allá de experimentos sencillos. Tres conceptos son útiles para experimentos ricos: validez, la heterogeneidad de los efectos del tratamiento, y el mecanismo.
Los investigadores que son nuevos experimentos a menudo se centran en una cuestión muy específica y restringida: ¿Tiene este tratamiento "trabajo"? Por ejemplo, hace una llamada telefónica de un voluntario animar a alguien a votar? Cómo cambiar un botón de página web del azul al aumento de la tasa de clics verde? Por desgracia, frases sueltas sobre lo que "funciona" oscurece el hecho de que los experimentos se centraron estrictamente en realidad no te dicen si un tratamiento "trabaja" en un sentido general. Más bien, muy centrados experimentos responder a una pregunta mucho más específico: ¿cuál es el efecto medio de este tratamiento específico con esta aplicación específica para esta población de participantes en este momento? Voy a llamar a los experimentos que se centran en esta estrecha cuestión experimentos sencillos.
experimentos sencillos pueden proporcionar información valiosa, pero dejan de responder a muchas preguntas que son importantes e interesantes, tales como: ¿hay algunas personas para las que el tratamiento tuvo un efecto mayor o menor ?; ¿hay algún otro tratamiento que sería más eficaz ?; y cómo este experimento se relacionan con las teorías sociales más amplios?
Con el fin de mostrar el valor de ir más allá de simples experimentos, vamos a considerar una de mis favoritas experimentos de campo analógicas, un estudio realizado por P. Wesley Schultz y sus colegas sobre la relación entre las normas sociales y el consumo de energía (Schultz et al. 2007) . Schultz y sus colegas para colgar en puertas colgadas en 300 hogares en San Marcos, California, y estas colgar en puertas entregan diferentes mensajes diseñados para fomentar el ahorro energético. Entonces, Schultz y sus colegas midieron el efecto de estos mensajes en el consumo de electricidad, tanto después de una semana y tres semanas; véase la figura 4.3 para una descripción más detallada del diseño experimental.
Figura 4.3: Esquema del diseño de Schultz et al. (2007) . El experimento de campo relacionada visitando a unos 300 hogares en San Marcos, California cinco veces a lo largo de un período de ocho semanas. En cada visita los investigadores tomaron manualmente una lectura a partir de la casa central de medida. En dos de las visitas de los investigadores colocaron para colgar en puertas de la casa de proporcionar alguna información acerca de su consumo de energía. La pregunta de investigación era cómo el contenido de estos mensajes impactaría el uso de energía.
El experimento tuvo dos condiciones. En la primera condición, los hogares recibieron consejos sobre el ahorro de energía en general (por ejemplo, usar ventiladores en lugar de aire acondicionado) e información sobre el uso de energía de su hogar en comparación con el promedio del consumo de energía en su vecindario. Schultz y sus colegas llamaron a este la condición normativa descriptiva debido a que la información sobre el uso de energía en su vecindario proporciona información sobre el comportamiento típico (es decir, una norma descriptiva). Cuando Schultz y sus colegas estudiaron el uso de la energía resultante en este grupo, el tratamiento pareció tener ningún efecto, ya sea en el corto plazo o largo plazo; en otras palabras, no parece que el "trabajo" (Figura 4.4) el tratamiento.
Pero, afortunadamente, Schultz et al. (2007) no se establecieron para este análisis simplista. Antes de que comenzara el experimento razonaron que los grandes consumidores de electricidad-personas por encima de la media-podrían reducir su consumo, y que los usuarios de luz de la electricidad-personas por debajo de la media-realidad podría incrementar su consumo. Cuando examinaron los datos, eso es exactamente lo que encontraron (Figura 4.4). Por lo tanto, lo que parecía ser un tratamiento que estaba teniendo ningún efecto era en realidad un tratamiento que tuvo dos efectos contrapuestos. Los investigadores llamaron a este aumento contraproducente entre los usuarios de luz un efecto boomerang.
Figura 4.4: Resultados de Schultz et al. (2007) . El primer panel muestra que el tratamiento norma descriptiva tiene un efecto de tratamiento promedio estimado cero. Sin embargo, el segundo panel muestra que este efecto medio del tratamiento se compone realmente de dos efectos de compensación. Para los grandes consumidores, el tratamiento redujo el uso, pero para los usuarios poco frecuentes, el tratamiento aumentó su uso. Por último, el tercer panel muestra que el segundo tratamiento, que utiliza normas descriptivas y judiciales, tenía más o menos el mismo efecto en los grandes consumidores, pero mitiga el efecto boomerang en usuarios de luz.
Además, Schultz y sus colegas prevén esta posibilidad, y en la segunda condición que desplegaron un tratamiento ligeramente diferente, uno diseñado expresamente para eliminar el efecto boomerang. Los hogares de la segunda condición recibieron los mismos consejos de ahorro de energía de tratamiento general exactas y la información sobre el uso de energía de su hogar en comparación con el de su barrio, con una pequeña adición: para las personas con un consumo por debajo de la media, los investigadores añadieron un :) y para las personas con consumo superior a la media añadieron un :(. Estos emoticonos fueron diseñados para desencadenar lo que los investigadores denominan normas de cesación. normas por mandato judicial se refieren a la percepción de lo que se aprueba comúnmente (y rechazado) mientras que las normas descriptivas se refieren a la percepción de lo que se hace habitualmente (Reno, Cialdini, and Kallgren 1993) .
Mediante la adición de éste pequeño emoticon, los investigadores redujeron drásticamente el efecto boomerang (Figura 4.4). De este modo, por lo que es uno simple selección de un cambio que fue motivado por una teoría abstracta social, psicológica (Cialdini, Kallgren, and Reno 1991) -los investigadores fueron capaces de convertir un programa de uno que no parece funcionar en uno que trabajado, y, al mismo tiempo, que fueron capaces de contribuir a la comprensión general de cómo las normas sociales afectan el comportamiento humano.
En este punto, sin embargo, es posible que cuenta que es algo un poco diferente en este experimento. En particular, el experimento de Schultz y sus colegas en realidad no tiene un grupo de control de la misma manera que los experimentos controlados aleatorios hacen. La comparación entre este diseño y el diseño de Restivo y van de Rijt ilustra las diferencias entre dos diseños principales utilizados por los investigadores. En inter-sujetos diseños, tales como Restivo y van de Rijt, hay un grupo de tratamiento y un grupo control, y en el intra-sujetos diseña el comportamiento de los participantes se compara antes y después del tratamiento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . En un experimento en un mismo sujeto es como si cada participante actúa como su propio grupo de control. La fuerza de inter-sujetos diseños es que proporciona protección frente a factores de confusión (como he descrito anteriormente), y la fuerza de experimentos intra-sujetos se incrementa la precisión en las estimaciones. Cuando cada participante actúa como su propio control, la variación entre el participante es eliminado (véase el apéndice técnico). Presagiar una que vendrá después, cuando ofrezco consejos sobre el diseño de experimentos digitales, hay un diseño final, llamado un diseño mixto, que combina la mejora de la precisión de los diseños intra-sujetos y la protección contra la confusión de los diseños inter-sujetos.
Figura 4.5: Tres diseños experimentales. Estándar aleatorizados controlados experimentos utilizan diseños entre sujetos. Un ejemplo de un diseño entre sujetos es Restivo y de van de Rijt (2012) experimento sobre barnstars y contribuciones a Wikipedia: investigadores participantes en grupos de tratamiento y control dividieron al azar, dieron a los participantes en el grupo de tratamiento con una estrella de granero, y se comparan los resultados para los dos grupos. Un segundo tipo de diseño es un diseño intra-sujetos. Los dos experimentos en Schultz y del colega (2007) estudio sobre las normas sociales y el uso de energía ilustran un diseño dentro de los sujetos: los investigadores compararon el consumo de electricidad de los participantes antes y después de recibir el tratamiento. Dentro de los sujetos diseños ofrecen una mayor precisión estadística mediante la eliminación de varianza entre sujetos (véase el apéndice técnico), pero que están abiertos a posibles factores de confusión (por ejemplo, cambios en el tiempo entre el período de pre-tratamiento y tratamiento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dentro de los sujetos diseños son también medidas repetidas ocasiones se conoce como diseños. Por último, los diseños mixtos combinan la mejora de la precisión de los diseños dentro de los sujetos y la protección contra la confusión de los diseños inter-sujetos. En un diseño mixto, un investigador compara el cambio en los resultados para las personas en los grupos de tratamiento y control. Cuando los investigadores ya tienen información previa al tratamiento, como es el caso en muchos experimentos digitales, diseños mixtos son preferibles a los diseños inter-sujetos, debido a aumentos en la precisión (véase el apéndice técnico).
En general, el diseño y los resultados de Schultz et al. (2007) muestran el valor de ir más allá de experimentos sencillos. Afortunadamente, usted no necesita ser un genio para crear experimentos de este tipo. Los científicos sociales han desarrollado tres conceptos que le guiará hacia experimentos creativos más ricas y más: 1) la validez, 2) la heterogeneidad de los efectos del tratamiento, y 3 mecanismos). Es decir, si usted tiene estas tres ideas en mente mientras está diseñando el experimento, se creará de forma natural experimentos más interesantes y útiles. Con el fin de ilustrar estos tres conceptos en acción, voy a describir una serie de experimentos de seguimiento de campo parcialmente digitales que construyeron en el diseño elegante y resultados interesantes en Schultz et al. (2007) . Como se verá, a través del diseño más cuidadoso, implementación, análisis e interpretación, usted también puede ir más allá de experimentos sencillos.
