4.4.2 La heterogeneidad de los efectos del tratamiento

Los experimentos normalmente miden el efecto medio, pero el efecto puede ser diferente para diferentes personas.

La segunda idea clave para ir más allá de simples experimentos es la heterogeneidad de los efectos del tratamiento. El experimento de Schultz et al. (2007) ilustra poderosamente cómo el mismo tratamiento puede tener efectos diferentes en diferentes tipos de personas (Figura 4.4), pero este análisis de heterogeneidad en realidad es bastante inusual para un experimento era analógica. La mayoría de los experimentos era analógica implican un pequeño número de participantes que se tratan como "widgets" intercambiables, porque se sabe poco acerca de ellos pre-tratamiento. En experimentos digitales, sin embargo, estas limitaciones de los datos son menos comunes porque los investigadores tienden a tener más participantes y saber más acerca de ellos. En este entorno de datos diferente, se puede estimar la heterogeneidad de los efectos del tratamiento con el fin de proporcionar pistas sobre cómo funciona el tratamiento, la forma en que se puede mejorar, y cómo puede ser dirigido a los mayormente probabilidades de beneficiarse.

Dos ejemplos de la heterogeneidad de los efectos del tratamiento en el contexto de las normas sociales y el uso de energía provienen de investigaciones adicionales sobre los Informes de energía del hogar. En primer lugar, Allcott (2011) utiliza el tamaño de la muestra (600.000 hogares) para dividir aún más la muestra y estimar el efecto del Informe de la Energía por decil Inicio del uso de energía pre-tratamiento. Mientras Schultz et al. (2007) encontraron diferencias entre los usuarios pesadas y ligeras, Allcott (2011) encontraron que también existían diferencias dentro del grupo de usuarios pesada y ligera. Por ejemplo, los usuarios más frecuentes (aquellos en el decil superior) redujeron su consumo de energía dos veces más que alguien en el medio del grupo de usuarios pesada (Figura 4.7). Además, la estimación del efecto por el comportamiento de pre-tratamiento también reveló que no había un efecto boomerang, incluso para los usuarios más ligeros (Figura 4.7).

Figura 4.7: La heterogeneidad de los efectos del tratamiento en Allcott (2011) . La disminución en el consumo de energía fue diferente para las personas de diferentes deciles de uso de la línea de base.

En un estudio relacionado, Costa and Kahn (2013) especularon que la eficacia del Informe de la Energía Inicio podría variar en función de la ideología política de un participante y que el tratamiento en realidad podría hacer que las personas con ciertas ideologías para aumentar su consumo de electricidad. En otras palabras, se especuló que los Informes de Energía Doméstica podría estar creando un efecto boomerang para algunos tipos de personas. Para evaluar esta posibilidad, Costa y Kahn se combinaron los datos Opower con los datos adquiridos a un agregador de terceros que incluye información como el registro de partidos políticos, las donaciones a organizaciones medioambientales, y la participación de los hogares en los programas de energía renovable. Con este conjunto de datos resultante de la fusión, Costa y Kahn encontraron que los informes de Energía en el Hogar produce efectos muy similares para los participantes con diferentes ideologías; no había pruebas de que cualquier grupo exhibió efectos boomerang (Figura 4.8).

Figura 4.8: La heterogeneidad de los efectos del tratamiento en Costa and Kahn (2013) . El efecto del tratamiento promedio estimado para toda la muestra es de -2,1% [-1,5%, -2,7%]. Al combinar la información del experimento con la información sobre los hogares, Costa and Kahn (2013) utilizaron una serie de modelos estadísticos para estimar el efecto del tratamiento para grupos muy específicos de personas. Dos estimaciones se presentan para cada grupo, porque las estimaciones dependen de las covariables que incluyen en sus modelos estadísticos (véase el modelo 4 y el modelo 6 en la Tabla 3 y la Tabla 4 en la Costa and Kahn (2013) ). Como ilustra este ejemplo, los efectos del tratamiento pueden ser diferentes para diferentes personas y estimaciones de los efectos del tratamiento que provienen de modelos estadísticos puede depender de los detalles de estos modelos (Grimmer, Messing, and Westwood 2014) .

A medida que estos dos ejemplos ilustran, en la era digital, podemos pasar de la estimación de los efectos de tratamiento promedio para estimar la heterogeneidad de los efectos del tratamiento, ya que podemos tener muchos más participantes y sabemos más acerca de esos participantes. Aprender acerca de la heterogeneidad de los efectos del tratamiento puede permitir la orientación de un tratamiento en el que es más eficaz, proporcionar hechos que estimulan el desarrollo de la nueva teoría, y proporcionar pistas sobre un posible mecanismo, el tema al que me referiré ahora.