4.4.2 La heterogeneidad de los efectos del tratamiento

Los experimentos normalmente miden el efecto promedio, pero el efecto probablemente no sea el mismo para todos.

La segunda idea clave para ir más allá de los experimentos simples es la heterogeneidad de los efectos del tratamiento . El experimento de Schultz et al. (2007) ilustra poderosamente cómo el mismo tratamiento puede tener un efecto diferente en diferentes tipos de personas (figura 4.4). En la mayoría de los experimentos análogos, sin embargo, los investigadores se centraron en los efectos del tratamiento promedio porque había un pequeño número de participantes y se sabía poco acerca de ellos. En experimentos digitales, sin embargo, a menudo hay muchos más participantes y se sabe más acerca de ellos. En este entorno de datos diferente, los investigadores que continúan estimando solo efectos de tratamiento promedio perderán las formas en que las estimaciones sobre la heterogeneidad de los efectos del tratamiento pueden proporcionar pistas sobre cómo funciona un tratamiento, cómo se puede mejorar y cómo puede ser objetivo a los que tienen más probabilidades de beneficiarse.

Dos ejemplos de la heterogeneidad de los efectos del tratamiento provienen de investigaciones adicionales sobre los Informes de Energía del Hogar. Primero, Allcott (2011) utilizó el tamaño de muestra grande (600,000 hogares) para dividir aún más la muestra y estimar el efecto del Informe de energía del hogar por decil del uso de energía previo al tratamiento. Mientras que Schultz et al. (2007) encontraron diferencias entre los usuarios pesados ​​y livianos, Allcott (2011) descubrió que también había diferencias dentro del grupo de usuarios de luz fuerte y ligera. Por ejemplo, los usuarios más pesados ​​(aquellos en el decil superior) redujeron su consumo de energía el doble que alguien en el medio del grupo de usuarios intensivos (figura 4.8). Además, la estimación del efecto por el comportamiento previo al tratamiento también reveló que no hubo efecto boomerang, incluso para los usuarios más ligeros (figura 4.8).

Figura 4.8: Heterogeneidad de los efectos del tratamiento en Allcott (2011) . La disminución en el uso de energía fue diferente para las personas en diferentes deciles de uso de referencia. Adaptado de Allcott (2011) , figura 8.

En un estudio relacionado, Costa and Kahn (2013) especularon que la efectividad del Informe de energía del hogar podría variar según la ideología política de un participante y que el tratamiento podría hacer que las personas con ciertas ideologías aumenten su consumo de electricidad. En otras palabras, especularon que los Informes de Energía del Hogar podrían estar creando un efecto boomerang para algunos tipos de personas. Para evaluar esta posibilidad, Costa y Kahn combinaron los datos de Opower con los datos comprados a un agregador externo que incluía información como el registro de partidos políticos, donaciones a organizaciones ambientales y la participación de los hogares en programas de energía renovable. Con este conjunto de datos fusionados, Costa y Kahn descubrieron que los Informes de Energía del Hogar producían efectos ampliamente similares para los participantes con diferentes ideologías; no hubo evidencia de que ningún grupo exhibiera efectos de boomerang (figura 4.9).

Figura 4.9: Heterogeneidad de los efectos del tratamiento en Costa and Kahn (2013) . El efecto promedio estimado del tratamiento para toda la muestra es -2.1% [-1.5%, -2.7%]. Después de combinar información del experimento con información sobre los hogares, Costa and Kahn (2013) utilizaron una serie de modelos estadísticos para estimar el efecto del tratamiento para grupos de personas muy específicos. Se presentan dos estimaciones para cada grupo porque las estimaciones dependen de las covariables que incluyeron en sus modelos estadísticos (véanse los modelos 4 y 6 en las tablas 3 y 4 en Costa and Kahn (2013) ). Como lo ilustra este ejemplo, los efectos del tratamiento pueden ser diferentes para diferentes personas y las estimaciones de los efectos del tratamiento que provienen de modelos estadísticos pueden depender de los detalles de esos modelos (Grimmer, Messing, and Westwood 2014) . Adaptado de Costa and Kahn (2013) , tablas 3 y 4.

Como ilustran estos dos ejemplos, en la era digital, podemos pasar de estimar los efectos del tratamiento promedio a estimar la heterogeneidad de los efectos del tratamiento porque podemos tener muchos más participantes y sabemos más acerca de esos participantes. Aprender acerca de la heterogeneidad de los efectos del tratamiento puede permitir la selección de un tratamiento donde sea más efectivo, proporcionar hechos que estimulen el desarrollo de nuevas teorías y brindar pistas sobre posibles mecanismos, el tema al que me referiré ahora.