4.4.2 Hétérogénéité des effets de traitement

Les expériences mesurent normalement l'effet moyen, mais l'effet n'est probablement pas le même pour tout le monde.

La deuxième idée clé pour aller au-delà des expériences simples est l' hétérogénéité des effets du traitement . L'expérience de Schultz et al. (2007) illustre avec force comment un même traitement peut avoir un effet différent sur différents types de personnes (figure 4.4). Dans la plupart des expériences analogues, cependant, les chercheurs se sont concentrés sur les effets moyens du traitement parce qu'il y avait un petit nombre de participants et que l'on en savait peu à leur sujet. Dans les expériences numériques, cependant, il y a souvent beaucoup plus de participants et on en sait plus à leur sujet. Dans cet environnement de données différent, les chercheurs qui continuent d'estimer seulement les effets moyens du traitement passeront à côté des façons dont les estimations de l'hétérogénéité des effets du traitement peuvent fournir des indices sur le fonctionnement du traitement, comment il peut être amélioré et comment il peut être ciblé à ceux qui sont le plus susceptibles d'en bénéficier.

Deux exemples d'hétérogénéité des effets du traitement proviennent de recherches supplémentaires sur les rapports sur l'énergie domestique. Tout d'abord, Allcott (2011) utilisé la grande taille de l'échantillon (600 000 ménages) pour diviser davantage l'échantillon et estimer l'effet du rapport sur l'énergie domestique par décile de la consommation d'énergie avant traitement. Alors que Schultz et al. (2007) trouvé des différences entre les utilisateurs lourds et légers, Allcott (2011) constaté qu'il y avait aussi des différences au sein du groupe des utilisateurs légers et légers. Par exemple, les utilisateurs les plus lourds (ceux du décile supérieur) ont réduit leur consommation d'énergie deux fois plus qu'une personne au milieu du groupe des utilisateurs lourds (figure 4.8). De plus, l'estimation de l'effet par le comportement avant traitement a également révélé qu'il n'y avait pas d'effet boomerang, même pour les utilisateurs les plus légers (figure 4.8).

Figure 4.8: Hétérogénéité des effets du traitement chez Allcott (2011) . La diminution de la consommation d'énergie était différente pour les personnes dans différents déciles d'utilisation de base. Adapté d' Allcott (2011) , figure 8.

Dans une étude connexe, Costa and Kahn (2013) émis l'hypothèse que l'efficacité du rapport sur l'énergie domestique pourrait varier en fonction de l'idéologie politique d'un participant et que le traitement pourrait en fait pousser les gens ayant certaines idéologies à augmenter leur consommation d'électricité. En d'autres termes, ils ont spéculé que les rapports d'énergie à la maison pourraient créer un effet boomerang pour certains types de personnes. Pour évaluer cette possibilité, Costa et Kahn ont fusionné les données Opower avec des données achetées auprès d'un agrégateur tiers qui incluait des informations telles que l'enregistrement des partis politiques, les dons aux organisations environnementales et la participation des ménages aux programmes d'énergie renouvelable. Avec cet ensemble de données fusionné, Costa et Kahn ont constaté que les rapports sur l'énergie à domicile produisaient des effets globalement similaires pour les participants ayant des idéologies différentes; il n'y avait aucune preuve qu'un groupe présentait des effets de boomerang (figure 4.9).

Figure 4.9: Hétérogénéité des effets du traitement chez Costa and Kahn (2013) . L'effet de traitement moyen estimé pour l'ensemble de l'échantillon est de -2,1% [-1,5%, -2,7%]. Après avoir combiné les informations de l'expérience avec des informations sur les ménages, Costa and Kahn (2013) utilisé une série de modèles statistiques pour estimer l'effet du traitement pour des groupes très spécifiques de personnes. Deux estimations sont présentées pour chaque groupe car les estimations dépendent des covariables incluses dans leurs modèles statistiques (voir les modèles 4 et 6 des tableaux 3 et 4 de Costa and Kahn (2013) ). Comme l'illustre cet exemple, les effets du traitement peuvent varier d'une personne à l'autre et les estimations des effets du traitement provenant des modèles statistiques peuvent dépendre des détails de ces modèles (Grimmer, Messing, and Westwood 2014) . Adapté de Costa and Kahn (2013) , tableaux 3 et 4.

Comme le montrent ces deux exemples, à l'ère numérique, nous pouvons passer de l'estimation des effets moyens du traitement à l'estimation de l'hétérogénéité des effets du traitement, car nous pouvons avoir beaucoup plus de participants et nous en savons plus sur ces participants. L'apprentissage de l'hétérogénéité des effets du traitement peut permettre de cibler un traitement là où il est le plus efficace, fournir des faits qui stimulent le développement de nouvelles théories, et donner des indications sur les mécanismes possibles, le sujet sur lequel je me tourne maintenant.