4.4.2 L'heterogeneïtat dels efectes del tractament

Els experiments normalment mesuren l'efecte mitjà, però l'efecte pot ser diferent per a diferents persones.

La segona idea clau per anar més enllà de simples experiments és l'heterogeneïtat dels efectes del tractament. L'experiment de Schultz et al. (2007) il·lustra poderosament com el mateix tractament pot tenir efectes diferents en diferents tipus de persones (Figura 4.4), però aquesta anàlisi d'heterogeneïtat en realitat és bastant inusual per a un experiment era analògica. La majoria dels experiments era analògica impliquen un petit nombre de participants que es tracten com a "widgets" intercanviables, perquè se sap poc sobre ells pretractament. En experiments digitals, però, aquestes limitacions de les dades són menys comuns perquè els investigadors tendeixen a tenir més participants i saber més sobre ells. En aquest entorn de dades diferent, es pot estimar la heterogeneïtat dels efectes del tractament amb la finalitat de proporcionar pistes sobre com funciona el tractament, la forma en què es pot millorar, i com pot ser dirigit als majorment probabilitats de beneficiar-se.

Dos exemples de l'heterogeneïtat dels efectes del tractament en el context de les normes socials i l'ús d'energia provenen d'investigacions addicionals sobre els informes d'energia de la llar. En primer lloc, Allcott (2011) utilitza la mida de la mostra (600.000 llars) per dividir encara més la mostra i estimar l'efecte de l'Informe de l'Energia per decil Inici de l'ús d'energia pretractament. Mentre Schultz et al. (2007) van trobar diferències entre els usuaris pesades i lleugeres, Allcott (2011) van trobar que també existien diferències dins del grup d'usuaris pesada i lleugera. Per exemple, els usuaris més freqüents (aquells en el decil superior) van reduir el seu consum d'energia dues vegades més que algú al mig del grup d'usuaris pesada (Figura 4.7). A més, l'estimació de l'efecte pel comportament de pretractament també va revelar que no hi havia un efecte bumerang, fins i tot per als usuaris més lleugers (Figura 4.7).

Figura 4.7: L'heterogeneïtat dels efectes del tractament en Allcott (2011) . La disminució en el consum d'energia va ser diferent per a les persones de diferents decils d'ús de la línia de base.

En un estudi relacionat, Costa and Kahn (2013) van especular que l'eficàcia de l'Informe de l'Energia Inici podria variar en funció de la ideologia política d'un participant i que el tractament en realitat podria fer que les persones amb certes ideologies per augmentar el seu consum d'electricitat. En altres paraules, es va especular que els Informes d'Energia Domèstica podria estar creant un efecte bumerang per a alguns tipus de persones. Per avaluar aquesta possibilitat, Costa i Kahn es van combinar les dades Opower amb les dades adquirits a un agregador de tercers que inclou informació com el registre de partits polítics, les donacions a organitzacions mediambientals, i la participació de les llars en els programes d'energia renovable. Amb aquest conjunt de dades resultant de la fusió, Costa i Kahn van trobar que els informes d'Energia a la Llar produeix efectes molt similars per als participants amb diferents ideologies; no hi havia proves que qualsevol grup va exhibir efectes boomerang (Figura 4.8).

Figura 4.8: L'heterogeneïtat dels efectes del tractament en Costa and Kahn (2013) . L'efecte del tractament mitjà estimat per a tota la mostra és de -2,1% [-1,5%, -2,7%]. En combinar la informació de l'experiment amb la informació sobre les llars, Costa and Kahn (2013) van utilitzar una sèrie de models estadístics per estimar l'efecte del tractament per a grups molt específics de persones. Dues estimacions es presenten per a cada grup, perquè les estimacions depenen de les covariables que inclouen en els seus models estadístics (vegeu el model 4 i el model 6 a la Taula 3 i la Taula 4 a la Costa and Kahn (2013) ). Com il·lustra aquest exemple, els efectes del tractament poden ser diferents per a diferents persones i estimacions dels efectes del tractament que provenen de models estadístics pot dependre dels detalls d'aquests models (Grimmer, Messing, and Westwood 2014) .

A mesura que aquests dos exemples il·lustren, en l'era digital, podem passar de l'estimació dels efectes de tractament mitjana per estimar la heterogeneïtat dels efectes del tractament, ja que podem tenir molts més participants i sabem més sobre aquests participants. Aprendre sobre l'heterogeneïtat dels efectes del tractament pot permetre l'orientació d'un tractament en el qual és més eficaç, proporcionar fets que estimulen el desenvolupament de la nova teoria, i proporcionar pistes sobre un possible mecanisme, el tema al qual em referiré ara.