4.4.2 A heterogeneidade dos efeitos do tratamento

As experiências normalmente medem o efeito médio, mas o efeito provavelmente não é o mesmo para todos.

A segunda ideia chave para ir além das experiências simples é a heterogeneidade dos efeitos do tratamento . O experimento de Schultz et al. (2007) ilustra poderosamente como o mesmo tratamento pode ter um efeito diferente em diferentes tipos de pessoas (figura 4.4). Na maioria dos experimentos analógicos, no entanto, os pesquisadores se concentraram nos efeitos médios do tratamento, porque havia um pequeno número de participantes e pouco se sabia sobre eles. Em experimentos digitais, no entanto, muitas vezes há muito mais participantes e mais é conhecido sobre eles. Nesse ambiente de dados diferente, os pesquisadores que continuarem a estimar apenas os efeitos médios do tratamento perderão as maneiras pelas quais as estimativas sobre a heterogeneidade dos efeitos do tratamento podem fornecer pistas sobre como um tratamento funciona, como ele pode ser melhorado e como ele pode ser direcionado para aqueles com maior probabilidade de se beneficiar.

Dois exemplos de heterogeneidade dos efeitos do tratamento vêm de pesquisas adicionais sobre os Relatórios de Energia Doméstica. Primeiro, Allcott (2011) usou o tamanho da amostra grande (600.000 domicílios) para dividir ainda mais a amostra e estimar o efeito do Relatório de Energia Doméstica pelo decil de uso de energia do pré-tratamento. Enquanto Schultz et al. (2007) encontraram diferenças entre usuários pesados ​​e leves, Allcott (2011) descobriu que também havia diferenças dentro do grupo de usuários pesados ​​e leves. Por exemplo, os usuários mais pesados ​​(aqueles no decil superior) reduziram seu uso de energia duas vezes mais do que alguém no meio do grupo de usuários pesados ​​(figura 4.8). Além disso, estimar o efeito pelo comportamento anterior ao tratamento também revelou que não havia efeito de bumerangue, mesmo para os usuários mais leves (figura 4.8).

Figura 4.8: Heterogeneidade dos efeitos do tratamento em Allcott (2011) . A diminuição no uso de energia foi diferente para pessoas em diferentes decis de uso da linha de base. Adaptado de Allcott (2011) , figura 8.

Em um estudo relacionado, Costa and Kahn (2013) especularam que a eficácia do Relatório de Energia Doméstica poderia variar com base na ideologia política de um participante e que o tratamento poderia realmente fazer com que pessoas com certas ideologias aumentassem seu uso de eletricidade. Em outras palavras, eles especularam que o Home Energy Reports poderia estar criando um efeito de bumerangue para alguns tipos de pessoas. Para avaliar essa possibilidade, Costa e Kahn fundiram os dados da Opower com dados adquiridos de um agregador terceirizado que incluía informações como registro de partidos políticos, doações a organizações ambientais e participação de famílias em programas de energia renovável. Com esse conjunto de dados mesclado, Costa e Kahn descobriram que o Home Energy Reports produzia efeitos amplamente semelhantes para participantes com diferentes ideologias; não havia evidência de que qualquer grupo exibisse efeitos de bumerangue (figura 4.9).

Figura 4.9: Heterogeneidade dos efeitos do tratamento em Costa and Kahn (2013) . O efeito médio estimado do tratamento para toda a amostra é de -2,1% [-1,5%, -2,7%]. Depois de combinar informações do experimento com informações sobre os domicílios, Costa and Kahn (2013) usaram uma série de modelos estatísticos para estimar o efeito do tratamento para grupos muito específicos de pessoas. Duas estimativas são apresentadas para cada grupo porque as estimativas dependem das covariáveis ​​que eles incluíram em seus modelos estatísticos (ver modelos 4 e 6 nas tabelas 3 e 4 em Costa and Kahn (2013) ). Como este exemplo ilustra, os efeitos do tratamento podem ser diferentes para pessoas diferentes e as estimativas dos efeitos do tratamento que vêm de modelos estatísticos podem depender dos detalhes desses modelos (Grimmer, Messing, and Westwood 2014) . Adaptado de Costa and Kahn (2013) , tabelas 3 e 4.

Como esses dois exemplos ilustram, na era digital, podemos passar da estimativa dos efeitos médios do tratamento para a estimativa da heterogeneidade dos efeitos do tratamento, porque podemos ter muito mais participantes e sabemos mais sobre esses participantes. Aprender sobre a heterogeneidade dos efeitos do tratamento pode permitir a segmentação de um tratamento onde ele é mais eficaz, fornecer fatos que estimulem o desenvolvimento de novas teorias e fornecer dicas sobre possíveis mecanismos, o tópico para o qual eu agora me volto.