4.4.2 A heterogeneidade dos efeitos do tratamento

Experimentos normalmente medir o efeito da média, mas o efeito pode ser diferente para pessoas diferentes.

A segunda ideia-chave para ir além de experiências simples é a heterogeneidade dos efeitos do tratamento. O experimento de Schultz et al. (2007) poderosamente ilustra como o mesmo tratamento pode ter efeitos diferentes em diferentes tipos de pessoas (Figura 4.4), mas esta análise da heterogeneidade é bastante incomum para um experimento era analógica. A maioria dos experimentos era analógica envolvem um pequeno número de participantes que são tratados como "widgets" intercambiáveis ​​porque pouco sobre eles é conhecido pré-tratamento. Em experiências digitais, no entanto, essas restrições de dados são menos comuns porque os pesquisadores tendem a ter mais participantes e saber mais sobre eles. Neste ambiente de dados diferente, podemos estimar a heterogeneidade dos efeitos do tratamento, a fim de fornecer pistas sobre como o tratamento funciona, como ela pode ser melhorada, e como ele pode ser direcionados para aqueles mais provável para se beneficiar.

Dois exemplos de heterogeneidade dos efeitos do tratamento no contexto das normas sociais e uso de energia vêm de pesquisas adicionais sobre a Home Energy Reports. Em primeiro lugar, Allcott (2011) usou o tamanho da amostra grande (600.000 domicílios) para dividir ainda mais a amostra e estimar o efeito do Relatório de Energia Home por decil de uso de energia pré-tratamento. Enquanto Schultz et al. (2007) encontraram diferenças entre os usuários pesados ​​e leves, Allcott (2011) descobriram que havia também diferenças dentro do grupo de usuários pesados ​​e leves. Por exemplo, os usuários mais pesados ​​(aqueles no decil superior) reduziu seu consumo de energia duas vezes mais que alguém no meio do grupo de usuários pesada (Figura 4.7). Além disso, a estimativa do efeito pelo comportamento de pré-tratamento também revelou que não havia um efeito boomerang mesmo para os utilizadores mais leves (Figura 4.7).

Figura 4.7: A heterogeneidade dos efeitos do tratamento em Allcott (2011) . A redução no consumo de energia foi diferente para as pessoas em diferentes decis de uso de linha de base.

Em um estudo relacionado, Costa and Kahn (2013) especularam que a eficácia do Relatório de Energia Início poderia variar de acordo com a ideologia política de um participante e que o tratamento pode realmente causar pessoas com certas ideologias a aumentar o uso de energia elétrica. Em outras palavras, eles especularam que a casa Relatórios de energia pode estar criando um efeito bumerangue para alguns tipos de pessoas. Para avaliar esta possibilidade, Costa e Kahn fundiu os dados Opower com dados adquiridos a partir de um agregador de terceiros que incluiu informações como o registo dos partidos políticos, as doações para organizações de ambiente, e participação das famílias em programas de energia renovável. Com este conjunto de dados resultante da fusão, Costa e Kahn descobriu que as Inicio Relatos de Energia produziu efeitos muito semelhantes para os participantes com diferentes ideologias; não havia nenhuma evidência que qualquer grupo exibiu efeitos bumerangue (Figura 4.8).

Figura 4.8: A heterogeneidade dos efeitos do tratamento em Costa and Kahn (2013) . O efeito do tratamento médio estimado para a totalidade da amostra é -2,1% [-1,5%, -2,7%]. Ao combinar informações do experimento com informações sobre as famílias, Costa and Kahn (2013) usou uma série de modelos estatísticos para estimar o efeito do tratamento para grupos muito específicos de pessoas. Duas estimativas são apresentados para cada grupo porque as estimativas dependem das co-variáveis ​​que incluíram em seus modelos estatísticos (ver modelo 4 e modelo 6 na Tabela 3 e Tabela 4 em Costa and Kahn (2013) ). Como este exemplo ilustra, os efeitos do tratamento podem ser diferentes para pessoas diferentes e as estimativas dos efeitos dos tratamentos que vêm de modelos estatísticos pode depender dos detalhes desses modelos (Grimmer, Messing, and Westwood 2014) .

Como estes dois exemplos ilustram, na era digital, podemos passar de estimar efeitos médios de tratamento para estimar a heterogeneidade dos efeitos do tratamento porque podemos ter muitos mais participantes e sabemos mais sobre esses participantes. Aprender sobre a heterogeneidade dos efeitos do tratamento pode permitir a segmentação de um tratamento onde é mais eficaz, fornecer fatos que estimulam o desenvolvimento de novos teoria, e fornecer pistas sobre um possível mecanismo, o tema para o qual eu voltar agora.