4.4 Indo além experimentos simples

Vamos além de experiências simples. Três conceitos são úteis para experimentos ricos: validade, heterogeneidade dos efeitos do tratamento e mecanismos.

Pesquisadores que são novos em experimentos geralmente focam em uma questão muito específica e estreita: este tratamento “funciona”? Por exemplo, um telefonema de um voluntário incentiva alguém a votar? A mudança de um botão de website de azul para verde aumenta a taxa de cliques? Infelizmente, frases soltas sobre o que “funciona” obscurecem o fato de que experimentos de foco estreito não lhe dizem realmente se um tratamento “funciona” em um sentido geral. Em vez disso, experimentos com foco estreito respondem a uma pergunta muito mais específica: qual é o efeito médio desse tratamento específico com essa implementação específica para essa população de participantes neste momento? Vou chamar experimentos que se concentram nessa questão simples de experimentos simples .

Experimentos simples podem fornecer informações valiosas, mas eles não conseguem responder a muitas perguntas que são importantes e interessantes, como se há pessoas para quem o tratamento teve um efeito maior ou menor; se há outro tratamento que seria mais eficaz; e se esta experiência se relaciona com teorias sociais mais amplas.

A fim de mostrar o valor de ir além de experimentos simples, vamos considerar um experimento de campo analógico por P. Wesley Schultz e colegas sobre a relação entre normas sociais e consumo de energia (Schultz et al. 2007) . Schultz e seus colegas penduraram portas em 300 residências em San Marcos, na Califórnia, e essas pessoas entregaram mensagens diferentes para incentivar a conservação de energia. Em seguida, Schultz e colegas mediram o efeito dessas mensagens no consumo de eletricidade, tanto depois de uma semana quanto depois de três semanas; veja a figura 4.3 para uma descrição mais detalhada do desenho experimental.

Figura 4.3: Esquema do desenho experimental de Schultz et al. (2007) . O experimento de campo envolveu visitar cerca de 300 residências em San Marcos, Califórnia, cinco vezes ao longo de um período de oito semanas. Em cada visita, os pesquisadores liam manualmente o medidor de energia da casa. Em duas das visitas, eles colocaram portas em cada casa fornecendo algumas informações sobre o uso de energia da casa. A questão de pesquisa era como o conteúdo dessas mensagens impactaria o uso de energia.

O experimento teve duas condições. No primeiro, os domicílios recebiam dicas gerais sobre economia de energia (por exemplo, uso de ventiladores em vez de condicionadores de ar) e informações sobre seu uso de energia em comparação com o uso médio de energia em sua vizinhança. Schultz e seus colegas chamaram isso de condição normativa descritiva porque as informações sobre o uso de energia na vizinhança forneciam informações sobre o comportamento típico (isto é, uma norma descritiva). Quando Schultz e seus colegas analisaram o uso de energia resultante nesse grupo, o tratamento pareceu não ter efeito, nem a curto nem a longo prazo; em outras palavras, o tratamento não parecia “funcionar” (figura 4.4).

Felizmente, Schultz e seus colegas não aceitaram essa análise simplista. Antes do início do experimento, eles concluíram que usuários pesados ​​de eletricidade - pessoas acima da média - poderiam reduzir seu consumo e que usuários leves de eletricidade - pessoas abaixo da média - poderiam realmente aumentar seu consumo. Quando eles olharam os dados, foi exatamente o que encontraram (figura 4.4). Assim, o que parecia ser um tratamento que não estava tendo efeito, era na verdade um tratamento que tinha dois efeitos de compensação. Esse aumento contraproducente entre os usuários leves é um exemplo de um efeito bumerangue , em que um tratamento pode ter o efeito oposto ao pretendido.

Figura 4.4: Resultados de Schultz et al. (2007) . O painel (a) mostra que o tratamento da norma descritiva tem um efeito de tratamento médio zero estimado. No entanto, o painel (b) mostra que este efeito médio do tratamento é, na verdade, composto por dois efeitos de compensação. Para usuários pesados, o tratamento diminuiu o uso, mas para usuários leves, o tratamento aumentou o uso. Finalmente, o painel (c) mostra que o segundo tratamento, que usou normas descritivas e cautelares, teve aproximadamente o mesmo efeito em usuários pesados, mas mitigou o efeito bumerangue sobre os usuários leves. Adaptado de Schultz et al. (2007) .

Simultaneamente à primeira condição, Schultz e colegas também correram uma segunda condição. As famílias na segunda condição receberam exatamente o mesmo tratamento - dicas gerais sobre economia de energia e informações sobre o uso de energia de seus domicílios em comparação com a média de sua vizinhança - com uma pequena adição: para pessoas com consumo abaixo da média, os pesquisadores acrescentaram: ) e para pessoas com consumo acima da média eles adicionaram um :(. Estes emoticons foram projetados para acionar o que os pesquisadores chamaram de normas injuntivas . Normas indicativas referem-se a percepções do que é comumente aprovado (e desaprovado), enquanto as normas descritivas referem-se a percepções de o que é comumente feito (Reno, Cialdini, and Kallgren 1993) .

Ao adicionar esse minúsculo emoticon, os pesquisadores reduziram drasticamente o efeito bumerangue (figura 4.4). Assim, ao fazer essa mudança simples - uma mudança motivada por uma teoria psicológica social abstrata (Cialdini, Kallgren, and Reno 1991) - os pesquisadores conseguiram transformar um programa que não parecia funcionar em um que funcionasse, e, simultaneamente, foram capazes de contribuir para a compreensão geral de como as normas sociais afetam o comportamento humano.

Neste ponto, no entanto, você pode perceber que algo é um pouco diferente sobre esse experimento. Em particular, o experimento de Schultz e colegas não tem realmente um grupo de controle da mesma forma que experimentos controlados randomizados fazem. Uma comparação entre este projeto e o de Restivo e van de Rijt ilustra as diferenças entre dois projetos experimentais principais. Nos desenhos entre os sujeitos , como o de Restivo e van de Rijt, há um grupo de tratamento e um grupo de controle. Nos desenhos intra-sujeitos , por outro lado, o comportamento dos participantes é comparado antes e depois do tratamento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Em um experimento dentro do assunto, é como se cada participante atuasse como seu próprio grupo de controle. A força dos projetos entre os sujeitos é que eles fornecem proteção contra confundidores (como descrevi anteriormente), enquanto a força dos experimentos dentro dos sujeitos é maior precisão das estimativas. Finalmente, para prefigurar uma ideia que virá mais tarde quando eu oferecer conselhos sobre o design de experimentos digitais, um design misturado combina a precisão aprimorada de projetos dentro de indivíduos e a proteção contra confundimento de projetos entre sujeitos (figura 4.5).

Figura 4.5: Três desenhos experimentais. Experimentos controlados randomizados padrão usam desenhos entre os sujeitos . Um exemplo de desenho entre sujeitos é o experimento de Restivo e van de Rijt (2012) sobre barnstars e contribuições para a Wikipedia: os pesquisadores dividiram os participantes aleatoriamente em grupos de tratamento e controle, deram aos participantes do grupo de tratamento um barnstar e compararam os resultados para o grupo de tratamento. dois grupos. O segundo tipo de design é um projeto dentro de assuntos . As duas experiências no estudo de Schultz e colegas (2007) sobre normas sociais e uso de energia ilustram um desenho dentro dos sujeitos: os pesquisadores compararam o uso de eletricidade dos participantes antes e depois de receber o tratamento. Projetos dentro de indivíduos oferecem melhor precisão estatística, mas estão abertos a possíveis fatores de confusão (por exemplo, mudanças no clima entre os períodos de pré-tratamento e tratamento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Os projetos dentro de indivíduos também são chamados de projetos de medidas repetidas. Finalmente, os projetos mistos combinam a precisão aprimorada dos projetos dentro dos objetos e a proteção contra confundimento dos projetos entre os objetos. Em um projeto misto, um pesquisador compara a mudança nos resultados para as pessoas nos grupos de tratamento e controle. Quando os pesquisadores já têm informações pré-tratamento, como é o caso em muitos experimentos digitais, os projetos mistos geralmente são preferíveis aos projetos entre os sujeitos, porque resultam em uma precisão aprimorada das estimativas.

No geral, o projeto e os resultados do estudo de Schultz e colegas (2007) mostram o valor de ir além de experimentos simples. Felizmente, você não precisa ser um gênio criativo para projetar experimentos como este. Os cientistas sociais desenvolveram três conceitos que irão guiá-lo em direção a experimentos mais ricos: (1) validade, (2) heterogeneidade dos efeitos do tratamento e (3) mecanismos. Ou seja, se você mantiver essas três ideias em mente enquanto estiver projetando sua experiência, naturalmente criará uma experiência mais interessante e útil. A fim de ilustrar esses três conceitos em ação, descreverei uma série de experimentos de campo parcialmente digitais que se basearam no design elegante e nos resultados empolgantes de Schultz e colegas (2007) . Como você verá, através de um design mais cuidadoso, implementação, análise e interpretação, você também pode ir além de simples experimentos.