4.4 Indo além experimentos simples
Vamos ir além experimentos simples. Três conceitos são úteis para experiências ricas: validade, a heterogeneidade dos efeitos do tratamento e mecanismo.
Pesquisadores que são novos para experimentos muitas vezes o foco sobre uma questão muito específica, estreito: faz este tratamento "trabalho"? Por exemplo, faz um telefonema de um voluntário encorajar alguém a votar? Será que mudar um botão website do azul para o click-through rate aumento verde? Infelizmente, fraseado solta sobre o que "funciona" obscurece o fato de que os experimentos com foco limitado realmente não dizer se um tratamento "funciona" em um sentido geral. Em vez disso, estreitamente focado experimentos responder a uma pergunta muito mais específico: o que é o efeito médio do tratamento específico com esta implementação específica para esta população de participantes neste momento? Vou ligar para experimentos que incidem sobre esta estreita pergunta experiências simples.
experimentos simples pode fornecer informações valiosas, mas eles não conseguem responder a muitas perguntas que são importantes e interessantes, tais como: existem algumas pessoas para quem o tratamento teve um efeito maior ou menor ?; há outro tratamento que seria mais eficaz ?; e como é que esta experiência se relacionam com as teorias sociais mais amplas?
A fim de mostrar o valor de ultrapassar experiências simples, vamos considerar uma das minhas experiências de campo analógicos favoritos, um estudo realizado por P. Wesley Schultz e colegas sobre a relação entre normas sociais e do consumo de energia (Schultz et al. 2007) . Schultz e colegas pendurado doorhangers em 300 domicílios em San Marcos, Califórnia, e estes doorhangers entregues diferentes mensagens destinadas a fomentar a conservação de energia. Em seguida, Schultz e colaboradores mediram o efeito destas mensagens sobre o consumo de energia eléctrica, tanto após uma semana e três semanas; ver Figura 4.3 para uma descrição mais detalhada do desenho experimental.
Figura 4.3: Esquema do desenho de Schultz et al. (2007) . O experimento de campo envolveu a visita de cerca de 300 famílias em San Marcos, Califórnia cinco vezes ao longo de um período de oito semanas. Em cada visita os pesquisadores levaram manualmente uma leitura do medidor de energia da casa. Em duas das visitas os pesquisadores colocaram doorhangers na casa fornecendo algumas informações sobre seu consumo de energia. A questão de pesquisa foi a forma como o conteúdo dessas mensagens afetaria o uso de energia.
O experimento teve duas condições. Na primeira condição, as famílias receberam dicas de economia de energia geral (por exemplo, o uso de ventiladores em vez de condicionadores de ar) e informações sobre o uso de energia da sua casa em comparação com a média do consumo de energia em sua vizinhança. Schultz e colegas esta chamada de condição normativa descritiva porque as informações sobre o uso de energia em sua vizinhança forneceu informações sobre o comportamento típico (ou seja, uma norma descritiva). Quando Schultz e colegas analisaram o uso de energia, resultando neste grupo, o tratamento parecia ter nenhum efeito, seja a curto prazo ou a longo prazo; em outras palavras, o tratamento não parecem "trabalho" (Figura 4.4).
Mas, felizmente, Schultz et al. (2007) não se contentou com essa análise simplista. Antes do início da experiência que argumentou que os usuários pesados de electricidade da rede de pessoas acima da média-pode reduzir o seu consumo, e que os usuários leves de electricidade da rede de pessoas abaixo da média-pode realmente aumentar o seu consumo. Quando eles analisaram os dados, isso é exatamente o que eles encontraram (Figura 4.4). Assim, o que parecia ser um tratamento que estava tendo nenhum efeito foi realmente um tratamento que teve dois efeitos compensatórios. Os pesquisadores chamaram este aumento contra-produtivo entre os usuários luz um efeito bumerangue.
Figura 4.4: Resultados de Schultz et al. (2007) . O primeiro painel mostra que o tratamento norma descritiva tem um efeito de tratamento estimada média zero. No entanto, o segundo painel mostra que este efeito de tratamento médio é de facto composto por dois efeitos compensatórios. Para usuários pesados, o tratamento diminuiu uso, mas para usuários leves, o tratamento aumento da utilização. Finalmente, o terceiro painel mostra que o segundo tratamento, que utilizou normas explicativas e de injunção, tinha aproximadamente o mesmo efeito sobre os usuários pesados, mas atenuado o efeito boomerang em usuários de luz.
Além disso, Schultz e colegas antecipado essa possibilidade, e na segunda condição que implantou um tratamento um pouco diferente, um explicitamente concebido para eliminar o efeito bumerangue. Os agregados familiares na segunda condição recebeu exatamente as mesmas dicas de economia de energia de tratamento-geral e informações sobre uso de energia de sua casa em relação ao seu bairro, com uma pequena adição: para as pessoas com consumo abaixo da média, os pesquisadores adicionaram a :) e para pessoas com consumo acima da média eles adicionaram um :(. Estes emoticons foram concebidos para desencadear o que os pesquisadores chamaram normas inibitórias. normas Mandados de referir-se a percepção do que é comumente aprovado (e reprovado), enquanto que as normas descritivas referem-se a percepção do que é comumente feito (Reno, Cialdini, and Kallgren 1993) .
Ao adicionar esta pequena emoticon, os pesquisadores reduziram dramaticamente o efeito boomerang (Figura 4.4). Assim, tornando esta uma simples mudança uma mudança que foi motivado por uma teoria abstrata social, psicológica (Cialdini, Kallgren, and Reno 1991) -os pesquisadores foram capazes de transformar um programa de um que não parecem funcionar em um que trabalhou, e, ao mesmo tempo, eles foram capazes de contribuir para a compreensão geral de como as normas sociais afetam o comportamento humano.
Neste ponto, no entanto, você pode notar que alguma coisa é um pouco diferente sobre esta experiência. Em particular, o experimento de Schultz e colegas realmente não tem um grupo de controlo da mesma forma que randomizado controlado experimentos fazer. A comparação entre este projeto e o desenho de Restivo e van de Rijt ilustra as diferenças entre dois desenhos principais utilizados pelos pesquisadores. No entre-assuntos projetos, tais como Restivo e van de Rijt, há um grupo de tratamento e um grupo de controle e, em intra-sujeitos projeta o comportamento dos participantes é comparada antes e após o tratamento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Em um experimento intra-sujeito, é como se cada participante atua como seu próprio grupo controle. A força de entre-sujeitos designs é que ele fornece proteção contra fatores de confusão (como descrito anteriormente), ea força de experiências intra-sujeitos é maior precisão nas estimativas. Quando cada participante atua como seu próprio controle, variação entre participante é eliminado (ver apêndice técnico). Prenunciar um que virá mais tarde quando eu oferecer conselhos sobre a criação de experiências digitais, há um projeto final, chamado de um projeto misto, que combina a precisão melhorada de modelos intra-sujeitos e à protecção contra a confusão de modelos entre sujeitos.
Figura 4.5: Três desenhos experimentais. Padrão experimentos aleatórios controlados usar entre sujeitos designs. Um exemplo de um projeto entre sujeitos é Restivo e da van de Rijt (2012) experimento sobre barnstars e contribuições para a Wikipedia: pesquisadores participantes em grupos de tratamento e controle divididos aleatoriamente, deu aos participantes no grupo de tratamento uma barnstar, e compararam os resultados para os dois grupos. Um segundo tipo de projeto é um projeto intra-sujeitos. Os dois experimentos em Schultz e colega de (2007) estudo sobre as normas sociais e uso de energia ilustram um design intra-sujeitos: os pesquisadores compararam o uso de eletricidade dos participantes antes e depois de receber o tratamento. Intra-sujeitos modelos oferecem uma melhor precisão estatística, eliminando entre variância assunto (ver apêndice técnico), mas eles estão abertos a possíveis fatores de confusão (por exemplo, mudanças no tempo entre o período de pré-tratamento e tratamento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Intra-sujeitos desenhos também são medidas às vezes chamado repetidas desenhos. Finalmente, projetos mistos combinar a melhoria da precisão dos assuntos dentro-designs e à protecção contra a confusão de modelos entre sujeitos. Em um projeto misto, um pesquisador compara a variação nos resultados para as pessoas nos grupos de tratamento e controle. Quando os pesquisadores já têm informações de pré-tratamento, como é o caso em muitos experimentos digitais, projetos mistos são preferíveis a entre-assuntos projetos por causa de ganhos de precisão (ver apêndice técnico).
No geral, o design e os resultados de Schultz et al. (2007) mostram o valor de ultrapassar experiências simples. Felizmente, você não precisa ser um gênio para criar experiências como esta. Os cientistas sociais desenvolveram três conceitos que irão guiá-lo em direção a mais rica e experiências criativas: 1) validade, 2) heterogeneidade dos efeitos do tratamento, e 3) mecanismos. Ou seja, se você mantiver essas três idéias em mente enquanto você está projetando sua experiência, você naturalmente irá criar experiências mais interessantes e úteis. Para ilustrar estes três conceitos em ação, vou descrever uma série de follow-up experimentos de campo parcialmente digitais que construíram sobre o design elegante e resultados animadores em Schultz et al. (2007) . Como você vai ver, através de um design mais cuidado, implementação, análise e interpretação, você também pode ir além de experiências simples.
