4.1 Introdução
Nas abordagens abordadas até agora neste livro - observando o comportamento (capítulo 2) e fazendo perguntas (capítulo 3) - os pesquisadores coletam dados sem mudar intencional e sistematicamente o mundo. A abordagem abordada neste capítulo - execução de experimentos - é fundamentalmente diferente. Quando os pesquisadores realizam experimentos, eles sistematicamente intervêm no mundo para criar dados que são idealmente adequados para responder a perguntas sobre relações de causa e efeito.
As questões de causa e efeito são muito comuns na pesquisa social, e exemplos incluem perguntas como: Aumentar os salários dos professores aumenta a aprendizagem dos alunos? Qual é o efeito do salário mínimo sobre as taxas de emprego? Como a carreira de um candidato a emprego afeta sua chance de conseguir um emprego? Além dessas questões explicitamente causais, às vezes, questões de causa e efeito estão implícitas em questões mais gerais sobre a maximização de alguma métrica de desempenho. Por exemplo, a pergunta “Que cor deve ser o botão doar no site de uma ONG?” É, na verdade, muitas perguntas sobre o efeito das diferentes cores dos botões nas doações.
Uma maneira de responder a perguntas de causa e efeito é procurar padrões nos dados existentes. Por exemplo, retornando à pergunta sobre o efeito dos salários dos professores na aprendizagem dos alunos, você pode calcular que os alunos aprendem mais nas escolas que oferecem altos salários aos professores. Mas essa correlação mostra que salários mais altos fazem com que os alunos aprendam mais? Claro que não. Escolas onde os professores ganham mais podem ser diferentes em muitos aspectos. Por exemplo, estudantes em escolas com altos salários de professores podem vir de famílias mais ricas. Assim, o que parece ser um efeito de professores pode vir da comparação de diferentes tipos de alunos. Essas diferenças não estimadas entre os alunos são chamadas de fatores de confusão e, em geral, a possibilidade de fatores de confusão prejudica a capacidade dos pesquisadores de responder às questões de causa e efeito, procurando padrões nos dados existentes.
Uma solução para o problema dos fatores de confusão é tentar fazer comparações justas ajustando as diferenças observáveis entre os grupos. Por exemplo, você pode fazer o download de dados de impostos sobre a propriedade de vários sites do governo. Então, você pode comparar o desempenho dos alunos em escolas onde os preços das casas são semelhantes, mas os salários dos professores são diferentes, e você ainda pode descobrir que os alunos aprendem mais nas escolas com salários mais altos. Mas ainda há muitos possíveis fatores de confusão. Talvez os pais desses alunos diferem em seu nível de educação. Ou talvez as escolas diferem em sua proximidade com as bibliotecas públicas. Ou talvez as escolas com maior remuneração de professores também tenham salários mais altos para diretores, e o salário principal, não o pagamento de professores, é realmente o que está aumentando o aprendizado dos alunos. Você poderia tentar medir e ajustar esses fatores também, mas a lista de possíveis fatores de confusão é essencialmente interminável. Em muitas situações, você simplesmente não pode medir e ajustar para todos os possíveis confundidores. Em resposta a esse desafio, os pesquisadores desenvolveram várias técnicas para fazer estimativas causais a partir de dados não experimentais - discuti algumas delas no capítulo 2 - mas, para certos tipos de perguntas, essas técnicas são limitadas, e os experimentos oferecem uma promessa promissora. alternativa.
As experiências permitem aos pesquisadores ir além das correlações nos dados que ocorrem naturalmente para responder de forma confiável a certas questões de causa e efeito. Na era analógica, os experimentos eram muitas vezes logisticamente difíceis e caros. Agora, na era digital, as restrições logísticas estão gradualmente desaparecendo. Não é apenas mais fácil fazer experimentos como os feitos no passado, agora é possível executar novos tipos de experimentos.
No que escrevi até agora, tenho estado um pouco solto na minha língua, mas é importante distinguir entre duas coisas: experimentos e experimentos controlados aleatórios. Em um experimento , um pesquisador intervém no mundo e depois mede um resultado. Eu ouvi essa abordagem descrita como "perturbar e observar". Em um experimento controlado randomizado, um pesquisador intervém para algumas pessoas e não para outras, e o pesquisador decide quais pessoas recebem a intervenção por randomização (por exemplo, jogando uma moeda). Experimentos controlados e randomizados criam comparações justas entre dois grupos: um que recebeu a intervenção e outro que não recebeu. Em outras palavras, experimentos controlados e randomizados são uma solução para os problemas de fatores de confusão. Os experimentos com perturbação e observação, entretanto, envolvem apenas um único grupo que recebeu a intervenção e, portanto, os resultados podem levar os pesquisadores à conclusão errada (como mostrarei em breve). Apesar das diferenças importantes entre os experimentos e os experimentos controlados e randomizados, os pesquisadores sociais geralmente usam esses termos de forma intercambiável. Eu seguirei essa convenção, mas, em alguns pontos, quebrarei a convenção para enfatizar o valor de experimentos controlados aleatórios sobre experimentos sem randomização e um grupo de controle.
Experimentos controlados e randomizados provaram ser uma forma poderosa de aprender sobre o mundo social e, neste capítulo, mostrarei mais sobre como usá-los em sua pesquisa. Na seção 4.2, ilustrarei a lógica básica da experimentação com um exemplo de um experimento na Wikipedia. Em seguida, na seção 4.3, descreverei a diferença entre experimentos de laboratório e experimentos de campo e as diferenças entre experimentos analógicos e experimentos digitais. Além disso, argumentarei que os experimentos de campo digital podem oferecer os melhores recursos de experimentos analógicos de laboratório (controle rígido) e experimentos de campo analógicos (realismo), todos em uma escala que não era possível anteriormente. Em seguida, na seção 4.4, descreverei três conceitos - validade, heterogeneidade de efeitos de tratamento e mecanismos - que são críticos para o planejamento de experimentos ricos. Com esse pano de fundo, descreverei os trade-offs envolvidos nas duas principais estratégias para conduzir experimentos digitais: fazer você mesmo ou fazer parceria com os poderosos. Finalmente, concluirei com alguns conselhos de design sobre como você pode tirar proveito do poder real dos experimentos digitais (seção 4.6.1) e descrever algumas das responsabilidades que acompanham esse poder (seção 4.6.2).
