4.1 Introdução

Nas abordagens cobertas até agora neste comportamento de observação livro (Capítulo 2) e fazendo perguntas (Capítulo 3) -researchers coletar dados sobre o que está ocorrendo naturalmente no mundo. A abordagem abordados neste duração capítulo experimentos é fundamentalmente diferente. Quando os pesquisadores executar experimentos, eles sistematicamente intervir no mundo para criar dados que são ideais para responder a perguntas sobre as relações de causa e efeito.

Causa e efeito perguntas são muito comuns na pesquisa social, e os exemplos inclui perguntas como faz aumentar os salários dos professores aumentar a aprendizagem do aluno? Qual é o efeito do salário mínimo sobre as taxas de emprego? Como é que a raça do candidato efetuar sua chance de conseguir um emprego? Além dessas questões explicitamente causais, por vezes, causar-efeito perguntas estão implícitos nas questões mais gerais sobre a maximização de alguma métrica de desempenho. Por exemplo, a pergunta "O botão de cor irá maximizar as doações em um site website ONG?" É realmente um monte de perguntas sobre o efeito de diferentes cores dos botões de doações.

Uma maneira de responder a perguntas de causa-e-efeito é procurar padrões nos dados existentes. Por exemplo, usando dados de milhares de escolas, você pode calcular o que os alunos aprendem mais em escolas que oferecem altos salários de professores. Mas, se essa correlação mostram que salários mais elevados provocar os alunos a aprender mais? Claro que não. Escolas onde os professores ganham mais pode ser diferente de muitas maneiras. Por exemplo, os alunos em escolas com altos salários de professores poderia vir de famílias mais abastadas. Assim, o que parece ser um efeito de professores só poderia vir de comparar diferentes tipos de alunos. Estas diferenças não avaliadas entre os alunos são chamados fatores de confusão e, em geral, a possibilidade de fatores de confusão atrapalha a pesquisadores capacidade de responder a perguntas de causa-e-efeito, procurando por padrões nos dados existentes.

Uma solução para o problema da confusão é tentar fazer comparações justas, ajustando para diferenças observáveis ​​entre os grupos. Por exemplo, você pode ser capaz de fazer download de dados imposto sobre a propriedade de um número de sites do governo. Em seguida, você pode comparar o desempenho dos alunos nas escolas onde os preços das casas são semelhantes, mas os salários dos professores são diferentes, e você ainda pode achar que os alunos aprendem mais nas escolas com maior remuneração dos professores. Mas, ainda existem muitos fatores de confusão possíveis. Talvez os pais destes estudantes diferem em seu nível de educação ou talvez as escolas diferem na sua proximidade com as bibliotecas públicas ou talvez as escolas com maior remuneração dos professores também têm maior remuneração para diretores e pagar o principal, não remuneração dos professores, é realmente o que está a aumentar aprendizagem dos alunos. Você poderia tentar medir esses outros fatores também, mas a lista de possíveis fatores de confusão é essencialmente infinitas. Em muitas situações, você simplesmente não pode medir e ajustar para todos os possíveis fatores de confusão. Esta abordagem só pode levá-lo até agora.

A melhor solução para o problema da confusão está a executar experimentos. Experimentos permitir aos investigadores de ir além das correlações em que ocorre naturalmente de dados, a fim de responder de forma confiável questão de causa e efeito. Na era analógica, as experiências foram frequentemente logisticamente difícil e caro. Agora, na era digital, restrições logísticas estão gradualmente desaparecendo. Não só é mais fácil de fazer experimentos como esses pesquisadores têm feito no passado, agora é possível executar novos tipos de experiências.

Em o que eu escrevi até agora eu tenho sido um pouco solto na minha língua, mas é importante distinguir entre duas coisas: experiências e experimentos aleatórios controlados. Em um experimento um pesquisador intervém no mundo e, em seguida, mede um resultado. Eu já ouvi essa abordagem descrita como "perturbar e observar." Esta estratégia é muito eficaz nas ciências naturais, mas em ciências médicas e sociais, há uma outra abordagem que funciona melhor. Em um experimento controlado randomizado pesquisador intervém para algumas pessoas e não para os outros, e, criticamente, o pesquisador decide quais as pessoas recebem a intervenção de forma aleatória (por exemplo, jogar uma moeda). Este procedimento garante que os experimentos controlados e randomizados criar comparações justas entre dois grupos: um que recebeu a intervenção e um que não tem. Em outras palavras, os experimentos aleatórios controlados são uma solução para os problemas de fatores de confusão. Apesar das diferenças importantes entre experiências e experimentos aleatórios controlados, os pesquisadores sociais muitas vezes usam esses termos como sinônimos. Vou seguir essa convenção, mas, em certos pontos, eu vou quebrar a convenção para enfatizar o valor de experimentos aleatórios controlados sobre experimentos sem randomização e um grupo controle.

experimentos controlados e randomizados provaram ser uma poderosa forma de aprender sobre o mundo social, e neste capítulo, eu vou te ensinar mais sobre como usá-los na sua investigação. Na Seção 4.2, vou ilustrar a lógica básica de experimentação com um exemplo de um experimento sobre Wikipedia. Em seguida, na Seção 4.3, vou descrever a diferença entre experiências de laboratório e experimentos de campo e as diferenças entre experimentos analógicos e experiências digitais. Além disso, eu vou argumentar que experimentos de campo digitais podem oferecer as melhores características dos experimentos de laboratório analógicos (controlo apertado) e experimentos de campo analógico (realismo), todos em uma escala que não era possível anteriormente. Em seguida, na Seção 4.4, vou descrever três conceitos-validade, a heterogeneidade dos efeitos do tratamento, e os mecanismos de que são fundamentais para a criação de experiências ricas. Com esse pano de fundo, vou descrever os trade-offs envolvidos nas duas estratégias principais para a realização de experiências digitais: fazê-lo sozinho (Seção 4.5.1) ou em parceria com o poderoso (Seção 4.5.2). Finalmente, eu vou concluir com alguns conselhos de design sobre como você pode aproveitar o poder real de experiências digitais (ponto 4.6.1) e descrever algumas das responsabilidade que vem com esse poder (4.6.2). O capítulo será apresentado com um mínimo de notação matemática e linguagem formal; os leitores interessados ​​em uma abordagem mais formal, matemática para experiências deveriam também ler no apêndice técnico no final do capítulo.