4.2 Quais são as experiências?

Experimentos controlados e randomizados têm quatro ingredientes principais: recrutamento de participantes, randomização do tratamento, a entrega do tratamento, e mensuração de resultados.

experiências controladas randomizados podem assumir muitas formas e podem ser usadas para estudar muitos tipos de comportamento. Mas, em seu núcleo, experimentos controlados e randomizados têm quatro ingredientes principais: recrutamento de participantes, randomização do tratamento, a entrega do tratamento, e mensuração de resultados. A era digital não altera a natureza fundamental da experimentação, mas não torná-los mais fácil logisticamente. Por exemplo, no passado, poderia ter sido difícil medir o comportamento de milhões de pessoas, mas que é agora rotineiramente acontecendo em muitos sistemas digitais. Pesquisadores que pode descobrir como aproveitar estas novas oportunidades será capaz de executar experimentos que eram impossíveis anteriormente.

Para tornar isto um pouco tudo mais concreto, tanto o que tem permanecido o mesmo eo que mudou-vamos considerar Michael Restivo e Arnout van de Rijt de (2012) . Os pesquisadores queriam entender o efeito das recompensas pares informais sobre contribuições editoriais para Wikipedia. Em particular, eles estudaram os efeitos da barnstars, um prêmio que qualquer wikipedista pode dar a qualquer outro wikipedista de reconhecer o trabalho duro e diligência. Restivo e van de Rijt deu barnstars a 100 Wikipedians merecedores. Então, Restivo e van de Rijt rastreados contribuições subsequentes dos beneficiários em Wikipedia ao longo dos próximos 90 dias. Para sua surpresa, as pessoas a quem eles atribuídos barnstars tendem a fazer menos edições depois de receber um. Em outras palavras, os barnstars parecia estar desencorajando ao invés de incentivar a contribuição.

Felizmente, Restivo e van de Rijt não estavam realizando uma experiência "perturbar e observar"; eles estavam correndo um experimento controlado randomizado. Assim, além de escolher 100 maiores contribuintes para receber uma barnstar, eles também escolheu 100 principais contribuintes para os quais eles não dão uma barnstar. Estes cem serviram como grupo de controle, e que tem um barnstar e que não foi determinada aleatoriamente. Quando Restivo e van de Rijt olhou para o grupo de controle que eles descobriram que ela tinha uma queda acentuada nas contribuições também. Finalmente, quando os pesquisadores compararam as pessoas no grupo de tratamento (ou seja, recebeu barnstars) e pessoas no grupo controle, eles descobriram que o barnstar causada editores para contribuir com cerca de 60% mais. Mas, este aumento da contribuição estava ocorrendo como parte de um declínio geral em ambos os grupos.

Como este estudo ilustra, o grupo de controlo em experiências é crítica de forma que é um pouco paradoxal. A fim de medir com precisão o efeito de barnstars, Restivo e van der Rijt necessária para observar as pessoas que não receberam barnstars. Muitas vezes os pesquisadores que não estão familiarizados com os experimentos não conseguem apreciar o incrível valor do grupo de controle. Se Restivo e van de Rijt não tinha um grupo de controlo, teriam atraído exatamente a conclusão errada. Grupos de controle são tão importantes que o CEO de uma grande empresa casino disse que existem apenas três maneiras que os funcionários podem ser disparados de sua companhia: roubo, assédio sexual, e executando um experimento sem um grupo de controle (Schrage 2011) .

O estudo de Restivo e van de Rijt ilustra as quatro principais ingredientes de um experimento: recrutamento, aleatorização, intervenção e resultados. Juntos, estes quatro ingredientes permitirá aos cientistas para ir além correlações e medir o efeito causal de tratamentos. Especificamente, randomização significa que quando você comparar os resultados para os grupos de tratamento e controle que você obter uma estimativa do efeito causal de que a intervenção para esse conjunto de participantes. Em outras palavras, com um experimento controlado randomizado você pode ter certeza que quaisquer diferenças nos resultados são causados ​​pela intervenção e não um fator de confusão, uma reivindicação que eu faço preciso no Apêndice Técnico usando a estrutura de potenciais resultados.

Além de ser uma ilustração agradável de a mecânica de experiências, o estudo de Restivo e van de Rijt também mostra que a logística de experiências digitais podem ser completamente diferente a partir de experimentos analógicos. Em Restivo e experiência de van de Rijt, foi fácil para dar o barnstar para qualquer pessoa no mundo e foi fácil de controlar o resultado-número de edições-durante um período prolongado de tempo (porque a história de edição é automaticamente gravada pela Wikipedia). Esta capacidade de fornecer tratamentos e medir os resultados, sem nenhum custo é qualitativamente diferente de experiências no passado. Embora este experimento envolveu 200 pessoas, poderia ter sido executado com 2.000 ou 20.000 pessoas. A principal coisa que impede os pesquisadores de ampliação de seu experimento por um fator de 100 não foi custar, era ética. Ou seja, Restivo e van de Rijt não queria dar barnstars aos editores indignos e eles não querem que sua experiência para perturbar a comunidade Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Assim, embora o experimento de Restivo e van de Rijt é relativamente simples, ele mostra claramente que algumas coisas sobre as experiências têm permaneceu o mesmo e alguns mudaram. Em particular, a lógica de base de experimentação é a mesma, mas a logística mudaram. Em seguida, a fim de isolar mais claramente as oportunidades criadas por essa mudança, eu vou comparar as experiências que os pesquisadores podem fazer agora para os tipos de experiências que têm sido feitos no passado.