4.2 Quais são as experiências?

Experimentos controlados e randomizados têm quatro ingredientes principais: recrutamento de participantes, randomização do tratamento, a entrega do tratamento, e mensuração de resultados.

Experimentos controlados randomizados têm quatro ingredientes principais: recrutamento de participantes, randomização do tratamento, entrega do tratamento e medição dos resultados. A era digital não muda a natureza fundamental da experimentação, mas facilita logisticamente. Por exemplo, no passado, poderia ter sido difícil medir o comportamento de milhões de pessoas, mas isso está acontecendo rotineiramente em muitos sistemas digitais. Pesquisadores que descobrirem como aproveitar essas novas oportunidades poderão realizar experimentos que antes eram impossíveis.

Para tornar tudo isso um pouco mais concreto - tanto o que permaneceu o mesmo quanto o que mudou - vamos considerar um experimento de Michael Restivo e Arnout van de Rijt (2012) . Eles queriam entender o efeito das recompensas informais entre as contribuições editoriais para a Wikipedia. Em particular, eles estudaram os efeitos das barnstars , um prêmio que qualquer Wikipediano pode dar a qualquer outro wikipedista para reconhecer o trabalho duro e a devida diligência. Restivo e van de Rijt deram aos celestes 100 merecedores de wikipedistas. Em seguida, eles rastrearam as contribuições subsequentes dos destinatários para a Wikipédia nos próximos 90 dias. Para sua surpresa, as pessoas a quem eles premiam os barnstars tendem a fazer menos edições depois de receber uma. Em outras palavras, as barnstars pareciam estar desencorajando ao invés de incentivar a contribuição.

Felizmente, Restivo e van de Rijt não estavam executando um experimento de “perturbar e observar”; eles estavam executando um experimento controlado randomizado. Então, além de escolher os 100 principais contribuidores para receber um barnstar, eles também escolheram 100 dos principais contribuintes para os quais não deram um. Esses 100 serviram como um grupo de controle. E, criticamente, quem estava no grupo de tratamento e quem estava no grupo de controle foi determinado aleatoriamente.

Quando Restivo e van de Rijt analisaram o comportamento das pessoas no grupo de controle, descobriram que suas contribuições também estavam diminuindo. Além disso, quando Restivo e van de Rijt compararam as pessoas no grupo de tratamento (isto é, as barnstars recebidas) com as pessoas do grupo de controle, eles descobriram que as pessoas no grupo de tratamento contribuíram com cerca de 60% a mais. Em outras palavras, as contribuições de ambos os grupos estavam diminuindo, mas as do grupo de controle estavam indo muito mais rápido.

Como este estudo ilustra, o grupo de controle em experimentos é crítico de uma maneira que é um tanto paradoxal. Para medir com precisão o efeito das barnstars, Restivo e van de Rijt precisavam observar pessoas que não recebiam barnstars. Muitas vezes, os pesquisadores que não estão familiarizados com experimentos não conseguem apreciar o incrível valor do grupo de controle. Se Restivo e van de Rijt não tivessem um grupo de controle, eles teriam tirado exatamente a conclusão errada. Os grupos de controle são tão importantes que o CEO de uma grande empresa de cassino disse que há apenas três maneiras de demitir funcionários de sua empresa: roubo, assédio sexual ou execução de um experimento sem grupo de controle (Schrage 2011) .

O estudo de Restivo e van de Rijt ilustra os quatro principais ingredientes de um experimento: recrutamento, randomização, intervenção e resultados. Juntos, esses quatro ingredientes permitem aos cientistas ir além das correlações e medir o efeito causal dos tratamentos. Especificamente, a randomização significa que as pessoas nos grupos de tratamento e controle serão semelhantes. Isso é importante porque significa que qualquer diferença nos resultados entre os dois grupos pode ser atribuída ao tratamento e não ao fator de confusão.

Além de ser uma boa ilustração da mecânica dos experimentos, o estudo de Restivo e van de Rijt também mostra que a logística de experimentos digitais pode ser completamente diferente daquelas de experimentos analógicos. No experimento de Restivo e van de Rijt, foi fácil dar o barnstar a qualquer um, e foi fácil acompanhar o resultado - número de edições - durante um longo período de tempo (porque o histórico de edição é automaticamente gravado pela Wikipedia). Essa capacidade de fornecer tratamentos e medir resultados sem custo é qualitativamente diferente de experimentos no passado. Embora esse experimento envolvesse 200 pessoas, ele poderia ter sido executado com 2.000 ou até 20.000 pessoas. A principal coisa que impedia os pesquisadores de ampliar o experimento por um fator de 100 não era o custo; foi a ética. Ou seja, Restivo e van de Rijt não queriam dar estandartes para editores indignos, e eles não queriam que sua experiência perturbasse a comunidade da Wikipédia (Restivo and Rijt 2012, 2014) . Voltarei a algumas das considerações éticas levantadas pelos experimentos mais adiante neste capítulo e no capítulo 6.

Em conclusão, o experimento de Restivo e van de Rijt mostra claramente que, embora a lógica básica da experimentação não tenha mudado, a logística dos experimentos da era digital pode ser dramaticamente diferente. Em seguida, para isolar mais claramente as oportunidades criadas por essas mudanças, compararei os experimentos que os pesquisadores podem fazer agora com os tipos de experimentos que foram feitos no passado.