Depois de ter motivado um monte de gente para trabalhar em um problema científico real, você vai descobrir que seus participantes serão heterogêneo de duas maneiras principais: eles variam em sua habilidade e eles variam em seu nível de esforço. A primeira reação de muitos pesquisadores sociais é de excluir os participantes de baixa qualidade e, em seguida, tentar recolher uma quantidade fixa de informação de todos à esquerda. Este é o caminho errado para criar um projeto de colaboração em massa.
Em primeiro lugar, não há nenhuma razão para excluir baixas participantes qualificados. Em concursos públicos, os baixos participantes qualificados não causam problemas; suas contribuições não machucar ninguém e que não exigem qualquer momento para avaliar. Em computação humana e projectos de recolha de dados distribuídos, por outro lado, a melhor forma de controle de qualidade vem através de redundância, não uma barra alta para a participação. Na verdade, em vez de excluir participantes de baixa qualificação, a melhor abordagem é para ajudá-los a tomar melhores contribuições, tanto quanto os pesquisadores da eBird ter feito.
Em segundo lugar, não há nenhuma razão para recolher uma quantidade fixa de informação de cada participante. Participação em vários projectos de colaboração em massa é extremamente desigual (Sauermann and Franzoni 2015) com um pequeno número de pessoas que contribuem muito, às vezes chamado de cabeça gorda -e um monte de pessoas que contribuem um pouco às vezes chamado de cauda longa. Se você não coletar informações a partir da cabeça de gordura e a cauda longa, você está deixando toneladas de informação não recolhido. Por exemplo, se Wikipedia aceitou 10 e apenas 10 edições por editor, perderia cerca de 95% de edições (Salganik and Levy 2015) . Assim, com projetos de colaboração em massa, o melhor é aproveitar a heterogeneidade em vez de tentar eliminá-lo.