Una vez que haya motivado a mucha gente a trabajar en un problema científico real, descubrirá que sus participantes serán heterogéneos de dos maneras principales: variarán tanto en sus habilidades como en su nivel de esfuerzo. La primera reacción de muchos investigadores sociales es luchar contra esta heterogeneidad tratando de excluir a los participantes de baja calidad y luego tratando de recolectar una cantidad fija de información de todos los que quedan. Esta es la forma incorrecta de diseñar un proyecto de colaboración masiva. En lugar de luchar contra la heterogeneidad, debe aprovecharla.
Primero, no hay ninguna razón para excluir a los participantes poco calificados. En las llamadas abiertas, los participantes poco calificados no causan problemas; sus contribuciones no hacen daño a nadie y no requieren tiempo para evaluar. En los proyectos de computación humana y recolección de datos distribuidos, además, la mejor forma de control de calidad proviene de la redundancia, no a través de un alto nivel de participación. De hecho, en lugar de excluir a los participantes poco calificados, un mejor enfoque es ayudarlos a hacer mejores contribuciones, al igual que lo han hecho los investigadores de eBird.
En segundo lugar, no hay ninguna razón para recopilar una cantidad fija de información de cada participante. La participación en muchos proyectos de colaboración masiva es increíblemente desigual (Sauermann and Franzoni 2015) , con un pequeño número de personas que contribuyen mucho, a veces llamada cabeza gorda y mucha gente que contribuye un poco, a veces llamada cola larga . Si no recopila información de la cabeza gruesa y la cola larga, está dejando una gran cantidad de información sin recoger. Por ejemplo, si Wikipedia aceptara 10 y solo 10 ediciones por editor, perdería aproximadamente el 95% de las ediciones (Salganik and Levy 2015) . Por lo tanto, con proyectos de colaboración masiva, es mejor aprovechar la heterogeneidad en lugar de tratar de eliminarla.