Una vez que ha motivado una gran cantidad de personas para trabajar en un problema científico real, descubrirá que sus participantes serán heterogénea de dos maneras principales: van a variar en su habilidad y que va a variar en su nivel de esfuerzo. La primera reacción de muchos investigadores sociales es excluir a los participantes de baja calidad y luego intentar cobrar una cantidad fija de información de todo el mundo se fue. Este es el camino equivocado para diseñar un proyecto de colaboración en masa.
En primer lugar, no hay ninguna razón para excluir bajas participantes cualificados. En las llamadas abiertas, de baja participantes cualificados no causan problemas; sus contribuciones no hacen daño a nadie y que no requieren ningún tiempo para evaluar. En la computación humana y proyectos de recogida de datos distribuidos, por el contrario, la mejor forma de control de la calidad llega a través de la redundancia, no una barra alta para la participación. De hecho, en lugar de excluir a los participantes de baja calificación, un mejor enfoque es ayudar a tomar mejores contribuciones, tanto como los investigadores de eBird han hecho.
En segundo lugar, no hay ninguna razón para recoger una cantidad fija de información de cada participante. La participación en numerosos proyectos de colaboración en masa es muy desigual (Sauermann and Franzoni 2015) con un pequeño número de personas que contribuyen mucho a veces llamada la cabeza gorda -y una gran cantidad de personas que contribuyen un poco, a veces llamada la cola larga. Si no se recoge información de la cabeza de la grasa y la larga cola, que está dejando un montón de información sin recoger. Por ejemplo, si Wikipedia aceptado 10 y sólo 10 ediciones por editor, se perderían alrededor del 95% de ediciones (Salganik and Levy 2015) . Por lo tanto, con los proyectos de colaboración en masa, lo mejor es aprovechar la heterogeneidad en lugar de tratar de eliminarlo.