5.5.2 Effet de levier hétérogénéité

Une fois que vous avez motivé un grand nombre de personnes pour travailler sur un vrai problème scientifique, vous découvrirez que vos participants seront hétérogènes de deux manières principales: ils varient dans leur compétence et ils varient dans leur niveau d'effort. La première réaction de nombreux chercheurs en sciences sociales est d'exclure des participants de faible qualité et ensuite tenter de recueillir un montant fixe de l'information de tout le monde est parti. Ceci est la mauvaise façon de concevoir un projet de collaboration de masse.

Tout d'abord, il n'y a aucune raison d'exclure de faibles participants qualifiés. Dans les appels ouverts, les faibles participants qualifiés ne causent pas de problèmes; leurs contributions ne sont pas de mal à personne et ils ne nécessitent pas de temps pour évaluer. Dans le calcul humain et projets de collecte de données distribuées, d'autre part, la meilleure forme de contrôle de la qualité passe par la redondance, pas une grande barre pour la participation. En fait, plutôt que d'exclure les participants peu qualifiés, une meilleure approche est de les aider à prendre de meilleures contributions, bien que les chercheurs de eBird ont fait.

Deuxièmement, il n'y a aucune raison de recueillir un montant fixe de l'information de chaque participant. Participation à de nombreux projets de collaboration de masse est incroyablement inégale (Sauermann and Franzoni 2015) avec un petit nombre de personnes qui contribuent beaucoup, parfois appelé la grosse tête -et beaucoup de gens qui contribuent un peu parfois appelé la longue queue. Si vous ne collectez pas les informations de la tête de la graisse et la longue queue, vous quittez des tonnes d'informations non collectées. Par exemple, si Wikipedia accepté 10 et seulement 10 éditions par éditeur, il perdrait environ 95% des modifications (Salganik and Levy 2015) . Ainsi, avec des projets de collaboration de masse, il est préférable de tirer parti de l'hétérogénéité plutôt que d'essayer de l'éliminer.