Una volta che hai motivato molte persone a lavorare su un vero problema scientifico, scoprirai che i tuoi partecipanti saranno eterogenei in due modi principali: varieranno sia nella loro abilità che nel loro livello di sforzo. La prima reazione di molti ricercatori sociali è quella di lottare contro questa eterogeneità cercando di escludere i partecipanti di bassa qualità e poi tentare di raccogliere una quantità fissa di informazioni da tutti. Questo è il modo sbagliato di progettare un progetto di collaborazione di massa. Invece di combattere l'eterogeneità, dovresti sfruttarla.
Innanzitutto, non vi è alcun motivo per escludere i partecipanti poco qualificati. Nelle chiamate aperte, i partecipanti poco qualificati non causano problemi; i loro contributi non danneggiano nessuno e non richiedono alcun tempo per valutare. Inoltre, nel calcolo dell'essere umano e nei progetti di raccolta dati distribuiti, la migliore forma di controllo della qualità passa attraverso la ridondanza, non attraverso una barra alta per la partecipazione. Di fatto, piuttosto che escludere i partecipanti a bassa abilità, un approccio migliore è quello di aiutarli a fornire contributi migliori, proprio come hanno fatto i ricercatori di eBird.
In secondo luogo, non vi è alcun motivo per raccogliere una quantità fissa di informazioni da ciascun partecipante. La partecipazione a molti progetti di collaborazione di massa è incredibilmente ineguale (Sauermann and Franzoni 2015) , con un piccolo numero di persone che contribuiscono molto, a volte chiamato la testa grassa e un sacco di persone che contribuiscono un po ', a volte chiamato la coda lunga . Se non raccogli informazioni dalla testa grassa e dalla coda lunga, stai lasciando masse di informazioni non raccolte. Ad esempio, se Wikipedia accetta 10 e solo 10 modifiche per editor, perderebbe circa il 95% delle modifiche (Salganik and Levy 2015) . Pertanto, con i progetti di collaborazione di massa, è meglio sfruttare l'eterogeneità piuttosto che cercare di eliminarla.