一旦你已经激发了很多人对一个真正的科学问题的工作,你会发现你的参加者将在两个主要方面是异类:他们将在他们的技能各不相同,他们将在他们的努力程度而有所不同。许多社会问题研究的第一反应是排除低质量的与会者,然后尝试从大家留下来收集信息的固定金额。这是设计一个大规模协作项目走错了路。
第一,没有理由排除低技能的参与者。在开电话,低技能的参与者造成任何问题;他们的贡献没有伤害任何人,他们不需要任何时间来评估。在人类的计算和分布式数据采集项目,而另一方面,质量控制的最佳形式来通过冗余,而不是参与一个高标准。事实上,而不是排除低技能的参与者,更好的方法是,以帮助他们做出更好的贡献,多为研究者eBird所做的那样。
第二,没有理由从每个参与者收集的信息的固定量。参与许多大规模协作项目是令人难以置信的不平等(Sauermann and Franzoni 2015)与少数人贡献了很多,有时也被称为肥头 -和很多人贡献了一点,有时也被称为长尾 。如果不收集来自肥头长尾的信息,你离开的信息吨未收。例如,如果维基接受10和每个编辑器仅10编辑,它将失去编辑的约95% (Salganik and Levy 2015)因此,随着大规模协作的项目,最好是利用异质性,而不是试图消除它。