一旦你激励了很多人研究真正的科学问题,你会发现你的参与者将在两个主要方面变得异质:他们的技能和努力程度会有所不同。许多社会研究人员的第一反应是通过试图排除低质量的参与者,然后尝试从剩下的每个人那里收集固定数量的信息来对抗这种异质性。这是设计大规模协作项目的错误方法。你应该利用它,而不是与异质性作斗争。
首先,没有理由排除低技能的参与者。在公开招募中,低技能的参与者不会造成任何问题;他们的贡献不伤害任何人,他们不需要任何时间来评估。此外,在人工计算和分布式数据收集项目中,最好的质量控制形式来自冗余,而不是通过高标准的参与。事实上,正如eBird的研究人员所做的那样,更好的方法是帮助他们做出更好的贡献,而不是排除低技能的参与者。
其次,没有理由从每个参与者那里收集固定数量的信息。参与许多大规模合作项目是非常不平等的(Sauermann and Franzoni 2015) ,少数人贡献很多 - 有时候称为胖头 - 很多人贡献一点 - 有时称为长尾 。如果您不从胖头和长尾收集信息,您将无法收集大量信息。例如,如果维基百科每个编辑器接受10次编辑,只有10次编辑,那么它将失去大约95%的编辑(Salganik and Levy 2015) 。因此,对于大规模协作项目,最好利用异构性而不是试图消除它。