一旦你激勵了很多人研究真正的科學問題,你會發現你的參與者將在兩個主要方面變得異質:他們的技能和努力程度會有所不同。許多社會研究人員的第一反應是通過試圖排除低質量的參與者,然後嘗試從剩下的每個人那裡收集固定數量的信息來對抗這種異質性。這是設計大規模協作項目的錯誤方法。你應該利用它,而不是與異質性作鬥爭。
首先,沒有理由排除低技能的參與者。在公開招募中,低技能的參與者不會造成任何問題;他們的貢獻不傷害任何人,他們不需要任何時間來評估。此外,在人工計算和分佈式數據收集項目中,最好的質量控制形式來自冗餘,而不是通過高標準的參與。事實上,正如eBird的研究人員所做的那樣,更好的方法是幫助他們做出更好的貢獻,而不是排除低技能的參與者。
其次,沒有理由從每個參與者那裡收集固定數量的信息。參與許多大規模合作項目是非常不平等的(Sauermann and Franzoni 2015) ,少數人貢獻很多 - 有時候稱為胖頭 - 很多人貢獻一點 - 有時稱為長尾 。如果您不從胖頭和長尾收集信息,您將無法收集大量信息。例如,如果維基百科每個編輯器接受10次編輯,只有10次編輯,那麼它將失去大約95%的編輯(Salganik and Levy 2015) 。因此,對於大規模協作項目,最好利用異構性而不是試圖消除它。