接下來要讀什麼

• 簡介（第5.1節）

大規模協作融合了公民科學 ， 眾包和集體智慧的創意。公民科學通常意味著在科學過程中涉及“公民”（即非科學家）;更多信息，請參閱Crain, Cooper, and Dickinson (2014)以及Bonney et al. (2014) 。眾包通常意味著解決通常在組織內解決的問題，而不是將其外包給人群;更多信息，請參閱Howe (2009) 。集體智慧通常意味著以看似聰明的方式集體行動的個人群體;更多信息，請參閱Malone and Bernstein (2015) 。 Nielsen (2012)是一本關於科學研究大規模合作力量的書籍介紹。

有許多類型的大規模協作並不完全適合我提出的三個類別，我認為其中三個值得特別關注，因為它們可能對社會研究有用。一個例子是預測市場，參與者根據世界上發生的結果購買和交易可贖回的合約。企業和政府經常使用預測市場進行預測，社會研究人員也使用預測市場來預測已發表的心理學研究的可複制性(Dreber et al. 2015) 。有關預測市場的概述，請參閱Wolfers and Zitzewitz (2004)以及Arrow et al. (2008) 。

第二個不適合我的分類方案的例子是PolyMath項目，研究人員使用博客和維基進行合作來證明新的數學定理。 PolyMath項目在某些方麵類似於Netflix獎，但在這個項目中，參與者更積極地建立在其他人的部分解決方案上。有關PolyMath項目的更多信息，請參閱Gowers and Nielsen (2009) ， Cranshaw and Kittur (2011) ， Nielsen (2012)以及Kloumann et al. (2016) 。

第三個不符合我的分類方案的例子是時間依賴的動員，例如國防高級研究計劃局（DARPA）網絡挑戰（即紅氣球挑戰）。有關這些對時間敏感的動員的更多信息，請參閱Pickard et al. (2011) ， Tang et al. (2011)和Rutherford et al. (2013) 。

• 人體計算（第5.2節）

術語“人類計算”來自計算機科學家所做的工作，理解這項研究背後的背景將提高你挑選可能適合它的問題的能力。對於某些任務，計算機非常強大，其功能遠遠超過了專家。例如，在國際象棋中，計算機甚至可以擊敗最好的大師。但是 - 社會科學家不太欣賞這一點 - 對於其他任務，計算機實際上比人們更糟糕。換句話說，現在，在處理圖像，視頻，音頻和文本的某些任務中，您甚至比最複雜的計算機更好。因此，致力於這些難以為計算機操作的計算機科學家們意識到他們可以將人類納入計算過程。這就是路易斯·馮·安(2005) Luis von Ahn (2005)在他的論文中首次提出人類計算時所描述的：“一種利用人類處理能力來解決計算機無法解決的問題的範例。”對於人類計算的書本長度處理，最普遍的意義，見Law and Ahn (2011) 。

根據Ahn (2005)提出的定義，我在開放調用一節中描述的Foldit可以被認為是一個人類計算項目。但是，我選擇將Foldit歸類為公開呼叫，因為它需要專業技能（雖然不一定是正式培訓）並且需要最佳解決方案，而不是使用拆分應用組合策略。

Wickham (2011)使用術語“split-apply-combine”來描述統計計算的策略，但它完美地捕捉了許多人類計算項目的過程。 split-apply-combine策略類似於Google開發的MapReduce框架;有關MapReduce的更多信息，請參閱Dean and Ghemawat (2004)以及Dean and Ghemawat (2008) 。有關其他分佈式計算架構的更多信息，請參閱Vo and Silvia (2016) 。 Law and Ahn (2011)第3章討論了比本章更複雜的組合步驟的項目。

在本章討論的人工計算項目中，參與者知道發生了什麼。然而，其他一些項目試圖捕捉已經發生的“工作”（類似於eBird）並且沒有參與者意識。例如，參見ESP Game (Ahn and Dabbish 2004)和reCAPTCHA (Ahn et al. 2008) 。然而，這兩個項目也引發了道德問題，因為參與者不知道他們的數據是如何被使用的(Zittrain 2008; Lung 2012) 。

在ESP遊戲的啟發下，許多研究人員試圖開發其他“有目的的遊戲” (Ahn and Dabbish 2008) （即“基於人類的計算遊戲” (Pe-Than, Goh, and Lee 2015) ）用來解決各種其他問題。這些“有目的的遊戲”的共同之處在於它們試圖使人類計算中涉及的任務變得愉快。因此，雖然ESP遊戲與銀河動物園共享相同的拆分 - 應用 - 組合結構，但它與參與者的動機 - 樂趣與幫助科學的願望的方式不同。有關有目的的遊戲的更多信息，請參閱Ahn and Dabbish (2008) 。

我對Galaxy Zoo的描述借鑒了Nielsen (2012) ， Adams (2012) ， Clery (2011)和Hand (2010) ，並簡化了我對Galaxy Zoo研究目標的介紹。有關天文學中星系分類的歷史以及銀河動物園如何延續這一傳統的更多信息，請參閱Masters (2012)和Marshall, Lintott, and Fletcher (2015) 。在銀河動物園的基礎上，研究人員完成了Galaxy Zoo 2，它從志願者那裡收集了超過6千萬個更複雜的形態學分類(Masters et al. 2011) 。此外，他們還分析了星系形態以外的問題，包括探索月球表面，尋找行星，以及抄寫舊文件。目前，他們的所有項目都是在Zooniverse網站上收集的(Cox et al. 2015) 。其中一個項目--Snapshot Serengeti--提供了證據證明Galaxy Zoo型圖像分類項目也可以用於環境研究(Swanson et al. 2016) 。

對於計劃使用微任務勞動力市場（例如亞馬遜機械土耳其人）進行人類計算項目的研究人員， Chandler, Paolacci, and Mueller (2013)以及J. Wang, Ipeirotis, and Provost (2015)提供了關於任務設計和其他相關問題。 Porter, Verdery, and Gaddis (2016)提供了專門針對微任務勞動力市場的使用的示例和建議，他們稱之為“數據增加”。數據增加和數據收集之間的界限有些模糊。有關收集和使用標籤進行文本監督學習的更多信息，請參閱Grimmer and Stewart (2013) 。

有興趣創建我所謂的計算機輔助人類計算系統（例如，使用人類標籤來訓練機器學習模型的系統）的研究人員可能對Shamir et al. (2014)感興趣Shamir et al. (2014) （使用音頻的例子）和Cheng and Bernstein (2015) 。此外，這些項目中的機器學習模型可以通過公開呼叫進行徵求，由此研究人員競爭創建具有最大預測性能的機器學習模型。例如，Galaxy Zoo團隊進行了一次公開招募，發現了一種比Banerji et al. (2010)開發的新方法Banerji et al. (2010) ;有關詳細信息Dieleman, Willett, and Dambre (2015)請參閱Dieleman, Willett, and Dambre (2015) 。

• 公開電話（第5.3節）

公開電話不是新的。事實上，最知名的公開電話之一可以追溯到1714年，當時英國議會為任何可以開發確定海上船舶經度的人創造了經度獎。這個問題困擾了當時許多最偉大的科學家，包括艾薩克·牛頓，獲勝的解決方案最終由農村的鐘錶製造者約翰·哈里森提交，他們解決這個問題的方式不同於那些專注於某種方式涉及天文學的解決方案的科學家們。 ;有關更多信息，請參閱Sobel (1996) 。正如這個例子所說明的那樣，公開呼叫被認為運作良好的一個原因是它們提供了對具有不同觀點和技能的人的訪問(Boudreau and Lakhani 2013) 。有關解決問題的多樣性價值的更多信息，請參見Hong and Page (2004)和Page (2008) 。

本章中的每個公開調用案例都需要進一步解釋它屬於此類別的原因。首先，我區分人類計算和公開呼叫項目的一種方式是輸出是否是所有解決方案（人工計算）或最佳解決方案（公開呼叫）的平均值。 Netflix獎在這方面有點棘手，因為最佳解決方案是個人解決方案的複雜平均值，這種方法稱為集合解決方案(Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) 。然而，從Netflix的角度來看，他們所要做的只是選擇最佳解決方案。有關Netflix獎的更多信息，請參閱Bennett and Lanning (2007) ， Thompson (2008) ， Bell, Koren, and Volinsky (2010) ，以及Feuerverger, He, and Khatri (2012) 。

其次，通過人類計算的某些定義（例如， Ahn (2005) ），Foldit應被視為人類計算項目。但是，我選擇將其歸類為公開呼叫，因為它需要專業技能（儘管不一定是專業培訓），而且需要最佳解決方案，而不是使用拆分應用組合策略。有關Foldit的更多信息，請參閱Cooper et al. (2010) ， Khatib et al. (2011) ，和Andersen et al. (2012) ;我對Foldit的描述借鑒了Bohannon (2009) ， Hand (2010)和Nielsen (2012) 。

最後，人們可以爭辯說，Peer-to-Patent是分佈式數據收集的一個例子。我選擇將其作為公開呼叫包括在內，因為它具有類似競賽的結構，並且僅使用最佳貢獻，而對於分佈式數據收集，好的和壞的貢獻的想法不太清楚。有關Peer-to-Patent的更多信息，請參閱Noveck (2006) ， Ledford (2007) ， Noveck (2009)和Bestor and Hamp (2010) 。

在社會研究中使用公開呼叫方面，結果類似於Glaeser et al. (2016) ，在Mayer-Schönberger and Cukier (2013)第10章中報告，紐約市能夠使用預測模型來提高住房檢查員的生產率。在紐約市，這些預測模型是由城市員工建立的，但在其他情況下，可以想像他們可以通過公開呼叫來創建或改進（例如， Glaeser et al. (2016) ）。然而，用於分配資源的預測模型的一個主要問題是這些模型有可能加強現有的偏差。許多研究人員已經知道“垃圾進入，垃圾出來”，並且預測模型可能是“偏向，偏向”。參見Barocas and Selbst (2016)以及O'Neil (2016)關於預測模型建立危險的更多信息有偏見的訓練數據。

可能阻止政府使用公開競爭的一個問題是，這需要數據發布，這可能導致隱私侵犯。有關公開呼叫中的隱私和數據發布的更多信息，請參閱Narayanan, Huey, and Felten (2016)以及第6章中的討論。

有關預測和解釋之間的差異和相似之處的更多信息，請參閱Breiman (2001) ， Shmueli (2010) ， Watts (2014)和Kleinberg et al. (2015) 。有關預測在社會研究中的作用的更多信息，請參閱Athey (2017) ， Cederman and Weidmann (2017) ， Hofman, Sharma, and Watts (2017) ， ( ??? )以及Yarkoni and Westfall (2017) 。

有關生物學公開呼叫項目的評論，包括設計建議，請參閱Saez-Rodriguez et al. (2016) 。

• 分佈式數據收集（第5.4節）

我對eBird的描述借鑒了Bhattacharjee (2005) ， Robbins (2013)和Sullivan et al. (2014) 。有關研究人員如何使用統計模型分析eBird數據的更多信息，請參閱Fink et al. (2010)和Hurlbert and Liang (2012) 。有關估算eBird參與者技能的更多信息，請參閱Kelling, Johnston, et al. (2015) 。有關鳥類學中公民科學史的更多信息，請參閱Greenwood (2007) 。

有關馬拉維期刊項目的更多信息，請參閱Watkins and Swidler (2009)以及Kaler, Watkins, and Angotti (2015) 。有關南非相關項目的更多信息，請參閱Angotti and Sennott (2015) 。有關使用馬拉維期刊項目數據的更多研究實例，請參閱Kaler (2004)和Angotti et al. (2014) 。

• 設計自己的（第5.5節）

我提供設計建議的方法是歸納的，基於我聽說過的成功和失敗的大規模協作項目的例子。還有一系列研究嘗試將更廣泛的社會心理學理論應用於設計與大規模協作項目設計相關的在線社區，例如，見Kraut et al. (2012) 。

關於激勵參與者，實際上很難確定人們參與大規模協作項目的確切原因(Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) 。如果您計劃激勵參與者在微任務勞動力市場上付款（例如，亞馬遜機械土耳其人）， Kittur et al. (2013)提供一些建議。

關於啟用驚喜，有關Zooiverse項目中出現意外發現的更多示例，請參閱Marshall, Lintott, and Fletcher (2015) 。

關於道德問題，對所涉問題的一些好的一般性介紹是Gilbert (2015) ， Salehi et al. (2015) ， Schmidt (2013) ， Williamson (2016) ， Resnik, Elliott, and Miller (2015) ，以及Zittrain (2008) 。對於與人群僱員的法律問題有關的問題，請參閱Felstiner (2011) 。當研究人員和參與者的角色模糊時， O'Connor (2013)解決了有關研究倫理監督的問題。有關共享數據同時保護公民科學項目參與者的問題，請參閱Bowser et al. (2014) 。 Purdam (2014)和Windt and Humphreys (2016)都對分佈式數據收集中的倫理問題進行了一些討論。最後，大多數項目都承認貢獻，但沒有給參與者提供作者信用。在Foldit中，玩家通常被列為作者(Cooper et al. 2010; Khatib et al. 2011) 。在其他公開招募項目中，獲獎撰稿人通常可以撰寫描述其解決方案的論文（例如， Bell, Koren, and Volinsky (2010)以及Dieleman, Willett, and Dambre (2015) ）。