更多評論

這部分被設計為用作基準，而不是被理解為敘述。

• 簡介（第5.1節）

大眾合作融合了來自市民的科學 ， 眾包和集體智慧的想法。公民科學通常是指涉及到“公民”（即非科學家）在科學過程(Crain, Cooper, and Dickinson 2014) 。眾包通常是指以通常一個組織內解決的問題，而不是將其外包給群眾(Howe 2009) 。集體的智慧通常意味著似乎聰明的方式集體行動的個人組成的團體(Malone and Bernstein 2015) 。 Nielsen (2012)是一本精彩的書長度引入科研大規模協作的力量。

有許多類型的大規模協作的不完全相符，我提出了三大類，我認為有三種方法值得特別注意，因為他們可能是在某些時候社會研究非常有用。其中一個例子是預測市場，其中參與者購買和被贖回基於發生在世界的結果貿易合同(Wolfers and Zitzewitz 2004; Arrow et al. 2008)預測市場經常被企業和政府的預測，並預測市場也被用於社會研究者預測發表的研究心理學的複製性(Dreber et al. 2015)

沒有很好地成為我的分類方案第二個例子是博學的項目中，研究人員使用博客和wiki，以證明新的數學定理合作(Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016)博學的項目是類似於Netflix的獎某些方面，但在博學項目參與者更加積極地建立在別人的部分解決方案。

沒有很好地成為我的分類方案第三個例子是依賴於時間的動員，如美國國防高級研究計劃局（DARPA）網絡挑戰賽（即紅氣球挑戰賽）。欲知更多有關這些時間敏感的動員看到Pickard et al. (2011) ， Tang et al. (2011)和Rutherford et al. (2013) 。

• 人腦運算（5.2節）

術語“人計算”出來的計算機科學家所做的工作，並理解這一研究背後的背景下會提高你挑出來，可能是服從它問題的能力。對於某些任務，計算機與功能遠遠超過甚至是專家人類令人難以置信的強大。例如，在國際象棋，電腦可以擊敗即使是最好的操盤高手。但是，這是不那麼社會讚賞科學家，執行其他任務，電腦其實比人差很多。換句話說，現在你比，即使在涉及圖像，視頻，音頻和文本處理某些任務中最複雜的計算機更好。由此作為被一個精彩XKCD所示卡通有，很容易對計算機和硬的人的任務，但也有是很難用於計算機和容易對人的任務（圖5.13）。計算機科學家對這些硬換電腦易換人工任務，因此，意識到他們可以在其計算過程人類工作。這裡的路易斯·馮·安如何(2005)描述的人類計算當他第一次在創造他的論文的術語：“一個範式利用人的處理能力來解決問題，電腦不能沒有解決”

圖5.13：對於某些任務計算機是驚人，超過了人類專家的能力。但是，對於其他的任務，普通人可以超越甚至複雜的計算機系統。涉及是很難用於計算機和便於人類任務大規模問題是非常適合於人類的計算。根據這裡所描述的方面用於：http://xkcd.com/license.html

按照這個定義FoldIt，這是我在開上一節所述的調用，可被視為人類的計算項目。不過，我選擇分類FoldIt作為一個開放的調用，因為它需要專門的技能，它需要的最佳解決方案做出了貢獻，而不是使用分離式應用 - 結合的策略。

對於人類計算的優秀圖書長度的治療，在這個詞的最一般的意義，看到Law and Ahn (2011)第3章Law and Ahn (2011)有更複雜的合併步驟比本章中的那些有趣的討論。

術語“拆分申請，結合”被用於Wickham (2011)來描述統計計算的戰略，但它完美地體現了人類的許多計算項目的過程。拆分申請，結合策略類似於在谷歌開發的MapReduce框架(Dean and Ghemawat 2004; Dean and Ghemawat 2008)

二，我沒有足夠的空間來討論人類巧妙計算項目的ESP遊戲(Ahn and Dabbish 2004)和驗證碼(Ahn et al. 2008) 。這兩個項目的發現創造性的方式來激發參與者的圖像提供標籤。然而，這兩個項目也提出了倫理問題，因為不像星系動物園，參加了ESP遊戲和驗證碼不知道怎樣使用他們的數據(Lung 2012; Zittrain 2008) 。

由ESP遊戲的啟發，許多研究人員試圖發展他人“遊戲有目的” (Ahn and Dabbish 2008)即“以人為本計算的遊戲” (Pe-Than, Goh, and Lee 2015)可用於解決各種其他問題。什麼這些“遊戲有目的”的共同點是，他們試圖使參與人類計算愉快的任務。因此，雖然ESP遊戲股與星系動物園一樣拆分申請-結合的結構，它的不同之處參與者如何激勵樂趣與希望可以幫到科學。

我的星系動物園的描述借鑒了Nielsen (2012) ， Adams (2012) Clery (2011)和Hand (2010)和我的星系動物園的研究目標是演示簡化。欲了解更多關於星系的分類在天文學歷史以及如何星系動物園延續了這一傳統，看到Masters (2012)和Marshall, Lintott, and Fletcher (2015) 。銀河動物園大廈，研究人員完成了星系動物園2，它收集了60多萬更複雜的形態分類志願者(Masters et al. 2011)此外，他們還跨足星系的形態，包括探索月球表面，尋找行星和抄錄舊文件之外的問題。目前，所有的項目都在收集www.zooniverse.org (Cox et al. 2015)其中一個項目的快照塞倫蓋蒂-提供的證據表明星系動物園型圖像分類項目，也可以為環境研究完成(Swanson et al. 2016)

研究人員計劃使用微型任務的勞動力市場（如亞馬遜的Mechanical Turk）一人 ​​計算項目， Chandler, Paolacci, and Mueller (2013)和Wang, Ipeirotis, and Provost (2015)提供有關任務的設計和良好的建議其他相關問題。

熱衷於創造我所稱之為第二代人計算系統的研究人員（如使用人的標籤來訓練機器學習模型系統）可能有興趣在Shamir et al. (2014) （使用音頻的例子）和Cheng and Bernstein (2015) 。此外，這些項目可開放調用，因此研究人員競相以最大的預測性能創造機器學習模型來完成。例如，銀河動物園隊跑了公開徵集，發現跑贏發達的一個新方法Banerji et al. (2010) ;看到Dieleman, Willett, and Dambre (2015)了解詳細信息。

• 打開調用（5.3節）

打開通話並不是新的。事實上，最知名的開放調用之一追溯到1714當英國議會建立的經度獎，任何人都可以開發一個方法來確定海上船舶的經度。這個問題難倒了許多天，包括艾薩克·牛頓最偉大的科學家，而成功的解決方案最終被從誰從誰的重點是將在某種程度上涉及天文學的解決方案的科學家不同上前問題鄉間鐘錶匠提交(Sobel 1996) 。這個例子說明，打開電話被認為是工作這麼好一個原因是，他們提供給人們以不同的視角和技巧訪問(Boudreau and Lakhani 2013) 。見Hong and Page (2004)和Page (2008)以獲得更多關於多樣性的解決問題的價值。

每間公開徵集案件的章節中需要一點為什麼它屬於此類別中進一步解釋。首先，一個人的我的計算和公開徵集項目的區分方法是輸出是所有解決方案的平均（人計算）或最好的解決辦法（公開招募）。 Netflix的獎是在這方面有點棘手，因為最好的解決方案竟然是個性化解決方案的一個複雜的平均值，一個名為走近合奏的解決方案(Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012)來自Netflix的角度來看，他們所要做的就是選擇最佳的解決方案。

其次，人類計算的一些定義（如， Von Ahn (2005)應被視為人類的計算項目。不過，我選擇分類FoldIt作為一個開放的調用，因為它需要專門的技能，它需要的最佳解決方案做出了貢獻，而不是使用分離式應用 - 結合的策略。

最後，人們可能認為的對專利的分佈式數據採集的例子。我選擇它作為一個開放的調用，因為它有一個競賽狀結構，只有最好的貢獻被使用（而分佈式數據採集，好的和壞的貢獻的想法是不太清楚）。

欲了解更多關於Netflix的獎，看到Bennett and Lanning (2007) ， Thompson (2008) ， Bell, Koren, and Volinsky (2010)和Feuerverger, He, and Khatri (2012)欲了解更多關於FoldIt看， Cooper et al. (2010) ， Andersen et al. (2012)和Khatib et al. (2011) ;我FoldIt的描述借鑒了描述Nielsen (2012) ， Bohannon (2009)和Hand (2010) 。欲了解更多有關的對專利，看到Noveck (2006) ， Bestor and Hamp (2010) ， Ledford (2007)和Noveck (2009) 。

類似的結果Glaeser et al. (2016) ， Mayer-Schönberger and Cukier (2013) ，在紐約市住房督察生產率第10章報告大的收益時，檢查由預測模型指導。在紐約市，這些預測模型是由城市職工建的，但在其他情況下，人們可以想像，他們可以創建或使用開放調用了改進（例如， Glaeser et al. (2016)然而，與所使用的預測模型來分配資源的一個主要關心的是，該模型必須加強現有偏壓電位。許多研究人員已經知道“垃圾進，垃圾出”，並與預測模型，它能夠“在偏見，偏見了。”見Barocas and Selbst (2016)和O'Neil (2016)以獲得更多關於預測模型建成的危險與偏見的訓練數據。

可能防止各國政府採用開放式競賽的一個問題是，它要求數據公佈，這可能導致侵犯隱私。欲了解更多有關隱私和數據發布在公開通話時看到Narayanan, Huey, and Felten (2016)並在第6章的討論。

• 分佈式數據收集（5.4節）

我eBird的描述借鑒了描述Bhattacharjee (2005)和Robbins (2013) 。欲了解更多有關研究人員如何使用統計模型來分析eBird數據看Hurlbert and Liang (2012)和Fink et al. (2010) 。為了了解更多關於ornothology公民科學史，看Greenwood (2007) 。

欲了解更多關於馬拉維刊工程，看到Watkins and Swidler (2009)和Kaler, Watkins, and Angotti (2015)而對於更多的在南非一個相關的項目，請參閱Angotti and Sennott (2015)對於從馬拉維期刊項目中使用的研究數據的更多例子見Kaler (2004)和Angotti et al. (2014) 。

• 設計自己的（5.5節）

我對提供設計建議的做法是感性的基礎上，成功的例子和失敗的，我聽說過大規模協作項目。還有研究中的流試圖更廣泛的社會心理學理論應用到設計在線社區，是有關大規模協作項目的設計，見，例如， Kraut et al. (2012)

關於激勵參與者，它實際上是相當棘手弄清楚究竟為什麼人們參加大規模協作項目(Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) 。如果您打算用微任務的勞動力市場上的支付（例如，亞馬遜的Mechanical Turk）激勵參與者Kittur et al. (2013)提供了一些建議。

關於啟用驚喜，意外的發現出來Zoouniverse項目的更多示例，請參閱Marshall, Lintott, and Fletcher (2015) 。

至於是道德的，一些好的一般性的介紹所涉及的問題是Gilbert (2015) ， Salehi et al. (2015) ， Schmidt (2013) ， Williamson (2016) ， Resnik, Elliott, and Miller (2015)和Zittrain (2008) 。對於具體涉及與職工群眾的法律問題的問題，請參見Felstiner (2011) 。 O'Connor (2013)針對有關研究倫理監督問 ​​題時，研究者和參與者的角色模糊。對於同時保護公民科學項目participats相關的數據共享問題，請參閱Bowser et al. (2014) 。無論Purdam (2014)和Windt and Humphreys (2016)對分佈式數據採集的倫理問題進行一些討論。最後，大多數的項目承認的貢獻，但不給作者信貸的參與者。在Foldit的玩家Foldit經常列為作者(Cooper et al. 2010; Khatib et al. 2011)在其他公開徵集項目，獲勝的投稿人可以經常寫描述他們的解決方案的文件（例如， Bell, Koren, and Volinsky (2010)和Dieleman, Willett, and Dambre (2015)在星系動物園家族的項目，非常積極和重要貢獻者，有時應邀上的論文的合著者。例如，伊万Terentev和Tim Matorny，來自俄羅斯的兩個無線電星系動物園的參與者，都在從該項目中出現的論文之一合著者(Banfield et al. 2016; Galaxy Zoo 2016) 。