接下来要读什么

• 简介（第5.1节）

大规模协作融合了公民科学 ， 众包和集体智慧的创意。公民科学通常意味着在科学过程中涉及“公民”（即非科学家）;更多信息，请参阅Crain, Cooper, and Dickinson (2014)以及Bonney et al. (2014) 。众包通常意味着解决通常在组织内解决的问题，而不是将其外包给人群;更多信息，请参阅Howe (2009) 。集体智慧通常意味着以看似聪明的方式集体行动的个人群体;更多信息，请参阅Malone and Bernstein (2015) 。 Nielsen (2012)是一本关于科学研究大规模合作力量的书籍介绍。

有许多类型的大规模协作并不完全适合我提出的三个类别，我认为其中三个值得特别关注，因为它们可能对社会研究有用。一个例子是预测市场，参与者根据世界上发生的结果购买和交易可赎回的合约。企业和政府经常使用预测市场进行预测，社会研究人员也使用预测市场来预测已发表的心理学研究的可复制性(Dreber et al. 2015) 。有关预测市场的概述，请参阅Wolfers and Zitzewitz (2004)以及Arrow et al. (2008) 。

第二个不适合我的分类方案的例子是PolyMath项目，研究人员使用博客和维基进行合作来证明新的数学定理。 PolyMath项目在某些方面类似于Netflix奖，但在这个项目中，参与者更积极地建立在其他人的部分解决方案上。有关PolyMath项目的更多信息，请参阅Gowers and Nielsen (2009) ， Cranshaw and Kittur (2011) ， Nielsen (2012)以及Kloumann et al. (2016) 。

第三个不符合我的分类方案的例子是时间依赖的动员，例如国防高级研究计划局（DARPA）网络挑战（即红气球挑战）。有关这些对时间敏感的动员的更多信息，请参阅Pickard et al. (2011) ， Tang et al. (2011)和Rutherford et al. (2013) 。

• 人体计算（第5.2节）

术语“人类计算”来自计算机科学家所做的工作，理解这项研究背后的背景将提高你挑选可能适合它的问题的能力。对于某些任务，计算机非常强大，其功能远远超过了专家。例如，在国际象棋中，计算机甚至可以击败最好的大师。但是 - 社会科学家不太欣赏这一点 - 对于其他任务，计算机实际上比人们更糟糕。换句话说，现在，在处理图像，视频，音频和文本的某些任务中，您甚至比最复杂的计算机更好。因此，致力于这些难以为计算机操作的计算机科学家们意识到他们可以将人类纳入计算过程。这就是路易斯·冯·安(2005) Luis von Ahn (2005)在他的论文中首次提出人类计算时所描述的：“一种利用人类处理能力来解决计算机无法解决的问题的范例。”对于人类计算的书本长度处理，最普遍的意义，见Law and Ahn (2011) 。

根据Ahn (2005)提出的定义，我在开放调用一节中描述的Foldit可以被认为是一个人类计算项目。但是，我选择将Foldit归类为公开呼叫，因为它需要专业技能（虽然不一定是正式培训）并且需要最佳解决方案，而不是使用拆分应用组合策略。

Wickham (2011)使用术语“split-apply-combine”来描述统计计算的策略，但它完美地捕捉了许多人类计算项目的过程。 split-apply-combine策略类似于Google开发的MapReduce框架;有关MapReduce的更多信息，请参阅Dean and Ghemawat (2004)以及Dean and Ghemawat (2008) 。有关其他分布式计算架构的更多信息，请参阅Vo and Silvia (2016) 。 Law and Ahn (2011)第3章讨论了比本章更复杂的组合步骤的项目。

在本章讨论的人工计算项目中，参与者知道发生了什么。然而，其他一些项目试图捕捉已经发生的“工作”（类似于eBird）并且没有参与者意识。例如，参见ESP Game (Ahn and Dabbish 2004)和reCAPTCHA (Ahn et al. 2008) 。然而，这两个项目也引发了道德问题，因为参与者不知道他们的数据是如何被使用的(Zittrain 2008; Lung 2012) 。

在ESP游戏的启发下，许多研究人员试图开发其他“有目的的游戏” (Ahn and Dabbish 2008) （即“基于人类的计算游戏” (Pe-Than, Goh, and Lee 2015) ）用来解决各种其他问题。这些“有目的的游戏”的共同之处在于它们试图使人类计算中涉及的任务变得愉快。因此，虽然ESP游戏与银河动物园共享相同的拆分 - 应用 - 组合结构，但它与参与者的动机 - 乐趣与帮助科学的愿望的方式不同。有关有目的的游戏的更多信息，请参阅Ahn and Dabbish (2008) 。

我对Galaxy Zoo的描述借鉴了Nielsen (2012) ， Adams (2012) ， Clery (2011)和Hand (2010) ，并简化了我对Galaxy Zoo研究目标的介绍。有关天文学中星系分类的历史以及银河动物园如何延续这一传统的更多信息，请参阅Masters (2012)和Marshall, Lintott, and Fletcher (2015) 。在银河动物园的基础上，研究人员完成了Galaxy Zoo 2，它从志愿者那里收集了超过6千万个更复杂的形态学分类(Masters et al. 2011) 。此外，他们还分析了星系形态以外的问题，包括探索月球表面，寻找行星，以及抄写旧文件。目前，他们的所有项目都是在Zooniverse网站上收集的(Cox et al. 2015) 。其中一个项目--Snapshot Serengeti--提供了证据证明Galaxy Zoo型图像分类项目也可以用于环境研究(Swanson et al. 2016) 。

对于计划使用微任务劳动力市场（例如亚马逊机械土耳其人）进行人类计算项目的研究人员， Chandler, Paolacci, and Mueller (2013)以及J. Wang, Ipeirotis, and Provost (2015)提供了关于任务设计和其他相关问题。 Porter, Verdery, and Gaddis (2016)提供了专门针对微任务劳动力市场的使用的示例和建议，他们称之为“数据增加”。数据增加和数据收集之间的界限有些模糊。有关收集和使用标签进行文本监督学习的更多信息，请参阅Grimmer and Stewart (2013) 。

有兴趣创建我所谓的计算机辅助人类计算系统（例如，使用人类标签来训练机器学习模型的系统）的研究人员可能对Shamir et al. (2014)感兴趣Shamir et al. (2014) （使用音频的例子）和Cheng and Bernstein (2015) 。此外，这些项目中的机器学习模型可以通过公开呼叫进行征求，由此研究人员竞争创建具有最大预测性能的机器学习模型。例如，Galaxy Zoo团队进行了一次公开招募，发现了一种比Banerji et al. (2010)开发的新方法Banerji et al. (2010) ;有关详细信息Dieleman, Willett, and Dambre (2015)请参阅Dieleman, Willett, and Dambre (2015) 。

• 公开电话（第5.3节）

公开电话不是新的。事实上，最知名的公开电话之一可以追溯到1714年，当时英国议会为任何可以开发确定海上船舶经度的人创造了经度奖。这个问题困扰了当时许多最伟大的科学家，包括艾萨克·牛顿，获胜的解决方案最终由农村的钟表制造者约翰·哈里森提交，他们解决这个问题的方式不同于那些专注于某种方式涉及天文学的解决方案的科学家们。 ;有关更多信息，请参阅Sobel (1996) 。正如这个例子所说明的那样，公开呼叫被认为运作良好的一个原因是它们提供了对具有不同观点和技能的人的访问(Boudreau and Lakhani 2013) 。有关解决问题的多样性价值的更多信息，请参见Hong and Page (2004)和Page (2008) 。

本章中的每个公开调用案例都需要进一步解释它属于此类别的原因。首先，我区分人类计算和公开呼叫项目的一种方式是输出是否是所有解决方案（人工计算）或最佳解决方案（公开呼叫）的平均值。 Netflix奖在这方面有点棘手，因为最佳解决方案是个人解决方案的复杂平均值，这种方法称为集合解决方案(Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) 。然而，从Netflix的角度来看，他们所要做的只是选择最佳解决方案。有关Netflix奖的更多信息，请参阅Bennett and Lanning (2007) ， Thompson (2008) ， Bell, Koren, and Volinsky (2010) ，以及Feuerverger, He, and Khatri (2012) 。

其次，通过人类计算的某些定义（例如， Ahn (2005) ），Foldit应被视为人类计算项目。但是，我选择将其归类为公开呼叫，因为它需要专业技能（尽管不一定是专业培训），而且需要最佳解决方案，而不是使用拆分应用组合策略。有关Foldit的更多信息，请参阅Cooper et al. (2010) ， Khatib et al. (2011) ，和Andersen et al. (2012) ;我对Foldit的描述借鉴了Bohannon (2009) ， Hand (2010)和Nielsen (2012) 。

最后，人们可以争辩说，Peer-to-Patent是分布式数据收集的一个例子。我选择将其作为公开呼叫包括在内，因为它具有类似竞赛的结构，并且仅使用最佳贡献，而对于分布式数据收集，好的和坏的贡献的想法不太清楚。有关Peer-to-Patent的更多信息，请参阅Noveck (2006) ， Ledford (2007) ， Noveck (2009)和Bestor and Hamp (2010) 。

在社会研究中使用公开呼叫方面，结果类似于Glaeser et al. (2016) ，在Mayer-Schönberger and Cukier (2013)第10章中报告，纽约市能够使用预测模型来提高住房检查员的生产率。在纽约市，这些预测模型是由城市员工建立的，但在其他情况下，可以想象他们可以通过公开呼叫来创建或改进（例如， Glaeser et al. (2016) ）。然而，用于分配资源的预测模型的一个主要问题是这些模型有可能加强现有的偏差。许多研究人员已经知道“垃圾进入，垃​​圾出来”，并且预测模型可能是“偏向，偏向”。参见Barocas and Selbst (2016)以及O'Neil (2016)关于预测模型建立危险的更多信息有偏见的训练数据。

可能阻止政府使用公开竞争的一个问题是，这需要数据发布，这可能导致隐私侵犯。有关公开呼叫中的隐私和数据发布的更多信息，请参阅Narayanan, Huey, and Felten (2016)以及第6章中的讨论。

有关预测和解释之间的差异和相似之处的更多信息，请参阅Breiman (2001) ， Shmueli (2010) ， Watts (2014)和Kleinberg et al. (2015) 。有关预测在社会研究中的作用的更多信息，请参阅Athey (2017) ， Cederman and Weidmann (2017) ， Hofman, Sharma, and Watts (2017) ， ( ??? )以及Yarkoni and Westfall (2017) 。

有关生物学公开呼叫项目的评论，包括设计建议，请参阅Saez-Rodriguez et al. (2016) 。

• 分布式数据收集（第5.4节）

我对eBird的描述借鉴了Bhattacharjee (2005) ， Robbins (2013)和Sullivan et al. (2014) 。有关研究人员如何使用统计模型分析eBird数据的更多信息，请参阅Fink et al. (2010)和Hurlbert and Liang (2012) 。有关估算eBird参与者技能的更多信息，请参阅Kelling, Johnston, et al. (2015) 。有关鸟类学中公民科学史的更多信息，请参阅Greenwood (2007) 。

有关马拉维期刊项目的更多信息，请参阅Watkins and Swidler (2009)以及Kaler, Watkins, and Angotti (2015) 。有关南非相关项目的更多信息，请参阅Angotti and Sennott (2015) 。有关使用马拉维期刊项目数据的更多研究实例，请参阅Kaler (2004)和Angotti et al. (2014) 。

• 设计自己的（第5.5节）

我提供设计建议的方法是归纳的，基于我听说过的成功和失败的大规模协作项目的例子。还有一系列研究尝试将更广泛的社会心理学理论应用于设计与大规模协作项目设计相关的在线社区，例如，参见Kraut et al. (2012) 。

关于激励参与者，实际上很难确定人们参与大规模协作项目的确切原因(Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) 。如果您计划激励参与者在微任务劳动力市场上付款（例如，亚马逊机械土耳其人）， Kittur et al. (2013)提供一些建议。

关于启用惊喜，有关Zooiverse项目中出现意外发现的更多示例，请参阅Marshall, Lintott, and Fletcher (2015) 。

关于道德问题，对所涉问题的一些好的一般性介绍是Gilbert (2015) ， Salehi et al. (2015) ， Schmidt (2013) ， Williamson (2016) ， Resnik, Elliott, and Miller (2015) ，以及Zittrain (2008) 。对于与人群雇员的法律问题有关的问题，请参阅Felstiner (2011) 。当研究人员和参与者的角色模糊时， O'Connor (2013)解决了有关研究伦理监督的问题。有关共享数据同时保护公民科学项目参与者的问题，请参阅Bowser et al. (2014) 。 Purdam (2014)和Windt and Humphreys (2016)都对分布式数据收集中的伦理问题进行了一些讨论。最后，大多数项目都承认贡献，但没有给参与者提供作者信用。在Foldit中，玩家通常被列为作者(Cooper et al. 2010; Khatib et al. 2011) 。在其他公开招募项目中，获奖撰稿人通常可以撰写描述其解决方案的论文（例如， Bell, Koren, and Volinsky (2010)以及Dieleman, Willett, and Dambre (2015) ）。