Далее комментарии

Этот раздел предназначен для использования в качестве эталона, вместо того , чтобы быть прочитан как рассказ.

• Введение (раздел 5.1)

Массовое сотрудничество смешивает идеи гражданина науки, краудсорсинг и коллективного разума. Citizen наука , как правило , означает , что с участием "граждан" (то есть, не являющихся учеными) в научном процессе (Crain, Cooper, and Dickinson 2014) . Краудсорсинг обычно означает принятие проблемы обычно решаются в рамках организации и вместо того, чтобы аутсорсинг его к толпе (Howe 2009) . Коллективный разум , как правило , означает , что группы людей , действующих в совокупности способами , которые кажутся интеллигентный (Malone and Bernstein 2015) . Nielsen (2012) является прекрасным введением книжной длины в силе массового сотрудничества для научных исследований.

Есть много видов массового сотрудничества, которые не вписываются в три категории, которые я предложил, и я думаю, три заслуживают особого внимания, потому что они могут быть полезны в социальных исследованиях в какой-то момент. Одним из примеров является рынок прогнозирования, где покупают участники и торговые контракты, которые подлежат погашению на основе результатов , которые происходят в мире (Wolfers and Zitzewitz 2004; Arrow et al. 2008) и (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Предсказание рынки часто используются фирмами и правительствами для прогнозирования и прогнозирования рынков также использовались социальными исследователями для прогнозирования воспроизводимости опубликованных исследований в области психологии (Dreber et al. 2015) и (Dreber et al. 2015) .

Второй пример , который не вписывается в мою схему категоризации является проект эрудит, где исследователи совместно используют блоги и вики , чтобы доказать новые математические теоремы (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) и (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Проект эрудитом в некотором смысле похож на Netflix премии, но у участников проекта Polymath более активно застраивается частных решений других.

Третий пример, который не вписывается в мою схему категоризации зависит от времени мобилизаций, таких как защита Агентства перспективных исследований (DARPA) Network Challenge (т.е. Красный шар Вызвать). Для получения дополнительной информации об этих чувствительных время мобилизаций см Pickard et al. (2011) и Pickard et al. (2011) , Tang et al. (2011) и Tang et al. (2011) , и Rutherford et al. (2013) и Rutherford et al. (2013) г. Rutherford et al. (2013) .

• Человеческого вычисления (раздел 5.2)

Термин "человеческое вычисление" выходит из работы, проделанной компьютерных ученых, и понимание контекста позади этого исследования улучшит вашу способность выделить проблемы, которые могут быть пригодны для него. Для некоторых задач, компьютеры невероятно мощные с возможностями, значительно превышающими даже экспертов людей. К примеру, в шахматы, компьютеры могут бить даже лучшие гроссмейстеры. Но, и это менее хорошо ценится социальных ученых-для других задач, компьютеры на самом деле гораздо хуже, чем у людей. Другими словами, прямо сейчас вы лучше, чем даже самый сложный компьютер на выполнение определенных задач, связанных с обработкой изображений, видео, аудио и текста. Таким образом, как это было проиллюстрировано прекрасным XKCD мультипликационном есть задачи, которые легки для компьютеров и трудно для людей, но есть и задачи, которые трудно для компьютеров и просто для людей (рис 5.13). Компьютерные ученые, работающие на этих труднодоступных для-компьютеров-EASY для человека-задач, поэтому, поняли, что они могут включать людей в их вычислительного процесса. Вот как Луис фон Ан (2005) описал человеческое вычисление , когда он впервые ввел термин в своей диссертации: «парадигму для использования вычислительной мощности человеческого для решения проблем , что компьютеры пока не могут решить."

Рисунок 5.13: Для некоторых задач компьютеры удивительно, что превышает способность людей-экспертов. Но, для выполнения других задач, обычные люди могут даже превзойти сложные системы компьютеров. Большие проблемы масштаба, которые включают задачи, которые трудно для компьютеров и просто для людей, хорошо подходят для человеческого вычисления. Используется в соответствии с условиями, описанными здесь: http://xkcd.com/license.html

Согласно этому определению Foldit-который я описал в разделе открытых вызовов, можно рассматривать как проект вычисления человеческого. Тем не менее, я выбираю классифицировать Foldit как открытый вызов, поскольку он требует специальных навыков и он принимает самое лучшее решение способствовало, а не с помощью сплит-применить стратегию-объединить.

Для отличной длины книга лечения человеческого вычисления, в самом общем смысле этого термина, см Law and Ahn (2011) . В главе 3 Law and Ahn (2011) имеет интересное обсуждение более сложных шагов сочетают в себе , чем те , в этой главе.

Термин "сплит-применить-комбинат" был использован Wickham (2011) , чтобы описать стратегию статистических вычислений, но он прекрасно отражает процесс многих проектов вычислений человека. Раскол применить стратегию-объединить аналогична рамках MapReduce , разработанной в Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Два умных проектов вычислений человека , что у меня не было места для обсуждения являются игры ESP (Ahn and Dabbish 2004) и рекапчи (Ahn et al. 2008) и (Ahn et al. 2008) . Оба этих проектов нашли творческие способы, чтобы мотивировать участников представить этикетки на изображениях. Тем не менее, оба этих проектов также поднял этические вопросы , потому что, в отличие от Galaxy Zoo, участники ESP игры и рекапчи не знали , как их данные используются (Lung 2012; Zittrain 2008) .

Вдохновленный ESP игры, многие исследователи пытались разработать другие "игры с целью" (Ahn and Dabbish 2008) (то есть, "Вычисление человеческой основе игры" (Pe-Than, Goh, and Lee 2015) ) , которые могут быть используется для решения множества других задач. То, что эти «игры с целью" имеют в общем, что они пытаются сделать задачи, связанные с человеческим вычисления приятным. Таким образом, в то время как ESP игры разделяет те же сплит-применить-Combine структуру с Galaxy Zoo, она отличается тем, каким образом участники мотивированы-забавы против желания помочь науке.

Мое описание Galaxy Zoo опирается на Nielsen (2012) , Adams (2012) , Clery (2011) и Hand (2010) , и была упрощена мое выступление исследовательских целей Galaxy Zoo. Более подробную информацию об истории классификации галактик в астрономии и как Galaxy Zoo продолжает эту традицию, см Masters (2012) и Marshall, Lintott, and Fletcher (2015) . Опираясь на Galaxy Zoo, исследователи завершили Galaxy Zoo 2 , который собрано более 60 миллионов более сложных морфологических классификаций у добровольцев (Masters et al. 2011) и (Masters et al. 2011) . Кроме того, они разветвленная с проблемами за пределами галактики морфологии, включая изучение поверхности Луны, в поисках планет, и транскрибировать старые документы. В настоящее время все их проекты собираются на www.zooniverse.org (Cox et al. 2015) и (Cox et al. 2015) . Один из проектов моментальных копий Серенгети-свидетельствует о том, что Galaxy Zoo типа классификации изображений проектов также может быть сделано для экологических исследований (Swanson et al. 2016) и (Swanson et al. 2016) .

Для исследователей планирует использовать рынок труда микро-задачи (например, Amazon Mechanical Turk) для проекта вычисления человека, Chandler, Paolacci, and Mueller (2013) и Wang, Ipeirotis, and Provost (2015) предлагают хорошие советы по дизайну задач и другие вопросы, связанные.

Исследователи , заинтересованные в создании того , что я назвал системы человеческого вычислений второго поколения (например, системы , которые используют человеческие этикетки для обучения модели машинного обучения) могут быть заинтересованы в Shamir et al. (2014) и Shamir et al. (2014) (для примера , используя аудио) и Cheng and Bernstein (2015) . Кроме того, эти проекты могут быть сделаны с открытыми вызовами, в результате чего исследователи соревнуются, чтобы создавать модели машинного обучения с наибольшей предсказательной работы. Например, команда Galaxy Zoo побежал открытый вызов и нашел новый подход , который превзошел один развитый в Banerji et al. (2010) и Banerji et al. (2010) ; см Dieleman, Willett, and Dambre (2015) для деталей.

• Открытые вызовы (раздел 5.3)

Открытые вызовы не являются новыми. На самом деле, один из самых известных открытых вызовов восходит к 1714 году, когда парламент Великобритании создал долготе премию для тех, кто мог бы разработать способ определения долготы судна в море. Проблема озадачены многие из величайших ученых времен, в том числе Исаака Ньютона, и выигрышное решение в конце концов , представленный часовщика из сельской местности , которые подошли к решению проблемы по- разному от ученых , которые были направлены на решение , которое бы каким - то образом вовлечь астрономии (Sobel 1996) . Как показывает этот пример, одна из причин того, что открытые призывы думают, работают так хорошо, что они обеспечивают доступ к людям с разных точек зрения и навыков (Boudreau and Lakhani 2013) . См Hong and Page (2004) и Page (2008) для дополнительной информации о ценности разнообразия в решении проблем.

Каждый из случаев открытых вызовов в главе требует немного объяснения причин того, почему оно принадлежит к этой категории. Во-первых, один из способов, который я провожу различие между человеческим и вычисления открытых проектов вызовов, является ли выход в среднем всех решений (человеческого вычисления) или наилучшее решение (открытый вызов). Netflix Prize несколько сложнее в этом плане , потому что лучшее решение оказалось сложным в среднем индивидуальных решений, подошел называется ансамблем решение (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . С точки зрения Netflix, однако, все они должны были сделать, это выбрать лучшее решение.

Во- вторых, некоторые определения человеческого вычисления (например, Von Ahn (2005) ), Foldit следует рассматривать как проект вычисления человеческого. Тем не менее, я выбираю классифицировать Foldit как открытый вызов, поскольку он требует специальных навыков и он принимает самое лучшее решение способствовало, а не с помощью сплит-применить стратегию-объединить.

И, наконец, можно утверждать, что Равный-Патент является примером распределенного сбора данных. Я выбираю, чтобы включить его в качестве открытого вызова, поскольку он имеет конкурс-подобную структуру и используются только лучшие материалы (в то время как с распределенной сбора данных, идея хороших и плохих вкладов менее ясна).

Более подробную информацию о Netflix Prize, см Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , и Feuerverger, He, and Khatri (2012) . Более подробную информацию о Foldit см, Cooper et al. (2010) и Cooper et al. (2010) , Andersen et al. (2012) и Andersen et al. (2012) , и Khatib et al. (2011) и Khatib et al. (2011) ; мое описание Foldit опирается на описания в Nielsen (2012) , Bohannon (2009) и Hand (2010) . Более подробную информацию о Равный-Патент см Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) и Noveck (2009) .

Аналогично результатам Glaeser et al. (2016) и Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , глава 10 отчетов большой прирост в производительности жилищных инспекторов в Нью - Йорке , когда инспекции руководствуются прогнозирующих моделей. В Нью - Йорке, эти прогностические модели были построены сотрудниками городских, но и в других случаях, можно представить себе , что они могут быть созданы или усовершенствованы с открытыми вызовами (например, Glaeser et al. (2016) и Glaeser et al. (2016) ). Тем не менее, одна из основных проблем с Прогнозные модели используются для распределения ресурсов является то, что модели имеют потенциал для усиления существующих предубеждений. Многие исследователи уже знают "мусор в, мусор", и с прогнозирующих моделей может быть "перекос в, диагонально из" . См Barocas and Selbst (2016) и O'Neil (2016) для получения дополнительной информации об опасности прогнозных моделей , построенных предвзятых обучающих данных.

Одна из проблем, которые могут помешать правительствам использовать открытые соревнования в том, что она требует освобождения данных, что может привести к нарушению конфиденциальности. Более подробную информацию о конфиденциальности и публикации данных в открытых вызовов см Narayanan, Huey, and Felten (2016) и обсуждение в главе 6.

• Распределенный сбор данных (раздел 5.4)

Мое описание eBird опирается на описания в Bhattacharjee (2005) и Robbins (2013) . Более подробную информацию о том , как исследователи используют статистические модели для анализа данных eBird см Hurlbert and Liang (2012) и Fink et al. (2010) и Fink et al. (2010) . Более подробную информацию об истории гражданской науки в ornothology см Greenwood (2007) .

Более подробную информацию о проекте Малави Журналы см Watkins and Swidler (2009) и Kaler, Watkins, and Angotti (2015) . И больше соответствующего проекта в Южной Африке см Angotti and Sennott (2015) . Для получения большего количества примеров исследований с использованием данных из проекта Малави Журналы см Kaler (2004) и Angotti et al. (2014) и Angotti et al. (2014) .

• Проектирование свой ​​собственный (раздел 5.5)

Мой подход к предлагая дизайн совет был индуктивные, основанные на примерах успешных и неудачных проектов массового сотрудничества, которые я слышал о. Существует также поток исследований пытается применить более общие социально - психологические теории к разработке интернет - сообществ , которые имеют отношение к разработке проектов массового сотрудничества, смотри, например, Kraut et al. (2012) и Kraut et al. (2012) .

Что касается мотивирующих участников, это на самом деле довольно сложно понять, почему именно люди участвуют в массовое сотрудничество проектов (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) и (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) и (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) и (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Если вы планируете мотивировать участников с оплатой на рынке труда микро-задачи (например, Amazon Mechanical Turk) Kittur et al. (2013) и Kittur et al. (2013) предлагает несколько советов.

Что касается включения сюрприз, для большего количества примеров неожиданных открытий , исходящих из проектов Zoouniverse см Marshall, Lintott, and Fletcher (2015) .

Что касается того этических, некоторые хорошие общие введениях к вопросам , связанным являются Gilbert (2015) , Salehi et al. (2015) и Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , и Zittrain (2008) . Для вопросов , непосредственно связанных с правовым вопросам с сотрудниками толпы см Felstiner (2011) . O'Connor (2013) рассматриваются вопросы этического контроля исследований , когда роли исследователей и участников стираться. По вопросам , связанным с обменом данными, защищая participats в научных проектах граждан, см Bowser et al. (2014) и Bowser et al. (2014) . Оба Purdam (2014) и Windt and Humphreys (2016) имеют некоторое обсуждение этических проблем в распределенной сбора данных. И, наконец, большинство проектов признают вклад, но не дают авторстве кредиты участникам. В Foldit, игроки Foldit часто упоминаются как автор (Cooper et al. 2010; Khatib et al. 2011) и (Cooper et al. 2010; Khatib et al. 2011) и (Cooper et al. 2010; Khatib et al. 2011) . В других проектах с открытым вызова, победившая участник может часто писать статью , описывающую их решения (например, Bell, Koren, and Volinsky (2010) и Dieleman, Willett, and Dambre (2015) ). В семье Galaxy Zoo проектов, чрезвычайно активные и важные вкладчики иногда приглашают стать соавторами по бумагам. Например, Иван Терентьев и Тим Matorny, два участника Galaxy Zoo Radio из России, были соавторами на одной из работ , которые возникли из этого проекта (Banfield et al. 2016; Galaxy Zoo 2016) и (Banfield et al. 2016; Galaxy Zoo 2016) .