далі коментарі

Цей розділ призначений для використання в якості еталону, замість того , щоб бути прочитаний як розповідь.

• Введення (розділ 5.1)

Масове співробітництво змішує ідеї громадянина науки, краудсорсінг і колективного розуму. Citizen наука , як правило , означає , що з участю "громадян" (тобто, не є вченими) в науковому процесі (Crain, Cooper, and Dickinson 2014) . Краудсорсінг зазвичай означає прийняття проблеми зазвичай вирішуються в рамках організації і замість того, щоб аутсорсинг його до натовпу (Howe 2009) . Колективний розум , як правило , означає , що групи людей , що діють в сукупності способами , які здаються інтелігентний (Malone and Bernstein 2015) . Nielsen (2012) є прекрасним введенням книжкової довжини в силі масового співробітництва для наукових досліджень.

Є багато видів масового співробітництва, які не вписуються в три категорії, які я запропонував, і я думаю, три заслуговують на особливу увагу, тому що вони можуть бути корисні в соціальних дослідженнях в якийсь момент. Одним з прикладів є ринок прогнозування, де купують учасники і торгові контракти, які підлягають погашенню на основі результатів , які відбуваються в світі (Wolfers and Zitzewitz 2004; Arrow et al. 2008) і (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Передбачення ринки часто використовуються фірмами і урядами для прогнозування і прогнозування ринків також використовувалися соціальними дослідниками для прогнозування відтворюваності опублікованих досліджень в області психології (Dreber et al. 2015) і (Dreber et al. 2015) .

Другий приклад , який не вписується в мою схему категоризації є проект ерудит, де дослідники спільно використовують блоги та вікі , щоб довести нові математичні теореми (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) і (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Проект ерудитом в деякому сенсі схожий на Netflix премії, але в учасників проекту Polymath більш активно забудовується приватних рішень інших.

Третій приклад, який не вписується в мою схему категоризації залежить від часу мобілізацій, таких як захист Агентства перспективних досліджень (DARPA) Network Challenge (тобто Червона куля Викликати). Для отримання додаткової інформації про ці чутливих час мобілізацій см Pickard et al. (2011) та Pickard et al. (2011) , Tang et al. (2011) і Tang et al. (2011) , і Rutherford et al. (2013) і Rutherford et al. (2013) р Rutherford et al. (2013) .

• Людського обчислення (розділ 5.2)

Термін "людське обчислення" виходить з роботи, виконаної комп'ютерних вчених, і розуміння контексту позаду цього дослідження поліпшить вашу здатність виділити проблеми, які можуть бути придатні для нього. Для деяких завдань, комп'ютери неймовірно потужні з можливостями, що значно перевищують навіть експертів людей. Наприклад, в шахи, комп'ютери можуть бити навіть найкращі гросмейстери. Але, і це менше добре цінується соціальних вчених-для інших завдань, комп'ютери насправді набагато гірше, ніж у людей. Іншими словами, прямо зараз ви краще, ніж навіть найскладніший комп'ютер на виконання певних завдань, пов'язаних з обробкою зображень, відео, аудіо та тексту. Таким чином, як це було проілюстровано прекрасним XKCD мультиплікаційному є завдання, які легкі для комп'ютерів і важко для людей, але є і завдання, які важко для комп'ютерів і просто для людей (рис 5.13). Комп'ютерні вчені, що працюють на цих важкодоступних для-комп'ютерів-EASY для людини-задач, тому, зрозуміли, що вони можуть включати людей у ​​їх обчислювального процесу. Ось як Луїс фон Ан (2005) описав людське обчислення , коли він вперше ввів термін у своїй дисертації: «парадигму для використання обчислювальної потужності людського для вирішення проблем , що комп'ютери поки не можуть вирішити."

Малюнок 5.13: Для деяких завдань комп'ютери дивно, що перевищує здатність людей-експертів. Але, для виконання інших завдань, звичайні люди можуть навіть перевершити складні системи комп'ютерів. Великі проблеми масштабу, які включають завдання, які важко для комп'ютерів і просто для людей, добре підходять для людського обчислення. Використовується відповідно до умов, описаними тут: http://xkcd.com/license.html

Згідно з цим визначенням Foldit-який я описав в розділі відкритих викликів, можна розглядати як проект обчислення людського. Проте, я вибираю класифікувати Foldit як відкритий виклик, оскільки він вимагає спеціальних навичок і він приймає найкраще рішення сприяло, а не за допомогою спліт-застосувати стратегію-об'єднати.

Для відмінною довжини книга лікування людського обчислення, в найзагальнішому сенсі цього терміна, см Law and Ahn (2011) . У розділі 3 Law and Ahn (2011) має цікаве обговорення більш складних кроків поєднують в собі , ніж ті , в цьому розділі.

Термін "спліт-застосувати-комбінат" був використаний Wickham (2011) , щоб описати стратегію статистичних обчислень, але він прекрасно відображає процес багатьох проектів обчислень людини. Розкол застосувати стратегію-об'єднати аналогічна рамках MapReduce , розробленої в Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Два розумних проектів обчислень людини , що у мене не було місця для обговорення є ігри ESP (Ahn and Dabbish 2004) і рекапчі (Ahn et al. 2008) і (Ahn et al. 2008) . Обидва цих проектів знайшли творчі способи, щоб мотивувати учасників уявити етикетки на зображеннях. Тим НЕ менше, обидва цих проектів також підняв етичні питання , тому що, в відміну від Galaxy Zoo, учасники ESP гри і рекапчі не знали , як їх дані використовуються (Lung 2012; Zittrain 2008) .

Натхненний ESP гри, багато дослідників намагалися розробити інші "ігри з метою" (Ahn and Dabbish 2008) (тобто, "Обчислення людської основі гри" (Pe-Than, Goh, and Lee 2015) ) , які можуть бути використовується для вирішення безлічі інших завдань. Те, що ці «ігри з метою" мають в загальному, що вони намагаються зробити завдання, пов'язані з людським обчислення приємним. Таким чином, в той час як ESP гри розділяє ті ж спліт-застосувати-Combine структуру з Galaxy Zoo, вона відрізняється тим, яким чином учасники мотивовані-забави проти бажання допомогти науці.

Моє опис Galaxy Zoo спирається на Nielsen (2012) , Adams (2012) , Clery (2011) і Hand (2010) , і була спрощена мій виступ дослідних цілей Galaxy Zoo. Більш детальну інформацію про історію класифікації галактик в астрономії і як Galaxy Zoo продовжує цю традицію, см Masters (2012) і Marshall, Lintott, and Fletcher (2015) . Спираючись на Galaxy Zoo, дослідники завершили Galaxy Zoo 2 , який зібрано понад 60 мільйонів складніших морфологічних класифікацій у добровольців (Masters et al. 2011) і (Masters et al. 2011) . Крім того, вони розгалужена з проблемами за межами галактики морфології, включаючи вивчення поверхні Місяця, в пошуках планет, і транскрибувати старі документи. В даний час всі їхні проекти збираються на www.zooniverse.org (Cox et al. 2015) і (Cox et al. 2015) . Один з проектів моментальних копій Серенгеті-свідчить про те, що Galaxy Zoo типу класифікації зображень проектів також може бути зроблено для екологічних досліджень (Swanson et al. 2016) і (Swanson et al. 2016) .

Для дослідників планує використовувати ринок праці мікро-завдання (наприклад, Amazon Mechanical Turk) для проекту обчислення людини, Chandler, Paolacci, and Mueller (2013) і Wang, Ipeirotis, and Provost (2015) пропонують хороші поради по дизайну завдань і інші питання, пов'язані.

Дослідники , зацікавлені в створенні того , що я назвав системи людського обчислень другого покоління (наприклад, системи , які використовують людські етикетки для навчання моделі машинного навчання) можуть бути зацікавлені в Shamir et al. (2014) і Shamir et al. (2014) (для прикладу , використовуючи аудіо) і Cheng and Bernstein (2015) . Крім того, ці проекти можуть бути зроблені на відкриті виклики, в результаті чого дослідники змагаються, щоб створювати моделі машинного навчання з найбільшою предсказательной роботи. Наприклад, команда Galaxy Zoo побіг відкритий виклик і знайшов новий підхід , який перевершив один розвинений в Banerji et al. (2010) і Banerji et al. (2010) ; см Dieleman, Willett, and Dambre (2015) для деталей.

• Відкриті виклики (розділ 5.3)

Відкриті виклики не є новими. Насправді, один з найвідоміших відкритих викликів сходить до 1714 році, коли парламент Великобританії створив довготі премію для тих, хто міг би розробити спосіб визначення довготи судна в море. Проблема спантеличені багато з найвидатніших учених часів, в тому числі Ісаака Ньютона, і виграшне рішення в кінці кінців , представлений годинникаря з сільської місцевості , які підійшли до вирішення проблеми по- різному від вчених , які були спрямовані на вирішення , яке б яким - то чином залучити астрономії (Sobel 1996) . Як показує цей приклад, одна з причин того, що відкриті заклики думають, працюють так добре, що вони забезпечують доступ до людей з різних точок зору і навичок (Boudreau and Lakhani 2013) . Див Hong and Page (2004) і Page (2008) для додаткової інформації про цінності різноманітності в рішенні проблем.

Кожен з випадків відкритих викликів в розділі вимагає трохи пояснення причин того, чому воно належить до цієї категорії. По-перше, один із способів, який я проводжу відмінність між людським і обчислення відкритих проектів викликів, чи є вихід в середньому всіх рішень (людського обчислення) або найкраще рішення (відкритий виклик). Netflix Prize трохи складніше в цьому плані , тому що краще рішення виявилося складним в середньому індивідуальних рішень, підійшов називається ансамблем рішення (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . З точки зору Netflix, однак, всі вони повинні були зробити, це вибрати найкраще рішення.

По- друге, деякі визначення людського обчислення (наприклад, Von Ahn (2005) ), Foldit слід розглядати як проект обчислення людського. Проте, я вибираю класифікувати Foldit як відкритий виклик, оскільки він вимагає спеціальних навичок і він приймає найкраще рішення сприяло, а не за допомогою спліт-застосувати стратегію-об'єднати.

І, нарешті, можна стверджувати, що Рівний-Патент є прикладом розподіленого збору даних. Я вибираю, щоб включити його в якості відкритого виклику, оскільки він має конкурс-подібну структуру і використовуються тільки кращі матеріали (в той час як з розподіленою збору даних, ідея хороших і поганих вкладів менш ясна).

Більш детальну інформацію про Netflix Prize, см Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , і Feuerverger, He, and Khatri (2012) . Більш детальну інформацію про Foldit см, Cooper et al. (2010) і Cooper et al. (2010) , Andersen et al. (2012) і Andersen et al. (2012) , і Khatib et al. (2011) і Khatib et al. (2011) ; моє опис Foldit спирається на опису в Nielsen (2012) , Bohannon (2009) і Hand (2010) . Більш детальну інформацію про Рівний-Патент см Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) і Noveck (2009) .

Аналогічно результатами Glaeser et al. (2016) і Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , глава 10 звітів великий приріст в продуктивності житлових інспекторів в Нью - Йорку , коли інспекції керуються прогнозуючих моделей. У Нью - Йорку, ці прогностичні моделі були побудовані співробітниками міських, але і в інших випадках, можна уявити собі , що вони можуть бути створені або вдосконалені на відкриті виклики (наприклад, Glaeser et al. (2016) і Glaeser et al. (2016) ). Проте, одна з основних проблем з Прогнозні моделі використовуються для розподілу ресурсів є те, що моделі мають потенціал для посилення існуючих упереджень. Багато дослідників вже знають "сміття в, сміття", і з прогнозуючих моделей може бути "перекіс в, діагонально з" . Див Barocas and Selbst (2016) і O'Neil (2016) для отримання додаткової інформації про небезпеку прогнозних моделей , побудованих упереджених навчальних даних.

Одна з проблем, які можуть перешкодити урядам використовувати відкриті змагання в тому, що вона вимагає звільнення даних, що може привести до порушення конфіденційності. Більш детальну інформацію про конфіденційність і публікації даних у відкритих викликів см Narayanan, Huey, and Felten (2016) і обговорення в главі 6.

• Розподілений збір даних (розділ 5.4)

Моє опис eBird спирається на опису в Bhattacharjee (2005) і Robbins (2013) . Більш детальну інформацію про те , як дослідники використовують статистичні моделі для аналізу даних eBird см Hurlbert and Liang (2012) і Fink et al. (2010) і Fink et al. (2010) . Більш детальну інформацію про історію цивільної науки в ornothology см Greenwood (2007) .

Більш детальну інформацію про проект Малаві Журнали см Watkins and Swidler (2009) і Kaler, Watkins, and Angotti (2015) . І більше відповідного проекту в Південній Африці см Angotti and Sennott (2015) . Для отримання більшого кількості прикладів досліджень з використанням даних з проекту Малаві Журнали см Kaler (2004) і Angotti et al. (2014) і Angotti et al. (2014) .

• Проектування свій власний (розділ 5.5)

Мій підхід до пропонуючи дизайн рада був індуктивні, засновані на прикладах успішних і невдалих проектів масового співробітництва, які я чув о. Існує також потік досліджень намагається застосувати більш загальні соціально - психологічні теорії до розробки інтернет - спільнот , які мають відношення до розробки проектів масового співробітництва, дивись, наприклад, Kraut et al. (2012) і Kraut et al. (2012) .

Що стосується мотивуючих учасників, це насправді досить складно зрозуміти, чому саме люди беруть участь в масове співробітництво проектів (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) і (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) і (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) і (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Якщо ви плануєте мотивувати учасників з оплатою на ринку праці мікро-завдання (наприклад, Amazon Mechanical Turk) Kittur et al. (2013) і Kittur et al. (2013) пропонує кілька порад.

Що стосується включення сюрприз, для більшого кількості прикладів несподіваних відкриттів , що виходять з проектів Zoouniverse см Marshall, Lintott, and Fletcher (2015) .

Що стосується того етичних, деякі хороші загальні введениях до питань , пов'язаних є Gilbert (2015) , Salehi et al. (2015) і Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , і Zittrain (2008) . Для питань , безпосередньо пов'язаних з правових питань з працівниками натовпу см Felstiner (2011) . O'Connor (2013) розглядаються питання етичного контролю досліджень , коли ролі дослідників і учасників стиратися. З питань , пов'язаних з обміном даними, захищаючи participats в наукових проектах громадян, см Bowser et al. (2014) і Bowser et al. (2014) . Обидва Purdam (2014) і Windt and Humphreys (2016) мають деякий обговорення етичних проблем в розподіленої збору даних. І, нарешті, більшість проектів визнають вклад, але не дають авторство кредити учасникам. У Foldit, гравці Foldit часто згадуються як автор (Cooper et al. 2010; Khatib et al. 2011) і (Cooper et al. 2010; Khatib et al. 2011) і (Cooper et al. 2010; Khatib et al. 2011) . В інших проектах з відкритим виклику, яка перемогла учасник може часто писати статтю , що описує їх вирішення (наприклад, Bell, Koren, and Volinsky (2010) і Dieleman, Willett, and Dambre (2015) ). У родині Galaxy Zoo проектів, надзвичайно активні і важливі вкладники іноді запрошують стати співавторами по паперах. Наприклад, Іван Терентьєв і Тім Matorny, два учасники Galaxy Zoo Radio з Росії, були співавторами на одній з робіт , які виникли з цього проекту (Banfield et al. 2016; Galaxy Zoo 2016) і (Banfield et al. 2016; Galaxy Zoo 2016) .