Што чытаць далей

• Ўвядзенне (раздел 5.1)

Масавае супрацоўніцтва змешвае ідэі грамадзянскай навукі, краудсорсинг і калектыўнага розуму. Citizen навука звычайна азначае, што з удзелам «грамадзян» (г.зн. nonscientists) у навуковым працэсе; падрабязней гл Crain, Cooper, and Dickinson (2014) і Bonney et al. (2014) і Bonney et al. (2014) . Краудсорсинг звычайна азначае прыняцце праблемы звычайна вырашаецца ў рамках арганізацыі і замест аўтсорсінгу яго ў натоўпе; падрабязней гл Howe (2009) . Калектыўны розум звычайна азначае групу асоб, якія дзейнічаюць у сукупнасці спосабаў, якія здаюцца разумнымі; падрабязней гл Malone and Bernstein (2015) . Nielsen (2012) з'яўляецца ўвядзенне кніжнай даўжыні да сілы масавага супрацоўніцтва для навуковых даследаванняў.

Ёсць шмат відаў масавага супрацоўніцтва, якія не ўпісваюцца ў трох катэгорый, якія я прапанаваў, і я думаю, што тры з іх заслугоўвае асаблівай увагі, таму што яны могуць быць карысныя ў сацыяльных даследаваннях. Адным з прыкладаў з'яўляецца рынак прагназавання, дзе купіць ўдзельнікі і гандлёвыя кантракты, якія падлягаюць пагашэнню на аснове вынікаў, якія адбываюцца ў свеце. Прадказанне рынкі часта выкарыстоўваецца фірмамі і ўрадамі для прагназавання, і яны таксама былі выкарыстаны сацыяльнымі даследчыкамі для прагназавання узнаўляльнасці апублікаваных даследаванняў у галіне псіхалогіі (Dreber et al. 2015) і (Dreber et al. 2015) . Для агляду рынкаў прагназавання см Wolfers and Zitzewitz (2004) і Arrow et al. (2008) і Arrow et al. (2008) .

Другі прыклад, які не ўпісваецца ў маю схему катэгарызацыі з'яўляецца праект эрудыт, дзе даследчыкі сумесна выкарыстоўваюць блогі і вікі, каб даказаць новыя матэматычныя тэарэмы. Праект эрудыт у пэўным сэнсе падобны на Netflix Prize, але ў гэтым праекце ўдзельнікі больш актыўна забудоўваецца прыватных рашэнняў іншых. Больш падрабязную інфармацыю аб праекце эрудыт см Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , і Kloumann et al. (2016) і Kloumann et al. (2016) .

Трэці прыклад, які не ўпісваецца ў маю схему катэгарызацыі, што залежыць ад часу мабілізацый, такіх як абарона Advanced Research Projects Agency (DARPA) Сеткавага выклік (г.зн. Чырвонага шара Выклік). Для дадатковай інфармацыі аб гэтых адчувальных да часу мабілізацый см Pickard et al. (2011) і Pickard et al. (2011) , Tang et al. (2011) і Tang et al. (2011) , і Rutherford et al. (2013) і Rutherford et al. (2013) .

• Чалавечае вылічэнне (раздел 5.2)

Тэрмін «чалавечы разлік» выходзіць з працы, праведзенай кампутарных навукоўцаў, і разуменне кантэксту ззаду гэтага даследавання палепшыць вашу здольнасць выбраць з праблем, якія могуць быць прыдатныя для гэтага. Для некаторых задач, кампутары неверагодна магутныя, з магчымасцямі нашмат перавышаюць тыя нават дасведчаныя людзей. Так, напрыклад, у шахматах, кампутары могуць біць нават лепшыя гросмайстры. Але, і гэта менш цэніцца грамадазнаўцаў-для іншых задач, кампутары на самай справе значна горш, чым у людзей. Іншымі словамі, цяпер вы лепш, чым нават самы складаны кампутар на выкананне пэўных задач, звязаных з апрацоўкай малюнкаў, відэа, аўдыё і тэксту. Праграмісты, якія працуюць на гэтых цяжкадаступных для-кампутараў-EASY для чалавека-задач таму зразумеў, што яны могуць ўключаць людзей у іх вылічальнага працэсу. Вось як Луіс фон Ан (2005) апісаў чалавечы разлік , калі ён упершыню ўвёў тэрмін у яго дысертацыі: «парадыгма для выкарыстання вылічальнай магутнасці чалавечай для вырашэння праблем , што кампутары пакуль не могуць вырашыць.» Для кнігі даўжынёй апрацоўкі чалавечага вылічэнні, у самы агульны сэнс тэрміна см Law and Ahn (2011) .

Паводле вызначэння , прапанаванаму ў Ahn (2005) Foldit-які я апісаў у раздзеле адкрытых выклікаў, можна разглядаць як праект вылічэнні чалавека. Тым не менш, я выбіраю класіфікаваць Foldit як адкрыты выклік, таму што гэта патрабуе спецыяльных навыкаў (хоць і не абавязкова фармальнае навучанне), і яна прымае самае лепшае рашэнне спрыяла, а не з дапамогай спліт-ужыванні, аб'яднаць стратэгію.

Тэрмін «спліт-ўжыць-камбінат» было выкарыстаны Wickham (2011) , каб апісаць стратэгію статыстычных вылічэнняў, але ён выдатна адлюстроўвае працэс многіх праектаў вылічальнага чалавека. Раскол прымяніць-скамбінаваны стратэгія падобная на рамках MapReduce, распрацаванай у Google; больш на MapReduce, см Dean and Ghemawat (2004) і Dean and Ghemawat (2008) . Больш падрабязнай інфармацыі аб іншых размеркаваных вылічальных архітэктурах, см Vo and Silvia (2016) . Кіраўнік 3 Law and Ahn (2011) мае абмеркаванне праектаў з больш складанымі крокамі камбінуюць , чым тыя , у гэтым раздзеле.

У праектах вылічальнага чалавека аб якіх я казаў у главе, удзельнікі былі дасведчаныя аб тым, што адбываецца. Некаторыя іншыя праекты, аднак, імкнуцца захапіць «працу», якая ўжо адбываецца (па аналогіі з eBird) і без ведама ўдзельніка. Глядзі, напрыклад, гульня ESP (Ahn and Dabbish 2004) і рекапчи (Ahn et al. 2008) і (Ahn et al. 2008) . Аднак абодва гэтых праектаў таксама паднімаюць этычныя пытанні , таму што ўдзельнікі не ведаюць , як іх дадзеныя выкарыстоўваюцца (Zittrain 2008; Lung 2012) .

Натхнёны ESP гульня, многія даследчыкі спрабавалі распрацаваць іншыя «гульні з мэтай» (Ahn and Dabbish 2008) (гэта значыць, «вылічэнні чалавечых асновы гульня» (Pe-Than, Goh, and Lee 2015) ) , якія могуць быць выкарыстоўваецца для вырашэння мноства іншых задач. Тое, што гэтыя «гульні з мэтай» аб'ядноўвае тое, што яны спрабуюць зрабіць задачы, звязаныя з чалавечым вылічэннем прыемным. Такім чынам, у той час як ESP гульня падзяляе тую ж спліт-ўжыць-Combine структуру з Galaxy Zoo, яна адрозніваецца тым, якім чынам удзельнікаў матываваныя-забава супраць жадання дапамагчы навуцы. Больш падрабязную інфармацыю аб гульнях з мэтай убачыць Ahn and Dabbish (2008) .

Маё апісанне Galaxy Zoo абапіраецца на Nielsen (2012) , Adams (2012) , Clery (2011) і Hand (2010) , і была спрошчаная мая прэзентацыя даследчых мэтаў Galaxy Zoo. Больш падрабязную інфармацыю аб гісторыі класіфікацыі галактык ў астраноміі і як Galaxy Zoo працягвае гэтую традыцыю, см Masters (2012) і Marshall, Lintott, and Fletcher (2015) . Абапіраючыся на Galaxy Zoo, даследчыкі завяршылі Galaxy Zoo 2 , які сабрана больш за 60 мільёнаў больш складаных марфалагічных класіфікацый з добраахвотнікаў (Masters et al. 2011) і (Masters et al. 2011) . Акрамя таго, яны разгалінаваная з праблемамі за межамі галактыкі марфалогіі, уключаючы вывучэнне паверхні Месяца, у пошуках планет, і перапісванне старых дакументаў. У цяперашні час усе іх праекты сабраны на сайце Zooniverse (Cox et al. 2015) і (Cox et al. 2015) . Адзін з праектаў-Snapshot Сэрэнгэці-дае доказы таго, што Galaxy Zoo тыпу класіфікацыя малюнка праекты таксама могуць быць зроблены для экалагічных даследаванняў (Swanson et al. 2016) і (Swanson et al. 2016) .

Для даследчыкаў плануюць выкарыстоўваць рынак працы microtask (напрыклад, Amazon Mechanical Turk) для праекта вылічэнні чалавека, Chandler, Paolacci, and Mueller (2013) і J. Wang, Ipeirotis, and Provost (2015) прапануюць добрыя парады па дызайне і задач іншыя звязаныя з гэтым пытанні. Porter, Verdery, and Gaddis (2016) прапануюць прыклады і парады сканцэнтраваны менавіта на выкарыстанні рынкаў працы microtask за тое , што яны называюць «дадзеныя дапаўненні.» Лінія паміж павелічэннем дадзеных і зборам дадзеных некалькі размыта. Больш падрабязную інфармацыю аб зборы і выкарыстанні этыкетак для кантраляванага навучання для тэксту, см Grimmer and Stewart (2013) .

Даследчыкі , зацікаўленыя ў стварэнні таго , што я назваў з дапамогай кампутара сістэмы чалавечых вылічэнняў (напрыклад, сістэмы , якія выкарыстоўваюць чалавечыя этыкеткі для навучання мадэлі машыннага навучання) могуць быць зацікаўлены ў Shamir et al. (2014) і Shamir et al. (2014) (для прыкладу з выкарыстаннем аўдыё) і Cheng and Bernstein (2015) . Акрамя таго, мадэлі машыннага навучання ў гэтых праектах можна запытваць з адкрытымі выклікамі, у выніку чаго даследчыкаў спаборнічаць ствараць мадэлі машыннага навучання з найбольшай предсказательной працай. Напрыклад, каманда Galaxy Zoo правяла адкрыты выклік і знайшла новы падыход , які перасягнуў адзін распрацаваныя ў Banerji et al. (2010) і Banerji et al. (2010) ; см Dieleman, Willett, and Dambre (2015) для дэталяў.

• Адкрытыя конкурсы (раздел 5.3)

Адкрытыя выклікі не з'яўляюцца новымі. На самай справе, адзін з самых вядомых адкрытых выклікаў ўзыходзяць да 1714 году, калі парламент Вялікабрытаніі стварыў даўгату прэмію для тых, хто мог бы распрацаваць спосаб вызначэння даўгаты месца судна ў моры. Праблема збянтэжаныя многія з найвялікшых вучоных дзён, у тым ліку Ісаака Ньютана, і выйгрышнае рашэнне ў рэшце рэшт, прадстаўлены Джонам Харысанам, гадзіншчыка з сельскай мясцовасці, які падышоў да праблемы інакш ад навукоўцаў, якія былі накіраваны на рашэнне, якое было б неяк прыцягваць астраномію ; Для атрымання дадатковай інфармацыі гл Sobel (1996) . Як паказвае гэты прыклад, адна прычына таго, што адкрытыя заклікі думаюць, працуюць так добра , што яны забяспечваюць доступ да людзей , з розных пунктаў гледжання і навыкаў (Boudreau and Lakhani 2013) . См Hong and Page (2004) і Page (2008) для атрымання дадатковай каштоўнасці разнастайнасці ў вырашэнні праблемы.

Кожны з выпадкаў адкрытых выклікаў у главе патрабуе крыху далейшага тлумачэння, чаму яно належыць да гэтай катэгорыі. Па-першае, адзін спосаб, якім я адрозніваць чалавека вылічэнняў і праектаў, адкрытых выклікаў, ці з'яўляецца выхад у сярэднім ўсіх рашэнняў (чалавечага вылічэнні) або найлепшае рашэнне (адкрыты выклік). Netflix Prize некалькі складаней у гэтым плане , таму што лепшае рашэнне апынулася складаным у сярэднім індывідуальных рашэнняў, падыход называецца ансамблем рашэнне (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . З пункту гледжання Netflix, аднак, усе яны павінны былі зрабіць, гэта выбраць лепшае рашэнне. Больш падрабязную інфармацыю аб Netflix Prize, см Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , і Feuerverger, He, and Khatri (2012) .

Ва- другое, па некаторых пастановаў чалавечага вылічэнні (напрыклад, Ahn (2005) ), Foldit варта разглядаць як праект вылічэнні чалавечага. Тым не менш, я выбіраю класіфікаваць яго як адкрыты выклік, таму што гэта патрабуе спецыяльных навыкаў (хоць і не абавязкова спецыялізаванае навучанне), і ён прымае самае лепшае рашэнне, а не з дапамогай спліт-ужыванні, аб'яднаць стратэгію. Больш падрабязную інфармацыю аб Foldit см, Cooper et al. (2010) і Cooper et al. (2010) , Khatib et al. (2011) і Khatib et al. (2011) , і Andersen et al. (2012) і Andersen et al. (2012) ; маё апісанне Foldit абапіраецца на апісання ў Bohannon (2009) , Hand (2010) і Nielsen (2012) .

Нарэшце, можна сцвярджаць, што Роўны-Патэнт з'яўляецца прыкладам размеркаванага збору дадзеных. Я выбіраю, каб уключыць яго ў якасці адкрытага выкліку, паколькі ён мае конкурсную-падобную структуру і выкарыстоўваюцца толькі лепшыя матэрыялы, у той час як з размеркаваным зборам дадзеных, ідэя добрых і дрэнных ўклады менш ясная. Больш падрабязную інфармацыю аб Peer-на-Патэнт см Noveck (2006) , Ledford (2007) , Noveck (2009) , і Bestor and Hamp (2010) .

З пункту гледжання выкарыстання адкрытых выклікаў у сацыяльных даследаваннях, вынікі аналагічныя Glaeser et al. (2016) і Glaeser et al. (2016) , паведамляецца ў чале 10 Mayer-Schönberger and Cukier (2013) у якім Нью - Ёрк быў у стане выкарыстаць прагнознае мадэляванне для атрымання вялікіх поспехаў у прадукцыйнасці жыллёвых інспектараў. У Нью - Ёрку, гэтыя прагнастычныя мадэлі былі пабудаваныя супрацоўнікамі гарадскіх, але і ў іншых выпадках, можна было б выказаць здагадку , што яны маглі б быць створаны або палепшаны з адкрытымі выклікамі (напрыклад, Glaeser et al. (2016) і Glaeser et al. (2016) ). Тым не менш, адна з асноўных праблем з прагнастычнымі мадэлямі выкарыстоўваюцца для размеркавання рэсурсаў з'яўляецца тое, што гэтыя мадэлі маюць патэнцыял для ўзмацнення існуючых прадузятасцяў. Многія даследчыкі ўжо ведаюць , «смецце ў, смецце на выхадзе» , і з прагназуюць мадэляў можа быць «перакос у, дыяганальнае з» . Глядзі Barocas and Selbst (2016) і O'Neil (2016) для атрымання дадатковай інфармацыі аб небяспецы прагнозных мадэляў , пабудаваных прадузятых навучальных дадзеных.

Адна з праблем, якія могуць перашкодзіць ўрадаў выкарыстоўваць адкрытыя спаборніцтвы ў тым, што гэта патрабуе вызвалення дадзеных, што можа прывесці да парушэння прыватнасці. Больш падрабязную інфармацыю аб прыватнасці і публікацыі дадзеных у адкрытых выкліках см Narayanan, Huey, and Felten (2016) і абмеркаванне ў главе 6.

Больш падрабязную інфармацыю пра падабенствы і адрозненні паміж прадказаннем і тлумачэннем, см Breiman (2001) , Shmueli (2010) , Watts (2014) , і Kleinberg et al. (2015) і Kleinberg et al. (2015) . Больш падрабязнай інфармацыі пра ролю прагназавання ў сацыяльных даследаваннях см Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , і Yarkoni and Westfall (2017) .

Для разгляду праектаў адкрытых выклікаў у галіне біялогіі, у тым ліку дызайну саветаў см Saez-Rodriguez et al. (2016) і Saez-Rodriguez et al. (2016) .

• Размеркаваны збор дадзеных (раздел 5.4)

Маё апісанне eBird грунтуецца на апісаннях ў Bhattacharjee (2005) , Robbins (2013) , і Sullivan et al. (2014) і Sullivan et al. (2014) . Больш падрабязную інфармацыю пра тое , як даследчыкі выкарыстоўваюць статыстычныя мадэлі для аналізу дадзеных eBird см Fink et al. (2010) і Fink et al. (2010) і Hurlbert and Liang (2012) . Больш падрабязна аб ацэнцы майстэрства ўдзельнікаў eBird см Kelling, Johnston, et al. (2015) . Больш падрабязную інфармацыю аб гісторыі грамадзянскай навукі ў арніталогіі, см Greenwood (2007) .

Больш падрабязную інфармацыю аб праекце Малаві Журналы см Watkins and Swidler (2009) і Kaler, Watkins, and Angotti (2015) . Больш падрабязную інфармацыю аб роднасным праекце ў Паўднёвай Афрыцы см Angotti and Sennott (2015) . Дадатковыя прыклады даследаванняў з выкарыстаннем дадзеных з праекта Малаві Журналы см Kaler (2004) і Angotti et al. (2014) і Angotti et al. (2014) .

• Праектаванне свой уласны (раздел 5.5)

Мой падыход да прапаноўваючы дызайн савет быў індуктыўны, заснаваны на прыкладах паспяховых і няўдалых праектаў масавага супрацоўніцтва, якія я чуў пра. Там таксама быў паток даследаванняў спробы ўжыць больш агульныя сацыяльна - псіхалагічныя тэорыі да распрацоўкі інтэрнэт - супольнасцяў , якія маюць дачыненне да распрацоўкі праектаў масавага супрацоўніцтва, глядзі, напрыклад, Kraut et al. (2012) і Kraut et al. (2012) .

Што тычыцца матывацыі удзельнікаў, гэта на самай справе даволі складана зразумець, чаму менавіта людзі ўдзельнічаюць у праектах масавага супрацоўніцтва (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) і (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) і (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) і (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Калі вы плануеце матываваць удзельнікаў з аплатай на рынку працы microtask (напрыклад, Amazon Mechanical Turk), Kittur et al. (2013) і Kittur et al. (2013) прапануе некалькі саветаў.

Што тычыцца ўключэння сюрпрызу, для большага колькасці прыкладаў нечаканых адкрыццяў , выходныя з праектаў Zooiverse см Marshall, Lintott, and Fletcher (2015) .

Што тычыцца таго этычных, некаторыя добрыя агульныя ўвядзення ў пытаннях ёсць Gilbert (2015) , Salehi et al. (2015) і Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , і Zittrain (2008) . Для пытанняў , непасрэдна звязаных з прававымі пытаннямі з супрацоўнікамі натоўпу см Felstiner (2011) . O'Connor (2013) разглядаюцца пытанні этычнага кантролю даследаванняў , калі ролі даследчыкаў і ўдзельнікаў сцірацца. Па пытаннях , звязаных з абменам дадзенымі пры абароне ўдзельнікаў навуковых праектаў грамадзян, см Bowser et al. (2014) і Bowser et al. (2014) . Абодва Purdam (2014) і Windt and Humphreys (2016) ёсць абмеркаванне этычных праблем у размеркаванай зборы дадзеных. Нарэшце, большасць праектаў прызнаюць ўклад, але не даюць аўтарстве крэдыты удзельнікам. У Foldit, гульцы часта згадваюцца ў якасці аўтара (Cooper et al. 2010; Khatib et al. 2011) і (Cooper et al. 2010; Khatib et al. 2011) і (Cooper et al. 2010; Khatib et al. 2011) . . У іншых адкрытых праектах выклікаў, якая перамагла ўдзельнік можа часта пісаць артыкул , якая апісвае іх вырашэння (напрыклад, Bell, Koren, and Volinsky (2010) і Dieleman, Willett, and Dambre (2015) ).