далей каментары

Гэты падзел прызначаны для выкарыстання ў якасці эталона, замест таго , каб быць прачытаны як аповяд.

• Ўвядзенне (раздел 5.1)

Масавае супрацоўніцтва змешвае ідэі грамадзяніна навукі, краудсорсинг і калектыўнага розуму. Citizen навука , як правіла , азначае , што з удзелам "грамадзян" (гэта значыць, якія не з'яўляюцца навукоўцамі) у навуковым працэсе (Crain, Cooper, and Dickinson 2014) . Краудсорсинг звычайна азначае прыняцце праблемы звычайна вырашаюцца ў рамках арганізацыі і замест таго, каб аўтсорсінг яго да натоўпу (Howe 2009) . Калектыўны розум , як правіла , азначае , што групы людзей , якія дзейнічаюць у сукупнасці спосабамі , якія здаюцца інтэлігентны (Malone and Bernstein 2015) . Nielsen (2012) з'яўляецца выдатным увядзеннем кніжнай даўжыні ў сіле масавага супрацоўніцтва для навуковых даследаванняў.

Ёсць шмат відаў масавага супрацоўніцтва, якія не ўпісваюцца ў тры катэгорыі, якія я прапанаваў, і я думаю, тры заслугоўваюць асаблівай увагі, таму што яны могуць быць карысныя ў сацыяльных даследаваннях у нейкі момант. Адным з прыкладаў з'яўляецца рынак прагназавання, дзе купляюць ўдзельнікі і гандлёвыя кантракты, якія падлягаюць пагашэнню на аснове вынікаў , якія адбываюцца ў свеце (Wolfers and Zitzewitz 2004; Arrow et al. 2008) і (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Прадказанне рынкі часта выкарыстоўваюцца фірмамі і ўрадамі для прагназавання і прагназавання рынкаў таксама выкарыстоўваліся сацыяльнымі даследчыкамі для прагназавання узнаўляльнасці апублікаваных даследаванняў у галіне псіхалогіі (Dreber et al. 2015) і (Dreber et al. 2015) .

Другі прыклад , які не ўпісваецца ў маю схему катэгарызацыі з'яўляецца праект эрудыт, дзе даследчыкі сумесна выкарыстоўваюць блогі і вікі , каб даказаць новыя матэматычныя тэарэмы (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) і (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Праект эрудытам у пэўным сэнсе падобны на Netflix прэміі, але ва ўдзельнікаў праекта Polymath больш актыўна забудоўваецца прыватных рашэнняў іншых.

Трэці прыклад, які не ўпісваецца ў маю схему катэгарызацыі залежыць ад часу мабілізацый, такіх як абарона Агенцтва перспектыўных даследаванняў (DARPA) Network Challenge (г.зн. Чырвоны шар Выклікаць). Для атрымання дадатковай інфармацыі аб гэтых адчувальных час мабілізацый см Pickard et al. (2011) і Pickard et al. (2011) , Tang et al. (2011) і Tang et al. (2011) , і Rutherford et al. (2013) і Rutherford et al. (2013) г. Rutherford et al. (2013) .

• Чалавечага вылічэнні (раздел 5.2)

Тэрмін "чалавечае вылічэнне" выходзіць з працы, праведзенай кампутарных навукоўцаў, і разуменне кантэксту ззаду гэтага даследавання палепшыць вашу здольнасць вылучыць праблемы, якія могуць быць прыдатныя для яго. Для некаторых задач, кампутары неверагодна магутныя з магчымасцямі, значна якія перавышаюць нават экспертаў людзей. Да прыкладу, у шахматы, кампутары могуць біць нават лепшыя гросмайстры. Але, і гэта менш добра цэніцца сацыяльных навукоўцаў-для іншых задач, кампутары на самай справе значна горш, чым у людзей. Іншымі словамі, прама зараз вы лепш, чым нават самы складаны кампутар на выкананне пэўных задач, звязаных з апрацоўкай малюнкаў, відэа, аўдыё і тэксту. Такім чынам, як гэта было праілюстравана выдатным XKCD мультыплікацыйным ёсць задачы, якія лёгкія для кампутараў і цяжка для людзей, але ёсць і задачы, якія цяжка для кампутараў і проста для людзей (мал 5.13). Кампутарныя навукоўцы, якія працуюць на гэтых цяжкадаступных для-кампутараў-EASY для чалавека-задач, таму, зразумелі, што яны могуць ўключаць людзей у іх вылічальнага працэсу. Вось як Луіс фон Ан (2005) апісаў чалавечае вылічэнне , калі ён упершыню ўвёў тэрмін у сваёй дысертацыі: «парадыгму для выкарыстання вылічальнай магутнасці чалавечага для вырашэння праблем , што кампутары пакуль не могуць вырашыць."

Малюнак 5.13: Для некаторых задач кампутары дзіўна, што перавышае здольнасць людзей-экспертаў. Але, для выканання іншых задач, звычайныя людзі могуць нават перасягнуць складаныя сістэмы кампутараў. Вялікія праблемы маштабу, якія ўключаюць задачы, якія цяжка для кампутараў і проста для людзей, якія добра падыходзяць для чалавечага вылічэнні. Выкарыстоўваецца ў адпаведнасці з умовамі, апісанымі тут: http://xkcd.com/license.html

Згодна з гэтым азначэнні Foldit-які я апісаў у раздзеле адкрытых выклікаў, можна разглядаць як праект вылічэнні чалавечага. Тым не менш, я выбіраю класіфікаваць Foldit як адкрыты выклік, паколькі ён патрабуе спецыяльных навыкаў і ён прымае самае лепшае рашэнне спрыяла, а не з дапамогай спліт-ўжыць стратэгію-аб'яднаць.

Для выдатнай даўжыні кніга лячэння чалавечага вылічэнні, у самым агульным сэнсе гэтага тэрміну, см Law and Ahn (2011) . У раздзеле 3 Law and Ahn (2011) мае цікавае абмеркаванне больш складаных крокаў спалучаюць у сабе , чым тыя , у гэтым раздзеле.

Тэрмін "спліт-ўжыць-камбінат" быў выкарыстаны Wickham (2011) , каб апісаць стратэгію статыстычных вылічэнняў, але ён выдатна адлюстроўвае працэс многіх праектаў вылічэнняў чалавека. Раскол прымяніць стратэгію-аб'яднаць аналагічная рамках MapReduce , распрацаванай у Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Два разумных праектаў вылічэнняў чалавека , што ў мяне не было месца для абмеркавання з'яўляюцца гульні ESP (Ahn and Dabbish 2004) і рекапчи (Ahn et al. 2008) і (Ahn et al. 2008) . Абодва гэтых праектаў знайшлі творчыя спосабы, каб матываваць удзельнікаў прадставіць этыкеткі на малюнках. Тым ня менш, абодва гэтых праектаў таксама падняў этычныя пытанні , таму што, у адрозненне ад Galaxy Zoo, удзельнікі ESP гульні і рекапчи не ведалі , як іх дадзеныя выкарыстоўваюцца (Lung 2012; Zittrain 2008) .

Натхнёны ESP гульні, многія даследчыкі спрабавалі распрацаваць іншыя "гульні з мэтай" (Ahn and Dabbish 2008) (гэта значыць, "Вылічэнне чалавечай аснове гульні" (Pe-Than, Goh, and Lee 2015) ) , якія могуць быць выкарыстоўваецца для вырашэння мноства іншых задач. Тое, што гэтыя «гульні з мэтай" маюць у агульным, што яны спрабуюць зрабіць задачы, звязаныя з чалавечым вылічэнні прыемным. Такім чынам, у той час як ESP гульні падзяляе тыя ж спліт-ўжыць-Combine структуру з Galaxy Zoo, яна адрозніваецца тым, якім чынам удзельнікі матываваныя-забавы супраць жадання дапамагчы навуцы.

Маё апісанне Galaxy Zoo абапіраецца на Nielsen (2012) , Adams (2012) , Clery (2011) і Hand (2010) , і была спрошчаная маё выступленне даследчых мэтаў Galaxy Zoo. Больш падрабязную інфармацыю пра гісторыю класіфікацыі галактык ў астраноміі і як Galaxy Zoo працягвае гэтую традыцыю, см Masters (2012) і Marshall, Lintott, and Fletcher (2015) . Абапіраючыся на Galaxy Zoo, даследчыкі завяршылі Galaxy Zoo 2 , які сабрана больш за 60 мільёнаў больш складаных марфалагічных класіфікацый ў добраахвотнікаў (Masters et al. 2011) і (Masters et al. 2011) . Акрамя таго, яны разгалінаваная з праблемамі за межамі галактыкі марфалогіі, уключаючы вывучэнне паверхні Месяца, у пошуках планет, і транскрыбаваць старыя дакументы. У цяперашні час усе іх праекты збіраюцца на www.zooniverse.org (Cox et al. 2015) і (Cox et al. 2015) . Адзін з праектаў маментальных копій Сэрэнгэці-сведчыць аб тым, што Galaxy Zoo тыпу класіфікацыі малюнкаў праектаў таксама можа быць зроблена для экалагічных даследаванняў (Swanson et al. 2016) і (Swanson et al. 2016) .

Для даследчыкаў плануе выкарыстаць рынак працы мікра-задачы (напрыклад, Amazon Mechanical Turk) для праекта вылічэнні чалавека, Chandler, Paolacci, and Mueller (2013) і Wang, Ipeirotis, and Provost (2015) прапануюць добрыя парады па дызайне задач і іншыя пытанні, звязаныя.

Даследчыкі , зацікаўленыя ў стварэнні таго , што я назваў сістэмы чалавечага вылічэнняў другога пакалення (напрыклад, сістэмы , якія выкарыстоўваюць чалавечыя этыкеткі для навучання мадэлі машыннага навучання) могуць быць зацікаўлены ў Shamir et al. (2014) і Shamir et al. (2014) (для прыкладу , выкарыстоўваючы аўдыё) і Cheng and Bernstein (2015) . Акрамя таго, гэтыя праекты могуць быць зроблены з адкрытымі выклікамі, у выніку чаго даследчыкі спаборнічаюць, каб ствараць мадэлі машыннага навучання з найбольшай предсказательной працы. Напрыклад, каманда Galaxy Zoo пабег адкрыты выклік і знайшоў новы падыход , які перасягнуў адзін развіты ў Banerji et al. (2010) і Banerji et al. (2010) ; см Dieleman, Willett, and Dambre (2015) для дэталяў.

• Адкрытыя выклікі (раздел 5.3)

Адкрытыя выклікі не з'яўляюцца новымі. На самай справе, адзін з самых вядомых адкрытых выклікаў ўзыходзіць да 1714 годзе, калі парламент Вялікабрытаніі стварыў даўгаце прэмію для тых, хто мог бы распрацаваць спосаб вызначэння даўгаты судна ў моры. Праблема збянтэжаныя многія з найвялікшых вучоных часоў, у тым ліку Ісаака Ньютана, і выйгрышнае рашэнне ў рэшце рэшт , прадстаўлены гадзіншчыка з сельскай мясцовасці , якія падышлі да вырашэння праблемы па- рознаму ад навукоўцаў , якія былі накіраваны на рашэнне , якое б якім - то чынам ўцягнуць астраноміі (Sobel 1996) . Як паказвае гэты прыклад, адна з прычын таго, што адкрытыя заклікі думаюць, працуюць так добра, што яны забяспечваюць доступ да людзей з розных пунктаў гледжання і навыкаў (Boudreau and Lakhani 2013) . См Hong and Page (2004) і Page (2008) для дадатковай інфармацыі аб каштоўнасці разнастайнасці ў вырашэнні праблем.

Кожны з выпадкаў адкрытых выклікаў у главе патрабуе крыху тлумачэння прычын таго, чаму яно належыць да гэтай катэгорыі. Па-першае, адзін з спосабаў, які я праводжу адрозненне паміж чалавечым і вылічэнні адкрытых праектаў выклікаў, ці з'яўляецца выхад у сярэднім ўсіх рашэнняў (чалавечага вылічэнні) або найлепшае рашэнне (адкрыты выклік). Netflix Prize некалькі складаней у гэтым плане , таму што лепшае рашэнне апынулася складаным у сярэднім індывідуальных рашэнняў, падышоў называецца ансамблем рашэнне (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . З пункту гледжання Netflix, аднак, усе яны павінны былі зрабіць, гэта выбраць лепшае рашэнне.

Ва- другое, некаторыя вызначэння чалавечага вылічэнні (напрыклад, Von Ahn (2005) ), Foldit варта разглядаць як праект вылічэнні чалавечага. Тым не менш, я выбіраю класіфікаваць Foldit як адкрыты выклік, паколькі ён патрабуе спецыяльных навыкаў і ён прымае самае лепшае рашэнне спрыяла, а не з дапамогай спліт-ўжыць стратэгію-аб'яднаць.

І, нарэшце, можна сцвярджаць, што Роўны-Патэнт з'яўляецца прыкладам размеркаванага збору дадзеных. Я выбіраю, каб уключыць яго ў якасці адкрытага выкліку, паколькі ён мае конкурс-падобную структуру і выкарыстоўваюцца толькі лепшыя матэрыялы (у той час як з размеркаванай збору дадзеных, ідэя добрых і дрэнных укладаў менш ясная).

Больш падрабязную інфармацыю аб Netflix Prize, см Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , і Feuerverger, He, and Khatri (2012) . Больш падрабязную інфармацыю аб Foldit см, Cooper et al. (2010) і Cooper et al. (2010) , Andersen et al. (2012) і Andersen et al. (2012) , і Khatib et al. (2011) і Khatib et al. (2011) ; маё апісанне Foldit абапіраецца на апісання ў Nielsen (2012) , Bohannon (2009) і Hand (2010) . Больш падрабязную інфармацыю аб Роўны-Патэнт см Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) і Noveck (2009) .

Аналагічна выніках Glaeser et al. (2016) і Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , кіраўнік 10 справаздач вялікі прырост у прадукцыйнасці жыллёвых інспектараў у Нью - Ёрку , калі інспекцыі кіруюцца прагназуюць мадэляў. У Нью - Ёрку, гэтыя прагнастычныя мадэлі былі пабудаваныя супрацоўнікамі гарадскіх, але і ў іншых выпадках, можна ўявіць сабе , што яны могуць быць створаны або ўдасканалены з адкрытымі выклікамі (напрыклад, Glaeser et al. (2016) і Glaeser et al. (2016) ). Тым не менш, адна з асноўных праблем з Прагнозныя мадэлі выкарыстоўваюцца для размеркавання рэсурсаў з'яўляецца тое, што мадэлі маюць патэнцыял для ўзмацнення існуючых прадузятасцяў. Многія даследчыкі ўжо ведаюць "смецце ў, смецце", і з прагназуюць мадэляў можа быць "перакос у, дыяганальнае з" . Глядзі Barocas and Selbst (2016) і O'Neil (2016) для атрымання дадатковай інфармацыі аб небяспецы прагнозных мадэляў , пабудаваных прадузятых навучальных дадзеных.

Адна з праблем, якія могуць перашкодзіць ўрадаў выкарыстоўваць адкрытыя спаборніцтвы ў тым, што яна патрабуе вызвалення дадзеных, што можа прывесці да парушэння прыватнасці. Больш падрабязную інфармацыю аб прыватнасці і публікацыі дадзеных у адкрытых выклікаў см Narayanan, Huey, and Felten (2016) і абмеркаванне ў главе 6.

• Размеркаваны збор дадзеных (раздел 5.4)

Маё апісанне eBird абапіраецца на апісання ў Bhattacharjee (2005) і Robbins (2013) . Больш падрабязную інфармацыю пра тое , як даследчыкі выкарыстоўваюць статыстычныя мадэлі для аналізу дадзеных eBird см Hurlbert and Liang (2012) і Fink et al. (2010) і Fink et al. (2010) . Больш падрабязную інфармацыю пра гісторыю грамадзянскай навукі ў ornothology см Greenwood (2007) .

Больш падрабязную інфармацыю аб праекце Малаві Журналы см Watkins and Swidler (2009) і Kaler, Watkins, and Angotti (2015) . І больш адпаведнага праекта ў Паўднёвай Афрыцы см Angotti and Sennott (2015) . Для атрымання большага колькасці прыкладаў даследаванняў з выкарыстаннем дадзеных з праекта Малаві Журналы см Kaler (2004) і Angotti et al. (2014) і Angotti et al. (2014) .

• Праектаванне свой ​​уласны (раздел 5.5)

Мой падыход да прапаноўваючы дызайн савет быў індуктыўныя, заснаваныя на прыкладах паспяховых і няўдалых праектаў масавага супрацоўніцтва, якія я чуў пра. Існуе таксама паток даследаванняў спрабуе прымяніць больш агульныя сацыяльна - псіхалагічныя тэорыі да распрацоўкі інтэрнэт - супольнасцяў , якія маюць дачыненне да распрацоўкі праектаў масавага супрацоўніцтва, глядзі, напрыклад, Kraut et al. (2012) і Kraut et al. (2012) .

Што тычыцца матывуюць удзельнікаў, гэта на самай справе даволі складана зразумець, чаму менавіта людзі ўдзельнічаюць у масавую супрацоўніцтва праектаў (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) і (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) і (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) і (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Калі вы плануеце матываваць удзельнікаў з аплатай на рынку працы мікра-задачы (напрыклад, Amazon Mechanical Turk) Kittur et al. (2013) і Kittur et al. (2013) прапануе некалькі саветаў.

Што тычыцца ўключэння сюрпрыз, для большага колькасці прыкладаў нечаканых адкрыццяў , выходных з праектаў Zoouniverse см Marshall, Lintott, and Fletcher (2015) .

Што тычыцца таго этычных, некаторыя добрыя агульныя уводзінах да пытанняў , звязаных з'яўляюцца Gilbert (2015) , Salehi et al. (2015) і Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , і Zittrain (2008) . Для пытанняў , непасрэдна звязаных з прававым пытаннях з супрацоўнікамі натоўпу см Felstiner (2011) . O'Connor (2013) разглядаюцца пытанні этычнага кантролю даследаванняў , калі ролі даследчыкаў і ўдзельнікаў сцірацца. Па пытаннях , звязаных з абменам дадзенымі, абараняючы participats ў навуковых праектах грамадзян, см Bowser et al. (2014) і Bowser et al. (2014) . Абодва Purdam (2014) і Windt and Humphreys (2016) маюць некаторы абмеркаванне этычных праблем у размеркаванай збору дадзеных. І, нарэшце, большасць праектаў прызнаюць ўклад, але не даюць аўтарстве крэдыты удзельнікам. У Foldit, гульцы Foldit часта згадваюцца як аўтар (Cooper et al. 2010; Khatib et al. 2011) і (Cooper et al. 2010; Khatib et al. 2011) і (Cooper et al. 2010; Khatib et al. 2011) . У іншых праектах з адкрытым выкліку, якая перамагла ўдзельнік можа часта пісаць артыкул , якая апісвае іх вырашэння (напрыклад, Bell, Koren, and Volinsky (2010) і Dieleman, Willett, and Dambre (2015) ). У сям'і Galaxy Zoo праектаў, надзвычай актыўныя і важныя ўкладчыкі часам запрашаюць стаць суаўтарамі па паперах. Напрыклад, Іван Цярэнцьеў і Цім Matorny, два ўдзельнікі Galaxy Zoo Radio з Расіі, былі суаўтарамі на адной з работ , якія ўзніклі з гэтага праекта (Banfield et al. 2016; Galaxy Zoo 2016) і (Banfield et al. 2016; Galaxy Zoo 2016) .