Šī sadaļa ir paredzēts izmantot kā atsauci, nevis jālasa kā stāstījumu.
Masu sadarbība maisījumi idejas pilsonis zinātnes, pūļa, un kolektīvo inteliģenci. Citizen zinātne parasti nozīmē ietver "pilsoņus" (ti, nav zinātniekiem) in zinātniskā procesa (Crain, Cooper, and Dickinson 2014) . Crowdsourcing parasti nozīmē, ņemot problēma parasti atrisināta organizācijā un tā vietā ārpakalpojumi to pūlī (Howe 2009) . Kolektīvā inteliģence parasti nozīmē personu grupas, kas rīkojas kolektīvi veidos, kas šķiet inteliģents (Malone and Bernstein 2015) . Nielsen (2012) ir brīnišķīga grāmata garuma ieviešana varu masveida sadarbībā zinātniskajai izpētei.
Ir daudzi veidi, masu sadarbībā, kas nav precīzi iekļaujas trīs kategorijās, ka es ierosināju, un es domāju, ka trīs jāpievērš īpaša uzmanība, jo tie var būt noderīgi sociālo pētījumu kādā brīdī. Viens piemērs ir prognožu tirgi, kur dalībnieki pērk un tirdzniecības līgumi, kas ir izņemami balstīti uz rezultātiem, kas notiek pasaulē (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Prognozējot tirgus uzņēmumi, un valdības bieži izmanto prognozēšanā, un prognozējot tirgus ir arī sociālie pētnieki tika izmantoti, lai prognozētu pavairošanu publicēto pētījumu psiholoģijā (Dreber et al. 2015) .
Otrs piemērs, kas neiederas arī manā kategorizēšanas shēmā ir erudīts projekts, kur pētnieki sadarbojies izmantojot blogus un wikis pierādīt jaunus matemātikas teorēmu (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Erudīts projekts ir zināmā mērā analoga Netflix balvu, bet gan erudīts projekta dalībniekiem aktīvāk veidota uz daļējiem risinājumiem citiem.
Trešais piemērs, kas neiederas arī manā kategorizēšanas shēmu laika atkarīgās mobilizations piemēram, Aizsardzības Advanced Research Projects aģentūra (DARPA) Tīkla Challenge (ti, Red Balloon Challenge). Lai uzzinātu vairāk par šiem laika jutīgiem mobilizations redzēt Pickard et al. (2011) , Tang et al. (2011) , un Rutherford et al. (2013) .
Termins "Cilvēka skaitļošana" nāk ārā no padarītā darba ar datoru zinātnieki, un izprast kontekstu aiz šī pētījuma uzlabos jūsu spēju izlasīt problēmas, kas varētu būt grozāmi to. Par konkrētiem uzdevumiem, datori ir neticami spēcīgs ar iespējām tālu pārsniedz pat ekspertu cilvēkiem. Piemēram, šahā, datori var pārspēt pat labākos grand kapteiņi. Bet-un tas ir tik labi novērtējuši sociālie zinātnieki, citu uzdevumu veikšanai, datori ir patiešām daudz sliktāka nekā cilvēki. Citiem vārdiem sakot, tieši tagad jums ir labāk nekā pat vismodernākie datoru noteiktos uzdevumus, kas ietver attēlus, video, audio un teksta apstrādi. Tādējādi-as tika ilustrēts ar brīnišķīgu XKCD karikatūra-tur ir uzdevumi, kas ir viegli datoriem un grūti, lai cilvēki, bet ir arī uzdevumi, kas ir grūti, datoriem un viegli cilvēkiem (5.13 attēls). Datoru zinātnieki strādā pie šiem grūti-for-datoriem-viegli-for-cilvēka uzdevumiem, tāpēc sapratu, ka tie varētu būt cilvēki savā skaitļošanas procesā. Lūk, kā Luis von Ahn (2005) apraksta cilvēka aprēķinu, kad viņš pirmo reizi izdomāts termins viņa disertācijas: ". Ir piemērs, izmantojot cilvēku apstrādes jaudu, lai atrisinātu problēmas, ka datori vēl nevar atrisināt"
Ar šo definīciju FoldIt-ko es aprakstīts sadaļā par atklātu konkursu, var uzskatīt par cilvēka aprēķins projekts. Taču es izvēlos kategorizēt FoldIt kā atklāta konkursa, jo tas prasa īpašas prasmes, un tas aizņem labākais risinājums palīdzēja nevis izmantojot split-pieteikties-apvieno stratēģiju.
Par lielisku grāmatu garums ārstēšanai cilvēka aprēķinu, visvairāk vispārējā šā jēdziena izpratnē, sk Law and Ahn (2011) . 3. nodaļas Law and Ahn (2011) ir interesants diskusiju par sarežģītāku apvieno soļiem, nekā tiem, kas šajā nodaļā.
Termins "split-pieteikties-apvienot" izmantoja Wickham (2011) , lai aprakstītu stratēģiju statistikas skaitļošanas, bet tas lieliski atspoguļo procesu daudzu cilvēku aprēķināšanas projektiem. Split-pieteikties-apvienot stratēģija ir līdzīga MapReduce ietvaros izstrādāto Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Divi gudrs cilvēka Aprēķina projekti, kas man nav vietas, lai apspriestu, ir ESP Game (Ahn and Dabbish 2004) un reCAPTCHA (Ahn et al. 2008) . Abi šie projekti konstatēts radošus veidus, kā motivēt dalībniekus sniegt etiķetes uz attēliem. Tomēr abi šie projekti izvirzīja arī ētikas jautājumiem, jo, atšķirībā no Galaxy Zoo, dalībnieki ESP spēle un reCAPTCHA nezināju, kā viņu dati tika izmantoti (Lung 2012; Zittrain 2008) .
Iedvesmojoties no ESP spēle, daudzi pētnieki ir mēģinājuši attīstīt citi "spēles ar mērķi" (Ahn and Dabbish 2008) (ti, "cilvēka balstīta Aprēķina spēles" (Pe-Than, Goh, and Lee 2015) ), kas var būt ko izmanto, lai atrisinātu dažādas citas problēmas. Ko šie "spēles ar mērķi" ir kopīgs ir tas, ka viņi cenšas veikt iesaistīti cilvēka aprēķina patīkams uzdevumus. Tādējādi, kamēr ESP spēle ir tāds pats split-pieteikties-apvienot struktūru ar Galaxy Zoo, tas atšķiras ar to, kā dalībnieki ir motivēti-jautri vs vēlmi palīdzēt zinātni.
Mans apraksts Galaxy Zoo vērš uz Nielsen (2012) , Adams (2012) , Clery (2011) , un Hand (2010) , un mana prezentācija pētniecības mērķiem Galaxy Zoo tika vienkāršota. Lai uzzinātu vairāk par vēsturi galaktiku klasificēšanai astronomijas un kā Galaxy Zoo turpina šo tradīciju, sk Masters (2012) un Marshall, Lintott, and Fletcher (2015) . Pamatojoties uz Galaxy Zoo, pētnieki pabeidza Galaxy Zoo 2, kas savākti vairāk nekā 60 miljoni sarežģītākas morfoloģiskās klasifikācijas no brīvprātīgajiem (Masters et al. 2011) . Turklāt tās sazarotu ārā problēmas ārpus galaktikas morfoloģijas, tostarp pēta Mēness virsmas, meklējot planētām, un pārrakstot vecos dokumentus. Pašlaik visi viņu projekti tiek savākti www.zooniverse.org (Cox et al. 2015) . Viens no projektiem, Snapshot Serengeti-sniedz pierādījumus, ka Galaxy Zoo tipa attēlu klasifikācijas projekti var arī izdarīt vides pētījumiem (Swanson et al. 2016) .
Pētniekiem plāno izmantot mikro uzdevumu darba tirgu (piemēram, Amazon Mechanical Turk) par cilvēka skaitļošanas projektu, Chandler, Paolacci, and Mueller (2013) un Wang, Ipeirotis, and Provost (2015) piedāvā labu padomu par uzdevumu dizainu un citiem saistītiem jautājumiem.
Pētnieki ieinteresēti radīt to, ko es esmu sauc otrās paaudzes cilvēka skaitļošanas sistēmas (piemēram, sistēmas, kas izmanto cilvēka uzlīmes apmācīt mašīna mācīšanās modelis), varētu būt ieinteresēts Shamir et al. (2014) (par piemēru izmantojot audio) un Cheng and Bernstein (2015) . Arī šie projekti var izdarīt ar atklātu konkursu, kuru pētniekiem konkurē izveidot mašīna mācību modeļus ar vislielāko jutīgo sniegumu. Piemēram, Galaxy Zoo komanda skrēja atklātu konkursu un atrada jaunu pieeju, kas pārspēja vienu izstrādāta Banerji et al. (2010) ; redzēt Dieleman, Willett, and Dambre (2015) sīkāku informāciju.
Atvērtie zvani nav nekas jauns. Patiesībā, viens no pazīstamākajiem atklātu konkursu aizsākās 1714, kad Lielbritānijas Parlamenta izveidots garumam balvu ikvienam, kas varētu izstrādāt veidu, kā noteikt garuma kuģa jūrā. Problēma stumped daudzi no lielākajiem zinātniekiem no dienas, ieskaitot Īzaks Ņūtons, un uzvarētāju risinājums tika beidzot iesniegusi pulksteņmeistaru no laukiem, kurš tuvojās problēmu atšķirīgi no zinātniekiem, kas bija vērsta uz risinājumu, kas kaut kādā veidā iesaistīt astronomiju (Sobel 1996) . Tā kā šis piemērs ilustrē, viens no iemesliem, ka atklātie konkursi ir doma strādāt tik labi ir tas, ka tie nodrošina piekļuvi cilvēkiem ar dažādām perspektīvām un prasmes (Boudreau and Lakhani 2013) . Skatīt Hong and Page (2004) un Page (2008) vairāk par vērtību daudzveidības problēmu risināšanā.
Katrs no atvērto zvanu gadījumiem nodaļā prasa mazliet detalizētāks paskaidrojums, kāpēc tā pieder šajā kategorijā. Pirmkārt, viens no veidiem, ka es atšķirt cilvēka aprēķins un atklāto zvanu projektiem ir vai produkcija ir vidēji no visiem risinājumiem (cilvēka skaitļošanas) vai labāko risinājumu (atklāta konkursa). Netflix balva ir nedaudz grūts šajā sakarā, jo labākais risinājums izrādījās sarežģīta vidēji individuālu risinājumu, kas ir tuvojās sauc ansamblis risinājums (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Raugoties no Netflix, taču visi viņi bija darīt bija izvēlēties labāko risinājumu.
Otrkārt, dažas definīcijas cilvēka aprēķina (piemēram, Von Ahn (2005) ), FoldIt būtu jāuzskata par cilvēka aprēķins projekts. Taču es izvēlos kategorizēt FoldIt kā atklāta konkursa, jo tas prasa īpašas prasmes, un tas aizņem labākais risinājums palīdzēja, nevis izmantojot split-pieteikties-apvieno stratēģiju.
Visbeidzot, varētu apgalvot, ka Peer-to-Patent ir piemērs izplatīts datu vākšanu. Es izvēlos to iekļaut kā atklāta konkursa, jo tas ir konkurss līdzīgu struktūru, un tiek izmantotas tikai labākās iemaksas (bet ar dalītās datu vākšanu, ideja par labu un sliktu ieguldījumiem ir mazāk skaidra).
Lai uzzinātu vairāk par Netflix balvu, skatiet Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , un Feuerverger, He, and Khatri (2012) . Lai uzzinātu vairāk par FoldIt redzēt, Cooper et al. (2010) , Andersen et al. (2012) , un Khatib et al. (2011) ; mans apraksts FoldIt vērš uz aprakstiem Nielsen (2012) , Bohannon (2009) , un Hand (2010) . Vairāk par Peer-to-Patent skat Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , un Noveck (2009) .
Līdzīgi rezultātu Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , 10 nodaļa Ziņojumi lieli ieguvumi produktivitātes mājokļu inspektoru New York City, kad pārbaudes ir jāvadās pēc prognozēšanas modeļiem. In New York City, šie jutīgo modeļi tika būvēti pēc pilsētas darbinieki, bet citos gadījumos, varētu iedomāties, ka tie varētu radīt vai uzlabot ar atklātu konkursu (piemēram, Glaeser et al. (2016) ). Tomēr viens lielas bažas ar prognostiski modeļi tiek izmantoti, lai sadalītu līdzekļus, ir, ka modeļi ir potenciāls paplašināt esošo aizspriedumus. Daudzi pētnieki jau zināt "Gigo", un ar prognozēšanas modeļiem tas var būt "novirzēm, aizspriedumiem ārā." Skatīt Barocas and Selbst (2016) un O'Neil (2016) vairāk par briesmām prognozēšanas modeļu būvēts ar neobjektīvus mācību datiem.
Viena no problēmām, kas varētu kavēt valdības izmantot atklātus konkursus, ka tas prasa datu noplūdi, kas varētu novest pie privātuma pārkāpumiem. Lai uzzinātu vairāk par privātuma un datu izlaišanas atklāto konkursu redzēt Narayanan, Huey, and Felten (2016) un diskusija 6. nodaļā.
Mans apraksts eBird vērš uz aprakstiem Bhattacharjee (2005) un Robbins (2013) . Lai uzzinātu vairāk par to, kā zinātnieki izmanto statistiskos modeļus, lai analizētu eBird datu redzēt Hurlbert and Liang (2012) un Fink et al. (2010) . Lai uzzinātu vairāk par vēsturi pilsoņu zinātnes ornothology sk Greenwood (2007) .
Lai uzzinātu vairāk par Malawi Journals Project, skat Watkins and Swidler (2009) un Kaler, Watkins, and Angotti (2015) . Un vairāk par saistītu projektu Dienvidāfrikā, skatiet Angotti and Sennott (2015) . Vairāk piemēru pētniecības izmantojot datus no Malāvija Journals projekta redzēt Kaler (2004) un Angotti et al. (2014) .
Mana pieeja piedāvāt dizaina konsultācijas bija induktīvās, balstoties uz piemēriem veiksmīgs un izdevies masu sadarbības projektus, kas es esmu dzirdējis par. Ir arī plūsma pētniecības mēģina piemērot vispārējo sociālās psiholoģiskās teorijas projektēšana tiešsaistes kopienās, kas ir saistīta ar dizainu masu sadarbības projektiem, skatīt, piemēram, Kraut et al. (2012) .
Attiecībā motivēt dalībniekiem, tas tiešām ir diezgan grūts, lai noskaidrotu, tieši tā, kāpēc cilvēki piedalās masu sadarbības projektos (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Ja plānojat motivēt dalībniekus ar samaksu par mikro uzdevumu darba tirgū (piemēram, Amazon Mechanical Turk) Kittur et al. (2013) piedāvā dažus padomus.
Attiecībā ļauj pārsteigums, vairāk piemērus negaidītus atklājumus nāk no Zoouniverse projektu, sk Marshall, Lintott, and Fletcher (2015) .
Attiecībā uz to ētikas, dažas labas vispārējās ievads attiecīgo jautājumu ir Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , un Zittrain (2008) . Par īpaši saistīti ar juridiskiem jautājumiem, ar pūļa darbiniekiem jautājumos, sk Felstiner (2011) . O'Connor (2013) risina jautājumus par ētisku pārraudzību pētījumu kad lomas pētnieku un dalībnieku izplūšanu. Par jautājumiem, kas saistīti ar datu koplietošanas vienlaikus aizsargājot participats jo pilsoņu zinātnes projektos, skatiet Bowser et al. (2014) . Gan Purdam (2014) un Windt and Humphreys (2016) ir dažas diskusijas par ētikas jautājumiem izplatīts datu vākšanu. Visbeidzot, lielākā daļa projektu atzīt iemaksas, bet nedod autora kredītu dalībniekiem. In Foldit, tad Foldit spēlētāji bieži tiek uzskaitīti kā autors (Cooper et al. 2010; Khatib et al. 2011) . Citās atklāta konkursa projektiem, uzvarot ziedotājs var bieži rakstīt grāmatu, aprakstot to risinājumi (piemēram, Bell, Koren, and Volinsky (2010) un Dieleman, Willett, and Dambre (2015) ). Jo Galaxy Zoo ģimenes projektu, ļoti aktīvas un nozimigs dažreiz aicināti būt līdzautori uz dokumentiem. Piemēram, Ivans Terentev un Tim Matorny, divi Radio Galaxy Zoo dalībnieki no Krievijas, bija līdzautori par vienu no dokumentiem, kas radās no šī projekta (Banfield et al. 2016; Galaxy Zoo 2016) .