See osa on mõeldud kasutamiseks viitena, mitte tuleb lugeda tekstilist.
Mass koostöö ühendab ideid kodanikuteaduse, bing ja kollektiivse luure. Citizen teaduse tähendab tavaliselt hõlmavad "kodanikud" (st mitte-teadlased) on teadusliku protsessi (Crain, Cooper, and Dickinson 2014) . Ühistegemise tähendab tavaliselt võttes probleem lahendati tavaliselt organisatsiooni sees ja mitte allhanke see rahvahulk (Howe 2009) . Kollektiivne intelligentsus tähendab tavaliselt üksikisikute rühmad kollektiivselt tegutsedes viisil, mis tundub intelligentne (Malone and Bernstein 2015) . Nielsen (2012) on suurepärane raamat pikkusega toomist võimu mass koostöös teadusuuringuid.
Seal on palju liike mass koostöö, mis ei mahu kenasti kolme kategooriasse, et ma ettepaneku, ja ma arvan, et kolm väärivad erilist tähelepanu, sest nad võivad olla kasulikud sotsiaaluuringute mingil ajahetkel. Üheks näiteks on ennustus turgudel, kus osalejad osta ja kaubanduse lepingud, mis on väljaostmisele põhineb tulemusi, mis ilmnevad maailma (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Ravi turgudel kasutatakse sageli ettevõtted ja valitsused prognoosimise ja prognoosida turu on kasutatud ka sotsiaalsed teadlased ennustada kopeeritavus avaldatud uuringud psühholoogia (Dreber et al. 2015) .
Teine näide, mis ei sobi hästi minu liigituse skeem on Polymath projekti, kus teadlased koostööd veebipäevikute ja wikid tõestada uue matemaatika teoreemide (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Polymath projekt on mõnes mõttes sarnane Netflix preemia, kuid Polymath projektis osalejad aktiivsemalt ehitatud osalahendustele teised.
Kolmas näide, mis ei sobi hästi minu liigituse skeemi sõltub ajast mobilisatsioone nagu Defense Advanced Research Projects Agency (DARPA) Network Challenge (st Red Balloon Challenge). Täiendavat teavet neile aega tundlik mobilisatsioone näha Pickard et al. (2011) , Tang et al. (2011) , ja Rutherford et al. (2013) .
Mõiste "inimese arvutusvõimsus" väljub töö arvuti teadlased ja mõistmiseks selle taga uurimistöös parandada oma võimet noppida probleeme, mis võivad olla sobivad talle. Teatud ülesanded, arvutid on uskumatult võimas võimeid kaugele üle isegi ekspert inimestele. Näiteks male, arvutid võivad võita isegi parim grand meistrid. Aga-ja see on vähem hinnatud ühiskonnateadlased-muudeks tegemisteks, arvutid on tegelikult palju halvem kui inimesed. Teisisõnu, just nüüd siis on parem kui isegi kõige kogenud arvuti teatud ülesandeid, mis hõlmavad töötlemine pildid, video, audio ja teksti. Nii-nii, iseloomustab suurepärane XKCD multifilmi-seal on ülesanded, mida on lihtne arvutite ja raske inimestele, kuid on ka ülesandeid, mis on kõvasti arvutite ja lihtne inimesi (joonis 5.13). Arvuti teadlased töötavad need kõva-for-arvutid-lihtne-for-inimese ülesandeid, seetõttu aru, et nad võiksid sisaldada inimestele nende arvutamise protsessi. Siin on, kuidas Luis von Ahn (2005) kirjeldatud inimese arvutusvõimsus kui ta esimest korda kasutusele mõiste tema väitekiri: "paradigma jaoks kasutades inimese töötlemise võimsus, et lahendada probleeme, et arvutid ei ole veel lahendada."
Selle definitsiooni FoldIt-mida ma kirjeldatud lõigus Avatud konkursside-võiks kaaluda inimese arvutusvõimsus projekti. Kuid ma valin kategoriseerida FoldIt kui avatud kõne, sest see nõuab spetsiaalseid oskusi ja see võtab parim lahendus aidanud mitte kasutades jagatud kohaldatakse kombineeri strateegia.
Suurepärase raamatu pikkus ravi inimese arvutamine, kõige üldisemas tähenduses vt Law and Ahn (2011) . 3. peatükk Law and Ahn (2011) on huvitava arutelu keerulisem ühendada samme kui need selles peatükis.
Mõiste "jagatud kohaldatakse kombineeri" kasutas Wickham (2011) , et kirjeldada strateegia statistilise andmetöötluse, kuid see täiesti lööb protsess paljude inimeste arvutusvõimsus projekte. Jagatud kohaldatakse kombineeri strateegia on sarnane MapReduce raames välja töötatud Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Kaks tark inimene arvutusvõimsus projekte, et ma ei ole ruumi, et arutada on ESP mäng (Ahn and Dabbish 2004) ja reCAPTCHA (Ahn et al. 2008) . Mõlemad projektid leitud loomingulisi viise motiveerida osalejaid andma etiketid pilte. Kuid mõlemad projektid tõstatas ka eetilisi küsimusi, sest erinevalt Galaxy Zoo, osalejate ESP mäng ja reCAPTCHA ei tea, kuidas nende andmeid kasutatakse (Lung 2012; Zittrain 2008) .
Inspireerituna ESP mäng, paljud teadlased on püüdnud välja töötada teisi "mängud, mille eesmärgiks" (Ahn and Dabbish 2008) (st "inimese põhinev arvutus mängud" (Pe-Than, Goh, and Lee 2015) ), mis võib olla lahendamiseks kasutatud mitmesuguseid muid probleeme. Mis need "mängud, mille eesmärgiks" on ühine see, et nad üritavad teha ülesandeid seotud inimese arvutusvõimsus nauditav. Seega, kui ESP Mäng jagab sama jagatud kohaldatakse kombineeri struktuuri Galaxy Zoo, erineb see, kuidas osalejad on motiveeritud-fun vs soov aidata teaduse.
Minu kirjeldus Galaxy Zoo toetub Nielsen (2012) , Adams (2012) , Clery (2011) , ja Hand (2010) ja minu uuringu tutvustus eesmärke Galaxy Zoo lihtsustati. Täpsemat ajaloo galaktika klassifikatsiooni astronoomia ja kuidas Galaxy Zoo jätkab seda traditsiooni, vaata Masters (2012) ja Marshall, Lintott, and Fletcher (2015) . Tuginedes Galaxy Zoo teadlased lõpetanud Galaxy Zoo 2, mis on kogutud rohkem kui 60 miljonit keerulisem morfoloogilised klassifikatsioonid vabatahtlikelt (Masters et al. 2011) . Lisaks nad hargnenud viidud probleeme väljaspool galaktika morfoloogia uurides muu hulgas Kuu pinnal, otsides planeete ja transkribeerivate vanu dokumente. Praegu on kõik nende projektide kogutakse www.zooniverse.org (Cox et al. 2015) . Üks projekti-Snapshot Serengeti-tõendab, et Galaxy Zoo-tüüpi pilti klassifikatsiooni projekte saab teha ka keskkonnauuringute (Swanson et al. 2016) .
Teadlaste plaanis kasutada mikro-ülesanne tööturul (nt Amazon Mechanical Turk) inimese jaoks arvutusvõimsus projekti, Chandler, Paolacci, and Mueller (2013) ja Wang, Ipeirotis, and Provost (2015) pakuvad head nõu ülesanne disaini ja sellega seotud probleemid.
Teadlased huvitatud loomisel, mida ma olen nn teise põlvkonna inimese arvutamise süsteeme (nt süsteemid, mis kasutavad inimese siltide õpetada masin õppe mudel) võiksid olla huvitatud Shamir et al. (2014) (näidet kasutades audio) ja Cheng and Bernstein (2015) . Ka neid projekte on võimalik teha avatud projektikonkursid, mille teadlased konkureerida luua masin õppe mudelid, millel on suurim ennustav jõudlust. Näiteks Galaxy Zoo meeskond jooksis välja avalikul konkursil ja leidnud uue lähenemisviisi, mis edestas ühe töötatud Banerji et al. (2010) ; vaata Dieleman, Willett, and Dambre (2015) üksikasjad.
Avatud kõned ei ole midagi uut. Tegelikult üks tuntumaid avatud kõned pärineb 1714, kui Briti parlament lõi Pikkuskraadil preemia keegi, et saaks arendada nii, et määrata pikkuskraadi laeva merel. Probleem stumped palju suuremaid teadlased päeva, sealhulgas Isaac Newton ja võitnud lahus lõpuks esitanud clockmaker maalt, kes lähenes probleemile erinevalt teadlased, kes keskendusid lahendus, mis oleks kuidagi kaasata astronoomia (Sobel 1996) . Kuna see näide illustreerib, üks põhjus, et avatud kõned arvatakse tööd nii hästi, et nad pakuvad juurdepääsu inimesed on erinevad perspektiivid ja oskusi (Boudreau and Lakhani 2013) . Vaata Hong and Page (2004) ja Page (2008) eest rohkem väärtust mitmekesisuse probleemide lahendamine.
Iga avalikul konkursil juhtudel peatükis nõuab natuke täpsemat selgitust, miks ta kuulub sellesse kategooriasse. Esiteks, üks viis, et ma vahet inimese arvutamine ja avatud konkursi projektide kas väljund on keskmiselt kõiki lahendusi (inimese arvutusvõimsus) või parim lahendus (avatud kõne). Netflixi auhind on mõnevõrra keeruline selles osas, sest parim lahendus osutus kogenud keskmiselt individuaalseid lahendusi, mis on lähenes nimega ansambel lahendus (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Alates perspektiivi Netflix, aga kõik nad pidid tegema, oli valida parim lahendus.
Teiseks, mõned mõisted inimese arvutamine (näiteks Von Ahn (2005) ), FoldIt tuleb pidada inimese arvutusvõimsus projekti. Kuid ma valin kategoriseerida FoldIt kui avatud kõne, sest see nõuab spetsiaalseid oskusi ja see võtab parim lahendus aidanud, selle asemel et kasutada jagatud kohaldatakse kombineeri strateegia.
Lõpuks võib väita, et Peer-to-Patent on näide jagatud andmete kogumine. Ma valin seda lisada avalikul konkursil, sest see on võistlus sarnane struktuur ja ainult parim panus on kasutatud (samas jaotatud andmete kogumine, idee hea ja halb panus on vähem selge).
Lisateavet Netflix preemia vt Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ja Feuerverger, He, and Khatri (2012) . Lisateavet FoldIt näha, Cooper et al. (2010) , Andersen et al. (2012) , ja Khatib et al. (2011) ; minu kirjeldus FoldIt toetub kirjeldused Nielsen (2012) , Bohannon (2009) , ja Hand (2010) . Lisateavet Peer-to-Patent vt Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , ja Noveck (2009) .
Sarnaselt tulemusi Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , 10. peatükk aruanded suurt kasu tootlikkust korpus inspektorid New York City inspekteerimiste juhinduvad ennustav mudelid. New York City, need ennustav mudelid olid ehitatud linna töötajad, kuid muudel juhtudel võib ette kujutada, et nad võiksid olla loodud või täiustatud avatud kõned (nt Glaeser et al. (2016) ). Kuid üks peamine mure ennustava mudeleid kasutatakse ressursside jaotamiseks on see, et mudelid on potentsiaali tugevdada olemasolevaid peensusi. Paljud teadlased juba tead "prügi, prügi välja", ja ennustava mudelite see võib olla "diagonaal, eelarvamusi välja." Vaata Barocas and Selbst (2016) ja O'Neil (2016) rohkem ohtudest ennustav mudelid ehitatud kallutatud treeningu andmed.
Üks probleem, mis võib takistada omavalitsuste kasutades avatud konkursid on see, et see nõuab andmete vabastamist, mis võib viia puutumatuse rikkumise. Täpsemat privaatsuse ja andmete release avatud kõned näha Narayanan, Huey, and Felten (2016) ja arutelu peatükis 6.
Minu kirjeldus eBird toetub kirjeldused Bhattacharjee (2005) ja Robbins (2013) . Rohkem sellest, kuidas teadlased kasutavad statistilisi mudeleid, et analüüsida eBird andmeid näha Hurlbert and Liang (2012) ja Fink et al. (2010) . Täpsemat ajaloo kodanik teaduse ornothology vt Greenwood (2007) .
Juba rohkem Malawi Ajakirjad projekti kohta Watkins and Swidler (2009) ja Kaler, Watkins, and Angotti (2015) . Ja rohkem seotud projekti Lõuna-Aafrikas, vaata Angotti and Sennott (2015) . Rohkem näiteid teadusuuringute andmeid kasutades Malawi Ajakirjad Project näha Kaler (2004) ja Angotti et al. (2014) .
Minu lähenemine pakub disaini nõu oli induktiivne, mis põhineb näiteid edukatest ja ebaõnnestunud mass koostöö projekte, mis ma olen kuulnud. Samuti on vool teadus üritab rakendada üldisema sotsiaalse psühholoogilisi teooriaid projekteerimine online-kogukonnad, mis on seotud projekteerimise mass koostööprojektid, vaata näiteks Kraut et al. (2012) .
Seoses motiveeriv osalejad, see on tegelikult üsna keeruline aru saada, miks inimesed osalevad mass koostööprojektid (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Kui teil on kavas motiveerida osalejaid makse mikro-ülesanne tööturul (nt Amazon Mechanical Turk) Kittur et al. (2013) pakub mõningaid nõuandeid.
Seoses võimaldab üllatus, rohkem näiteid ootamatud avastused tulevad välja Zoouniverse projekte, vaata Marshall, Lintott, and Fletcher (2015) .
Seoses eetiline, mõned head üldised sissejuhatused kaasa probleeme, on Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ja Zittrain (2008) . Sest konkreetselt seotud küsimustega õiguslikud küsimused koos rahvahulga töötajat, vaata Felstiner (2011) . O'Connor (2013) käsitleb küsimusi eetilise järelevalve teadusuuringute kui rolle teadlaste ja osalejate hägu. Seotud küsimuste andmete jagamist, kaitstes samas participats in kodanikuteaduse projekte, vaata Bowser et al. (2014) . Mõlemad Purdam (2014) ja Windt and Humphreys (2016) on mõned arutelu eetiliste küsimustega jaotatud andmete kogumine. Lõpuks enamik projekte tunnistama panuse, kuid ei anna autorlust krediidi osalejatele. In Foldit on Foldit mängijad on sageli loetletud autor (Cooper et al. 2010; Khatib et al. 2011) . Teiste avalikul konkursil projekte, võitnud toetaja võib tihti kirjutada paberile, mis kirjeldab nende lahenduste (nt Bell, Koren, and Volinsky (2010) ja Dieleman, Willett, and Dambre (2015) ). Galaktika loomaaed pere projekte, väga aktiivne ja oluline toetajad on mõnikord kutsutud olema kaasautorid on paberid. Näiteks Ivan Terentev ja Tim Matorny kaks Radio Galaxy Zoo osalejaid Venemaalt, olid kaasautorid ühel pabereid, mis tulenes, et projekti (Banfield et al. 2016; Galaxy Zoo 2016) .