Dugang pa nga komentaryo

Kini nga seksyon mao ang gihimo aron gamiton ingon nga usa ka reperensiya, inay kay sa pagbasa ingon sa usa ka asoy.

• Pasiuna (Section 5.1)

Misa kolaborasyon sagol mga ideya gikan sa citizen siyensiya, crowdsourcing, ug kolektibong nga salabutan. Citizen sa siyensiya kasagaran nagpasabut nga naglambigit sa "mga lungsoranon" (ie, non-siyentipiko) sa siyentipikanhong proseso (Crain, Cooper, and Dickinson 2014) . Crowdsourcing kasagaran nagpasabut pagkuha sa usa ka problema sa kasagaran masulbad sa sulod sa usa ka organisasyon ug inay outsourcing kini sa usa ka panon sa katawhan (Howe 2009) . Collective nga salabutan kasagaran nagpasabut mga grupo sa mga tawo sa paglihok sa tiningub sa mga paagi nga daw intelihenteng (Malone and Bernstein 2015) . Nielsen (2012) mao ang usa ka talagsaon nga basahon-ang gitas-on pasiuna ngadto sa gahum sa masa kolaborasyon alang sa siyentipikanhong panukiduki.

Adunay daghan nga mga matang sa mga masa kolaborasyon nga dili angay neatly ngadto sa tulo ka mga kategoriya nga akong gisugyot, ug sa akong hunahuna sa tulo ka takos sa espesyal nga pagtagad tungod kay sila unta mapuslanon sa social research sa pipila ka mga punto. Usa ka panig-ingnan mao ang merkado panagna, diin ang mga partisipante sa pagpalit ug trade kontrata nga malukat base sa resulta nga mahitabo sa kalibutan (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Pagtagna merkado sagad gigamit sa mga kompaniya ug mga panggamhanan alang sa forecasting, ug pagtagna merkado usab nga gigamit sa sosyal nga mga tigdukiduki sa pagtagna sa replicability sa gipatik nga mga pagtuon sa sikolohiya (Dreber et al. 2015) .

Ang ikaduhang panig-ingnan nga dili mohaom sa maayo sa akong categorization nga pamaagi mao ang PolyMath proyekto, diin ang mga tigdukiduki nakigtambayayong sa paggamit sa blogs ug panid sa pagpamatuod sa bag-ong mga theorems sa matematika (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Ang PolyMath proyekto anaa sa pipila ka mga paagi nga susama sa Netflix Prize, apan diha sa mga partisipante PolyMath proyekto nga mas aktibo gitukod sa ibabaw sa partial solusyon sa uban.

Ang usa ka ikatulo nga panig-ingnan nga dili mohaom sa maayo sa akong categorization scheme mao ang panahon-nga nagsalig mobilisasyong sama sa Defense Advanced Research Projects Agency (DARPA) Network Challenge (ie, sa Pulang nga balon Challenge). Alang sa dugang niini nga mga panahon nga sensitibo mobilisasyong makakita Pickard et al. (2011) , Tang et al. (2011) , ug ang Rutherford et al. (2013) .

• Sa tawo pagsuma (Section 5.2)

Ang termino nga "sa tawo pagsuma" moabut gikan sa buhat nga gihimo sa mga siyentipiko sa computer, ug sa pagsabut sa konteksto sa luyo sa research niini pagpalambo sa imong abilidad sa pagkuha sa mga problema nga mahimong uyon niini. Alang sa pipila ka mga buluhaton, mga computer mao ang hilabihan gamhanan sa kapabilidad sa halayo sa hilabihan gayud bisan sa eksperto nga mga tawo. Kay sa panig-ingnan, sa chess, mga computer mahimo gibunalan bisan ang labing maayo nga grand agalon. Apan-ug kini mao ang dili kaayo maayo ang gipabilhan sa sosyal nga mga siyentipiko-alang sa ubang mga buluhaton, mga computer mao ang tinuod nga mas grabe pa kay sa mga tawo. Sa laing mga pulong, karon ikaw mas maayo pa kay sa bisan ang labing sopistikado computer sa pipila ka mga buluhaton nga naglambigit sa pagproseso sa mga larawan, video, audio, ug mga teksto. Mao kini ang-ingon nga gihulagway sa usa ka talagsaon nga XKCD cartoon-adunay mga buluhaton nga sayon ​​alang sa mga computer ug sa malisud nga alang sa mga tawo, apan adunay mga buluhaton nga malisud alang sa mga computer ug sayon ​​alang sa mga tawo (Figure 5.13) usab. Computer siyentipiko nga nagtrabaho sa niini nga mga malisud nga-alang sa-computer-sayon-sa-tawhanong mga buluhaton, busa, nakaamgo nga sila naglakip sa mga tawo sa ilang computational proseso. Ania kon unsaon Luis von Ahn (2005) gihulagway sa tawo pagsuma sa diha nga siya unang nagmugna sa termino sa iyang dissertation: ". Ang usa ka paradigm alang sa paggamit sa tawo sa pagproseso sa gahum sa pagsulbad sa mga problema nga computer dili pa pagsulbad sa"

Figure 5.13: Alang sa pipila ka mga buluhaton computer mao ang talagsaon, sa hilabihan gayud sa abilidad sa tawo eksperto. Apan, alang sa uban nga mga buluhaton, ordinaryo nga mga tawo mahimo nga mas hawod pa gani sopistikado sistema sa computer. Dako nga scale problema nga naglakip sa mga buluhaton nga malisud alang sa mga computer ug sayon ​​alang sa mga tawo mao ang pag-ayo-haum alang sa tawhanong pagsuma. Gigamit sumala sa mga termino nga gihulagway dinhi: http://xkcd.com/license.html

Pinaagi niini nga kahulugan FoldIt-nga akong gihulagway diha sa seksyon sa bukas nga mga tawag-mahimong giisip nga sa usa ka tawo pagsuma proyekto. Apan, ako mopili sa kategoriya FoldIt ingon nga usa ka bukas nga tawag tungod kay kini nagkinahanglan espesyalista kahanas ug kini nagkinahanglan sa labing maayo nga solusyon nakatampo kay sa paggamit sa usa ka split-sa paggamit sa-combine nga pamaagi.

Kay sa usa ka maayo kaayo nga gitas-on nga basahon sa pagtambal sa mga sa tawo pagsuma, sa labing kinatibuk-ang diwa sa termino, tan-awa Law and Ahn (2011) . Kapitulo 3 sa Law and Ahn (2011) adunay usa ka makapaikag nga panaghisgutan sa mas komplikado combine mga lakang kay sa mga niini nga kapitulo.

Ang terminong "split-paggamit sa-combine" gigamit sa Wickham (2011) sa paghubit sa usa ka pamaagi alang sa statistical Computing, apan kini hingpit nga misuhot sa mga proseso sa daghan nga mga tawhanong mga proyekto sa pagsuma. Ang split-paggamit sa-combine nga pamaagi mao ang susama sa MapReduce gambalay naugmad sa Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Duha ka igmat nga sa tawo pagsuma proyekto nga wala ako luna aron sa paghisgot sa mao ang sa ESP Game (Ahn and Dabbish 2004) ug reCAPTCHA (Ahn et al. 2008) . Duha niini nga mga proyekto mamugnaon sa pagdasig sa mga partisipante sa paghatag og mga marka sa mga larawan. Apan, duha niini nga mga proyekto sa usab gibanhaw ethical nga mga pangutana tungod kay, dili sama sa Galaxy Zoo, mga partisipante sa ESP Game ug reCAPTCHA wala mahibalo kon sa unsang paagi ang ilang mga data sa gigamit (Lung 2012; Zittrain 2008) .

Dinasig sa ESP Game, sa daghan nga mga tigdukiduki misulay sa pag-ugmad sa uban "dula uban sa usa ka katuyoan" (Ahn and Dabbish 2008) (ie, "sa tawo-based pagsuma dula" (Pe-Than, Goh, and Lee 2015) ) nga mahimong nga gigamit sa pagsulbad sa usa ka matang sa uban nga mga problema. Unsa kini nga mga "mga dula uban sa usa ka katuyoan" diha sa komon nga mao nga sila naningkamot sa paghimo sa mga buluhaton nga nalambigit sa tawhanong pagsuma makalingaw. Busa, samtang nakig-ambit sa ESP Game sa sama nga split-paggamit sa-combine gambalay uban sa Galaxy Zoo, kini lahi sa kon sa unsang paagi partisipante nadasig-makalingaw batok tinguha sa pagtabang sa siyensiya.

Akong paghulagway sa Galaxy Zoo draws sa Nielsen (2012) , Adams (2012) , Clery (2011) , ug ang Hand (2010) , ug ang akong presentasyon sa mga tumong sa research sa Galaxy Zoo nga simple nga. Alang sa dugang sa kasaysayan sa galaxy klasipikasyon sa astronomiya ug sa unsa nga paagi Galaxy Zoo nagpadayon niini nga tradisyon, tan-awa Masters (2012) ug sa Marshall, Lintott, and Fletcher (2015) . Building sa Galaxy Zoo, ang mga tigdukiduki nahuman Galaxy Zoo 2 nga nakolekta labaw pa kay sa 60 milyon nga mas komplikado morpolohiya klasipikasyon gikan sa mga boluntaryo (Masters et al. 2011) . Dugang pa, sila nagsanga ngadto sa mga problema sa gawas sa galaxy morpolohiya lakip na nagsuroy-suroy sa sa nawong sa bulan, sa pagpangita alang sa mga planeta, ug sa pagsulat sa daan nga mga dokumento. Sa pagkakaron, ang tanan sa ilang mga proyekto nakolekta sa www.zooniverse.org (Cox et al. 2015) . Usa sa mga proyekto-Snapshot Serengeti-naghatag ebidensiya nga Galaxy Zoo-type nga larawan classification mga proyekto mahimo usab nga gihimo alang sa environmental nga research (Swanson et al. 2016) .

Alang sa mga tigdukiduki nagplano sa paggamit sa usa ka micro-task labor market (pananglitan, Amazon Mechanical Turk) alang sa usa ka tawo pagsuma nga proyekto, Chandler, Paolacci, and Mueller (2013) ug Wang, Ipeirotis, and Provost (2015) sa paghalad sa maayong tambag sa task design ug uban nga may kalabutan nga mga isyu.

Tigdukiduki nga interesado sa pagmugna sa gitawag ko ikaduha nga kaliwatan sa tawo pagsuma sistema sa (pananglitan, mga sistema nga sa paggamit sa sa tawo label sa pagbansay sa usa ka makina sa pagkat-on nga modelo) mahimong interesado sa Shamir et al. (2014) (alang sa usa ka panig-ingnan sa paggamit sa audio) ug Cheng and Bernstein (2015) . Usab, kini nga mga mga proyekto mahimo uban sa bukas nga mga tawag, diin tigdukiduki makigkompetensiya sa paghimo modelo machine sa pagkat-on uban sa mga labing dako nga matagnaong performance. Kay sa panig-ingnan, sa Galaxy Zoo team midalagan ang usa ka bukas nga tawag ug nakakaplag sa usa ka bag-o nga paagi nga outperformed ang usa nga naugmad sa Banerji et al. (2010) ; tan-awa ang Dieleman, Willett, and Dambre (2015) alang sa mga detalye.

• Open tawag (Section 5.3)

Open tawag dili bag-o. Sa pagkatinuod, ang usa sa labing pag-ayo-nga nailhan bukas tawag petsa sa pagbalik sa 1714 sa diha nga ang Britanya ni parlamento gibuhat sa Ang Longitude Prize alang sa bisan kinsa nga sa pagpalambo og usa ka paagi sa pagtino sa longitude sa usa ka sakayan sa dagat. Ang problema problema sa daghan sa mga labing dako nga mga siyentipiko sa mga adlaw, lakip na ang si Isaac Newton, ug ang mga mananaog nga solusyon sa kadugayan gisumiter sa usa ka relohero gikan sa kabanikanhan nga miduol sa problema nga lahi gikan sa mga siyentipiko nga naka-focus sa usa ka solusyon nga paagi naglakip sa astronomiya (Sobel 1996) . Ingon nga panig-ingnan niini nga naghulagway, usa ka rason nga bukas sa mga tawag sa mga naghunahuna sa pagtrabaho pag-ayo mao nga sila sa paghatag og access ngadto sa mga tawo uban sa lain-laing mga panglantaw ug mga kahanas (Boudreau and Lakhani 2013) . Tan-awa ang Hong and Page (2004) ug sa Page (2008) alang sa dugang sa bili sa kadaiyahan sa pagsulbad sa problema.

Ang matag usa sa bukas nga mga kaso tawag diha sa kapitulo nagkinahanglan sa usa ka gamay sa dugang nga katin-awan kay ngano nga kini iya sa kategoriyang niini. Una, ang usa ka paagi nga ila ako sa taliwala sa tawo pagsuma ug sa bukas nga mga proyekto sa tawag mao ang kon ang output mao ang usa ka average nga sa tanan nga mga solusyon (sa tawo pagsuma) o ang labing maayo nga solusyon (bukas tawag). Ang Netflix Prize mao ang medyo malinglahon diha sa bahin tungod kay ang labing maayo nga solusyon nahimo ngadto sa usa ka komplikado nga average sa indibiduwal nga mga solusyon, usa ka miduol gitawag usa ka kumparsa nga solusyon (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Gikan sa panglantaw sa Netflix, Apan, sa tanan nga sila sa pagbuhat sa mao pagpili sa labing maayo nga solusyon.

Ikaduha, sa pipila ka mga kahulugan sa pagkuwenta sa tawo (pananglitan, Von Ahn (2005) ), FoldIt kinahanglan nga giisip nga usa ka tawo pagsuma proyekto. Apan, ako mopili sa kategoriya FoldIt ingon nga usa ka bukas nga tawag tungod kay kini nagkinahanglan espesyalista kahanas ug kini nagkinahanglan sa labing maayo nga solusyon nakatampo, kay sa paggamit sa usa ka split-sa paggamit sa-combine nga pamaagi.

Sa kataposan, ang usa ka tawo moingon nga ang pagpamugos sa-sa-Patent mao ang usa ka panig-ingnan sa-apod-apod koleksyon data. gipili ko nga naglakip kini ingon nga usa ka bukas nga tawag tungod kay kini adunay usa ka contest-sama sa gambalay ug sa lamang sa labing maayo nga mga amot gigamit (samtang sa-apod-apod koleksyon sa data, ang ideya sa maayo ug sa daotan nga mga amot mao ang dili kaayo tin-aw).

Alang sa dugang sa Netflix Prize, tan-awa Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ug ang Feuerverger, He, and Khatri (2012) . Alang sa dugang FoldIt tan-awa, Cooper et al. (2010) , Andersen et al. (2012) , ug ang Khatib et al. (2011) ; ang akong paghulagway sa FoldIt draws sa mga paghubit sa Nielsen (2012) , Bohannon (2009) , ug ang Hand (2010) . Alang sa dugang pa Peer-sa-Patent, tan-awa Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , ug ang Noveck (2009) .

Susama sa mga resulta sa Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Kapitulo 10 mga taho dako nga kadaugan sa sa produksyon sa inspectors housing sa New York City dihang inspeksiyon gigiyahan sa matagnaong mga modelo. Sa New York City, kini nga mga matagnaong mga modelo gitukod sa mga empleyado sa siyudad, apan sa ubang mga kaso, ang usa ka tawo maghunahuna nga sila mahimo nga gibuhat sa o milambo uban sa bukas nga mga tawag (pananglitan, Glaeser et al. (2016) ). Apan, ang usa ka mayor nga kabalaka uban sa matagnaong mga modelo nga gigamit sa paggahin mga kapanguhaan mao nga ang mga modelo sa mga potensyal sa pagpalig-on sa kasamtangan nga pagpihig. Daghang mga tigdukiduki na masayud "basura sa, basura gikan sa", ug uban sa matagnaong modelo kini nga "bias sa, pagpihig sa gawas." Tan-awa Barocas and Selbst (2016) ug sa O'Neil (2016) alang sa dugang sa mga kakuyaw sa matagnaong mga modelo nga gitukod uban sa mapihigong mga datos sa pagbansay.

Usa ka problema nga makapugong mga gobyerno sa paggamit sa bukas contests mao nga nagkinahanglan kini sa data nga pagpagawas, nga modala ngadto sa paglapas sa privacy. Alang sa dugang kabahin sa privacy ug data sa pagpagawas sa dayag tawag makakita Narayanan, Huey, and Felten (2016) ug sa panaghisgot sa Kapitulo 6.

• -Apod-Apod koleksyon nga data (Section 5.4)

Akong paghulagway sa eBird draws sa mga paghubit sa Bhattacharjee (2005) ug Robbins (2013) . Alang sa dugang kon sa unsang paagi ang mga tigdukiduki sa paggamit statistical modelo sa pag-analisar sa data eBird makakita Hurlbert and Liang (2012) ug Fink et al. (2010) . Alang sa dugang sa kasaysayan sa citizen siyensiya sa ornothology, tan-awa Greenwood (2007) .

Alang sa dugang sa Malawi Journal Project, tan-awa Watkins and Swidler (2009) ug sa Kaler, Watkins, and Angotti (2015) . Ug alang sa dugang sa usa ka may kalabutan nga mga proyekto sa South Africa, tan-awa Angotti and Sennott (2015) . Alang sa dugang nga mga ehemplo sa research sa paggamit sa data gikan sa Malawi Journal Project tan-awa ang Kaler (2004) ug Angotti et al. (2014) .

• Pagplano sa kaugalingon (Section 5.5)

Ang akong pamaagi sa paghalad sa design tambag pangagpas, base sa mga panig-ingnan sa mga malampuson ug napakyas masa kolaborasyon mga proyekto nga akong nadungog mahitungod sa. Adunay usab usa ka sapa sa research mosulay sa paggamit sa dugang nga kinatibuk-ang sosyal nga psychological mga teoriya sa pagdesinyo online nga mga komunidad nga may kalabutan sa plano sa masa kolaborasyon mga proyekto, tan-awa, alang sa panig-ingnan, Kraut et al. (2012) .

Mahitungod sa makapadasig partisipante, kini mao ang tinuod na tricky sa numero sa kon nganong ang mga tawo pag-apil sa masa kolaborasyon mga proyekto (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Kon ikaw magplano sa pagdasig sa mga partisipante sa pagbayad sa usa ka micro-task labor market (pananglitan, Amazon Mechanical Turk) Kittur et al. (2013) nagtanyag sa pipila ka mga tambag.

Mahitungod sa makaabag nga katingala, alang sa dugang nga mga ehemplo sa wala damha nga mga kaplag sa pag-abut gikan sa Zoouniverse proyekto, tan-awa ang Marshall, Lintott, and Fletcher (2015) .

Mahitungod sa nga pamatasan, ang pipila ka maayo nga kinatibuk-ang mga pasiuna sa mga isyu nga nalangkit sa mga Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ug ang Zittrain (2008) . Kay mga isyu ilabi nga may kalabutan sa legal nga mga isyu uban sa panon sa katawhan empleyado, tan-awa Felstiner (2011) . O'Connor (2013) naghisgot sa mga pangutana mahitungod sa pamatasan pagdumala sa research sa diha nga ang mga papel sa mga tigsiksik ug mga partisipante makapahanap. Kay mga isyu nga may kalabutan sa datos sa pagpakigbahin samtang pagpanalipod participats sa citizen proyekto sa siyensiya, tan-awa Bowser et al. (2014) . Ang duha Purdam (2014) ug sa Windt and Humphreys (2016) adunay pipila ka mga panaghisgot bahin sa pamatasan mga isyu sa-apod-apod koleksyon data. Sa katapusan, kadaghanan sa mga proyekto-ila sa mga kontribusyon apan dili awtor credit ngadto sa mga partisipante. Sa Foldit, ang Foldit players sagad gitala nga usa ka tigsulat (Cooper et al. 2010; Khatib et al. 2011) . Sa ubang mga proyekto bukas tawag, ang winning contributor sagad isulat sa usa ka papel nga naghulagway sa ilang mga solusyon (pananglitan, Bell, Koren, and Volinsky (2010) ug sa Dieleman, Willett, and Dambre (2015) ). Sa pamilya Galaxy Zoo sa mga proyekto, hilabihan aktibo ug importante nga magtatampo usahay gidapit nga mahimong co-awtor sa mga papel. Kay sa panig-ingnan, si Ivan Terentev ug Tim Matorny, duha ka Radio Galaxy Zoo partisipante gikan sa Russia, ang mga co-awtor sa usa sa mga papel nga mibangon gikan sa proyekto nga (Banfield et al. 2016; Galaxy Zoo 2016) .