Unsa ang basahon sa sunod

• Pasiuna (seksyon 5.1)

Ang panaghiusa sa masa naghiusa sa mga ideya gikan sa lungsuranon nga siyensya , pagkonsulta sa tawo , ug hiniusang paniktik . Ang lumad nga siyensiya sagad nagpasabut nga naglangkob sa "mga lungsuranon" (ie, mga siyentipiko nga dili siyentipiko) sa siyentipikong proseso; Alang sa dugang pa, tan-awa ang Crain, Cooper, and Dickinson (2014) ug Bonney et al. (2014) . Ang Crowdsourcing kasagaran nagpasabut sa pagkuha sa usa ka suliran nga sagad masulbad sa sulod sa usa ka organisasyon ug sa baylo mag-outsource niini ngadto sa usa ka panon sa katawhan; alang sa dugang pa, tan-awa sa Howe (2009) . Ang kolektibong paniktik sa kasagaran nagpasabut nga mga pundok sa mga indibidwal nga naglihok sa nagkalainlain nga paagi nga daw intelihente; Alang sa dugang pa, tan-awa ang Malone and Bernstein (2015) . Nielsen (2012) usa ka libro nga dugay nga pasiuna sa gahum sa pangmasang kolaborasyon alang sa siyentipikong pagsiksik.

Adunay daghang mga matang sa panagtambayayong masa nga dili hapsay sa tulo ka mga kategoriya nga akong gisugyot, ug sa akong hunahuna ang tulo niini angay nga espesyal nga atensyon tungod kay kini magamit sa social research. Ang usa ka pananglitan mao ang mga merkado sa panagna, diin ang mga partisipante mopalit ug mga kontrata sa pagbaligya nga mabayran base sa mga sangputanan nga mahitabo sa kalibutan. Ang pagtagna sa mga merkado kasagaran gigamit sa mga kompaniya ug mga gobyerno alang sa pagpanagna, ug gigamit usab kini sa mga tigdukiduki sa katilingban sa pagtag-an sa pagkapili sa gipatik nga mga pagtuon sa psychology (Dreber et al. 2015) . Alang sa kinatibuk-an nga mga merkado sa panagna, tan-awa ang Wolfers and Zitzewitz (2004) ug Arrow et al. (2008) .

Ang ikaduha nga panig-ingnan nga dili maayo sa akong categorization scheme mao ang proyekto sa PolyMath, diin ang mga tigdukiduki nakigtambayayong sa paggamit sa mga blog ug mga wiki aron pamatud-an ang mga bag-ong teatro sa matematika. Ang proyekto sa PolyMath sa pipila ka mga paagi susama sa Netflix Prize, apan sa niini nga proyekto nga mga partisipante mas aktibo nga gitukod sa partial nga solusyon sa uban. Alang sa dugang pa sa proyekto sa PolyMath, tan-awa ang Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , ug Kloumann et al. (2016) .

Ang usa ka ikatulo nga panig-ingnan nga dili maayo sa akong categorization nga pamaagi mao ang paglihok sa panahon nga mga paglihok sama sa Defense Advanced Research Projects Agency (DARPA) Network Challenge (ie, ang Red Balloon Challenge). Alang sa dugang niining mga sensitibo sa panahon nga pagpalihok makita ang Pickard et al. (2011) , Tang et al. (2011) , ug Rutherford et al. (2013) .

• Ang pagkalkulo sa tawo (seksyon 5.2)

Ang termino nga "human computation" naggikan sa trabaho nga gibuhat sa mga siyentista sa kompyuter, ug ang pagsabut sa konteksto sa likod niini nga panukiduki makapauswag sa imong abilidad sa pagkuha sa mga problema nga mahimong angay alang niini. Alang sa piho nga buluhaton, ang mga kompyuter gamhanan kaayo, nga adunay mga kapabilidad nga labaw pa sa bisan sa mga eksperto nga mga tawo. Pananglitan, sa chess, ang mga kompyuter makahimo sa pagbuntog bisan sa pinakamaayo nga mga apo. Apan-ug kini dili kaayo gipasalamatan sa mga sosyal nga siyentipiko-alang sa ubang mga buluhaton, ang mga kompyuter sa pagkatinuod mas grabe kay sa mga tawo. Sa laing pagkasulti, karon ikaw mas maayo pa kay sa labing komplikado nga computer sa pipila ka mga buluhaton nga naglakip sa pagproseso sa mga imahen, video, audio, ug teksto. Ang mga siyentipiko sa kompyuter nga nagtrabaho niining mga lisud-alang-sa-computer-sayon-sa-tawhan nga mga buluhaton nakaamgo nga mahimo nila nga ilakip ang mga tawo diha sa ilang computational nga proseso. Gihubit ni Luis von Ahn (2005) ang human computation sa una niyang pagtukod sa termino sa iyang dissertation: "usa ka paradigm sa paggamit sa gahum sa pagproseso sa tawo aron masulbad ang mga problema nga dili masulbad sa mga computer." Alang sa usa ka libro nga taas nga pagtratar sa human computation, sa ang kinatibuk-ang kahulugan sa termino, tan-awa ang Law and Ahn (2011) .

Sumala sa kahulogan nga gisugyot sa Ahn (2005) Foldit-nga akong gihulagway sa seksyon sa bukas nga mga tawag-mahimo nga isipon nga usa ka proyekto sa pag-compute sa tawo. Apan, gipili nako ang pag-categorize sa Foldit isip usa ka open call tungod kay nagkinahanglan kini og espesyalista nga mga kahanas (bisan dili kinahanglan pormal nga pagbansay) ug kini nagkinahanglan sa labing maayo nga solusyon nga nakatampo, kay sa paggamit sa usa ka split-apply-combine nga estratehiya.

Ang termino nga "split-apply-combine" gigamit sa Wickham (2011) aron ihulagway ang usa ka estratehiya alang sa statistical computing, apan hingpit nga nakuha ang proseso sa daghang mga proyekto sa pagpa-compute sa tawo. Ang split-apply-combine nga estratehiya susama sa mapreduce framework nga gihimo sa Google; alang sa dugang sa MapReduce, tan-awa ang Dean and Ghemawat (2004) ug Dean and Ghemawat (2008) . Alang sa dugang pa sa uban pang gipanghatag nga mga arkitektura sa kompyuter, tan-awa ang Vo and Silvia (2016) . Ang kapitulo 3 sa Law and Ahn (2011) adunay panaghisgut sa mga proyekto nga adunay mas komplikadong mga lakang sa pagsagup kay sa mga kapitulo niini nga kapitulo.

Sa mga proyekto sa pag-compute sa tawo nga akong gihisgutan sa kapitulo, nahibal-an sa mga sumasalmot ang nanghitabo. Ang uban nga mga proyekto, bisan pa, nagtinguha sa pagkuha sa "trabaho" nga nagakahitabo na (susama sa eBird) ug walay kalahian nga kahibalo. Tan-awa, pananglitan, ang ESP Game (Ahn and Dabbish 2004) ug reCAPTCHA (Ahn et al. 2008) . Apan, ang duha niini nga mga proyekto usab nagpatunghag mga pangutana sa pamatasan tungod kay ang mga sumasalmot wala mahibalo kon giunsa ang ilang mga datos gigamit (Zittrain 2008; Lung 2012) .

Gidasig sa ESP Game, daghang mga tigdukiduki ang misulay sa pagpalambo sa uban pang mga "dula nga adunay usa ka katuyoan" (Ahn and Dabbish 2008) (ie, "mga dula sa komputasyon sa tawo" (Pe-Than, Goh, and Lee 2015) ) nga mahimong gigamit sa pagsulbad sa lainlaing mga problema. Unsa man ang mga "dula nga adunay usa ka katuyoan" nga adunay komon nga mao nga sila naningkamot sa paghimo sa mga buluhaton nga nalangkit sa pagkalkula sa tawo nga makalingaw. Busa, samtang ang ESP Game nagbahin sa samang split-apply-combine nga istraktura sa Galaxy Zoo, nagkalahi kini kon giunsa ang mga partisipante nga nadasig-makalingaw batok sa tinguha sa pagtabang sa siyensiya. Alang sa dugang sa mga dula nga adunay katuyoan, tan-awa ang Ahn and Dabbish (2008) .

Ang paghulagway sa Galaxy Zoo nagkuha sa Nielsen (2012) , Adams (2012) , Clery (2011) , ug Hand (2010) , ug ang akong presentasyon sa mga tumong sa pagsiksik sa Galaxy Zoo gipasimple. Alang sa dugang bahin sa kasaysayan sa pagklasipikar sa galaksiya sa astronomiya ug kung giunsa pagpadayon sa Galaxy Zoo kini nga tradisyon, tan-awa ang Masters (2012) ug Marshall, Lintott, and Fletcher (2015) . Ang Pagtukod sa Galaxy Zoo, natapos sa mga tigdukiduki ang Galaxy Zoo 2 nga nakolekta sa kapin sa 60 milyon nga mas komplikado nga klasipikasyon sa morphological gikan sa mga boluntaryo (Masters et al. 2011) . Dugang pa, sila nagsabwag sa mga problema sa gawas sa galaksiya nga morpolohiya, lakip ang pagsuhid sa ibabaw sa Bulan, pagpangita sa mga planeta, ug pag-transcribe sa daan nga mga dokumento. Sa pagkakaron, ang tanan nilang mga proyekto nakolekta sa website sa Zooniverse (Cox et al. 2015) . Usa sa mga proyekto-ang Snapshot Serengeti-naghatag og pamatuod nga ang mga proyekto sa klasipikasyon sa mga imahen sa Galaxy Zoo mahimo usab nga buhaton alang sa pagsiksik sa kalikopan (Swanson et al. 2016) .

Alang sa mga tigdukiduki nga nagplano nga mogamit sa merkado sa labor sa microtask (pananglitan, Amazon Mechanical Turk) alang sa usa ka proyekto sa pagpa-compute sa tawo, si Chandler, Paolacci, and Mueller (2013) ug J. Wang, Ipeirotis, and Provost (2015) uban pang mga isyu. Porter, Verdery, and Gaddis (2016) nagtanyag sa mga panig-ingnan ug tambag nga gitumbok ilabi na sa paggamit sa microtask labor markets alang sa ilang gitawag nga "data augmentation." Ang linya tali sa data augmentation ug pagkolekta sa datos medyo malawos. Alang sa dugang sa pagkolekta ug paggamit sa mga labels alang sa supervised learning alang sa teksto, tan-awa ang Grimmer and Stewart (2013) .

Ang mga tigdukiduki nga interesado sa pagmugna sa akong gitawag nga computer-assisted human computation nga mga sistema (pananglitan, mga sistema nga naggamit sa tawhanong mga marka sa pagbansay sa usa ka modelo sa pagkat-on sa makina) mahimong interesado sa Shamir et al. (2014) (alang sa usa ka ehemplo gamit ang audio) ug Cheng and Bernstein (2015) . Dugang pa, ang mga modelo sa pagkat-on sa makina sa mga proyekto mahimo nga pangayoon sa bukas nga mga tawag, diin ang mga tigdukiduki makigkompetensya aron sa paghimo sa mga model sa pagkat-on sa makina uban sa pinakadako nga prediksyon nga pasundayag. Pananglitan, ang team sa Galaxy Zoo dunay usa ka bukas nga tawag ug nakit-an ang usa ka bag-o nga pamaagi nga mas gipalambo ang usa nga naugmad sa Banerji et al. (2010) ; tan-awa ang Dieleman, Willett, and Dambre (2015) alang sa mga detalye.

• Bukas nga tawag (seksyon 5.3)

Ang bukas nga tawag dili bag-o. Sa pagkatinuod, ang usa sa labing inila nga mga open call nagsugod niadtong 1714 sa dihang ang Parliamento sa Britanya nagtukod sa The Longitude Prize alang sa bisan kinsa nga makahimo og usa ka paagi sa pagtino sa longitude sa usa ka barko sa dagat. Ang problema nakapukan sa kadaghanan sa labing bantog nga mga siyentipiko sa mga adlaw, lakip na si Isaac Newton, ug ang nakadaog nga solusyon sa kadugayan gisumiter ni John Harrison, usa ka clockmaker gikan sa kabanikanhan nga miduol sa problema nga lahi gikan sa mga siyentipiko nga nagpunting sa usa ka kasulbaran nga sa usa ka paagi naglakip sa astronomiya ; Alang sa dugang kasayuran, tan-awa ang Sobel (1996) . Sama sa gipakita niini nga pananglitan, ang usa ka rason nga ang bukas nga mga tawag gituohan nga maayo ang pagtrabaho mao nga kini naghatag ug higayon sa mga tawo nga adunay lainlaing mga panan-aw ug mga kahanas (Boudreau and Lakhani 2013) . Tan-awa ang Hong and Page (2004) ug Page (2008) alang sa dugang sa kabililhon sa pagkalain-lain sa pagsulbad sa problema.

Ang matag usa sa mga kaso sa open call sa kapitulo nagkinahanglan og usa ka gamay nga dugang nga katin-aw kon nganong kini nahisakop niini nga kategoriya. Una, ang usa ka paagi nga akong nahibal-an tali sa human computation ug bukas nga mga proyekto sa tawag mao kung ang output usa ka kasagaran sa tanan nga mga solusyon (human computation) o ang labing maayo nga solusyon (open call). Ang Netflix Prize medyo malisud tungod niini tungod kay ang pinakamaayo nga kasulbaran nahimong usa ka komplikado nga kasagaran sa tagsa-tagsa nga mga solusyon, usa ka pamaagi nga gitawag nga usa ka ensemble solution (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Apan gikan sa panglantaw sa Netflix, ang kinahanglan nilang buhaton mao ang pagpili sa labing maayo nga solusyon. Alang sa dugang pa sa Netflix Prize, tan-awa ang Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ug Feuerverger, He, and Khatri (2012) .

Ikaduha, pinaagi sa pipila ka paghubit sa human computation (pananglitan, Ahn (2005) ), ang Foldit gikonsiderar nga usa ka proyekto sa pagkuwenta sa tawo. Bisan pa, gipili nako nga i-categorize kini isip open call tungod kay kini nagkinahanglan og espesyalista nga mga kahanas (bisan dili kinahanglan nga espesyalista nga pagbansay) ug kini nagkinahanglan sa pinakamaayo nga solusyon, kay sa paggamit sa usa ka estratehiya sa split-apply-combine. Alang sa dugang sa Foldit tan-awa, Cooper et al. (2010) , Khatib et al. (2011) , ug Andersen et al. (2012) ; Ang akong paghulagway sa Foldit nagkuha sa deskripsyon sa Bohannon (2009) , Hand (2010) , ug Nielsen (2012) .

Sa katapusan, ang usa ka tawo makiglalis nga ang Peer-to-Patent usa ka ehemplo sa gipang-apod-apod nga datos. Gipili nako nga i-apil kini isip bukas nga tawag tungod kay kini adunay usa ka laraw nga sama sa istruktura ug gigamit lang ang pinakamaayo nga kontribusyon, samtang ang pagkolekta sa datos nga pagkolekta, ang ideya sa maayo ug dili maayo nga kontribusyon dili kaayo klaro. Alang sa dugang pa sa Peer-to-Patent, tan-awa ang Noveck (2006) , Ledford (2007) , Noveck (2009) , ug Bestor and Hamp (2010) .

Sa mga termino sa paggamit sa bukas nga mga panawag sa sosyal nga panukiduki, mga sangputanan susama sa iya ni Glaeser et al. (2016) , gitaho sa kapitulo 10 sa Mayer-Schönberger and Cukier (2013) diin ang New York City nakahimo sa paggamit sa predictive modeling aron makamugna ang dagkong mga ganansiya sa produktibo sa mga inspectors sa balay. Sa New York City, kini nga mga predictive nga mga modelo gitukod sa mga empleyado sa siyudad, apan sa ubang mga kaso, mahanduraw sa usa nga kini mahimo nga mapalambo o mapalambo pinaagi sa bukas nga tawag (eg, Glaeser et al. (2016) ). Bisan pa, ang usa ka nag-unang kabalaka sa predictive nga mga modelo nga gigamit sa paggahin sa mga kapanguhaan mao nga kini nga mga modelo adunay potensyal sa pagpalig-on sa kasamtangan nga mga pagpaubos. Daghang tigdukiduki nga nahibal-an na nga "basura, basura," ug uban sa predictive nga mga modelo mahimong "bias in, bias out." Tan-awa ang Barocas and Selbst (2016) ug O'Neil (2016) alang sa dugang sa mga kakuyaw sa predictive models nga gitukod uban ang mapihigon nga mga kasayuran sa pagbansay

Ang usa ka problema nga makapugong sa mga gobyerno sa paggamit sa bukas nga mga bangga mao nga kini nagkinahanglan sa pagpagawas sa datos, nga mahimong mosangpot sa mga kalapasan sa privacy. Alang sa dugang pa mahitungod sa privacy ug pagpagawas sa datos sa open calls, tan-awa ang Narayanan, Huey, and Felten (2016) ug ang diskusyon sa kapitulo 6.

Alang sa dugang sa mga kalainan ug mga kaamgiran tali sa panagna ug katin-awan, tan-awa ang Breiman (2001) , Shmueli (2010) , Watts (2014) , ug Kleinberg et al. (2015) . Alang sa dugang bahin sa papel sa pagtagna sa social research, tan-awa ang Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , ug Yarkoni and Westfall (2017) .

Alang sa usa ka pagrepaso sa mga proyekto sa bukas nga tawag sa biology, lakip ang plano sa pagplano, tan-awa ang Saez-Rodriguez et al. (2016) .

• Gipahatid nga pagkolekta sa datos (seksyon 5.4)

Ang akong paghulagway sa eBird nagdala sa mga paghubit sa Bhattacharjee (2005) , Robbins (2013) , ug Sullivan et al. (2014) . Alang sa dugang kon sa unsang paagi ang mga tigdukiduki naggamit sa estatistika nga mga modelo aron pag-analisa sa datos sa eBird tan-awa ang Fink et al. (2010) ug Hurlbert and Liang (2012) . Alang sa dugang sa pagbana-bana sa kahanas sa mga partisipante sa eBird, tan-awa ang Kelling, Johnston, et al. (2015) . Alang sa dugang bahin sa kasaysayan sa lungsuran sa siyensiya sa ornithology, tan-awa ang Greenwood (2007) .

Alang sa dugang pa sa Malawi Journals Project, tan-awa ang Watkins and Swidler (2009) ug Kaler, Watkins, and Angotti (2015) . Alang sa dugang pa sa usa ka susamang proyekto sa South Africa, tan-awa ang Angotti and Sennott (2015) . Alang sa dugang mga pananglitan sa panukiduki gamit ang datos gikan sa Malawi Journals Project tan-awa ang Kaler (2004) ug Angotti et al. (2014) .

• Pagplano sa imong kaugalingon (seksyon 5.5)

Ang akong pamaagi sa pagtanyag sa tambag sa plano mao ang inductive, pinasikad sa mga pananglitan sa malampuson ug pakyas nga mga proyekto sa pangmasang kolaborasyon nga akong nadungog. Anaa usab ang usa ka sapa sa panukiduki sa panukiduki sa pagpadapat sa dugang nga mga pangkalibutanon nga mga teolohiko sa sosyal nga pagdisenyo sa mga online nga mga komunidad nga may kalabutan sa pagdisenyo sa mga proyekto sa masa nga kolaborasyon, pananglitan, pananglitan, ang Kraut et al. (2012) .

Mahitungod sa nagpalihok nga mga sumasalmot, kini sa pagkatinuod malisud aron mahibal-an gayud kung nganong ang mga tawo miapil sa mga mass collaboration nga mga proyekto (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Kon nagplano ka sa pagdasig sa mga partisipante sa pagbayad sa usa ka merkado sa microtask labor (eg, Amazon Mechanical Turk), Kittur et al. (2013) nagtanyag og pipila ka tambag.

Mahitungod sa makapakurat nga katingala, alang sa dugang mga pananglitan sa wala damha nga mga nadiskobrehan nga gikan sa mga proyekto sa Zooiverse, tan-awa ang Marshall, Lintott, and Fletcher (2015) .

Mahitungod sa pagka-ethical, ang pipila ka mga maayo nga kinatibuk-ang pasiuna sa mga isyu nga nalakip mao ang Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ug Zittrain (2008) . Alang sa mga isyu nga piho nga may kalabutan sa legal nga mga isyu uban sa mga empleyado sa kadaghanan, tan-awa ang Felstiner (2011) . O'Connor (2013) nagtubag sa mga pangutana kabahin sa pagdumala sa pamatasan sa panukiduki sa dihang ang mga papel sa mga tigdukiduki ug mga partisipante naglambug. Kay mga isyu nga may kalabutan sa data sa pagpakigbahin samtang pagpanalipod sa mga partisipante sa citizen proyekto sa siyensiya, tan-awa Bowser et al. (2014) . Ang Purdam (2014) ug ang Windt and Humphreys (2016) adunay pipila nga paghisgot mahitungod sa mga problema sa pamatasan diha sa pagkolekta sa datos nga datos. Sa kataposan, kadaghanan sa mga proyekto moila sa mga kontribusyon apan dili mohatag kredito sa mga partisipante. Sa Foldit, ang mga magdudula sagad nga gitala isip usa ka tigsulat (Cooper et al. 2010; Khatib et al. 2011) . Sa uban pang mga open call nga mga proyekto, ang nakadaug nga kontribyutor kasagaran magsulat og usa ka papel nga naghulagway sa ilang mga solusyon (eg Bell, Koren, and Volinsky (2010) ug Dieleman, Willett, and Dambre (2015) ).