Ano ang susunod na babasahin

• Panimula (seksyon 5.1)

Pinagsasama ng malaking pakikipagtulungan ang mga ideya mula sa agham ng mamamayan , crowdsourcing , at kolektibong katalinuhan . Karaniwang nangangahulugan ang agham ng mamamayan na may kinalaman sa "mga mamamayan" (ie, mga siyentipiko) sa proseso ng siyentipiko; Para sa higit pa, tingnan ang Crain, Cooper, and Dickinson (2014) at Bonney et al. (2014) . Ang Crowdsourcing ay karaniwang nangangahulugan ng pagkuha ng isang problema na karaniwang nalutas sa loob ng isang samahan at sa halip ay outsourcing ito sa isang karamihan ng tao; Para sa higit pa, tingnan ang Howe (2009) . Ang karaniwang katalinuhan ay karaniwang nangangahulugan ng mga grupo ng mga indibidwal na kumikilos nang sama-sama sa mga paraan na tila matalino; Para sa higit pa, tingnan ang Malone and Bernstein (2015) . Nielsen (2012) ay isang introduksyon ng aklat-haba sa lakas ng pakikipagtulungan ng masa para sa siyentipikong pananaliksik.

Maraming uri ng pakikipagtulungan sa masa na hindi angkop sa tatlong kategorya na aking iminungkahi, at sa palagay ko ang tatlo sa mga ito ay nararapat na maging espesyal na atensiyon dahil maaaring maging kapaki-pakinabang sila sa panlipunang pananaliksik. Ang isang halimbawa ay mga merkado ng hula, kung saan ang mga kalahok ay bumili at mga kontrata ng kalakalan na maaaring mabayaran batay sa mga kinalabasan na nangyayari sa mundo. Ang mga predicting market ay kadalasang ginagamit ng mga kumpanya at gubyerno para sa pagtataya, at ginagamit din sila ng mga social na mananaliksik upang mahulaan ang posibilidad ng mga nai-publish na pag-aaral sa sikolohiya (Dreber et al. 2015) . Para sa isang pangkalahatang-ideya ng mga merkado ng hula, tingnan ang Wolfers and Zitzewitz (2004) at Arrow et al. (2008) .

Ang pangalawang halimbawa na hindi angkop sa aking scheme ng pag-uuri ay ang proyektong PolyMath, kung saan ang mga mananaliksik ay nakipagtulungan gamit ang mga blog at wiki upang patunayan ang mga bagong teatro ng matematika. Ang proyektong PolyMath ay sa ilang mga paraan na katulad ng Netflix Prize, ngunit sa mga kalahok sa proyektong ito ay mas aktibong binuo sa mga bahagyang solusyon ng iba. Para sa higit pa sa proyektong PolyMath, tingnan ang Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , at Kloumann et al. (2016) .

Ang ikatlong halimbawa na hindi angkop sa pamamaraan ng pag-categorize ko ay ang mga mobilization na nakadepende sa oras tulad ng Challenge Network ng Advanced Research Projects Agency (DARPA) (ibig sabihin, ang Red Balloon Challenge). Para sa higit sa mga oras na sensitibong pagpapakilos tingnan ang Pickard et al. (2011) , Tang et al. (2011) , at Rutherford et al. (2013) .

• Ang pagkalkula ng tao (seksyon 5.2)

Ang terminong "human computation" ay lumabas sa trabaho na ginawa ng mga siyentipiko ng computer, at nauunawaan ang konteksto sa likod ng pananaliksik na ito ay mapapabuti ang iyong kakayahang pumili ng mga problema na maaaring angkop para dito. Para sa ilang mga gawain, ang mga computer ay hindi mapaniniwalaan o kapani-paniwala malakas, na may mga kakayahan na lampas sa mga kahit na ekspertong tao. Halimbawa, sa chess, ang mga computer ay maaaring matalo kahit ang mga pinakamahusay na grandmasters. Ngunit-at ito ay hindi gaanong pinahahalagahan ng mga sosyal na siyentipiko-para sa iba pang mga gawain, ang mga computer ay talagang mas masahol pa kaysa sa mga tao. Sa ibang salita, ngayon ikaw ay mas mahusay kaysa sa kahit na ang pinaka-sopistikadong computer sa ilang mga gawain na kinasasangkutan ng pagproseso ng mga imahe, video, audio, at teksto. Ang mga siyentipiko ng computer na nagtatrabaho sa mga hard-for-computer-madaling-para-sa-tao na mga gawain kaya natanto na maaari nilang isama ang mga tao sa kanilang computational na proseso. Narito kung paano inilarawan ni Luis von Ahn (2005) -compute ng tao noong una niyang likhain ang termino sa kanyang disertasyon: "isang tularan para sa paggamit ng kapangyarihan ng pagproseso ng tao upang malutas ang mga problema na hindi pa malulutas ng mga computer." Para sa isang aklat-haba na paggamot ng pagkalkula ng tao, ang pinaka-karaniwang kahulugan ng termino, tingnan ang Law and Ahn (2011) .

Ayon sa kahulugan na iminungkahi sa Ahn (2005) Foldit-na inilarawan ko sa seksyon sa mga bukas na tawag-ay maituturing na isang proyekto ng pag-uulit ng tao. Gayunpaman, pinipili ko ang kategorya ng Foldit bilang isang bukas na tawag dahil nangangailangan ito ng mga kasanayan sa dalubhasang (bagaman hindi kinakailangang pormal na pagsasanay) at kinakailangan ang pinakamahusay na solusyon na nag-ambag, sa halip na gumamit ng diskarte sa split-apply-combine.

Ang terminong "split-apply-combine" ay ginamit ng Wickham (2011) upang ilarawan ang isang estratehiya para sa statistical computing, ngunit perpektong nakukuha nito ang proseso ng maraming mga proyekto sa pag-compute ng tao. Ang split-apply-combine strategy ay katulad ng framework ng MapReduce na binuo sa Google; Para sa higit pa sa MapReduce, tingnan ang Dean and Ghemawat (2004) at Dean and Ghemawat (2008) . Para sa higit pa sa iba pang mga ipinamamahagi na computing architecture, tingnan ang Vo and Silvia (2016) . Kabanata 3 ng Law and Ahn (2011) ay may talakayan sa mga proyekto na may mas kumplikadong pagsasama ng mga hakbang kaysa sa mga nasa kabanatang ito.

Sa mga proyekto ng pag-compute ng tao na aking tinalakay sa kabanata, alam ng mga kalahok kung ano ang nangyayari. Gayunpaman, ang ilang mga iba pang proyekto ay nagsisikap na makuha ang "trabaho" na nangyayari (katulad ng eBird) at walang kamalayan ng kalahok. Tingnan, halimbawa, ang ESP Game (Ahn and Dabbish 2004) at reCAPTCHA (Ahn et al. 2008) . Gayunpaman, ang parehong mga proyektong ito ay nagtataas din ng mga etikal na katanungan dahil ang mga kalahok ay hindi alam kung paano ginagamit ang kanilang data (Zittrain 2008; Lung 2012) .

Sa inspirasyon ng ESP Game, sinubukan ng maraming mananaliksik na bumuo ng iba pang "mga laro na may isang layunin" (Ahn and Dabbish 2008) (ibig sabihin, "laro ng (Ahn and Dabbish 2008) na batay sa mga tao" (Pe-Than, Goh, and Lee 2015) ) na maaaring ginagamit upang malutas ang iba't ibang mga iba pang mga problema. Ano ang mga "laro na may isang layunin" na may karaniwan ay na sinubukan nilang gawin ang mga gawain na kasangkot sa pag-aaral ng tao na kasiya-siya. Kaya, habang ang ESP Game ay nagbabahagi ng parehong split-apply-combine na istraktura sa Galaxy Zoo, naiiba ito sa kung paano ang mga kalahok ay motivated-masaya kumpara sa pagnanais na tulungan ang agham. Para sa higit pa sa mga laro na may layunin, tingnan ang Ahn and Dabbish (2008) .

Ang paglalarawan ko sa Galaxy Zoo ay kumukuha sa Nielsen (2012) , Adams (2012) , Clery (2011) , at Hand (2010) , at ang aking pagtatanghal ng mga layunin sa pananaliksik ng Galaxy Zoo ay pinasimple. Para sa higit pa sa kasaysayan ng pag-uuri ng kalawakan sa astronomiya at kung paano nagpapatuloy ang tradisyon ng Galaxy Zoo na ito, tingnan ang Masters (2012) at Marshall, Lintott, and Fletcher (2015) . Ang Building sa Galaxy Zoo, natapos ng mga mananaliksik ang Galaxy Zoo 2 na nakolekta ang higit sa 60 milyong mas kumplikadong klasipikong morphological mula sa mga boluntaryo (Masters et al. 2011) . Dagdag pa, nagsimula silang lumitaw sa mga suliranin sa labas ng morpolohiya ng kalawakan, kabilang ang pagtuklas sa ibabaw ng Buwan, paghahanap ng mga planeta, at pag-transcribe ng mga lumang dokumento. Sa kasalukuyan, ang lahat ng kanilang mga proyekto ay nakolekta sa website ng Zooniverse (Cox et al. 2015) . Ang isa sa mga proyekto-Snapshot Serengeti-ay nagbibigay ng katibayan na ang mga proyekto ng pag-uuri ng imaheng Galaxy Zoo ay maaari ding gawin para sa kapaligiran na pananaliksik (Swanson et al. 2016) .

Para sa mga mananaliksik na nagpaplanong gumamit ng isang microtask labor market (halimbawa, Amazon Mechanical Turk) para sa isang proyekto ng pag-compute ng tao, si Chandler, Paolacci, and Mueller (2013) at J. Wang, Ipeirotis, and Provost (2015) aalok ng magandang payo sa task design iba pang kaugnay na mga isyu. Porter, Verdery, and Gaddis (2016) aalok ng mga halimbawa at payo na partikular na nakatuon sa paggamit ng mga merkado ng paggawa ng microtask para sa tinatawag nilang "data augmentation." Ang linya sa pagitan ng pagpapalaki ng data at pagkolekta ng data ay medyo malabo. Para sa higit pa sa pagkolekta at paggamit ng mga label para sa pinangangasiwaang pag-aaral para sa teksto, tingnan ang Grimmer and Stewart (2013) .

Ang mga mananaliksik na interesado sa paglikha ng tinatawag kong computer na tinutulungan ng computer na sistema ng pagtutuos (halimbawa, mga sistema na gumagamit ng mga label ng tao upang sanayin ang isang modelo sa pag-aaral ng makina) ay maaaring maging interesado sa Shamir et al. (2014) (para sa isang halimbawa gamit ang audio) at Cheng and Bernstein (2015) . Gayundin, ang mga modelo sa pag-aaral ng makina sa mga proyektong ito ay maaaring hilingin sa bukas na mga tawag, kung saan ang mga mananaliksik ay nakikipagkumpitensya upang lumikha ng mga modelong pag-aaral ng makina na may pinakamahalagang prediksyon na pagganap. Halimbawa, ang koponan ng Galaxy Zoo ay nagpatakbo ng isang bukas na tawag at natagpuan ang isang bagong diskarte na outperformed ang isa na binuo sa Banerji et al. (2010) ; tingnan ang Dieleman, Willett, and Dambre (2015) para sa mga detalye.

• Buksan ang mga tawag (seksyon 5.3)

Ang mga bukas na tawag ay hindi bago. Sa katunayan, ang isa sa mga pinaka-kilalang bukas na tawag ay nagsimula noong 1714 nang nilikha ng Parlamento ng Britanya ang Pinakamataas na Prize para sa sinuman na maaaring bumuo ng isang paraan upang matukoy ang longitude ng isang barko sa dagat. Ang problema ay nakapaloob sa marami sa mga pinakadakilang siyentipiko sa mga araw, kasama na si Isaac Newton, at ang panalong solusyon ay isinumite sa kalaunan ay iniharap ni John Harrison, isang clockmaker mula sa kanayunan na lumapit sa problema nang naiiba sa mga siyentipiko na nakatuon sa isang solusyon na sa paanuman ay may kinalaman sa astronomy ; Para sa karagdagang impormasyon, tingnan ang Sobel (1996) . Bilang inilalarawan ng halimbawang ito, isang dahilan kung bakit ang mga bukas na tawag ay naisip na mahusay na gumagana ay nagbibigay sila ng access sa mga taong may iba't ibang pananaw at kakayahan (Boudreau and Lakhani 2013) . Tingnan ang Hong and Page (2004) at Page (2008) para sa higit pa sa halaga ng pagkakaiba-iba sa paglutas ng problema.

Ang bawat isa sa mga kaso ng bukas na tawag sa kabanata ay nangangailangan ng isang karagdagang paliwanag para sa kung bakit ito ay kabilang sa kategoryang ito. Una, ang isang paraan na nakikilala ko sa pagitan ng mga tao na pagtutuos at mga proyekto ng bukas na tawag ay kung ang output ay isang average ng lahat ng mga solusyon (human computation) o ang pinakamahusay na solusyon (bukas na tawag). Ang Netflix Prize ay medyo nakakalito sa pagsasaalang-alang dahil ang pinakamahusay na solusyon ay naging isang sopistikadong average ng mga indibidwal na solusyon, isang diskarte na tinatawag na isang ensemble solusyon (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Mula sa pananaw ng Netflix, gayunpaman, ang kailangan lang nilang gawin ay piliin ang pinakamahusay na solusyon. Para sa higit pa sa Netflix Prize, tingnan ang Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , at Feuerverger, He, and Khatri (2012) .

Pangalawa, sa pamamagitan ng ilang mga kahulugan ng pag-compute ng tao (hal., Ahn (2005) ), ang Foldit ay dapat isaalang-alang na isang proyekto ng pagkalkula ng tao. Gayunpaman, pinipili ko itong bigyan ng isang bukas na tawag dahil nangangailangan ito ng mga kasanayan sa dalubhasang (bagaman hindi kinakailangang espesyal na pagsasanay) at ito ay tumatagal ng pinakamahusay na solusyon, sa halip na gumamit ng isang estratehiya ng split-apply-combine. Para sa higit sa makita sa Foldit, Cooper et al. (2010) , Khatib et al. (2011) , at Andersen et al. (2012) ; ang paglalarawan ko sa Foldit ay kumukuha sa mga paglalarawan sa Bohannon (2009) , Hand (2010) , at Nielsen (2012) .

Sa wakas, maaaring magtalo ang isa na ang Peer-to-Patent ay isang halimbawa ng ibinahagi sa pagkolekta ng data. Pinipili ko na isama ito bilang isang bukas na tawag dahil mayroon itong isang istrakturang tulad ng paligsahan at tanging ang mga pinakamahusay na kontribusyon ay ginagamit, samantalang sa ipinamamahagi na pagkolekta ng data, ang ideya ng mabuti at masamang kontribusyon ay mas malinaw. Para sa higit pa sa Peer-to-Patent, tingnan ang Noveck (2006) , Ledford (2007) , Noveck (2009) , at Bestor and Hamp (2010) .

Sa mga tuntunin ng paggamit ng mga bukas na tawag sa panlipunang pananaliksik, mga resulta na katulad ng sa mga ng Glaeser et al. (2016) , ay iniulat sa kabanata 10 ng Mayer-Schönberger and Cukier (2013) saan ang New York City ay gumamit ng predictive modeling upang makabuo ng malalaking mga nadagdag sa pagiging produktibo ng mga inspectors ng pabahay. Sa New York City, ang mga predictive na modelo na ito ay itinayo ng mga empleyado ng lungsod, ngunit sa iba pang mga kaso, maaaring isipin ng isang tao na maaari silang Glaeser et al. (2016) o mapabuti sa mga bukas na tawag (eg, Glaeser et al. (2016) ). Gayunpaman, ang isang pangunahing pag-aalala sa mga predictive na modelo na ginagamit upang maglaan ng mga mapagkukunan ay ang mga modelong ito ay may posibilidad na palakasin ang mga umiiral na biases. Maraming mga mananaliksik na may alam na "basura sa, basura," at may predictive na mga modelo na ito ay maaaring "bias sa, bias out." Tingnan Barocas and Selbst (2016) at O'Neil (2016) para sa higit pa sa mga panganib ng mga predictive modelo na binuo na may pinapanigang data ng pagsasanay.

Ang isang problema na maaaring hadlangan ang mga pamahalaan na gumamit ng mga bukas na paligsahan ay nangangailangan ito ng paglabas ng data, na maaaring humantong sa mga paglabag sa privacy. Para sa higit pa tungkol sa privacy at paglabas ng data sa mga bukas na tawag, tingnan ang Narayanan, Huey, and Felten (2016) at ang talakayan sa kabanata 6.

Para sa higit pa sa mga pagkakaiba at pagkakatulad sa pagitan ng hula at paliwanag, tingnan ang Breiman (2001) , Shmueli (2010) , Watts (2014) , at Kleinberg et al. (2015) . Para sa higit pa sa papel na ginagampanan ng hula sa panlipunang pananaliksik, tingnan ang Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , at Yarkoni and Westfall (2017) .

Para sa pagsusuri ng mga bukas na proyektong panawagan sa biology, kabilang ang payo sa disenyo, tingnan ang Saez-Rodriguez et al. (2016) .

• Ibinahagi ang koleksyon ng data (seksyon 5.4)

Ang aking paglalarawan ng eBird ay kumukuha sa mga paglalarawan sa Bhattacharjee (2005) , Robbins (2013) , at Sullivan et al. (2014) . Para sa higit pa sa kung paano ginagamit ng mga mananaliksik ang mga istatistikang modelo upang pag-aralan ang data ng eBird tingnan ang Fink et al. (2010) at Hurlbert and Liang (2012) . Para sa higit pa sa pagtantya sa kakayahan ng mga kalahok sa eBird, tingnan ang Kelling, Johnston, et al. (2015) . Para sa higit pa sa kasaysayan ng siyensiya ng mamamayan sa ornithology, tingnan ang Greenwood (2007) .

Para sa higit pa sa Malawi Journals Project, tingnan ang Watkins and Swidler (2009) at Kaler, Watkins, and Angotti (2015) . Para sa higit pa sa isang kaugnay na proyekto sa South Africa, tingnan ang Angotti and Sennott (2015) . Para sa higit pang mga halimbawa ng pananaliksik gamit ang data mula sa Malawi Journals Project tingnan ang Kaler (2004) at Angotti et al. (2014) .

• Pagdidisenyo ng iyong sariling (seksyon 5.5)

Ang aking diskarte sa pagbibigay ng payo sa disenyo ay pasaklaw, batay sa mga halimbawa ng mga matagumpay at nabigo na mga proyekto sa pakikipagtulungan ng masa na aking narinig. Nagkaroon din ng isang stream ng mga pagtatangka sa pananaliksik na maglapat ng higit pang mga pangkalahatang sosyal na psychological theories sa pagdidisenyo ng mga online na komunidad na may kaugnayan sa disenyo ng mga proyektong masa ng pakikipagtulungan, tingnan, halimbawa, Kraut et al. (2012) .

Sa pag-uudyok ng mga kalahok, ito ay talagang nakakalito upang malaman ang eksaktong dahilan kung bakit ang mga tao ay lumahok sa mga mass collaboration projects (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Kung plano mong mag-udyok ng mga kalahok sa pagbabayad sa isang microtask labor market (eg, Amazon Mechanical Turk), Kittur et al. (2013) aalok ng ilang payo.

Tungkol sa pagpapagana ng sorpresa, para sa higit pang mga halimbawa ng mga hindi inaasahang natuklasan na nagmumula sa mga proyekto ng Zooiverse, tingnan ang Marshall, Lintott, and Fletcher (2015) .

Tungkol sa pagiging etikal, ang ilang mga mahusay na pangkalahatang pagpapakilala sa mga isyu na kasangkot ay Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , at Zittrain (2008) . Para sa mga isyu na partikular na nauugnay sa mga legal na isyu sa mga empleyado ng karamihan ng tao, tingnan ang Felstiner (2011) . O'Connor (2013) tumutugon sa mga tanong tungkol sa etikal na pangangasiwa ng pananaliksik kapag ang mga papel ng mga mananaliksik at kalahok ay lumabo. Para sa mga isyu na may kaugnayan sa pagbabahagi ng data habang pinoprotektahan ang mga kalahok sa mga proyekto ng siyensiya ng mamamayan, tingnan ang Bowser et al. (2014) . Ang parehong Purdam (2014) at Windt and Humphreys (2016) may ilang mga talakayan tungkol sa etikal na mga isyu sa ipinamamahagi koleksyon ng data. Sa wakas, ang karamihan sa mga proyekto ay kinikilala ang mga kontribusyon ngunit hindi nagbibigay ng kredito sa pagkilala sa mga kalahok. Sa Foldit, ang mga manlalaro ay kadalasang nakalista bilang isang may-akda (Cooper et al. 2010; Khatib et al. 2011) . Sa iba pang mga bukas na mga proyekto ng tawag, ang madalas na kontribyutor ay madalas na magsulat ng isang papel na naglalarawan ng kanilang mga solusyon (halimbawa, Bell, Koren, and Volinsky (2010) at Dieleman, Willett, and Dambre (2015) ).