Ang karagdagang komentaryo

Ang seksyon na ito ay dinisenyo upang magamit bilang isang sanggunian, sa halip na basahin bilang isang nagkukuwento.

• Paunang Salita (Section 5.1)

Mass pakikipagtulungan blends ideya mula mamamayan science, crowdsourcing, at sama-katalinuhan. Citizen agham ay karaniwang nangangahulugan na kinasasangkutan ng "mamamayan" (ie, non-siyentipiko) sa pang-agham na proseso (Crain, Cooper, and Dickinson 2014) . Crowdsourcing ay karaniwang nangangahulugan ng pagkuha ng isang problema ay karaniwang malutas sa loob ng isang organisasyon at sa halip ay outsourcing ito sa isang karamihan ng tao (Howe 2009) . Kolektibong katalinuhan ay karaniwang nangangahulugan grupo ng mga indibidwal na kumikilos kapag pinagsama-sama sa mga paraan na mukhang intelligent (Malone and Bernstein 2015) . Nielsen (2012) ay isang kahanga-hangang aklat-length pagpapakilala sa kapangyarihan ng mass pakikipagtulungan para sa mga siyentipikong pananaliksik.

Maraming mga uri ng mass pakikipagtulungan na hindi akma nang maayos sa tatlong kategorya na aking iminungkahi, at sa tingin ko tatlong sadyang dapat sa espesyal na pansin dahil maaaring sila ay kapaki-pakinabang sa panlipunang pananaliksik sa ilang mga punto. Ang isang halimbawa ay mga merkado hula, kung saan kalahok bumili at kalakalan kontrata na redeemable batay sa kinalabasan na nagaganap sa mundo (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Predicting mga merkado ay madalas na ginagamit ng mga kumpanya at mga pamahalaan para sa pagtataya, at predicting merkado mayroon din na ginagamit sa pamamagitan ng panlipunang mga mananaliksik upang mahulaan ang replicability ng nai-publish na pag-aaral sa sikolohiya (Dreber et al. 2015) .

Ang ikalawang halimbawa na ay hindi humulma sa aking uriin scheme ay ang polymath proyekto, kung saan mananaliksik collaborated gamit blogs at wikis upang patunayan bagong theorems math (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Ang polymath proyekto ay sa ilang mga paraan na katulad ng Netflix Prize, ngunit sa mga kalahok polymath proyekto mas aktibong binuo sa bahagyang solusyon ng iba.

Ang ikatlong halimbawa na ay hindi humulma sa aking uriin scheme ay oras-umaasa mobilisasyon tulad ng Defense Advanced Research Proyekto Agency (DARPA) Network Hamon (ibig sabihin, ang Red Balloon Challenge). Para sa karagdagang sa mga oras sensitive mobilisasyon makita Pickard et al. (2011) , Tang et al. (2011) , at Rutherford et al. (2013) .

• Human computation (Section 5.2)

Ang terminong "pantao computation" ay sa labas ng trabaho na ginawa ng mga siyentipiko computer, at pag-unawa sa konteksto sa likod pananaliksik na ito ay mapabuti ang iyong kakayahan upang kunin ang mga problema na maaaring maging palasunod sa ito. Para sa ilang mga gawain, mga computer ay kapani-paniwalang makapangyarihan na may mga kakayahan malayo lampasan kahit expert kawani na tao. Halimbawa, sa chess, computer ay maaaring matalo kahit na ang pinakamahusay enggrandeng Masters. Ngunit-at ito ay mas mahusay na appreciated sa pamamagitan ng mga social siyentipiko-para sa iba pang mga gawain, mga computer ay aktwal na magkano ang mas masahol pa kaysa sa mga tao. Sa ibang salita, sa ngayon ikaw ay mas mahusay kaysa sa kahit na ang pinaka-sopistikadong computer sa ilang mga gawain na kinasasangkutan ng processing ng mga imahe, video, audio, at teksto. Kaya-as ay isinalarawan sa pamamagitan ng isang kahanga-hangang XKCD cartoon-may mga gawain na ay madali para sa mga computer at mahirap para sa mga tao, ngunit may mga gawain na mahirap para sa mga computer at madali para sa mga tao (Figure 5.13) din. Computer siyentipiko nagtatrabaho sa mga hard-for-computer-madaling-for-tao gawain, samakatuwid, na natanto na sila ay maaaring isama ang mga tao sa kanilang mga computational proseso. Narito kung paano Luis von Ahn (2005) inilarawan human computation kapag siya unang likha ng term na sa kanyang disertasyon: ". Isang paradaym para sa paggamit ng tao sa pagpoproseso ng kapangyarihan upang malutas ang problema na ang mga computer ay hindi maaaring pa malutas ang"

Figure 5.13: Para sa ilang mga gawain computer ay amazing, lampasan ang kakayahan ng tao na eksperto. Subalit, para sa iba pang mga gawain, ordinaryong mga tao ay maaaring outperform kahit sopistikadong sistema computer. Malaking scale problema na kasangkot gawain na mahirap para sa mga computer at madali para sa mga tao ay well-ugma para sa mga tao pagtutuos. Ginamit ayon sa mga tuntunin ng inilarawan dito: http://xkcd.com/license.html

Sa pamamagitan ng ito kahulugan FoldIt-na ko na inilarawan sa seksyon sa open tawag-maaaring isaalang-alang ng isang tao computation proyekto. Gayunman, pinili kong bigyan ng pamantayan FoldIt bilang isang bukas na tawag dahil ito ay nangangailangan ng pinasadyang mga kasanayan at ito ay tumatagal ang pinakamahusay na solusyon contributed sa halip na paggamit ng isang split-apply-pagsamahin diskarte.

Para sa isang mahusay na haba book paggamot ng human computation, sa pinaka-pangkalahatang kamalayan ng mga kataga, tingnan Law and Ahn (2011) . Kabanata 3 ng Law and Ahn (2011) ay may isang kawili-wiling talakayan ng mas kumplikadong pagsamahin hakbang kaysa sa mga sa kabanatang ito.

Ang terminong "split-apply-pagsamahin" ay ginamit sa pamamagitan ng Wickham (2011) upang ilarawan ang isang diskarte para sa statistical computing, ngunit ito ganap na ganap kinukuha ang proseso ng maraming tao proyekto pagtutuos. Ang split-apply-pagsamahin diskarte ay katulad ng MapReduce framework na binuo sa Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Dalawang matalino tao computation proyekto na hindi ko magkaroon ng space para pag-usapan ang mga ESP Laro (Ahn and Dabbish 2004) at reCAPTCHA (Ahn et al. 2008) . Pareho sa mga proyekto natagpuan malikhaing paraan upang mag-udyok mga kalahok upang magbigay ng mga label sa mga imahe. Gayunman, ang parehong sa mga proyektong ito din itataas etikal tanong dahil, hindi katulad Galaxy Zoo, kalahok sa ESP Laro at reCAPTCHA ay hindi alam kung paano ang kanilang data ay ginagamit (Lung 2012; Zittrain 2008) .

May inspirasyon ng mga ESP Game, maraming mga mananaliksik ay may tinangka upang bumuo ng iba "laro na may isang layunin" (Ahn and Dabbish 2008) (ie, "pantao-based computation games" (Pe-Than, Goh, and Lee 2015) ) na maaaring maging ginagamit upang malutas ang isang iba't ibang mga iba pang mga problema. Ano ang mga "laro na may isang layunin" magkaroon sa mga karaniwang ay na sila ay subukan upang gawin ang mga gawain na kasangkot sa pantao computation kasiya-siya. Kaya, habang nagbabahagi ng ESP Laro parehong split-apply-pagsamahin istraktura sa Galaxy Zoo, ito ay naiiba sa kung paano kalahok ay motivated-masaya vs. pagnanais upang matulungan ang science.

Aking paglalarawan ng Galaxy Zoo humahatak sa Nielsen (2012) , Adams (2012) , Clery (2011) , at Hand (2010) , at ang aking pagtatanghal sa mga layunin ng pananaliksik ng Galaxy Zoo ay pinasimple. Para sa karagdagang sa kasaysayan ng kalawakan uuri sa astronomy, at kung paano Galaxy Zoo patuloy ang tradisyon na ito, tingnan ang Masters (2012) at Marshall, Lintott, and Fletcher (2015) . Building sa Galaxy Zoo, ang mga mananaliksik nakumpleto Galaxy Zoo 2 na nakolekta ng higit sa 60 milyong mga mas kumplikadong morphological pag-uuri mula sa mga boluntaryo (Masters et al. 2011) . Dagdag dito, sila branched out sa mga problema sa labas ng kalawakan morpolohiya kabilang paggalugad ng ibabaw ng buwan, na naghahanap para planeta, at pag-transcribe lumang dokumento. Sa kasalukuyan, ang lahat ng kanilang mga proyekto ay nakolekta sa www.zooniverse.org (Cox et al. 2015) . Isa sa mga proyekto-Snapshot Serengeti-nagbibigay ng katibayan na Galaxy Zoo-type image uuri proyekto ay maaari ding gawin para sa kapaligiran pananaliksik (Swanson et al. 2016) .

Para sa mga mananaliksik pagpaplano upang gamitin ang isang micro-gawain labor market (eg, Amazon Mechanical Turk) para sa isang tao computation proyekto, Chandler, Paolacci, and Mueller (2013) at Wang, Ipeirotis, and Provost (2015) nag-aalok ng mahusay na payo sa gawain disenyo at iba pang kaugnay na mga isyu.

Mananaliksik na interesado sa paglikha ng kung ano ko na tinatawag na ikalawang henerasyon ng tao computation systems (eg, mga sistema na gamitin ng tao label upang sanayin ang isang machine learning model) maaaring maging interesado sa Shamir et al. (2014) (para sa isang halimbawa ng paggamit audio) at Cheng and Bernstein (2015) . Gayundin, ang mga proyektong ito ay maaaring tapos na may bukas na mga tawag, kung saan mananaliksik makipagkumpetensya upang lumikha ng mga modelo machine learning na may pinakamalaking mahuhulain pagganap. Halimbawa, ang Galaxy Zoo team ran isang bukas na tawag at natagpuan ng isang bagong diskarte na outperformed ang isa binuo sa Banerji et al. (2010) ; makita Dieleman, Willett, and Dambre (2015) para sa mga detalye.

• Open tawag (Section 5.3)

Open sa mga tawag ay hindi bago. Sa katunayan, isa sa mga pinaka-kilalang open tawag petsa pabalik sa 1714 kapag Britain Parliament nilikha Ang Longitude Prize para sa sinuman na maaaring bumuo ng isang paraan upang matukoy ang longitude ng isang barko sa dagat. Ang problema stumped marami sa mga pinakadakilang siyentipiko ng araw, kabilang ang Isaac Newton, at ang panalong solusyon ay huli na isinumite sa pamamagitan ng isang clockmaker mula sa kanayunan na approached ang problema sa ibang paraan mula sa mga siyentipiko na ay nakatutok sa isang solusyon na ay sa paanuman kasangkot astronomy (Sobel 1996) . Bilang halimbawa na ito ay naglalarawan, isang kadahilanan na open tawag ay naisip na gumagana nang maayos ay na nagbibigay sila ng access sa mga tao na may iba't ibang pananaw at mga kasanayan (Boudreau and Lakhani 2013) . Tingnan Hong and Page (2004) at Page (2008) para sa karagdagang sa ang halaga ng pagkakaiba-iba sa paglutas ng problema.

Ang bawat isa sa ang mga bukas na mga kaso tawag sa kabanata ay nangangailangan ng isang bit ng karagdagang paliwanag para sa kung bakit ito ay kabilang sa kategoryang ito. Una, isang paraan na makilala ko sa pagitan ng tao pagtutuos at mga bukas na proyekto call ay kung ang output ay isang average ng lahat ng mga solusyon (human computation) o ang pinakamahusay na solusyon (open tawag). Ang Netflix Prize ay medyo nakakalito sa bagay na ito dahil ang pinakamahusay na solusyon ay naka-out na maging isang sopistikadong average ng mga indibidwal na mga solusyon, ang isang ang lumapit tinatawag na isang ensemble solusyon (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Mula sa pananaw ng Netflix, gayunpaman, lahat sila ay nagkaroon na gawin ay piliin ang mga pinakamahusay na solusyon.

Pangalawa, sa pamamagitan ng ilang mga kahulugan ng pag-compute ng tao (eg, Von Ahn (2005) ), FoldIt dapat isaalang-alang ng isang tao computation proyekto. Gayunman, pinili kong bigyan ng pamantayan FoldIt bilang isang bukas na tawag dahil ito ay nangangailangan ng pinasadyang mga kasanayan at ito ay tumatagal ang pinakamahusay na solusyon ambag, sa halip na paggamit ng isang split-apply-pagsamahin diskarte.

Sa wakas, ang isa ay maaaring magtaltalan na Peer-to-Patent ay isang halimbawa ng ipinamamahagi pagkolekta ng data. pinili kong isama ito bilang isang bukas na tawag dahil ito ay may isang paligsahan-tulad ng istraktura at lamang ang pinakamahusay na mga kontribusyon ay ginagamit (kung saan may ibinahagi sa pagkolekta ng data, ang ideya ng mabuti at masama kontribusyon ay mas malinaw).

Para sa higit sa Netflix Prize, tingnan Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , at Feuerverger, He, and Khatri (2012) . Para sa higit sa FoldIt makita, Cooper et al. (2010) , Andersen et al. (2012) , at Khatib et al. (2011) ; aking paglalarawan ng FoldIt humahatak sa mga paglalarawan sa Nielsen (2012) , Bohannon (2009) , at Hand (2010) . Para sa higit sa Peer-to-Patent, tingnan Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , at Noveck (2009) .

Katulad sa ang mga resulta ng Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Kabanata 10 ulat malaking mga nadagdag sa produktibo ng inspectors pabahay sa New York City nang inspections ay ginagabayan ng mahuhulain modelo. Sa New York City, ang mga mahuhulain modelo ay binuo sa pamamagitan ng mga empleyado ng lungsod, ngunit sa ibang mga kaso, ang isa ay maaaring isipin na maaaring sila ay nilikha o inaprubahan na may bukas na mga tawag (halimbawa, Glaeser et al. (2016) ). Gayunman, isa sa mga pangunahing pag-aalala na may mahuhulain modelo ginagamit upang magtalaga ng mga mapagkukunan ay na ang mga modelo ay may potensyal na upang mapalakas ang umiiral na biases. Maraming mga mananaliksik na malaman "na basura sa, basura out", at may mahuhulain modelo maaari itong maging "bias in, bias out." Kita n'yo Barocas and Selbst (2016) at O'Neil (2016) para sa karagdagang sa mga panganib ng mahuhulain modelo na binuo may pinapanigang data training.

Isang problema na maaaring pumigil sa pamahalaan na gamitin open contests ay na ito ay nangangailangan ng data release, na maaaring humantong sa mga paglabag sa privacy. Para sa karagdagang tungkol sa privacy at data release sa bukas tawag makita Narayanan, Huey, and Felten (2016) at tinalakay sa Ikalawang Kabanata 6.

• Ipinamamahagi sa pagkolekta ng data (Section 5.4)

Aking paglalarawan ng eBird humahatak sa mga paglalarawan sa Bhattacharjee (2005) at Robbins (2013) . Para sa karagdagang sa kung paano mananaliksik ay gumagamit ng statistical modelo upang pag-aralan ang data eBird makita Hurlbert and Liang (2012) at Fink et al. (2010) . Para sa karagdagang sa kasaysayan ng agham mamamayan sa ornothology, tingnan Greenwood (2007) .

Para sa higit sa Malawi Journals Project, tingnan Watkins and Swidler (2009) at Kaler, Watkins, and Angotti (2015) . At para sa higit pa sa isang kaugnay na proyekto sa South Africa, tingnan Angotti and Sennott (2015) . Para sa karagdagang mga halimbawa ng pananaliksik gamit ang data mula sa Malawi Journals Project makita Kaler (2004) at Angotti et al. (2014) .

• Pagdisenyo ng iyong sariling (Section 5.5)

Aking mga diskarte sa nag-aalok ng disenyo ng payo ay pasaklaw, batay sa mga halimbawa ng mga matagumpay at nabigo mass pakikipagtulungan proyekto na ko na naririnig ang tungkol sa. Mayroon ding isang stream ng pananaliksik na susubok na mag-aplay mas pangkalahatang mga social sikolohikal theories sa pagdisenyo online na komunidad na may kaugnayan sa ang disenyo ng mass pakikipagtulungan proyekto, tingnan, halimbawa, Kraut et al. (2012) .

Tungkol motivating mga kalahok, ito ay talagang lubos na mahirap hawakan upang malaman kung eksakto kung bakit ang mga tao lumahok sa mass pakikipagtulungan proyekto (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Kung balak mong mag-udyok sa mga kalahok na may bayad sa isang micro-gawain labor market (eg, Amazon Mechanical Turk) Kittur et al. (2013) nag-aalok ng ilang mga payo.

Tungkol pagpapagana sorpresa, para sa karagdagang halimbawa ng mga hindi inaasahang tuklas na lumalabas mula sa Zoouniverse proyekto, tingnan Marshall, Lintott, and Fletcher (2015) .

Tungkol sa pagiging etikal, ang ilang mga mahusay na pangkalahatang pagpapakilala sa mga isyu na kasangkot ay Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , at Zittrain (2008) . Para sa mga isyu na partikular na may kaugnayan sa mga legal na isyu na may karamihan ng tao sa mga empleyado, tingnan Felstiner (2011) . O'Connor (2013) humaharap katanungan tungkol etikal pangangasiwa ng pananaliksik kapag ang mga tungkulin ng mga mananaliksik at mga kalahok lumabo. Para sa mga isyu na may kaugnayan sa data sharing habang pagprotekta participats sa mamamayan proyekto sa agham, tingnan Bowser et al. (2014) . Parehong Purdam (2014) at Windt and Humphreys (2016) ay may ilang mga talakayan tungkol sa mga etikal na isyu sa ibinahagi pagkolekta ng data. Sa wakas, karamihan sa mga proyekto kilalanin kontribusyon ngunit hindi magbigay ng pagiging may-akda ng credit sa mga kalahok. Sa Foldit, ang Foldit manlalaro ay madalas na nakalista bilang isang may-akda (Cooper et al. 2010; Khatib et al. 2011) . Sa iba pang mga proyekto open tawag, ang nanalong kontribyutor ay maaaring madalas magsulat ng isang papel na naglalarawan ng kanilang mga solusyon (eg, Bell, Koren, and Volinsky (2010) at Dieleman, Willett, and Dambre (2015) ). Sa pamilya Galaxy Zoo ng mga proyekto, lubhang aktibo at mahalagang kontribyutor ay minsan naimbitahan upang maging co-may-akda sa mga papeles. Halimbawa, Ivan Terentev at Tim Matorny, dalawang Radio Galaxy Zoo kalahok mula sa Russia, ay co-may-akda sa isa sa mga papel na lumitaw mula proyekto na (Banfield et al. 2016; Galaxy Zoo 2016) .