Mida edasi lugeda

• Sissejuhatus (punkt 5.1)

Massiline koostöö ühendab ideed kodanikuõpetusest , rahvarahutusest ja kollektiivsest intelligentsusest . Kodanike teadustegevus tähendab tavaliselt "kodanike" (st teadlaste) kaasamist teaduslikus protsessis; Lisateavet vt Crain, Cooper, and Dickinson (2014) ja Bonney et al. (2014) . Kodumajapidamine tähendab tavaliselt organisatsiooni korrapäraselt lahendatud probleemi võtmist ja selle asemel, et selle abil tellida rahvahulk; Lisateavet vt Howe (2009) . Kollektiivne luure tähendab tavaliselt üksikisikute rühmi, kes tegutsevad kollektiivselt viisil, mis tundub arukas; Lisateabe saamiseks vt Malone and Bernstein (2015) . Nielsen (2012) on raamatute pikkus tutvustav teadusliku uurimistöö massikoostöö võimu.

On olemas mitut liiki massikoostööd, mis ei sobi korrapäraselt kolme kategooriasse, mida ma olen teinud, ja arvan, et kolm neist väärivad erilist tähelepanu, sest need võivad olla kasulikud sotsiaalsetel uuringutel. Üks näide on ennustusturud, kus osalejad ostavad ja müüvad lepinguid, mis on maailmale tulevate tulemuste põhjal tagasivõetavad. Ettevõtted ja valitsused kasutavad prognoose sageli prognoose, ja sotsiaalteadlased on neid ka kasutatud psühholoogias avaldatud uuringute korratavuse prognoosimiseks (Dreber et al. 2015) . Ülevaade prognoositurgudest vt. Wolfers and Zitzewitz (2004) ja Arrow et al. (2008) .

Teine näide, mis ei sobi minu liigitusskeemiga hästi, on PolyMath projekt, kus teadlased tegid koostööd uute blogide ja wikidestidega, et tõestada uusi matemaatilisi teoreeme. PolyMath projekt on mõnevõrra sarnane Netflixi auhinnaga, kuid selles projektis osalejad toetasid aktiivsemalt teisi osalisi lahendusi. Lisateavet PolyMath-projekti kohta vt Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) ja Kloumann et al. (2016) .

Kolmas näide, mis ei sobi minu kategoriseerimiskavale, on ajakohaste mobilisatsioonide, nagu näiteks DARPA võrgu väljakutsed (nt Red Balloon Challenge). Lisateavet nende ajatundlike mobilisatsioonide kohta vt Pickard et al. (2011) , Tang et al. (2011) ja Rutherford et al. (2013) .

• Inimese arvutus (punkt 5.2)

Mõiste "inimarvutus" jõuab arvutiteadlastest välja ja selle teadustöö konteksti mõistmine parandab teie võimet välja selgitada probleeme, mis võivad selle jaoks sobida. Teatud ülesannete jaoks on arvutid uskumatult võimsad, nende võimed ületavad tunduvalt eksperimenteeritud inimesi. Näiteks males saavad arvutid võita isegi parimaid grandmasters. Aga sotsiaalteadlased hindavad seda vähem - teiste ülesannete puhul on arvutid tegelikult palju hullem kui inimesed. Teisisõnu, just nüüd on teil paremad kui isegi kõige keerukama arvutiga teatud ülesannete täitmisel, mis hõlmavad piltide, videote, heli ja teksti töötlemist. Sellel arvutitel, kes töötavad rasketes arvutites ja hõlpsasti inimese jaoks, teadvustasid arvutiteadurid, et nad võivad oma arvutusprotsessi kaasata inimesi. Järgnevalt kirjeldas Luis von Ahn (2005) arvutamist, kui ta esmakordselt oma sõnavõtus termineid sisestas: "paradigma inimese töötlemisvõimsuse kasutamiseks probleemide lahendamiseks, mida arvutid veel lahendamata ei saa." termini kõige üldisemat tähendust vaata Law and Ahn (2011) .

Vastavalt Ahn (2005) pakutud määratlusele Foldit - mida ma kirjeldasin avatud kõnede osas - võiks pidada inimarvutusprojektiks. Kuid ma otsustasin Foldit'i liigitada avatud kõneks, kuna see nõuab spetsialiseeritud oskusi (kuigi mitte tingimata formaalset koolitust) ja see annab parima lahenduse, mitte split-apply-combine strateegia kasutamise.

Wickham (2011) kasutas mõistet "split-apply-combine" statistilise arvutusstrateegia kirjeldamiseks, kuid see lööb suurepäraselt paljude inimeste arvutusprojektide protsessi. Split-apply-combine strateegia sarnaneb Google'is välja töötatud MapReduce'i raamistikuga; Lisateavet MapReduce kohta vt Dean and Ghemawat (2004) ning Dean and Ghemawat (2008) . Teiste hajusarvutusarhitektuuride kohta vt täpsemalt Vo and Silvia (2016) . Law and Ahn (2011) 3. peatükk Law and Ahn (2011) arutavad projekte, mis on keerukamad kui etapid.

Inimeste arvutusprojektides, mida ma peatükis arutlesin, osutavad osalejad sellest, mis juhtus. Mõned teised projektid püüavad siiski püüda saavutada juba toimuvat "tööd" (sarnaselt eBirdiga) ja ilma osalejate teadlikkust. Vt näiteks ESP mängu (Ahn and Dabbish 2004) ja reCAPTCHA (Ahn et al. 2008) . Kuid mõlemad projektid tekitavad ka eetilisi küsimusi, sest osalejad ei teadnud, kuidas nende andmeid kasutatakse (Zittrain 2008; Lung 2012) .

ESP-mängu inspireeritud on paljud teadlased püüdnud välja töötada teisi "otstarbekohaseid mänge" (Ahn and Dabbish 2008) (st " (Ahn and Dabbish 2008) arvutusmängud" (Pe-Than, Goh, and Lee 2015) ), mida saab kasutatakse mitmesuguste muude probleemide lahendamiseks. Mida need "eesmärgid omavad mängud" omavad ühiselt, on see, et nad püüavad inimkogemusega seotud ülesandeid nauditavaks muuta. Seega, kui ESP mäng jagab Galaxy loomaaias sama jagatud rakenduse-kombinatsiooni, siis erineb see, kuidas osalejad on motiveeritud-lõbusad ja soovivad teadust aidata. Täiendavate mängude kohta eesmärgiga vt Ahn and Dabbish (2008) .

Minu galaktika loomaaia kirjeldus põhineb Nielsen (2012) , Adams (2012) , Clery (2011) ja Hand (2010) ning mu galaktika loomaaia uurimistöö eesmärkide tutvustamine lihtsustati. Lisateavet astronoomia galaktikate klassifikatsiooni ajaloo kohta ja seda, kuidas Galaxy Zoo jätkab seda traditsiooni, vt Masters (2012) ja Marshall, Lintott, and Fletcher (2015) . Teadlased lõid galaktika loomaaias Galaktika loomaaia 2, mis kogus vabatahtlikelt rohkem kui 60 miljonit keerulisemat morfoloogilist klassifikatsiooni (Masters et al. 2011) . Veelgi enam, nad hargnenud välja probleemid väljaspool galaktika morfoloogia, sealhulgas uurida Kuu pindala, otsides planeedid ja vanade dokumentide ümberkirjutamist. Praegu kogu nende projektid kogutakse Zooniverse veebisaidil (Cox et al. 2015) . Üks projektidest-Snapshot Serengeti - annab tõendeid, et ka galaktika loomaaju tüüpi piltide klassifitseerimise projekte saab teha ka keskkonnauuringuteks (Swanson et al. 2016) .

Uuringute läbiviimiseks kavandatud teadlaste jaoks, kes kavatsevad kasutada mikrotasandi tööturge (nt Amazon Mechanical Turk), peavad Chandler, Paolacci, and Mueller (2013) ja J. Wang, Ipeirotis, and Provost (2015) pakkuma häid nõuandeid ülesannete kavandamisel ja muud seotud küsimused. Porter, Verdery, and Gaddis (2016) pakuvad näiteid ja nõuandeid, mis keskenduvad spetsiaalselt mikrotasandi tööturul kasutatavatele andmetele, mida nad nimetavad "andmete suurendamiseks". Andmete suurendamise ja andmekogumise vaheline joon on mõnevõrra ebaselge. Lisateavet tekstide järelevalveks õppimisega seotud etikettide kogumise ja kasutamise kohta vt Grimmer and Stewart (2013) .

Shamir et al. (2014) olla huvitatud teadlasi, kes on huvitatud selle loomisest, mida ma nimetasin arvutisüsteemiga inimeste arvutussüsteemidele (nt süsteemid, mis kasutavad inimeste märgistusi masina õppe mudeli koolitamiseks) Shamir et al. (2014) (näiteks heli abil) ja Cheng and Bernstein (2015) . Nende projektide masinõppemudeleid võib kasutada ka avatud kõnede abil, mille abil teadlased konkureerivad, et luua masin õppe mudeleid, millel on suurim prognoositav tulemus. Näiteks galaktika loomaaia meeskond käivitas avatud kõne ja leidis uue lähenemise, mis ületas Banerji et al. (2010) välja töötatud lähenemisviisi Banerji et al. (2010) ; vaadake üksikasju Dieleman, Willett, and Dambre (2015) .

• Avatud kõned (punkt 5.3)

Avatud kõned ei ole uued. Tegelikult on üks tuntumaid avatud kutsed pärineb 1714. aastast, mil Suurbritannia parlament lõi Pikkuskraadi auhinna kõigile, kes võiksid välja töötada laeva pikkuse määramise võimaluse merel. Probleem tõi kaasa paljud tänapäeva suurimad teadlased, kaasa arvatud Isaac Newton, ja võitnud lahendus esitas lõpuks maarahva kellakeraja John Harrison, kes lähenes probleemile erinevalt teadlastelt, kes olid keskendunud lahendusele, mis võiks kuidagi astronoomiat kaasata ; Lisateabe saamiseks vt Sobel (1996) . Nagu see näide illustreerib, arvatakse, et avatud kõnede töö on nii hea, et nad pakuvad juurdepääsu erinevate vaatenurkade ja oskustega inimestele (Boudreau and Lakhani 2013) . Vaadake Hong and Page (2004) ja Page (2008) rohkem, et leida probleemide lahendamisel mitmekesisuse väärtust.

Peatüki kõik avatud kõnejuhtumid nõuavad natuke täiendavat selgitust, miks see kuulub sellesse kategooriasse. Esiteks, üks viis, kuidas ma eristada inimese arvutust ja avatud kõneklaami projekte, on see, kas väljund on keskmiselt kõigi lahenduste (inimese arvutus) või parima lahenduse (avatud kõne) keskmine. Netflixi auhind on selles osas mõnevõrra keeruline, sest parim lahendus osutus üksikute lahenduste keerukaks keskmiseks, lähenemisviis nimega ansambli lahendus (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflixi vaatenurgast läks aga kõige paremini välja parim lahendus. Lisateavet Netflixi auhinna kohta vt Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) ning Feuerverger, He, and Khatri (2012) .

Teiseks, mõningate inimarvutuste määratluste abil (nt Ahn (2005) ) tuleb Foldit pidada inimese arvutusprojektiks. Kuid ma valin selle liigitada avatud kõneks, kuna selleks on vaja spetsiaalseid oskusi (kuigi mitte tingimata spetsiaalset koolitust) ja see võtab parima lahenduse, mitte split-apply-kombineeritud strateegia kasutamise. Lisateavet Foldi kohta vt Cooper et al. (2010) , Khatib et al. (2011) ja Andersen et al. (2012) ; minu kirjeldus Foldit tugineb kirjeldustele Bohannon (2009) , Hand (2010) ja Nielsen (2012) .

Lõpuks võib väita, et võrdne-patent on jagatud andmete kogumise näide. Ma valin lisada selle avatud kõneks, kuna sellel on konkursi-sarnane struktuur ja kasutatakse ainult parimat panust, samas kui jagatud andmete kogumisega on hea ja halva panuse idee vähem selge. Lisateavet peer-to-patent, vt Noveck (2006) , Ledford (2007) , Noveck (2009) ja Bestor and Hamp (2010) .

Avatud kõnede kasutamisel sotsiaalsete uuringute puhul on Glaeser et al. (2016) analoogsed tulemused sarnased Glaeser et al. (2016) on esitatud Mayer-Schönberger and Cukier (2013) 10. peatükis Mayer-Schönberger and Cukier (2013) mille kohaselt New Yorgi linnas oli võimalik kasutada ennustatavat modelleerimist, et anda elamuehituse inspektorite tootlikkusele suurt kasu. New Yorgis töötasid need ennustusmudeli linna töötajad, kuid muudel juhtudel võis ette kujutada, et neid saab luua või täiendada avatud kõnedega (nt Glaeser et al. (2016) ). Kuid üks ressursside jaotamiseks kasutatud ennustusmudelite üheks peamiseks probleemiks on see, et need mudelid võivad tugevdada olemasolevaid eelarvamusi. Paljud teadlased juba teavad "prügi prügikasvat" ja ennustamismudeli abil võib see olla "erapoolik, erapoolik". Vaata Barocas and Selbst (2016) ja O'Neil (2016) rohkem, kui ehitatakse ennustatavaid mudeleid erapooletu koolitusandmetega.

Üks probleem, mis võib takistada valitsustel avatud konkursside kasutamist, on see, et see nõuab andmete avaldamist, mis võib kaasa tuua privaatsuse rikkumisi. Lisateavet eraelu puutumatuse ja andmete avaldamise kohta avatud kõnede kohta vt Narayanan, Huey, and Felten (2016) ning arutelu 6. peatükist.

Täpsemat teavet prognooside ja seletuste erinevuste ja sarnasuste kohta vt Breiman (2001) , Shmueli (2010) , Watts (2014) ja Kleinberg et al. (2015) . Lisateavet sotsiaalteadusliku ennustuse rolli kohta vt Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) ja Yarkoni and Westfall (2017) .

Avatud kõneprojektide ülevaatamiseks bioloogias, sealhulgas disainilahenduste nõuetest, vt Saez-Rodriguez et al. (2016) .

• Jaotatud andmekogumine (punkt 5.4)

Minu eBirdi kirjeldus põhineb kirjeldustel Bhattacharjee (2005) , Robbins (2013) ja Sullivan et al. (2014) . Lisateavet selle kohta, kuidas teadlased kasutavad eBirdi andmete analüüsimiseks statistilisi mudeleid, vt Fink et al. (2010) ja Hurlbert and Liang (2012) . Lisateavet eBirdi osalejate oskuste hindamise kohta vt Kelling, Johnston, et al. (2015) . Lisateavet ornitoloogiaalaste teadlaste ajaloo kohta vt Greenwood (2007) .

Lisateavet Malawi ajakirjade projekti kohta vt Watkins and Swidler (2009) ja Kaler, Watkins, and Angotti (2015) . Lisateavet seotud projekti kohta Lõuna-Aafrikas vt Angotti and Sennott (2015) . Malawi Journals Project'i andmete põhjal uurimise näiteid vt Kaler (2004) ja Angotti et al. (2014) .

• Teie enda kujundamine (punkt 5.5)

Minu lähenemisviis disainnõuande pakkumisele oli induktiivne, tuginedes edukate ja läbikukkunud massihävitusprojektide näidetele, millest kuulsin. Samuti on toimunud ürituste uurimine, kuidas rakendada üldisemaid sotsiaalseid psühholoogilisi teooriaid veebikogukondade kujundamisel, mis on olulised massikoostööprojektide kujundamisel, vt näiteks Kraut et al. (2012) .

Mis puutub motiveerivate osalejatega, on tegelikult üsna keeruline välja selgitada, miks inimesed osalevad (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Kui kavatsete motiveerida osalejaid maksega mikrotasandi tööturul (nt Amazon Mehaaniline Türk), Kittur et al. (2013) pakub mõningaid nõuandeid.

Mis puutub üllatusse, siis vaata rohkemat näiteid Zooiverse projektidest tulevate ootamatute avastuste kohta: Marshall, Lintott, and Fletcher (2015) .

Mis puutub eetlikkusse, siis on mõned Salehi et al. (2015) küsimused üldiselt seotud Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) ning Zittrain (2008) . Felstiner (2011) teemade kohta, mis on konkreetselt seotud juriidiliste probleemidega koos rahvahulga töötajatega. O'Connor (2013) käsitleb küsimusi eetiliste uuringute kohta, kui teadlaste ja osalejate roll hägub. Andmete jagamisel tekkivate küsimuste kohta, kaitstes kodanike teaduslikes projektides osalejaid, vt Bowser et al. (2014) . Mõlemad Purdam (2014) ja Windt and Humphreys (2016) on mõningaid arutelusid jagatud andmete kogumise eetilistest probleemidest. Lõpuks tunnistab enamik projekte osalust, kuid ei anna osalejatele autorsust. Foldit'is valitakse mängijad sageli autoriks (Cooper et al. 2010; Khatib et al. 2011) . Teistes avatud konkursikutsete puhul võib võitja panustaja sageli kirjutada paberi, milles kirjeldatakse nende lahendusi (nt Bell, Koren, and Volinsky (2010) ning Dieleman, Willett, and Dambre (2015) ).