Kaj naj preberem naprej

• Uvod (oddelek 5.1)

Množično sodelovanje združuje ideje o državljanski znanosti , množičenju in kolektivni inteligenci . Znanstvenost državljanov običajno pomeni vključitev "državljanov" (tj. Nonscientists) v znanstveni proces; za več, glej Crain, Cooper, and Dickinson (2014) in Bonney et al. (2014) . Crowdsourcing ponavadi pomeni, da je težava običajno rešena v organizaciji in jo namesto tega prenese na množico; za več, glej Howe (2009) . Kolektivna inteligenca običajno pomeni skupine posameznikov, ki delujejo kolektivno na načine, ki se zdijo inteligentni; za več, glej Malone and Bernstein (2015) . Nielsen (2012) je predstavitev moči množičnega sodelovanja za znanstvene raziskave.

Obstaja veliko vrst množičnega sodelovanja, ki se ne ujemajo v tri kategorije, ki sem jih predlagal, in menim, da so trije zaslužili posebno pozornost, ker so lahko koristni pri družbenih raziskavah. En primer so trgi za napovedovanje, pri katerih udeleženci kupujejo in sklepajo pogodbe o trgovanju, ki so na voljo na podlagi rezultatov, ki se pojavljajo na svetu. Napovedovanje trgov pogosto uporabljajo podjetja in vlade za napovedovanje, uporabili pa so jih tudi socialni raziskovalci, da bi napovedali ponovljivost objavljenih študij v psihologiji (Dreber et al. 2015) . Za pregled trgov napovedovanja glej Wolfers and Zitzewitz (2004) in Arrow et al. (2008) .

Drugi primer, ki ne ustreza dobro v mojo kategorizacijsko shemo, je projekt PolyMath, kjer so raziskovalci sodelovali z uporabo spletnih dnevnikov in wikijev, da bi dokazali nove matematične teoreme. Projekt PolyMath je na nek način podoben nagradi Netflix, vendar so se v tem projektu udeleženci aktivneje gradili na delnih rešitvah drugih. Za več o projektu PolyMath glej Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) in Kloumann et al. (2016) .

Tretji primer, ki se ne ujema v mojo kategorizacijsko shemo, je časovno odvisna mobilizacija, kot je na primer Agencija za varnostne raziskave raziskovalnih projektov (DARPA) Network Challenge (tj. Red Balloon Challenge). Za več o teh časovno občutljivih mobilizacijah glej Pickard et al. (2011) , Tang et al. (2011) in Rutherford et al. (2013) .

• Človeški račun (oddelek 5.2)

Izraz "človeški račun" izhaja iz dela, ki so ga opravili računalniški znanstveniki, in razumevanje konteksta, ki je za to raziskavo, bo izboljšalo vaše sposobnosti, da izberejo probleme, ki bi bili primerni za to. Za nekatere naloge so računalniki neverjetno močni, s sposobnostmi, ki so precej večje od tistih celo strokovnih ljudi. Na primer, v šahu lahko računalniki premagajo celo najboljše velemestnike. Toda - in to je manj cenjeno s strani socialnih znanstvenikov - za druge naloge, računalniki so dejansko precej slabši od ljudi. Z drugimi besedami, trenutno ste boljši od celo najsodobnejšega računalnika pri določenih nalogah, ki vključujejo obdelavo slik, videa, zvoka in besedila. Računalniški znanstveniki, ki delajo na teh težkih nalogah za računalnike, so za lažje človeške naloge zato spoznali, da lahko vključijo ljudi v svoj računski proces. Evo, kako je Luis von Ahn (2005) opisal človeške račune, ko je v svoji disertaciji najprej skoval izraz: "paradigma za uporabo človeške procesne moči za reševanje težav, ki jih računalniki še ne morejo rešiti." Za knjigovodsko obravnavo človeškega izračuna najbolj splošen občutek izraza, glej Law and Ahn (2011) .

Po definiciji, predlagani v Ahn (2005) Foldit, ki sem jo opisal v odseku o odprtih klicih, bi se lahko štel za projekt človeškega izračuna. Vendar pa se odločim za kategorizacijo Foldita kot odprtega klica, ker potrebuje specializirane veščine (čeprav ni nujno formalno usposabljanje) in potrebuje najboljšo rešitev, namesto da bi uporabila strategijo split-apply-combine.

Wickham (2011) je uporabil izraz split-apply-combine, da bi opisal strategijo za statistično računanje, vendar pa odlično zajame proces številnih projektov človeškega izračuna. Strategija split-apply-combine je podobna okvirju MapReduce, ki je bil razvit v Googlu; za več o MapReduce, glej Dean and Ghemawat (2004) in Dean and Ghemawat (2008) . Za več informacij o drugih porazdeljenih računalniških arhitekturah glej Vo and Silvia (2016) . Poglavje 3 Law and Ahn (2011) razpravlja o projektih z bolj zapletenimi korpusnimi koraki od tistih v tem poglavju.

V projektih človeških računov, o katerih sem razpravljal v poglavju, so se udeleženci zavedali, kaj se dogaja. Nekateri drugi projekti pa si prizadevajo zajeti "delo", ki se že dogaja (podobno kot eBird) in brez ozaveščenosti udeležencev. Glej na primer ESP Game (Ahn and Dabbish 2004) in reCAPTCHA (Ahn et al. 2008) . Vendar pa oba projekta tudi postavljata etična vprašanja, ker udeleženci niso vedeli, kako se njihovi podatki uporabljajo (Zittrain 2008; Lung 2012) .

Mnogi raziskovalci, navdihnjeni z ESP igrico, so poskušali razviti druge "igre z namenom" (Ahn and Dabbish 2008) (tj. "Igre na računalniških igrah" (Pe-Than, Goh, and Lee 2015) ), ki jih je mogoče ki se uporabljajo za reševanje številnih drugih težav. Kaj imajo te "igre z namenom" skupno, da poskušajo opravljati naloge, ki so vključene v človeške račune, prijetne. Tako, medtem ko ESP Game deli isto strukturo split-apply-combine z Galaxy Zoo, se razlikuje glede na to, kako so udeleženci motivirani - zabavno nasproti želji, da bi pomagali znanosti. Za več o igrah z namenom glej Ahn and Dabbish (2008) .

Moj opis galerijskega živalskega vrta temelji na Nielsen (2012) , Adams (2012) , Clery (2011) in Hand (2010) , zato sem predstavil raziskovalne cilje galerijskega živalskega vrta. Za več o zgodovini klasifikacije galaksij v astronomiji in o tem, kako Zoo galerija nadaljuje to tradicijo, glej Masters (2012) in Marshall, Lintott, and Fletcher (2015) . Zgradbe na Zoo galaksiji so raziskovalci zaključili Galaxy Zoo 2, ki je od prostovoljcev zbral več kot 60 milijonov kompleksnejših morfoloških klasifikacij (Masters et al. 2011) . Nadalje so se razvejale v probleme zunaj morfologije galaksije, vključno z raziskovanjem površine lune, iskanjem planetov in prepisovanjem starih dokumentov. Trenutno se vsi njihovi projekti zbirajo na spletni strani Zooniverse (Cox et al. 2015) . Eden od projektov - Snapshot Serengeti - zagotavlja dokaze, da se projekti klasifikacije slikovnih galaksij tipa Zoo lahko izvajajo tudi za okoljske raziskave (Swanson et al. 2016) .

Za raziskovalce, ki načrtujejo uporabo mikrotaskularnega trga dela (npr. Amazon Mechanical Turk) za projekt človeškega izračuna, Chandler, Paolacci, and Mueller (2013) in J. Wang, Ipeirotis, and Provost (2015) nudita dober nasvet pri oblikovanju nalog in druga sorodna vprašanja. Porter, Verdery, and Gaddis (2016) ponujajo primere in nasvete, ki se osredotočajo predvsem na uporabo mikrotaskularnih trgov dela za tisto, kar imenujemo »povečanje podatkov«. Črta med povečanjem podatkov in zbiranjem podatkov je nekoliko zamegljena. Več o zbiranju in uporabi oznak za nadzorovano učenje za besedilo glej Grimmer and Stewart (2013) .

Raziskovalci, ki želijo ustvariti tisto, kar imenujem računalniško podprt sistem človeških računskih sistemov (npr. Sistemi, ki uporabljajo človeške nalepke za usposabljanje strojnega učnega modela), bi lahko zanimali Shamir et al. (2014) (za primer zvoka) in Cheng and Bernstein (2015) . Tudi strojne učne modele v teh projektih lahko zahtevate z odprtimi klici, pri čemer se raziskovalci tekmujejo za ustvarjanje modelov strojnega učenja z največjimi napovednimi rezultati. Na primer, skupina Galaxy Zoo je odprla javni klic in našla nov pristop, ki je presegel tisti, ki je bil razvit v Banerji et al. (2010) ; glej Dieleman, Willett, and Dambre (2015) za podrobnosti.

• Odprti klici (razdelek 5.3)

Odprti klici niso novi. Pravzaprav je eden od najbolj znanih odprtih klicev sega v leto 1714, ko je Britanski parlament ustvaril nagrado za vsakogar, ki bi lahko razvil način določitve dolžine ladje na morju. Težava je prinesla veliko največjih znanstvenikov iz dneva, vključno z Isaacom Newtonom, in zmagovalno rešitev je na koncu predložil John Harrison, urar na podeželju, ki je problem pristopil drugače od znanstvenikov, ki so bili osredotočeni na rešitev, ki bi nekako vključevala astronomijo ; za več informacij glej Sobel (1996) . Kot ponazarja ta primer, se zdi, da je eden od razlogov, da so bili odprti klici zelo uspešni, omogočajo dostop do ljudi z različnimi perspektivami in spretnostmi (Boudreau and Lakhani 2013) . Glej Hong and Page (2004) in Page (2008) za več o vrednosti raznolikosti pri reševanju problemov.

Vsak od primerov odprtega klica v poglavju zahteva malo dodatnega pojasnila, zakaj spada v to kategorijo. Prvič, eden od načinov, kako ločim med človeškim računanjem in projekti odprtega klica, je, ali je izhod povprečje vseh rešitev (človeški račun) ali najboljša rešitev (odprti klic). Nagrada Netflix je v zvezi s tem nekoliko težavna, saj se je najboljša rešitev izkazala za prefinjeno povprečje posameznih rešitev, pristop, ki se imenuje ansambelska rešitev (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Z vidika Netflixa pa je vse, kar so morali storiti, izbrati najboljšo rešitev. Za več o nagradi Netflix glej Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) ter Feuerverger, He, and Khatri (2012) .

Drugič, z nekaterimi definicijami človeškega izračuna (npr. Ahn (2005) ) je treba Foldit šteti za projekt človeškega izračuna. Vendar pa se odločim za kategorizacijo kot javni klic, ker potrebuje specializirane veščine (čeprav ne nujno za specializirano izobraževanje) in potrebuje najboljšo rešitev, namesto da uporabi strategijo split-apply-combine. Za več o Folditu glej Cooper et al. (2010) , Khatib et al. (2011) in Andersen et al. (2012) ; Moj opis Foldita temelji na opisih v Bohannon (2009) , Hand (2010) in Nielsen (2012) .

Nazadnje bi lahko trdili, da je peer-to-patent primer porazdeljenega zbiranja podatkov. Odločil sem se, da jo vključim kot odprti klic, ker ima strukturo, podobno tekmovanju, in se uporabijo samo najboljši prispevki, medtem ko je z distribucijskim zbiranjem podatkov ideja o dobrih in slabih prispevkih manj jasna. Za več o peer-to-patentu glej Noveck (2006) , Ledford (2007) , Noveck (2009) in Bestor and Hamp (2010) .

V zvezi z uporabo odprtih klicev v družbenih raziskavah so rezultati, podobni tistim, ki jih imajo Glaeser et al. (2016) so poročali v poglavju 10 Mayer-Schönberger and Cukier (2013) s čimer je New York City lahko uporabljal napovedno modeliranje, da bi dosegel velike dobičke v produktivnosti stanovanjskih inšpektorjev. V New Yorku so te napovedne modele zgradili mestni delavci, v drugih primerih pa si lahko predstavljamo, da bi jih lahko ustvarili ali izboljšali z odprtimi klici (npr. Glaeser et al. (2016) ). Vendar je ena glavna skrb pri napovednih modelih, ki se uporabljajo za dodeljevanje sredstev, ta, da lahko ti modeli okrepijo obstoječe pristranskosti. Mnogi raziskovalci že poznajo "smeti v, smeti" in s predvidljivimi modeli, ki so lahko "pristranski, pristranski". Glej Barocas and Selbst (2016) in O'Neil (2016) za več o nevarnostih predvidljivih modelov z pristranskimi podatki o usposabljanju.

Eden od problemov, ki vladam onemogoča uporabo odprtih natečajev, je, da to zahteva sprostitev podatkov, kar bi lahko povzročilo kršitve zasebnosti. Za več informacij o zasebnosti in sprostitvi podatkov pri odprtih klicih glej Narayanan, Huey, and Felten (2016) in razpravo v poglavju 6.

Za več o razlikah in podobnostih med napovedovanjem in razlago glej Breiman (2001) , Shmueli (2010) , Watts (2014) in Kleinberg et al. (2015) . Za več informacij o vlogi napovedi za socialne raziskave, glej Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , in Yarkoni and Westfall (2017) .

Za pregled projektov odprtega klica v biologiji, vključno z nasveti za oblikovanje, glej Saez-Rodriguez et al. (2016) .

• Porazdeljeno zbiranje podatkov (oddelek 5.4)

Moj opis eBird temelji na opisih v Bhattacharjee (2005) , Robbins (2013) in Sullivan et al. (2014) . Za več informacij o tem, kako raziskovalci uporabljajo statistične modele za analizo podatkov eBird glej Fink et al. (2010) in Hurlbert and Liang (2012) . Za več o ocenjevanju spretnosti učencev eBird glej Kelling, Johnston, et al. (2015) . Več o zgodovini državljanske znanosti v ornitologiji glej Greenwood (2007) .

Za več o projektu Malawi Journals glej Watkins and Swidler (2009) ter Kaler, Watkins, and Angotti (2015) . Za več o povezanih projektih v Južni Afriki glej Angotti and Sennott (2015) . Za več primerov raziskav, ki uporabljajo podatke iz projekta Malawi Journals, glej Kaler (2004) in Angotti et al. (2014) .

• Oblikovanje lastne (oddelek 5.5)

Moj pristop k oblikovanju nasvetov je bil induktiven na podlagi primerov uspešnih in neuspešnih projektov množičnega sodelovanja, o katerih sem slišal. Obstajajo tudi tokovi raziskovalnih poskusov uporabe splošnejših socialnih psiholoških teorij pri oblikovanju spletnih skupnosti, ki so pomembne za oblikovanje projektov množičnega sodelovanja, glej na primer Kraut et al. (2012) .

V zvezi z motiviranjem udeležencev je pravzaprav zelo težko ugotoviti, zakaj se ljudje vključujejo v projekte množičnega sodelovanja (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Če nameravate motivirati udeležence s plačilom na trgu delovne sile z mikrotobami (npr. Amazon Mechanical Turk), Kittur et al. (2013) ponuja nekaj nasvetov.

V zvezi z omogočanjem presenečenja, za več primerov nepričakovanih odkritij, ki prihajajo iz projektov Zooiverse, glej Marshall, Lintott, and Fletcher (2015) .

Glede na to, da so etični, so nekateri dobri splošni predstavitvi zadevnih vprašanj Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) in Zittrain (2008) . Za vprašanja, ki so posebej povezana s pravnimi vprašanji z zaposlenimi v množici, glej Felstiner (2011) . O'Connor (2013) obravnava vprašanja o etičnem nadzoru raziskav, ko zamegljujejo vloge raziskovalcev in udeležencev. Za vprašanja, povezana z izmenjavo podatkov in zaščito udeležencev v znanstvenih projektih državljanov, glej Bowser et al. (2014) . Oba Purdam (2014) in Windt and Humphreys (2016) razpravljata o etičnih vprašanjih pri porazdeljenem zbiranju podatkov. Nazadnje, večina projektov priznava prispevke, vendar avtorjem ne daje kreditov udeležencem. V Folditu so igralci pogosto navedeni kot avtor (Cooper et al. 2010; Khatib et al. 2011) . V drugih projektih odprtega klica lahko zmagovalni sodelavec pogosto napiše papir, ki opisuje njihove rešitve (npr. Bell, Koren, and Volinsky (2010) ter Dieleman, Willett, and Dambre (2015) ).