Wat om volgende te lees

• Inleiding (afdeling 5.1)

Massa samewerking kombineer idees van burgerwetenskap , crowdsourcing en kollektiewe intelligensie . Burgerswetenskap beteken gewoonlik "burgers" (dws nie-wetenskaplikes) in die wetenskaplike proses; Vir meer, sien Crain, Cooper, and Dickinson (2014) en Bonney et al. (2014) . Crowdsourcing beteken gewoonlik om 'n probleem gewoonlik binne 'n organisasie op te los en dit eerder aan 'n skare uit te kontrakteer; Vir meer, sien Howe (2009) . Kollektiewe intelligensie beteken gewoonlik groepe individue wat kollektief optree op maniere wat intelligent lyk; Vir meer, sien Malone and Bernstein (2015) . Nielsen (2012) is 'n boeklengte inleiding tot die krag van massamewerking vir wetenskaplike navorsing.

Daar is baie soorte massamewerking wat nie netjies pas by die drie kategorieë wat ek voorgestel het nie, en ek dink drie hiervan verdien spesiale aandag omdat dit nuttig kan wees in sosiale navorsing. Een voorbeeld hiervan is voorspellingsmarkte, waar deelnemers kontrakte koop en verkoop wat aflosbaar is op grond van uitkomste wat in die wêreld voorkom. Voorspelende markte word dikwels deur maatskappye en regerings gebruik vir voorspelling, en hulle is ook deur sosiale navorsers gebruik om die repliseerbaarheid van gepubliseerde studies in die sielkunde te voorspel (Dreber et al. 2015) . Vir 'n oorsig van voorspellingsmarkte, sien Wolfers and Zitzewitz (2004) en Arrow et al. (2008) .

'N Tweede voorbeeld wat nie goed in my kategoriseringskema pas nie, is die PolyMath-projek, waar navorsers saamgewerk het met behulp van blogs en wiki's om nuwe wiskunde-stellings te bewys. Die PolyMath-projek is op sommige maniere soortgelyk aan die Netflix-prys, maar in hierdie projek het deelnemers meer aktief op die gedeeltelike oplossings van ander gebou. Vir meer inligting oor die PolyMath-projek, sien Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) en Kloumann et al. (2016) .

'N Derde voorbeeld wat nie goed in my kategoriseringsskema pas nie, is dié van tydsafhanklike mobilisasies soos die DARPA-netwerkuitdaging (dws die Rooi Ballonuitdaging). Vir meer oor hierdie tydsensitiewe mobilisasies sien Pickard et al. (2011) , Tang et al. (2011) , en Rutherford et al. (2013) .

• Menslike berekening (afdeling 5.2)

Die term "menslike berekening" kom uit werk wat deur rekenaarwetenskaplikes gedoen word, en die begrip van die konteks agter hierdie navorsing sal jou vermoë verbeter om probleme uit te reik wat daardeur geskik sal wees. Vir sekere take is rekenaars ongelooflik kragtig, met vermoëns wat diegene van selfs kundige mense ver oortref. Byvoorbeeld, in die skaak kan rekenaars selfs die beste grootmeesters klop. Maar-en dit word minder gewaardeer deur sosiale wetenskaplikes. Vir ander take, rekenaars is eintlik veel erger as mense. Met ander woorde, jy is beter as selfs die mees gesofistikeerde rekenaar by sekere take met die verwerking van beelde, video, klank en teks. Rekenaarwetenskaplikes wat op hierdie hard-vir-rekenaars-maklik-vir-mens-take werk, het dus besef dat hulle mense in hul rekenaarproses kan insluit. Hier is hoe Luis von Ahn (2005) menslike berekening beskryf het toe hy die term in sy proefskrif die eerste keer gedink het: "'n paradigma om menslike verwerkingskrag te gebruik om probleme op te los wat rekenaars nog nie kan oplos nie." Vir 'n boeklengtebehandeling van menslike berekeninge, in die mees algemene sin van die term, kyk Law and Ahn (2011) .

Volgens die definisie wat in Ahn (2005) Foldit voorgestel is, wat ek in die afdeling oor oop oproepe beskryf het, kan dit as 'n menslike berekeningsprojek beskou word. Ek kies egter om Foldit as 'n oproep te kategoriseer omdat dit gespesialiseerde vaardighede vereis (hoewel nie noodwendig formele opleiding nie) en dit neem die beste oplossing wat bygedra word, eerder as om 'n strategie te gebruik.

Die term "split-apply-combine" is deur Wickham (2011) om 'n strategie vir statistiese rekenkunde te beskryf, maar dit behels die proses van baie menslike berekeningsprojekte. Die strategie om te verdeel-aansoek-kombineer, is soortgelyk aan die MapReduce-raamwerk wat by Google ontwikkel is; Vir meer op MapReduce, sien Dean and Ghemawat (2004) en Dean and Ghemawat (2008) . Vir meer inligting oor ander verspreide rekenaarstrukture, sien Vo and Silvia (2016) . Hoofstuk 3 van Law and Ahn (2011) het 'n bespreking van projekte met meer komplekse kombinasie stappe as dié in hierdie hoofstuk.

In die menslike berekeningsprojekte wat ek in die hoofstuk bespreek het, was die deelnemers bewus van wat aangaan. Sommige ander projekte poog egter om "werk" wat alreeds aan die gang is (soortgelyk aan eBird) en sonder bewustheid van deelnemers vas te vang. Sien byvoorbeeld die ESP Game (Ahn and Dabbish 2004) en reCAPTCHA (Ahn et al. 2008) . Albei van hierdie projekte verhoog egter ook etiese vrae omdat deelnemers nie geweet het hoe hul data gebruik word nie (Zittrain 2008; Lung 2012) .

Geïnspireer deur die ESP Game, het baie navorsers gepoog om ander "speletjies met 'n doel te ontwikkel" (Ahn and Dabbish 2008) (dit wil sê, "menslike rekenaarspeletjies" (Pe-Than, Goh, and Lee 2015) ) wat kan wees gebruik om 'n verskeidenheid ander probleme op te los. Wat hierdie "speletjies met 'n doel" gemeen het, is dat hulle probeer om die take wat betrokke is by menslike berekening, aangenaam te maak. Dus, terwyl die ESP Game dieselfde struktuur met split-toepassing-kombineer met Galaxy Zoo deel, verskil dit in hoe deelnemers gemotiveerd is, pret om die wetenskap te help. Vir meer oor speletjies met 'n doel, sien Ahn and Dabbish (2008) .

My beskrywing van Galaxy Zoo trek op Nielsen (2012) , Adams (2012) , Clery (2011) en Hand (2010) , en my voorlegging van die navorsingsdoelwitte van Galaxy Zoo is vereenvoudig. Vir meer oor die geskiedenis van die sterrestelselklassifikasie in sterrekunde en hoe die Galaxy Zoo hierdie tradisie voortduur, sien Masters (2012) en Marshall, Lintott, and Fletcher (2015) . Op die Galaxy Zoo het die navorsers Galaxy Zoo 2 voltooi wat meer as 60 miljoen meer komplekse morfologiese klassifikasies van vrywilligers ingesamel het (Masters et al. 2011) . Verder het hulle vertakking in probleme buite die sterrestelsel morfologie, insluitende die verkenning van die oppervlak van die Maan, die soek na planete, en transkripsie van ou dokumente. Tans word al hul projekte by die Zooniverse-webwerf versamel (Cox et al. 2015) . Een van die projekte-Snapshot Serengeti-bewys dat Galaxy Zoo-tipe beeldklassifikasieprojekte ook vir omgewingsnavorsing gedoen kan word (Swanson et al. 2016) .

Vir navorsers wat van plan is om 'n mikrotask-arbeidsmark te gebruik (bv. Amazon Mechanical Turk) vir 'n menslike berekeningsprojek, bied Chandler, Paolacci, and Mueller (2013) en J. Wang, Ipeirotis, and Provost (2015) goeie raad oor J. Wang, Ipeirotis, and Provost (2015) en ander verwante kwessies. Porter, Verdery, and Gaddis (2016) bied voorbeelde en advies aan wat spesifiek toegespits is op die gebruik van mikrotaskarbeidsmarkte vir wat hulle "datavergroting" noem. Die lyn tussen datavergroting en data-insameling is ietwat vaag. Vir meer inligting oor die insameling en gebruik van etikette vir onderrigleer vir teks, kyk Grimmer and Stewart (2013) .

Navorsers wat belangstel in die skep van wat ek rekenaargebaseerde menslike berekeningstelsels genoem het (bv. Stelsels wat menslike etikette gebruik om 'n masjienleermodel te lei), sou dalk belangstel in Shamir et al. (2014) (vir 'n voorbeeld van klank) en Cheng and Bernstein (2015) . Die masjienleermodelle in hierdie projekte kan ook met oop oproepe gevra word, waardeur navorsers meeding om masjienleermodelle met die grootste voorspellende prestasie te skep. Byvoorbeeld, die Galaxy Zoo-span het 'n oop oproep gehardloop en 'n nuwe benadering gevind wat beter presteer as die een wat in Banerji et al. (2010) ; sien Dieleman, Willett, and Dambre (2015) vir meer besonderhede.

• Oop oproepe (afdeling 5.3)

Oop oproepe is nie nuut nie. Trouens, een van die bekendste oproepe dateer uit 1714 toe Brittanje se parlement die Longitude-prys geskep het vir enigiemand wat 'n manier kon ontwikkel om die lengte van 'n skip op see te bepaal. Die probleem stoot baie van die grootste wetenskaplikes van die dae, waaronder Isaac Newton, en die wenoplossing is uiteindelik ingedien deur John Harrison, 'n klokmaker van die platteland wat die probleem anders benader het as wetenskaplikes wat gefokus was op 'n oplossing wat op een of ander manier die sterrekunde sou behels ; Vir meer inligting, sien Sobel (1996) . Soos hierdie voorbeeld illustreer, is een rede waarom oop oproepe so goed werk, dat hulle toegang bied tot mense met verskillende perspektiewe en vaardighede (Boudreau and Lakhani 2013) . Sien Hong and Page (2004) en Page (2008) vir meer oor die waarde van diversiteit in probleemoplossing.

Elk van die oproepe in die hoofstuk vereis 'n bietjie verdere verduideliking waarom dit in hierdie kategorie behoort. Eerstens, een manier wat ek onderskei tussen menslike berekening en oproepprojekte, is of die uitset 'n gemiddelde van al die oplossings is (menslike berekening) of die beste oplossing (oop oproep). Die Netflix-prys is in hierdie opsig ietwat moeilik omdat die beste oplossing 'n gesofistikeerde gemiddelde van individuele oplossings was, 'n benadering wat 'n ensemble-oplossing genoem word (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Vanuit Netflix se perspektief was alles wat hulle moes doen, die beste oplossing gekies. Vir meer op die Netflix-prys, sien Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , en Feuerverger, He, and Khatri (2012) .

Tweedens, deur sommige definisies van menslike berekening (bv. Ahn (2005) ), moet Foldit beskou word as 'n menslike berekeningsprojek. Ek kies egter om dit as 'n oproep te kategoriseer omdat dit gespesialiseerde vaardighede vereis (hoewel dit nie noodwendig gespesialiseerde opleiding is nie) en dit neem die beste oplossing, eerder as om 'n strategie te gebruik. Vir meer op Foldit sien, Cooper et al. (2010) , Khatib et al. (2011) en Andersen et al. (2012) ; My beskrywing van Foldit trek op beskrywings in Bohannon (2009) , Hand (2010) en Nielsen (2012) .

Ten slotte kan mens argumenteer dat Peer-to-Patent 'n voorbeeld van verspreide data-insameling is. Ek kies om dit as 'n oproep in te sluit omdat dit 'n wedstrydagtige struktuur het en net die beste bydraes word gebruik, terwyl die gedagte van goeie en slegte bydraes minder versprei is met die verspreiding van data. Vir meer oor Peer-to-Patent, sien Noveck (2006) , Ledford (2007) , Noveck (2009) , en Bestor and Hamp (2010) .

In terme van die gebruik van oop oproepe in maatskaplike navorsing, resultate soortgelyk aan dié van Glaeser et al. (2016) word in hoofstuk 10 van Mayer-Schönberger and Cukier (2013) waardeur New York City voorspellende modellering kon gebruik om groot winste in die produktiwiteit van behuisingsinspekteurs te lewer. In New York City is hierdie voorspellende modelle gebou deur stadswerkers, maar in ander gevalle kan 'n mens dink dat hulle met oop oproepe geskep of verbeter kan word (bv. Glaeser et al. (2016) ). Een belangrike probleem met voorspellende modelle wat gebruik word om hulpbronne toe te ken, is egter dat hierdie modelle die potensiaal het om bestaande vooroordele te versterk. Baie navorsers weet reeds "vullis in, vullis uit," en met voorspellende modelle kan dit "vooroordeel, vooroordeel." Sien Barocas and Selbst (2016) en O'Neil (2016) vir meer oor die gevare van voorspellende modelle wat gebou is. met vooropgestelde opleidingsdata.

Een probleem wat regerings kan voorkom om oop wedstryde te gebruik, is dat dit die vrystelling van data vereis, wat kan lei tot privaatheidskendings. Vir meer inligting oor privaatheid en data vrystelling in oop oproepe, sien Narayanan, Huey, and Felten (2016) en die bespreking in hoofstuk 6.

Vir meer oor die verskille en ooreenkomste tussen voorspelling en verduideliking, sien Breiman (2001) , Shmueli (2010) , Watts (2014) en Kleinberg et al. (2015) . Vir meer oor die rol van voorspelling in sosiale navorsing, sien Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) En Yarkoni and Westfall (2017) .

Vir 'n oorsig van oproepprojekte in biologie, insluitend ontwerpadvies, sien Saez-Rodriguez et al. (2016) .

• Verspreide data-insameling (afdeling 5.4)

My beskrywing van eBird trek op beskrywings in Bhattacharjee (2005) , Robbins (2013) , en Sullivan et al. (2014) . Vir meer inligting oor hoe navorsers statistiese modelle gebruik om eBird data te analiseer, sien Fink et al. (2010) en Hurlbert and Liang (2012) . Vir meer inligting oor die beraming van die vaardighede van eBird-deelnemers, kyk Kelling, Johnston, et al. (2015) . Vir meer oor die geskiedenis van burgerwetenskap in ornithologie, sien Greenwood (2007) .

Vir meer inligting oor die Malawi-tydskrifprojek, sien Watkins and Swidler (2009) en Kaler, Watkins, and Angotti (2015) . Vir meer inligting oor 'n verwante projek in Suid-Afrika, sien Angotti and Sennott (2015) . Vir meer voorbeelde van navorsing deur data uit die Malawi-tydskrifprojek te gebruik, sien Kaler (2004) en Angotti et al. (2014) .

• Ontwerp jou eie (afdeling 5.5)

My benadering tot die ontwerp van ontwerpadvies was inductief, gegrond op die voorbeelde van suksesvolle en mislukte massasamewerkingsprojekte waarvan ek gehoor het. Daar is ook 'n stroom navorsingspogings aangewend om meer algemene sosiale sielkundige teorieë toe te pas om aanlyngemeenskappe te ontwerp wat relevant is vir die ontwerp van massasamewerkingsprojekte, kyk byvoorbeeld Kraut et al. (2012) .

Wat motiveerders betref, is dit eintlik baie moeilik om uit te vind presies waarom mense deelneem aan massasamewerkingsprojekte (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . As jy van plan is om deelnemers te motiveer met betaling op 'n mikrotaskarbeidsmark (bv. Amazon Mechanical Turk), Kittur et al. (2013) bied raad.

Ten opsigte van verrassing, sien Marshall, Lintott, and Fletcher (2015) vir meer voorbeelde van onverwagte ontdekkings wat uit Zooiverse-projekte kom.

Wat etiese betref, is 'n paar goeie algemene inleidings tot die betrokke aspekte Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , en Zittrain (2008) . Vir kwessies wat spesifiek verband hou met regskwessies met skare-werknemers, sien Felstiner (2011) . O'Connor (2013) spreek vrae oor etiese oorsig van navorsing wanneer die rolle van navorsers en deelnemers vervaag. Vir probleme wat verband hou met die deel van data, terwyl die deelnemers in burgerwetenskapprojekte beskerm word, sien Bowser et al. (2014) . Beide Purdam (2014) en Windt and Humphreys (2016) bespreek die etiese kwessies in verspreide data-insameling. Ten slotte erken die meeste projekte bydraes, maar gee nie die outeurskap krediet aan deelnemers nie. In Foldit word die spelers dikwels as skrywer genoteer (Cooper et al. 2010; Khatib et al. 2011) . In ander oproepprojekte kan die wennende bydraer dikwels 'n referaat skryf wat hul oplossings beskryf (bv. Bell, Koren, and Volinsky (2010) en Dieleman, Willett, and Dambre (2015) ).