Wat lêst neist
- Ynlieding (seksje 5.1)
Mass-gearwurking bliuwt ideeën út boargerwittenskip , crowdsourcing , en kollektive yntelliginsje . Boargerwittenskip betsjut meast yn 'e wittenskiplike proses om' boargers '(bygelyks net-wittenskippers) te beheljen; foar mear, sjoch Crain, Cooper, and Dickinson (2014) en Bonney et al. (2014) . Crowdsourcing betsjut meastentiids it probleemjen fan in probleem normaal yn in organisaasje te pleatsen en ynstee fan it útsteljen fan in folk; Foar mear, sjoch Howe (2009) . Kollektive yntelligens betsjut meastentiids groepen fan yndividuen dy't kollektyf dwaande hâlde op wizen dy't intellisearre binne; Foar mear, sjoch Malone and Bernstein (2015) . Nielsen (2012) is in boeklange ynlieding by de krêft fan mate-gearwurking foar wittenskiplik ûndersyk.
Der binne in protte soarten massaarmwurden dy't net passend yn 'e trije kategoryen passe, dy't ik foarsteld hat, en ik tink dat trije fan sokken spesjaal omtinken fertsjinje om't se meidield wêze kinne yn sosjale ûndersyk. In foarbyld is predikaatmerken, wêrby't dielnimmers keapjen en hannelskontrakten opkomme dy't basearre binne op resultaten dy't yn 'e wrâld foarkomme. Ferkearde merken wurde faak brûkt troch bedriuwen en regearingen foar prestiizje, en se binne ek brûkt troch sosjale ûndersikers om de replikabiliteit fan publisearre stúdzjes yn 'e psychology (Dreber et al. 2015) . Foar in oersjoch fan predikantenmerken, sjoch Wolfers and Zitzewitz (2004) en Arrow et al. (2008) .
In twadde foarbyld dat net goed ynpassje yn myn kategorisearringskema is it PolyMath-projekt, wêr't ûndersikers gearwurke mei help fan blogs en wikis om nije math-teorems te bewizen. It PolyMath-projekt is op guon wizen lykas de Netflix-priis, mar yn dit projektleden binne mear aktyf boud op 'e partielde oplossings fan oaren. Foar mear oer it PolyMath-projekt, sjoch Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , en Kloumann et al. (2016) .
In tredde foarbyld dat net goed ynpasset yn myn kategorisearringskema is dat fan 'e tanimmende mobilisaasjes lykas de Defense Advanced Research Projects Agency (DARPA) Network Challenge (dat is de Red Balloon Challenge). Foar mear op dizze tiid-sensitive mobilisaasjes sjoch Pickard et al. (2011) , Tang et al. (2011) , en Rutherford et al. (2013) .
- Humanbereging (paragraaf 5.2)
De term "minske-kultuer" komt út it wurk dien troch kompjûterwittenskippers, en it begripen fan it kontekst efter dit ûndersyk sil jo fermogen ferbetterje om problemen te selektearjen dy't mooglik passe kinne. Foar bepaalde taken binne kompjûters ûnkrêftich machtich, mei fermogen, dy't farieare binne fan 'e sels fan ekspertlike minsken. Bygelyks, yn 'e skaad kinne kompjuters sels de bêste grandmasters slaan. Mar - en dit is minder goed wurdearre troch sosjale wittenskippers - foar oare taken, computers binne eigentlik folle riker as minsken. Mei oare wurden, no binne jo better as sels de meast komplekse komputer by bepaalde taken mei it ferwurkjen fan bylden, fideo, audio en tekst. Computerwittenskippers dy't wurkje oan dizze hurd foar kompjûters-maklik foar minsklike taken soene realisearre dat se minsken yn har rekkeningsproses tafoege koe. Hjir is hoe't Luis von Ahn (2005) de minsklike kultuer beskreaun hat doe't hy de term yn syn dissertaasje yn 'e kunde brocht: "in paradigm foar it brûken fan minsklike ferwurkingskrêft om problemen te learen dat komputers noch net oplossje kinne". Foar in boeklange behanneling fan minsklike rekken, yn de algemiene sin fan 'e term, sjoch Law and Ahn (2011) .
Neffens de definysje foarsteld yn Ahn (2005) Foldit - dy't ik yn 'e paragraaf oer iepen petearen beskreaun wie, kin in minske-petearprojekt wurde beskôge. Mar ik kieze om Foldit as iepen iepening te kategorisearjen, om't it spesjale feardichheden nedich is (alhoewol't net needsaaklik formele trening) en it bêste oplossing leveret, mar it brûken fan in spalt-oanfreegjende kombinaasje-strategy.
De term "split-apply-combine" waard brûkt troch Wickham (2011) om in strategy te meitsjen foar statistyske rekkening, mar it falt perfekt fan it proses fan in protte humorreksprojekten. De split-apply-combine strategy is te fergelykjen mei it MapReduce framework dat ûntwikkele is op Google; Foar mear op MapReduce, sjoch Dean and Ghemawat (2004) en Dean and Ghemawat (2008) . Foar mear oer oare distribúsearre rektor-arsjitekten, sjoch Vo and Silvia (2016) . Haadstik 3 fan Law and Ahn (2011) hat in diskusje oer projekten mei komplekere kombinearjen fan stappen as dy yn dit haadstik.
Yn 'e humorreksprojekten dy't ik yn it haadstik besprutsen hawwe, wiene dielnimmers bewust fan wat der barde. Guon oare projekten sykje lykwols om "wurkjen" te fangen dat al is (lykas eBird) en sûnder partisipaasje bewust. Sjoch bygelyks it ESP-spiel (Ahn and Dabbish 2004) en reCAPTCHA (Ahn et al. 2008) . Dochs binne beide fan dizze projekten ek etikale fragen omheech omdat de dielnimmers net wisten hoe't har gegevens brûkt waarden (Zittrain 2008; Lung 2012) .
Ynspirearre troch it ESP-spiel, hawwe in soad ûndersikers besocht om oare 'spultsjes mei in doel' (Ahn and Dabbish 2008) (dus "human-based computing games" (Pe-Than, Goh, and Lee 2015) ) dy't kinne wurde brûkt om in ferskaat oan oare problemen op te lossen. Wat dizze "spultsjes mei in doel" in mienskip hawwe, binne dat se besykje de taken dy't belutsen wurde yn 'e minsklike rekken pleatslik te meitsjen. Sadwaande is it ESP-spiel lykwols de selde split-oan-kombinearre struktuer mei Galaxy Zoo, it ûnderskiedt hoe't dielnimmers motivearre binne - wille versus winsk om wittenskip te helpen. Foar mear op spultsjes mei in doel, sjoch Ahn and Dabbish (2008) .
My description of Galaxy Zoo tekene op Nielsen (2012) , Adams (2012) , Clery (2011) , en Hand (2010) , en myn presintaasje fan 'e ûndersyksdoelen fan Galaxy Zoo waard ferienfâldige. Foar mear oer de skiednis fan 'e galaxisklassifikaasje yn' e astronomy en hoe't Galaxy Zoo dizze tradysje fierder giet, sjoch Masters (2012) en Marshall, Lintott, and Fletcher (2015) . Bouwen op Galaxy Zoo, de ûndersikers ferfolle Galaxy Zoo 2 dy't mear as 60 miljoen komplekere morphologyske klassifikaasjes sammele fan frijwilligers (Masters et al. 2011) . Fierder fersierden se yn problemen bûten de galaxy morphology, ynklusyf it ûntdekken fan it oerflak fan 'e moanne, sykjen nei planeten, en it skriuwen fan âlde dokuminten. Op it stuit wurde alle har projekten op 'e webside fan Zooniverse (Cox et al. 2015) sammele. Ien fan 'e projekten - Snapshot Serengeti - jout oanwiisd dat projekten fan Galaxy Zoo-type-ynstellings ek dien wurde kinne foar it miljeufûndersûndersyk (Swanson et al. 2016) .
Foar ûndersikers dy't plannen om in mikrotasker arbeidsmerk te brûken (bygelyks Amazon Mechanical Turk) foar in minsklike Chandler, Paolacci, and Mueller (2013) en J. Wang, Ipeirotis, and Provost (2015) biede goed advys oer J. Wang, Ipeirotis, and Provost (2015) en oare relatearre problemen. Porter, Verdery, and Gaddis (2016) biede foarbylden en advizen dy't spesifyk rjochte binne op gebrûk fan mikrotaskere arbeidsmärkten foar wat se "data fergrutsje" neame. De line tusken data augmentaasje en datasammeling is wat skerp. Foar mear op it sammeljen en brûken fan labels foar begeliedende learen foar tekst, sjoch Grimmer and Stewart (2013) .
Undersikers dy't ynteressearje foar it meitsjen fan wat ik nammentlik kompjûter-assistearre human-computing-systemen neamd (bygelyks systemen dy't minsklike etiketten brûke om in masine-learenmodel te trenen) mooglik ynteressearre wêze yn Shamir et al. (2014) (foar in foarbyld fan audio) en Cheng and Bernstein (2015) . Ek de masine learmodellen yn dizze projekten kinne opfrege wurde mei iepen petearen, wêrby't ûndersikers konkurrearje om masine learmodellen te meitsjen mei de grutste predictive optreden. Bygelyks, it Galaxy Zoo team rûn in iepen oprop en fûn in nije oanpak dy't de Banerji et al. (2010) yn Banerji et al. (2010) ; sjoch Dieleman, Willett, and Dambre (2015) foar details.
- Iepen petearen (paragraaf 5.3)
Iepen petearen binne net nij. In feite, ien fan 'e bekendste iepen ruften is oant 1714 werom doe't it Parlemintes Parlemint De Langepresje makke hat foar elkenien dy't in wize ûntwikkelje koe om de lingte fan in skip op see te bepalen. It probleem stompte in protte fan 'e grutste wittenskippers fan' e dagen, wêrûnder Isaac Newton, en de winnende oplossing waard úteinlik yntsjinne troch John Harrison, in klokmakker út it plattelân, dy't it probleem oars wie fan 'e wittenskippers, dy't rjochte waarden op in oplossing dy't as gefolch fan astronomy ; Foar mear ynformaasje, sjoch Sobel (1996) . As dit foarbyld illustratearret, is in reden dat iepen petearen as tocht wurde om sa goed te wurkjen is dat se tagong krije foar minsken mei ferskillende perspektiven en feardigens (Boudreau and Lakhani 2013) . Sjoch Hong and Page (2004) en Page (2008) foar mear oer de wearde fan ferskaat yn probleemensliedingen.
Elk fan 'e iepen oansprekkings yn it haadstik fereasket in bytsje fjirder te ferklearjen foar wêrom't hy yn dizze kategory heart. Earst, ien manier wêrop ik ûnderskiede tusken humorreparaasje en iepen ropprojekten is oft de útkomst in gemiddelde fan alle oplossingen is (minsklike kompetysje) of de bêste oplossing (iepen oprop). De Netflixpriis is yn dit ferbân wat spitich, om't de bêste oplossing in súksesfolle gemiddelde fan yndividuele oplossingen wie, in oanpak nammentlik in ensemble oplossing (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Fanút it perspektyf fan Netflix, lykwols, allegear wat se dwaan moasten, wie de bêste oplossing. Foar mear oer de Bennett and Lanning (2007) , sjoch Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , en Feuerverger, He, and Khatri (2012) .
Twadder, troch guon definysjes fan minsklike rekkening (bygelyks Ahn (2005) ), moat Foldit as in minskewurksprojekt beskôge wurde. Dochs wol ik it kategisearje as in iepen oprop omdat it spesjale feardichheden nedich is (hoewol net needsaaklik spesjaal trening) en it nimt de bêste oplossing, yn stee fan in spalt-oanfraach-combine strategy. Foar mear oer Foldit sjoch, Cooper et al. (2010) , Khatib et al. (2011) , en Andersen et al. (2012) ; myn beskriuwing fan Foldit tekene op beskriuwingen yn Bohannon (2009) , Hand (2010) , en Nielsen (2012) .
Uteinlik kin men bepale dat Peer-to-Patent in foarbyld is fan fergelykbere gegevensammeling. Ik kieze om it yn te skeakeljen as in iepen oprop omdat it in kontrastlike struktuer hat en allinich de bêste bydragen wurde brûkt, wylst mei ferwidere datasammeling it idee fan goede en minne bydrage minder dúdlik is. Foar mear oer Peer-to-Patent, sjoch Noveck (2006) , Ledford (2007) , Noveck (2009) , Bestor and Hamp (2010) .
Mei it each op it brûken fan iepen petearen yn sosjale ûndersyksjes, binne resultaten ferlykber mei dy fan Glaeser et al. (2016) , wurde neamd yn haadstik 10 fan Mayer-Schönberger and Cukier (2013) wêrby't New York City predictive modeling brûke koe om grutte winske produkten te brûken yn 'e produktiviteit fan húsfestingen. Yn 'e New York City waarden dizze foar predikant modellen bouden troch stedsbeamten, mar yn oare gefallen koe men Glaeser et al. (2016) dat se mei iepen petearen kreëarre of ferbettere wurde kinne (lykas Glaeser et al. (2016) ). Dochs is ien grutte soarch mei predikative modellen dy't brûkt wurde om resourcen te behertigjen is dat dizze modellen it potensjaal hawwe om besteande fioazes te fersterkjen. In protte ûndersikers wite al "moargen yn, ferdwine", en mei foar Barocas and Selbst (2016) modellen kin it wêze dat se "ferdwine yn, foarútgong". Sjoch Barocas and Selbst (2016) en O'Neil (2016) foar mear oer de gefaren fan foarbylden dy't foarbylden boud wurde mei gegevens opnommen trening.
Ien probleem dat regintskippen foarkomme om iepen kontenearje te brûken, is dat dit databewetter nedich is, dat liede kin ta privacy-ferliezen. Foar mear oer privacy en dataferzje yn iepen roppen, sjoch Narayanan, Huey, and Felten (2016) en de diskusje yn haadstik 6.
Foar mear oer de ferskillen en oerienkomsten tusken predikaasje en ferklearring, sjoch Breiman (2001) , Shmueli (2010) , Watts (2014) , en Kleinberg et al. (2015) . Foar mear oer de rol fan 'e foarsizzing yn it sosjale ûndersyk, sjoch Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , en Yarkoni and Westfall (2017) .
Foar in oersicht fan iepen oprop-projekten yn biology, ûnder oaren ûntwerp advys, sjoch Saez-Rodriguez et al. (2016) .
- Fertsjintwurdige gegevensammeling (paragraaf 5.4)
My description of eBird skriuwt op beskriuwingen yn Bhattacharjee (2005) , Robbins (2013) , en Sullivan et al. (2014) . Foar mear oer hoe't ûndersikers gebrûk meitsje fan statistyske modellen om analysearjen fan eBird's te finen, sjoch Fink et al. (2010) en Hurlbert and Liang (2012) . Foar mear op it skatteljen fan de feardigens fan eBird dielnimmers, sjoch Kelling, Johnston, et al. (2015) . Foar mear oer de skiednis fan boargerwittenskip yn ornithology, sjoch Greenwood (2007) .
Foar mear oer it Malawi Journals Project, sjoch Watkins and Swidler (2009) en Kaler, Watkins, and Angotti (2015) . Foar mear oer in relatearre projekt yn Súd-Afrika, sjoch Angotti and Sennott (2015) . Foar mear foarbylden fan ûndersyk mei gebrûk fan gegevens fan it Malawi Journals Project sjoch Kaler (2004) en Angotti et al. (2014) .
- Untwerp fan jo eigen (seksje 5.5)
Myn oanpak foar it oanbieden fan ûntwerprjochten wie ynduktyf, basearre op de foarbylden fan suksesfolle en mislearre gearwurkingsprojekten dy't ik hearde oer. Dêrneist is der ek in stream fan ûndersykseinsjes om mear algemiene sosjale psychologyske teoryen oan te rjochtsjen om ynternasjonale mienskippen te ûntwikkeljen dy't relevant is foar it ûntwerp fan massaarmprojekten, sjoch bygelyks Kraut et al. (2012) .
Wat de motivaasje dielnimmers oanbelanget, is it eins feilich om út te finen wêrom't minsken meidwaan oan massaarmprojekten (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . As jo de dielnimmers plane mei betellingen te motivearjen op in mikrotaskere arbeidsmerk (bygelyks Amazon Mechanical Turk), Kittur et al. (2013) biedt wat advys.
Oangeande it tafoegjen fan ferrassing, foar mear foarbylden fan ûnferwachte ûntdekkingen dy't út 'e Zooiverse-projekten komme, sjoch Marshall, Lintott, and Fletcher (2015) .
Oer it wêzen fan etiologysk binne guon goede algemiene ynliedingen oan 'e belang fan saken dy't Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , en Zittrain (2008) . Foar problemen dy't spesifyk relatearre binne oan juridyske problemen mei crowd-meiwurkers, sjoch Felstiner (2011) . O'Connor (2013) pleatst fragen oer ethyske kontrôle fan ûndersiik as de rollen fan ûndersikers en dielnimmers ferwiderje. Foar saken dy't ferbân hâlde mei it dielen fan gegevens by it beskermjen fan dielnimmers yn boargerwittenskipprojekten, sjoch Bowser et al. (2014) . Sawol Purdam (2014) en Windt and Humphreys (2016) hawwe in soad diskusjes oer de etikale problemen yn fergelike data sammeling. Oan 'e ein sette de measte projekten in bydrage oan, mar jouwe oanmurtsjild net oan dielnimmers. Yn Foldit wurde de spilers faak neamd as auteur (Cooper et al. 2010; Khatib et al. 2011) . Yn oare iepen oprop-projekten kin de winnende bydrage faak in papier skriuwe op har oplossingen (bgl. Bell, Koren, and Volinsky (2010) en Dieleman, Willett, and Dambre (2015) ).
