Mass Zesummenaarbecht vermëttelt Iddie vu Biergerwëssenschaften , crowdsourcing a kollektiv Intelligenz . D'Biirger Wëssenschaft dréit normalerweis datt "Bierger" (dh, net-Wëssenschaftler) am wëssenschaftleche Prozess involvéiert sinn; Fir méi, kuckt Crain, Cooper, and Dickinson (2014) an Bonney et al. (2014) . Crowdsourcing heescht normalerweis datt e Problem ordnungsgeméis an enger Organisatioun geléist gëtt a stattdessen ausléisen fir e Publikum ze hunn; fir méi, kuckt Howe (2009) . Kollektiv Intelligenz heescht normalerweis Gruppen vun Individuen, déi kollektiv a Weeër ginn, déi intelligent sinn; fir méi, kuckt Malone and Bernstein (2015) . Nielsen (2012) ass eng Buchlinn fir d'Kraaft vun der masser Zesummenaarbecht fir wëssenschaftlech Fuerschung.
Et gi vill Arten vu masseg Collaboratioun déi net angemaert an déi dräi Kategorien gespaart hunn, déi ech proposéiert hunn, an ech mengen, datt dräi dovun ofgehalen sinn, datt se an der sozialer Fuerschung nëtzlech sinn. Ee Beispill ass Prognosmäert, wou d'Participanten an d'Ofsetzungsvertrag kaaft an erléisse kënnen op Basis vu Resultater, déi an der Welt geschéien. Predictéierende Märktiounen si oft vun Entreprisen an Regierungen fir Prognostik benotzt, a si goufen och vun de Sozial Researcher benotzt fir d'Replizibilitéit vu publizéierten Studien an der Psychologie (Dreber et al. 2015) . Fir en Iwwerbléck vu Prognosemärteren, kuckt Wolfers and Zitzewitz (2004) an Arrow et al. (2008) .
Een zweeten Beispill, deen net gutt an mein Kategoriséierungskonzept passt, ass de PolyMath-Projet, wou d'Fuerscher mat Blogs a Wikiquen matmaachen, fir nei Mathematiksthemen z'entwéckelen. De PolyMath Projet ass op e puer Wee wéi dem Netflix-Präis, awer an dësem Projet deelzehuelen méi aktiv op de partiéis Léisungen vun aneren gebaut. Fir méi iwwer de PolyMath Projet kuckt Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , an Kloumann et al. (2016) .
Een drëtt Beispill, deen net gutt an meng Klassifizéierung schätzt, ass dat vun ze héijen Mobilisatiounen wéi d'Defense Advanced Research Projects Agency (DARPA) Network Challenge (dh de Red Balloon Challenge). Fir méi op dësen ze sensibelen Mobilisatiounen kuckt de Pickard et al. (2011) , Tang et al. (2011) , an Rutherford et al. (2013) .
De Begrëff "mënschlech Berechnung" kënnt aus der Aarbecht vun de Computerwëssenschaftler, a verstitt de Kontext hannert dës Fuerschung d'Verbesserung vun Ärer Fäegkeet, fir Problemer ze probéieren z'ënnerstëtzen. Fir verschidde Aufgaben, Computeren sinn onheemlech staark, mat Fähëgkeet déi vill vun exigenten Mënschen sinn. Zum Beispill, am Schach, kënnen d'Computeren souguer déi bescht Groussmeeschtere schloen. Mä - an dëst ass manner gutt geschützt vu Sozialwëssenschaftler - fir aner Aufgaben, Computeren sinn eigentlech méi schlëmm wéi d'Leit. An anere Wierder: Dir sidd elo besser wéi och dee modernste Computer bei gewësse Aufgaben, déi d'Veraarbechtung vu Biller, Videoen, Audiodateien an Text ubitt. Computerwëssenschaftler déi dës Hard-for-Computers-einfach-fir-Mënsch-Aufgaben schaffen, realiséiert, datt si Mënsche kënne mat hirem computationalen Prozess ëmfaassen. Den Luis Luis Ahn (2005) beschreift mënschlech Berechnung, wann hien de Begrëff an senger Dissertatioun éischter coexistéiert huet: "e Paradigma fir d'mënschlech Veraarbechtung ze benotzen fir Problemer ze léisen déi Computer net léisen." Fir eng Brochstéckung vu mënschleche Rechnungen, Am allgemengen Sënn vun dem Begrëff, kuckt Law and Ahn (2011) .
Laut der Definitioun vun Ahn (2005) Foldit - déi ech an de Sektioun iwwer oppene Linken beschriwwen huet, konnt als mënschlech Berechtegungsprojet betracht ginn. Allerdéngs wiels ech mech fir Foldit als en oppene Ruff ze kategoriséieren, well et spezialiséiert Fäegkeeten (awer net onbedéngt formell trainéiert) erfuerderen an et mécht d'beschte Léisung dozou bäizedroen, anstatt mat enger Split-Applikatioun-Kombinatiounstrategie ze profitéieren.
De Begrëff "Split-apply-combine" gouf vum Wickham (2011) benotzt fir eng Strategie fir statistesch Rechen ze beschreiwen, awer et fäeg perfekt de Prozess vu villen Computerreportprojeten. D'Split-Applikatioun-verbonne Strategie ass ähnlech mat dem MapReduce Framework deen am Google entwéckelt gouf; Fir méi op MapReduce, kuckt Dean and Ghemawat (2004) an Dean and Ghemawat (2008) . Fir méi op anere verdeedegt Rechenarchitekturen kuckt Vo and Silvia (2016) . Kapitel 3 vum Law and Ahn (2011) huet eng Diskussioun iwwer Projeten mat méi komplexe Kombinatiounstypen wéi déi an dësem Kapitel.
An de mënschlech Rechenprojeten déi ech am Kapitel diskutéiert hunn, waren d'Participanten bewosst wat geschitt. E puer aner Projeten an der Sich no "Aarbecht" ze erfannen, déi scho geschitt (ähnlech mat eBird) a ouni Bewerber matmaachen. Kuckt, zum Beispill, den ESP Spill (Ahn and Dabbish 2004) a reCAPTCHA (Ahn et al. 2008) . Déi zwee Projeten hu sech och ethesch Froen erhaalen, well d'Participanten net wosst wéi hir Daten benotzt gi sinn (Zittrain 2008; Lung 2012) .
Inspiréiert vum ESP Spill, hunn vill Fuerscher versicht aner aner "Spiller mat engem Zweck" ze entwéckelen (Ahn and Dabbish 2008) dh "Human-Calculating-Spiele" (Pe-Than, Goh, and Lee 2015) ), déi ka sinn benotzt fir eng Rei aner Problemer ze léisen. Wat dës "Spiller mat engem Zweck" gemeinsam sinn, ass datt se probéiert d'Aufgaben déi mat der mënschlech Rechenung angenehm sinn. Dofir, während d'ESP Spill déiselwecht Split-Applikatioun-Kombinatioun mat Galaxy Zoo, se ënnerscheet sech wéi d'Participanten motivéiert sinn - am Fong mam Wonsch fir d'Wëssenschaft ze hëllefen. Fir méi op Spiller mat engem Zweck, kuckt Ahn and Dabbish (2008) .
Méng Beschreiwung vum Galaxy Zoo weist op Nielsen (2012) , Adams (2012) , Clery (2011) , Hand (2010) , a meng Presentatioun vun den Ziler vum Galaxy Zoo gouf vereinfacht. Fir méi iwwer d'Geschicht vun der Galaxis Klassifikatioun an der Astronomie an wéi d'Galaxis Zoo dës Traditioun weider setzt, kuckt Masters (2012) an Marshall, Lintott, and Fletcher (2015) . Opbau op Galaxy Zoo, hunn d'Fuerscher Galaxy Zoo 2 ofgeschloss, déi méi wéi 60 Milliounen méi komplex Morphologesch Klassifikatiounen vun de Volontären erhéijen (Masters et al. 2011) . Desweideren hunn se an Probleemer ausserhalb vun der Galaxis Morphologie verzunn, dorënner d'Explosioun vun der Uewerfläch vum Mond, der Sich no Planéiten, an d'aler Dokumentatioun transkriptionn. Am Moment sinn all hir Projeten op der Zooniverse Websäit gesammelt (Cox et al. 2015) . Eent vun den Projeten-Snapshot Serengeti - weist Beweiser datt d'Galaxis Zoo-Typ-Bild Klassifikatiounsprojeten och fir d'Ëmweltfuerschung (Swanson et al. 2016) .
Fir d'Fuerscher déi virgesinn e Mikrotasken Aarbechtsmaart benotzen (zB Amazon Mechanical Turk) fir e Mënscherechnungsprojet, Chandler, Paolacci, and Mueller (2013) an J. Wang, Ipeirotis, and Provost (2015) aner Froen. Porter, Verdery, and Gaddis (2016) bieden Beispiller an Berodung speziell op d'Benotzung vun den Mikrotasken Arbechtsmärer fir wat se "Datenerhéiung" nennen. D'Linn vun der Datenvergréisserung an der Datenerfassung ass e bësse méi roueg. Fir méi op d'Sammelen a Verwende vu Labels fir iwwerwaachte Léieren fir Text, kuck Grimmer and Stewart (2013) .
D'Fuerscher interesséiert sech ze schafen, wat ech mam Computer-Assistent mënschlech Berechtegungssysteme (zB Systemer benotzt hunn, déi mënschlech Etikette benotzen fir e Maschinnmodell ze trainéieren) kënnen interesséiert sinn a Shamir et al. (2014) (fir e Beispill mat Audio) an Cheng and Bernstein (2015) . Och d'Maschinn vu Léiermethoden an dësen Projeten kann opgeruff ginn mat oppene Leit, wou d'Fuerscher konkurrieren fir Maschinn léieren mat der gréisst predictive Leeschtung. Zum Beispill huet d'Galaxy Zoo Team e richtege Gespréich gefrot a fonnt eng nei Approche déi den dee bei Banerji et al. (2010) ; Dieleman, Willett, and Dambre (2015) fir Detailer.
Ouni Appellen sinn net nei. Tatsächlech ass eng vun de bekanntsten opruffen Uriff zréck op 1714, wou de britesche Parlament d'Längt vum Prënz geschriwwen huet fir jiddereen deen e Wee géif entwéckelen fir d'Längt vun engem Schëff am Mier ze bestëmmen. De Problem stomppt vill vun de gréissten Wëssenschaftler vun den Deeg, ënner anerem Isaac Newton, an d'Gewënnentléisung gouf schliisslech vum John Harrison, engem Clockmaker aus der Landschaft, deen dem Problem anescht wéi vun de Wëssenschaftler ugeet, déi sech op eng Léisung konzentréieren, déi irgendwann d'Astronomie wär ;; Fir méi Informatiounen, kuckt de Sobel (1996) . Wéi dëst Beispill illustréiert, ee Grond datt d'Ruffleitungen esou gutt schaffen, datt si Zougang zu Leit mat verschiddene Perspektiven a Fäegkeeten hunn (Boudreau and Lakhani 2013) . Sicht Hong and Page (2004) an Page (2008) fir méi iwwer de Wäert vun der Diversitéit bei der Problemléisung.
Jiddfereen vun den offene Ruffnummeren am Kapitel brauch e bësse weider Erklärung firwat et zu dëser Kategorie gehéiert. Eischtens, eng Manéier, déi ech tëscht mënschlech Berechnung an Open Call Projeten ënnerscheeden ass ob d'Ausgaass eng duerchschnëttlech all d'Léisungen (mënschlech Berechnung) oder déi bescht Léisung (oppen) ass. Den Netflix-Präis ass e bëssche trick an dësem Beräich, well déi bescht Léisung e modernen Duerchschnëtt vu individuellen Léisungen ass, en Approche genannt Ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Aus der Perspektiv vu Netflix, awer alles wat se gemaach hunn, war déi bescht Léisung. Fir méi iwwer den Netflix-Präis, kuckt Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , Feuerverger, He, and Khatri (2012) .
Zweetens, duerch e puer Definitioune vu mënschlech Berechnung (zB Ahn (2005) ), Foldit sollt als mënschlech Berechtegungsprojet betracht ginn. Ech entscheede mech awer als en oppene Ruff ze kategoriséieren, well et spezialiséiert Fäegkeeten (awer net onofhängeg spezialiséiert Formatioun) erfuerderen an et brauch déi bescht Léisung, anstatt mat enger Split-Applikatioun-Kombinatiounsstrategie ze hëllefen. Fir méi op Foldit kuckt, Cooper et al. (2010) , Khatib et al. (2011) , an Andersen et al. (2012) ; meng Beschreiwung vum Foldit zitt op Beschreiwungen zu Bohannon (2009) , Hand (2010) , an Nielsen (2012) .
Schlussendlech kéint een argumentéieren, datt Peer-to-Patent e Beispill vun verdeelerter Datensammlung ass. Ech entscheede sech als en oppene Link ze schloen, well et eng contestéiert Struktur ass a nëmmen déi bescht Ënnerlagen benotzt ginn, während mat verdeelerdeer Datenerfassung d'Iddi vu gudde Béiser Botter manner klor sinn. Fir méi op Peer-to-Patent, kuckt Noveck (2006) , Ledford (2007) , Noveck (2009) , a Bestor and Hamp (2010) .
Am Sënn vun den offenen Appellen an der sozialer Fuerschung, Resultater wéi déi vum Glaeser et al. (2016) , am Kapitel 10 vum Mayer-Schönberger and Cukier (2013) bericht ginn, woubäi duerch New York City prognostizéiert Modelléierungsplattform fir grouss Prognosen a Produktivitéit vu Wunnspediteuren ze produzéieren. An New York City sinn dës Virdeeler vun de Stadtechniker gebaut ginn, awer an anere Fäll kann een sech virstellen datt se mat Open Calls erstallt oder verbessert ginn hunn (zB Glaeser et al. (2016) ). Allerdéngs ass eng grouss Haass u prädiktiven Modellen fir Ressourcen ze identifizéieren, datt dës Modeller d'Potenzial hunn d'existéierend Virbereedungen ze verstäerken. Vill Fuerscher kennen schon "Müll an, Müll aus", an mat präventiven Modellen kann et "viraus sinn", Barocas and Selbst (2016) an O'Neil (2016) fir méi iwwer d'Gefore vu prädiktiven Modellen mat virgeschriwwe Trainingsdaten.
E Problem, deen Regierungen verhënnert datt d'Offere vu ville Concourse benotzen ass datt dat erfuerdert d'Datenerfassung, déi zu Privatsphärverstouss kënne féieren. Fir méi iwwer Privatsphär a Datenerfëllung an opruffen Uriff, kuckt Narayanan, Huey, and Felten (2016) an d'Diskussioun am Kapitel 6.
Fir méi iwwer d'Ënnerscheeder an d'Ähnlechkeet tëscht Prädiktioun an Erklären, kuck Breiman (2001) , Shmueli (2010) , Watts (2014) an Kleinberg et al. (2015) . Fir méi iwwer d'Roll vu Prognosen an Sozialfuerschung ze gesinn, kuckt Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) an Yarkoni and Westfall (2017) .
Fir eng Iwwerpréiwung vun Open Call Projeten an der Biologie, wéi Designberodung, kuckt Saez-Rodriguez et al. (2016) .
Meng Beschreiwung vum eBird zitt op Beschreiwunge vun Bhattacharjee (2005) , Robbins (2013) , an Sullivan et al. (2014) . Fir méi iwwer wéi d'Fuerscher statistesch Modelle benotzen fir d'eBird-Donnéeë analyséieren ze gesinn Fink et al. (2010) an Hurlbert and Liang (2012) . Fir méi iwwer d'Schätzung vun de Fäegkeeten vun eBird Participanten, kuckt Kelling, Johnston, et al. (2015) . Fir méi iwwer d'Geschicht vun der Wëssenschaft an der Ornithologie, kuckt Greenwood (2007) .
Fir méi iwwer de Malawi Journals Project, kuckt Watkins and Swidler (2009) an Kaler, Watkins, and Angotti (2015) . Fir méi op engem Projet in Südafrika, kuckt Angotti and Sennott (2015) . Fir méi Beispiller vun der Recherche mat Daten aus dem Malawi Journals Project ze gesinn Kaler (2004) an Angotti et al. (2014) .
Meng Approche fir Designberodung ze hunn war induktiv, baséiert op d'Beispiller vu erfollegräichen a gescheiterten Projete fir Kollektivprojeten déi ech héieren hunn. Et ass och e Floss vun de Fuerschungsversécherungen, méi generell sozial psychologesch Theorien ze bezwéngen fir Online-Communities ze entwéckelen, déi relevant ass fir d'Konstruktioun vu massere Kollaboratiounsprojeten z'organiséieren, kuckt zum Beispill Kraut et al. (2012) .
Wann Dir motivéiert Participanten ass, ass et eigentlech ganz schwiereg ze wëssen, firwat d'Leit matmaachen an Projete fir Massprozessiounen (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Wann Dir Pläng fir d'Participanten mat enger Bezuelung op engem Mikrotasken Aarbechtsmaart ze motivéieren (zB Amazon Mechanical Turk), Kittur et al. (2013) bitt e Rot.
Wat d'Iwwerraschung erreechen kann, fir méi Beispiller vun onerwaarten Entdeckungen déi aus Zooiverse Projeten kommen, kuckt Marshall, Lintott, and Fletcher (2015) .
Iwwerzegoen datt et ethesch sinn, sinn etlech gutt allgemeng Präsenz fir d'Problemer déi Dir ugebueden huet: Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , an Zittrain (2008) . Fir Froen déi speziell mat legal Mataarbechter mat de Leit Mataarbechter betrëfft, kuckt Felstiner (2011) . O'Connor (2013) schwätzt Froen iwwer ethesch Iwwerhand iwwer d'Fuerschung wann d'Rollen vun de Fuerscher an de Participanten d'Unzéiungskraaft hunn. Fir Froen iwwer d'Patrull vun Donnéeën beim Schutz vun de Participanten an de Biergerwëssenschaften, kuckt Bowser et al. (2014) . Béid Purdam (2014) an Windt and Humphreys (2016) hunn eng Diskussioun iwwer déi ethesch Problemer an der verdeelerter Datensammlung. Déi meescht Projeten unerkennen d'Ënnerstëtzung awer net d'Autorere Kreditt un d'Participanten. Am Foldit sinn d'Spiller dacks als Autoriséiert genannt (Cooper et al. 2010; Khatib et al. 2011) . An aner offene Ruffprojekter kann de gewéinte Bäitrag oft e Pabeier schreiwen, deen seng Léisungen beschreibt (z. B. Bell, Koren, and Volinsky (2010) an Dieleman, Willett, and Dambre (2015) ).