Dësen Deel ass entworf als Referenz gebraucht ginn, amplaz als eng Geschicht gelies ze ginn.
Mass Zesummenaarbecht nämlech Iddien aus Bierger Wëssenschaft, crowdsourcing, a kollektiv Intelligenz. Bierger Wëssenschaft normalerweis heescht "Bierger" (dh, Net-Wëssenschaftler) an der wëssenschaftlecher Prozess sensibiliséieren (Crain, Cooper, and Dickinson 2014) . Crowdsourcing heescht normalerweis e Problem huelen normalerweis bannent enger Organisatioun geléist an amplaz Arbechtsplaze wiere fort et zu enger Spectateuren (Howe 2009) . Collective Intelligenz heescht normalerweis Gruppe vu Leit zesummen an Weeër schléit dat schéngt intelligent (Malone and Bernstein 2015) . Nielsen (2012) ass eng wonnerbar Buch-Längt Aféierung an d'Muecht vun Mass Zesummenaarbecht fir wëssenschaftlech Fuerschung.
Et ginn vill verschidden Zorten vun Mass Zesummenaarbecht datt do net ouni Géigewier an de dräi Kategorien fit dass ech proposéiert, an ech mengen dräi besonnesch Opmierksamkeet verdéngt, well se iergendwann zu sozialen Fuerschung nëtzlech wier. Ee Beispill ass Cepheid Mäert, wou Participanten an Handel Kontrakter kafen datt redeemable sinn op Resultater baséiert datt an der Welt geschéien (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . En Mäert sinn oft vun Betriber a Regierungen fir Viraussoen benotzt, an en Mäert hunn och déi sozial Fuerscher benotzt gouf de replicability vun publizéiert Etuden an Psychologie ze soe (Dreber et al. 2015) .
Eng zweet Beispill dass net gutt an meng categorization Schema passt ass d'PolyMath Projet, wou Fuerscher benotzt Blogs an Wikien zesummegeschafft nei temporäre theorems beweisen (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . D'PolyMath Projet ass an e puer Weeër ähnlech zu der Netflix Präis, mä am PolyMath Projet Participanten méi aktiv um partiell Léisungen vun aneren gebaut.
Eng drëtt Beispill dass net gutt an meng categorization Schema passt ass Zäit-ofhängeg mobilizations wéi de Verdeedegungsminister Détailléiert Research Projetën intégration (DARPA) Network Challenge (dh, de Red Ballon Challenge). Fir méi iwwert dës Kéier gesinn sensibel mobilizations Pickard et al. (2011) , Tang et al. (2011) , an Rutherford et al. (2013) .
De Begrëff "Mënsch Berechnung" kennt aus Aarbecht vun Computer Wëssenschaftler gemaach, a Versteesdemech Kader hannert dëser Fuerschung gëtt Är Fäegkeet verbesseren Problemer erëmzefannen, datt et atomar ginn. Fir verschidden Aufgaben, sinn Computeren onheemlech staark mat Kënnen wäit erausgeet souguer Expert Mënschen. Zum Beispill, am Schach, däerf Computeren och de beschte grand Häre klappen. Awer-an dat manner ass och déi sozial schätze wëssen, fir aner Aufgaben, Computeren sinn tatsächlech méi schlecht wéi Leit. An anere Wierder, grad elo sidd Dir besser wéi och déi mechanesch Computer op bestëmmte Aufgaben sensibiliséieren Veraarbechtung vu Biller, Video, Audio, an Text. Sou-wéi duerch e wonnerschéine XKCD illustréiert gouf Cartoon-do sinn Aufgaben, déi fir Leit fir Computeren an haarder einfach sinn, mä et sinn och Aufgaben, déi fir Leit fir Computeren an einfach schwéier sinn (Dorënner 5.13). Computer Wëssenschaftler schaffen op dës schwéier-for-Computer-einfach-for-Mënsch Aufgaben, also realiséiert, datt si Mënschen an hir computational Prozess gehéiert hätt. Hei ass wéi Luis von On (2005) Mënsch Berechnung beschriwwen wann hien éischter d'Wuert a sengem summa dohi: ". Engem Pitti fir schreiwen Mënsch Veraarbechtung Muecht ze léisen Problemer déi Computeren kann nach net léisen"
Vun dëser Definitioun FoldIt-wat ech an der Rubrik op oppen beschriwwen rifft-kéinten e Mënsch Berechnung Projet berücksichtegt ginn. Allerdéngs, wielen ech FoldIt als en Opruff un Kategorie well et spezialiséiert Kompetenz verlaangt an et hëlt de beschte Léisung matgehollef anstatt engem opgespléckt-Demande-combinéiert Strategie benotzt.
Fir eng excellent Buch Längt Behandlung vu mënschlechen Berechnung, an déi allgemeng Sënn vum Wuert, kuckt Law and Ahn (2011) . Kapitel 3 vum Law and Ahn (2011) ass eng interessant Diskussioun vun méi komplex kombinéieren Schrëtt wéi déi an dësem Kapitel.
De Begrëff "fifty-Demande-combinéiert" war vun Ufank Wickham (2011) eng Strategie fir statistesch Rechenzäit ze beschreiwen, mee et Treffer perfekt Prozess vu ville mënschleche Berechnung Projeten. D'opgespléckt-Demande-combinéiert Strategie ass ähnlech dem Kader MapReduce entwéckelt am Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Zwee clever Mënsch Berechnung Projeten dass ech net Plaatz gemaach hunn diskutéiert ginn d'wier Spill (Ahn and Dabbish 2004) an reCAPTCHA (Ahn et al. 2008) . Souwuel vun dëse Projeten fonnt kreativ Manéier Mataarbechter ze motivéieren Etiketten ze bidden op Biller. Souwuel vun deene Projeten awer, konnten och ethesch Froen well, am Géigesaatz Galaxy Zoo, Participanten an der wier Spill an reCAPTCHA net wosst wéi hir Daten benotzt gi war (Lung 2012; Zittrain 2008) .
Inspiréiert vun der wier Spill, hunn ville Fuerscher versichten anerer "Spiller mat enger Zweck" ze entwéckelen (Ahn and Dabbish 2008) (dat heescht, "Mënsch-baséiert Berechnung Matcher" (Pe-Than, Goh, and Lee 2015) ), déi kënnen benotzt eng Rei vun anere Problemer ze léisen. Wat dësen "Spiller mat enger Zweck" gemeinsam hunn ass, dass se probéieren déi Aufgaben am mënschleche Berechnung erhuelsam Équipe ze maachen. Sou, iwwerdeems de wier Spill der selwechter opgespléckt-Demande-combinéiert Struktur mat Galaxy Zoo deelt, Ënnerscheed et zu wéi Participanten vs. Wonsch motivéiert-fun sinn Wëssenschaft ze hëllefen.
Meng Beschreiwung vun Galaxy Zoo gesait op Nielsen (2012) , Adams (2012) , Clery (2011) , an der Hand (2010) , a meng Presentatioun vun der Fuerschung Goler vu Galaxy Zoo vereinfacht huet. Fir méi iwwert d'Geschicht vun der Galaxis Chronologie vun der Astronomie a wéi Galaxy Zoo weider dëser Traditioun, gesinn Masters (2012) an Marshall, Lintott, and Fletcher (2015) . Gebai op Galaxy Zoo, notéiert de Fuerscher Galaxy Zoo 2 déi gesammelt méi wéi 60 Millioune méi komplex morphological Klassifikatiounen vu Fräiwëlleger (Masters et al. 2011) . Weider, gemuert se ausserhalb vun Galaxis Wirklechkeet an Problemer eraus och d'Uewerfläch vum Mound aus gesinn, fir Planéiten Recherche, an alen Dokumenter transcribing. Moment, sinn all hir Projeten am gesammelt www.zooniverse.org (Cox et al. 2015) . Ee vun de Projeten-bluttrout Serengeti-Editus Beweiser datt Galaxy Zoo-Typ Bild Klassifikatioun Projeten och fir Ëmweltproblemer Fuerschung gemaach ginn (Swanson et al. 2016) .
Fir de Fuerscher e Mikro-Aufgab Aarbechtsmaart (zB, Amazon mechanesch Turk) fir e Mënsch Berechnung Projet ze benotzen Planung, Chandler, Paolacci, and Mueller (2013) an Wang, Ipeirotis, and Provost (2015) Offer gutt Rotschléi Aufgab Design an Wéinst beschäftegt.
Fuerscher interesséiert an deems waat ech Mënsch zweeter Generatioun Berechnung Systemer genannt hunn (zB, Systemer déi mënschlech Etiketten benotzen enger Maschinn Léieren Modell ze trainéieren) kéint an interesséiert sinn Shamir et al. (2014) (fir en Beispill mat Hellëf) an Cheng and Bernstein (2015) . Och, kann dës Projeten mat oppenen Appell gemaach ginn, woubäi Fuerscher gedoppt ze Maschinn Léieren Modeller mat der gréisst predictive Leeschtung schafen. Zum Beispill, quasi den Galaxy Zoo Equipe en Opruff an eng nei Approche fonnt dass der eng outperformed zu entwéckelt Banerji et al. (2010) ; gesinn Dieleman, Willett, and Dambre (2015) fir Detailer.
Open rifft sinn net nei. An Tatsaach, eent vun de räichste-bekannt oppen rifft geet zeréck bis 1714 wou Groussbritannien d'Parlament De Meridian Präis fir jiddereen hunn, datt e Wee entwéckele konnt d'Längt vun engem Schëff am Mier ze bestëmmen. De Problem naischt vill vun de gréisste Wëssenschaftler vun den Deeg, dorënner Isaac Newton, an der stäerkster Léisung war schlussendlech vun engem clockmaker aus dem Land ofginn, deen aus Wëssenschaftler de Problem anescht gudden deen op enger Léisung do waren, dass iergendwéi Astronomie Urecht hätt (Sobel 1996) . Wéi dëst Beispill weist, een Grond dass oppen rifft geduecht sinn esou gutt ze schaffen ass, datt si den Zougang fir Leit mat verschidden Perspektiven a Kompetenzen déi (Boudreau and Lakhani 2013) . Zréck Hong and Page (2004) an Page (2008) fir méi iwwert de Wäert vun der Diversitéit op Problem léisen.
Jiddereng vun den Opruff Fäll am Kapitel verlaangt e weineg weider Erklärung firwat et gehéiert zu dëser Kategorie. Éischt, ee Wee, datt ech tëschent Mënsch Rechenaufgaben an Opruff Projeten z'ënnerscheeden ass ob der Wasserstoff Moyenne vun all de Léisungen ass (mënschlech Berechnung) oder déi beschte Léisung (Opruff). D'Netflix Prix bësse komplizéiert an dat wat ass, well déi beschte Léisung engem raffinéierte Duerchschnëtt vun individuell Léisungen ze ginn war vir, en Ensemble Léisung genannt gudden (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Aus der Perspektiv vun Netflix, awer all se do hu sech déi beschte Léisung erëmzefannen.
Zweet, déi vun e puer Definitiounen vum Mënsch Rechenaufgaben (zB, Von Ahn (2005) ), FoldIt soll e Mënsch Berechnung Projet berücksichtegt ginn. Allerdéngs, wielen ech FoldIt als en Opruff un Kategorie well et spezialiséiert Kompetenz verlaangt an et hëlt de beschte Léisung bäigedroen, anstatt mat engem opgespléckt-Demande-combinéiert Strategie.
Endlech, kéint een dat Peer-ze-Patent streiden ass en Beispill vu verdeelt Donnéeën Kollektioun. Ech decidéieren et wéi en Opruff un gehéiert, well et en Concours-wëll Struktur huet an nëmmen déi bescht Contributiounen benotzt ginn (wobäi mat verdeelt Donnéeën Kollektioun, d'Iddi vun gudd a schlecht Contributiounen ass manner kloer).
Fir méi iwwert de Netflix Präis, gesinn Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , an Feuerverger, He, and Khatri (2012) . Fir méi iwwert FoldIt gesinn, Cooper et al. (2010) , Andersen et al. (2012) , an Khatib et al. (2011) ; meng Beschreiwung vun FoldIt gesait op Beschreiwunge vun Nielsen (2012) , Bohannon (2009) , an der Hand (2010) . Fir méi iwwert Peer-ze-Patent, gesinn Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , an Noveck (2009) .
Ähnlech zu de Resultater vun Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Chapter 10 Rapporten grousse Gewënn vun der Produktivitéit vun Wunneng Inspekteren zu New York City wou Inspekteren sinn duerch predictive Modeller guidéiert. Zu New York City, huet dës predictive Modeller vun Stad Mataarbechter gebaut, mä och an anere Fäll, kéint een virstellen dass se mat oppenen Appell geschafen oder verbessert ginn hätt (zB, Glaeser et al. (2016) ). Mä, eng grouss Beonrouegung mat predictive Modeller benotzt Ressourcen ze léinen, ass dass de Modeller d'Potential ze stäerken bestehend biases hunn. Vill Fuerscher wësst schonn "belueden, Drecksbléck eraus", a mat predictive Modeller kann et sinn "de Westen an, Schold vu senge Politiker aus." Kuck Barocas and Selbst (2016) an O'Neil (2016) fir méi op d'Gefore vun predictive Modeller gebaut mam Buergermeeschter Training Daten.
Ee Problem, datt Regierungen aus andeems oppen Concouren verhënneren vläicht ass dat Donnéeën release verlaangt, déi zu Privatsphär Violatioune Féierung konnt. Fir méi iwwer Privatsphär an Daten release an oppen rifft gesinn Narayanan, Huey, and Felten (2016) an der Diskussioun am Kapitel 6.
Meng Beschreiwung vun eBird gesait op Beschreiwunge vun Bhattacharjee (2005) an Robbins (2013) . Fir méi op wéi Fuerscher benotzen statistesch Modeller eBird Daten kucken ze analyséieren Hurlbert and Liang (2012) an Fink et al. (2010) . Fir méi iwwert d'Geschicht vun de Bierger Wëssenschaft an ornothology, gesinn Greenwood (2007) .
Fir méi iwwert d'Ausbildung vu Project Malawi, gesinn Watkins and Swidler (2009) an Kaler, Watkins, and Angotti (2015) . A fir méi iwwert e Zesummenhang Projet an Südafrika, gesinn Angotti and Sennott (2015) . Fir méi Beispiller vu Fuerschung benotzt Daten aus dem Malawi Ausbildung Project gesinn Kaler (2004) an Angotti et al. (2014) .
Meng Approche Design Rotschléi ze proposéieren war inductive, baséiert op d'Beispiller vun Erfolleg an dunn Mass Zesummenaarbecht Projeten, déi ech héieren hunn. Et ass och eng Baach vu Fuerschung méi allgemeng sozial psychesch Theorien ze gëllen Versuch online Communautéiten designen dat zu den Design vun Mass Zesummenaarbecht Projeten relevant ass, gesinn, zum Beispill, Kraut et al. (2012) .
Wat motivant Participanten, ass et eigentlech relativ komplizéiert genee ze Figur eraus, firwat Leit zu Mass Zesummenaarbecht Projeten deelhuelen (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Wann Dir Plan Participanten op engem Mikro-Aufgab Aarbechtsmaart mat bezuelt ze motivéieren (zB, Amazon mechanesch Turk) Kittur et al. (2013) offréiert puer Rotschléi.
Wat Meldunge Iwwerraschung, fir méi Beispiller vun onerwaart Entdeckungen aus Projete vun Zoouniverse nächste, gesinn Marshall, Lintott, and Fletcher (2015) .
Wat sinn déi ethesch, sinn e puer gutt allgemeng virgestallt fir d'Problemer Équipe Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , an Zittrain (2008) . Fir Froen speziell fir juristesch Problemer mat Spectateuren Mataarbechter ze dinn, gesinn Felstiner (2011) . O'Connor (2013) Adressen Froen iwwer ethesch iwwert Fuerschung wann d'Rollen vun de Fuerscher an Participanten Blur. Fir Froen zu sharing Donnéeën iwwer iwwerdeems participats am Bierger Wëssenschaft Projeten Protektioun, gesinn Bowser et al. (2014) . Béid Purdam (2014) an Windt and Humphreys (2016) hunn eng Diskussioun iwwer déi ethesch Froen an verdeelt Donnéeën Kollektioun. Endlech, unzeerkennen meeschte Projeten Contributiounen awer net Autorerechter Kreditkaart ze Participanten ginn. An Foldit, sinn d'Foldit Spiller dacks als Auteur opgelëscht (Cooper et al. 2010; Khatib et al. 2011) . An anere Opruff Projeten, kann den Zouschlag dru schreiwen oft e Pabeier beschreiwen hir Léisungen (zB, Bell, Koren, and Volinsky (2010) an Dieleman, Willett, and Dambre (2015) ). An der Galaxy Zoo Famill vu Projeten, ganz aktiv a wichteg Beiträg sinn heiansdo gin Ko-autoren op Aarbechten invitéiert. Zum Beispill, Ivan Terentev an Tim Matorny, zwee Radio Galaxy Zoo Participanten aus Russland, huet Co-Auteuren op ee vun den Aarbechten, déi aus dass Projet ausgebrach (Banfield et al. 2016; Galaxy Zoo 2016) .