verdere commentaar

Deze sectie is ontworpen om te worden gebruikt als referentie, in plaats van te worden gelezen als een verhaal.

• Inleiding (paragraaf 5.1)

Mass samenwerking combineert ideeën van burgers wetenschap, crowdsourcing en collectieve intelligentie. Citizen wetenschap betekent meestal betrekken "burgers" (dat wil zeggen, niet-wetenschappers) in het wetenschappelijke proces (Crain, Cooper, and Dickinson 2014) . Crowdsourcing betekent meestal het nemen van een probleem meestal opgelost binnen een organisatie en in plaats daarvan het uitbesteden aan een menigte (Howe 2009) . Collectieve intelligentie betekent meestal groepen van personen gezamenlijk handelen op een manier die lijkt intelligent (Malone and Bernstein 2015) . Nielsen (2012) is een prachtig boek-length introductie in de kracht van de massa samenwerking voor wetenschappelijk onderzoek.

Er zijn vele soorten van de massa samenwerking die niet netjes passen in de drie categorieën die ik heb voorgesteld, en ik denk dat drie bijzondere aandacht verdienen, omdat ze nuttig zijn in sociaal-wetenschappelijk onderzoek op een gegeven moment zou kunnen zijn. Een voorbeeld is de voorspelling markten, waar de deelnemers te kopen en de handel contracten die aflosbaar zijn gebaseerd op de resultaten die zich voordoen in de wereld (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Het voorspellen van de markten worden vaak gebruikt door bedrijven en overheden voor het voorspellen, en het voorspellen van markten zijn ook gebruikt door de sociale onderzoekers om de reproduceerbaarheid van de gepubliceerde studies in de psychologie te voorspellen (Dreber et al. 2015) .

Een tweede voorbeeld dat niet goed past in mijn categorisatieschema is het polymath project, waar onderzoekers samengewerkt met behulp van blogs en ​​wiki's om nieuwe wiskundige stellingen te bewijzen (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . De polymath project is in sommige opzichten vergelijkbaar met de Netflix Prize, maar de deelnemers polymath project actiever gebouwd op de deeloplossingen van anderen.

Een derde voorbeeld dat niet goed past in mijn categorisering regeling tijdsafhankelijke mobilisaties zoals de Defense Advanced Research Projects Agency (DARPA) Network Challenge (dat wil zeggen, de Rode Ballon Challenge). Voor meer informatie over deze tijdgevoelige mobilisaties zien Pickard et al. (2011) , Tang et al. (2011) , en Rutherford et al. (2013) .

• Human berekening (paragraaf 5.2)

De term "menselijke berekening" komt uit van het werk van informatici, en het begrijpen van de context achter dit onderzoek zal uw vermogen te halen uit problemen die vatbaar zijn voor het zou kunnen verbeteren. Voor bepaalde taken, computers zijn ongelooflijk krachtig met vermogens ver boven zelfs deskundige mensen. Bijvoorbeeld, in schaken, computers kunnen zelfs de beste grootmeesters te verslaan. Maar-en dit wordt minder goed gewaardeerd door sociale wetenschappers-voor andere taken, computers zijn eigenlijk veel erger dan mensen. Met andere woorden, nu bent u beter dan zelfs de meest geavanceerde computer op bepaalde taken met betrekking tot de verwerking van afbeeldingen, video, audio en tekst. Aldus zoals werd geïllustreerd door een prachtig XKCD cartoon-er zijn taken die gemakkelijk voor computers en hard voor mensen zijn, maar er zijn ook taken die moeilijk voor computers en makkelijk voor mensen (zie figuur 5.13). Computer wetenschappers werken aan deze harde-for-computers-easy-for-menselijke taken, daarom, realiseerde zich dat ze konden onder meer mensen in hun computationele proces. Hier is hoe Luis von Ahn (2005) beschreven menselijke berekening toen hij voor het eerst de term in zijn proefschrift bedacht: ". Een paradigma voor het gebruik van menselijke rekenkracht om problemen op te lossen die computers nog niet kunnen oplossen"

Figuur 5.13: Voor sommige taken computers zijn geweldig, meer dan de capaciteit van de menselijke experts. Maar voor andere taken, gewone mensen kunnen zelfs geavanceerde computers systemen overtreffen. Grootschalige problemen die taken die moeilijk computers gemakkelijk voor mensen, vertonen zeer geschikt zijn voor menselijke berekening. Gebruik volgens de hier beschreven voorwaarden: http://xkcd.com/license.html

Volgens deze definitie Foldit-die ik beschreven in het hoofdstuk over open oproepen-kan worden beschouwd als een menselijke berekening project. Maar ik kiezen om Foldit categoriseren als een open gesprek, omdat het vereist gespecialiseerde vaardigheden en het neemt de beste oplossing in plaats bijgedragen dan met behulp van een split-toepassing-combineren strategie.

Voor een uitstekend boek lengte behandeling van menselijke berekening, in de meest algemene zin van het woord, zie Law and Ahn (2011) . Hoofdstuk 3 van de Law and Ahn (2011) heeft een interessante discussie van meer complexe combineren stappen dan die welke in dit hoofdstuk.

De term "split-toepassing-combineren" werd gebruikt door Wickham (2011) een strategie voor statistische berekeningen te beschrijven, maar het perfect vangt het proces van vele menselijke berekening projecten. De split-toepassing-combineren strategie is vergelijkbaar met de MapReduce framework ontwikkeld op Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Twee slimme menselijke berekening projecten die ik niet de ruimte had om te bespreken zijn de ESP Game (Ahn and Dabbish 2004) en reCAPTCHA (Ahn et al. 2008) . Beide projecten gevonden creatieve manieren om de deelnemers te motiveren om labels te bieden op de beelden. Echter, beide van deze projecten stelden ook ethische vragen, omdat, in tegenstelling tot de Galaxy Zoo, deelnemers aan de ESP Game en reCAPTCHA wisten niet hoe hun gegevens werd gebruikt (Lung 2012; Zittrain 2008) .

Geïnspireerd door de ESP Game, hebben veel onderzoekers geprobeerd om anderen te "spelen met een doel" te ontwikkelen (Ahn and Dabbish 2008) (dat wil zeggen, "menselijk-gebaseerde berekening games" (Pe-Than, Goh, and Lee 2015) ), die kunnen worden gebruikt om een ​​verscheidenheid van andere problemen. Wat deze "games met een doel" gemeen hebben is dat ze proberen om de taken die betrokken zijn bij de menselijke berekening aangenamer te maken. Dus, terwijl de ESP Game deelt dezelfde split-toepassing-combineren structuur met Galaxy Zoo, het verschilt in de manier waarop de deelnemers gemotiveerd-fun vs. verlangen om wetenschap te helpen.

Mijn beschrijving van Galaxy Zoo is gebaseerd op Nielsen (2012) , Adams (2012) , Clery (2011) en Hand (2010) , en mijn presentatie van het onderzoek doelstellingen van Galaxy Zoo werd vereenvoudigd. Voor meer informatie over de geschiedenis van de melkweg de indeling in de sterrenkunde en hoe Galaxy Zoo zet deze traditie voort, zie Masters (2012) en Marshall, Lintott, and Fletcher (2015) . Voortbouwend op Galaxy Zoo, de onderzoekers voltooide Galaxy Zoo 2, die meer dan 60 miljoen meer complexe morfologische classificaties verzameld uit vrijwilligers (Masters et al. 2011) . Verder, vertakt ze in de problemen buiten de melkweg morfologie, waaronder het verkennen van het oppervlak van de maan, op zoek naar planeten, en het transcriberen van oude documenten. Op dit moment zijn al hun projecten verzameld op www.zooniverse.org (Cox et al. 2015) . Een van de projecten-Snapshot Serengeti-levert het bewijs dat de Galaxy Zoo-type image classificatie-projecten ook kan worden gedaan voor milieuonderzoek (Swanson et al. 2016) .

Voor onderzoekers van plan om een micro-task arbeidsmarkt (bijvoorbeeld Amazon Mechanical Turk) gebruiken voor een menselijke berekening project, Chandler, Paolacci, and Mueller (2013) en Wang, Ipeirotis, and Provost (2015) bieden een goed advies op de taak het ontwerp en de andere gerelateerde onderwerpen.

Onderzoekers die geïnteresseerd zijn in het creëren van wat ik de tweede generatie menselijke berekening systemen heb genoemd (bijvoorbeeld systemen die menselijke labels gebruiken om een machine learning model te trainen) misschien wel interesse zou in Shamir et al. (2014) (voor een voorbeeld met behulp van audio) en Cheng and Bernstein (2015) . Ook kunnen deze projecten worden uitgevoerd met open gesprekken, waarbij onderzoekers concurreren om zelflerende modellen te maken met de grootste voorspellende prestaties. Bijvoorbeeld, de Galaxy Zoo team liep een open oproep en vond een nieuwe benadering die de ene ontwikkeld in overtrof Banerji et al. (2010) ; zie Dieleman, Willett, and Dambre (2015) voor meer informatie.

• Open oproepen (paragraaf 5.3)

Open gesprekken zijn niet nieuw. In feite, een van de meest bekende open uitnodigingen gaat terug tot 1714 toen Groot-Brittannië van het Parlement gecreëerd De Longitude Prize voor iedereen die een manier om de lengte van een schip te bepalen op zee zou kunnen ontwikkelen. Het probleem stumped veel van de grootste wetenschappers van de dag, met inbegrip van Isaac Newton, en de winnende oplossing werd uiteindelijk ingediend door een klokkenmaker van het platteland die het probleem anders wetenschappers die waren gericht op een oplossing die een of andere manier de astronomie zou betekenen benaderd (Sobel 1996) . Zoals dit voorbeeld illustreert, een reden dat open oproepen wordt gedacht dat ze zo goed werken is dat ze toegang te bieden aan mensen met verschillende perspectieven en vaardigheden (Boudreau and Lakhani 2013) . Zie Hong and Page (2004) en de Page (2008) voor meer informatie over de waarde van diversiteit in het oplossen van problemen.

Elk van de open oproep gevallen in het hoofdstuk vereist een beetje verdere verklaring voor waarom het hoort in deze categorie. In de eerste plaats een manier waarop ik onderscheid tussen menselijke berekening en open oproep projecten of de uitgang is een gemiddelde van alle oplossingen (menselijke berekening) of de beste oplossing (open oproep). De Netflix Prize is een beetje lastig in dit opzicht, omdat de beste oplossing bleek een verfijnde gemiddelde van individuele oplossingen, een benaderde heet een ensemble-oplossing (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Vanuit het perspectief van Netflix, maar alles wat ze moesten doen was kiezen de beste oplossing.

Ten tweede, sommige definities van humane berekening (bijvoorbeeld Von Ahn (2005) ), Foldit moet als menselijke berekening project. Maar ik kiezen om Foldit categoriseren als een open gesprek, omdat het vereist gespecialiseerde vaardigheden en het neemt de beste oplossing bijgedragen, in plaats van een split-toepassing-combineren strategie.

Ten slotte kan men stellen dat peer-to-octrooi een voorbeeld van verdeelde gegevensverzameling. Ik kies op te nemen als een open gesprek, omdat het heeft een wedstrijd-achtige structuur en alleen de beste bijdragen worden gebruikt (terwijl met gedistribueerde het verzamelen van gegevens, het idee van goede en slechte bijdragen is minder duidelijk).

Voor meer informatie over de Netflix Prize, zie Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , en Feuerverger, He, and Khatri (2012) . Voor meer informatie over Foldit zien, Cooper et al. (2010) , Andersen et al. (2012) , en Khatib et al. (2011) ; mijn beschrijving van Foldit is gebaseerd op beschrijvingen in Nielsen (2012) , Bohannon (2009) en Hand (2010) . Voor meer informatie over peer-to-octrooi, zie Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , en Noveck (2009) .

Vergelijkbaar met de resultaten van Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , hoofdstuk 10 rapporten grote winsten in de productiviteit van de huisvesting inspecteurs in New York bij de controles worden geleid door voorspellende modellen. In New York City, werden deze voorspellende modellen gebouwd door de stad werknemers, maar in andere gevallen, zou men kunnen denken dat ze kunnen worden gecreëerd of verbeterd met open gesprekken (bijv Glaeser et al. (2016) ). Echter, een groot probleem met voorspellende modellen worden gebruikt om middelen is dat de modellen het potentieel hebben om bestaande vooroordelen versterken. Veel onderzoekers weten al "garbage in, garbage out", en met voorspellende modellen kan worden "bias in, bias out." Ziet u Barocas and Selbst (2016) en O'Neil (2016) voor meer informatie over de gevaren van voorspellende modellen gebouwd met bevooroordeelde trainingsgegevens.

Een van de problemen die kunnen voorkomen dat de regeringen van het gebruik van een openbare prijsvraag is dat het gegevens release, die kunnen leiden tot privacy schendingen. Voor meer informatie over privacy en de gegevens release in open oproepen zie Narayanan, Huey, and Felten (2016) en de bespreking in hoofdstuk 6.

• Distributed het verzamelen van gegevens (paragraaf 5.4)

Mijn beschrijving van eBird is gebaseerd op beschrijvingen in Bhattacharjee (2005) en Robbins (2013) . Voor meer informatie over hoe onderzoekers gebruik van statistische modellen om eBird gegevens te analyseren zien Hurlbert and Liang (2012) en Fink et al. (2010) . Voor meer informatie over de geschiedenis van de burger in de wetenschap ornothology, zie Greenwood (2007) .

Voor meer informatie over het Malawi Journals Project, zie Watkins and Swidler (2009) en Kaler, Watkins, and Angotti (2015) . En voor meer informatie over een gerelateerd project in Zuid-Afrika, zie Angotti and Sennott (2015) . Voor meer voorbeelden van onderzoek met behulp van gegevens van het Malawi Journals Project zien Kaler (2004) en Angotti et al. (2014) .

• Het ontwerpen van uw eigen (paragraaf 5.5)

Mijn benadering van het aanbieden van het ontwerp advies was inductieve, op basis van de voorbeelden van succesvolle en mislukte massasamenwerking projecten die ik heb gehoord over. Er is ook een stroom onderzoek pogingen algemenere sociaalpsychologische theorieën gemachtigd ontwerpen online communities betrekking tot het ontwerp van massasamenwerking relevante rij is, zie bijvoorbeeld, Kraut et al. (2012) .

Ten aanzien van het motiveren van deelnemers, het is eigenlijk heel lastig om erachter te komen precies de reden waarom mensen deelnemen aan massa samenwerkingsprojecten (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Als u van plan bent om de deelnemers te motiveren met betaling op een micro-task arbeidsmarkt (bijvoorbeeld Amazon Mechanical Turk) Kittur et al. (2013) biedt een aantal adviezen.

Met betrekking tot waardoor verrassing, voor meer voorbeelden van onverwachte ontdekkingen die uit Zoouniverse projecten, zie Marshall, Lintott, and Fletcher (2015) .

Met betrekking tot zijn ethische, een aantal goede algemene inleidingen op de problematiek zijn Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , en Zittrain (2008) . Voor problemen die specifiek met betrekking tot juridische problemen met menigte medewerkers, zie Felstiner (2011) . O'Connor (2013) richt zich op vragen over ethische toezicht van het onderzoek, wanneer de rollen van onderzoekers en deelnemers vervagen. Voor kwesties met betrekking tot het delen van gegevens, terwijl de bescherming participats in burger wetenschappelijke projecten, zie Bowser et al. (2014) . Beide Purdam (2014) en de Windt and Humphreys (2016) hebben enkele discussie over de ethische kwesties in gedistribueerde het verzamelen van gegevens. Tot slot, de meeste projecten erkennen bijdragen maar auteurschap krediet niet geven aan de deelnemers. In Foldit, worden de Foldit spelers vaak vermeld als auteur (Cooper et al. 2010; Khatib et al. 2011) . In andere open oproep projecten, kan het winnende inzender schrijven vaak een paper over hun oplossingen (bijvoorbeeld Bell, Koren, and Volinsky (2010) en Dieleman, Willett, and Dambre (2015) ). In het Galaxy Zoo familie van projecten, zijn zeer actieve en belangrijke medewerkers soms uitgenodigd om co-auteurs op papier zijn. Bijvoorbeeld, Ivan Terentev en Tim Matorny, twee Radio Galaxy Zoo deelnemers uit Rusland, waren co-auteurs van een van de kranten, dat is ontstaan ​​uit dat project (Banfield et al. 2016; Galaxy Zoo 2016) .