Wat moet ik hierna lezen?
- Introductie (paragraaf 5.1)
Massale samenwerking combineert ideeën uit burgerwetenschap , crowdsourcing en collectieve intelligentie . Burgerwetenschap betekent meestal dat 'burgers' (dwz niet-wetenschappers) worden betrokken bij het wetenschappelijke proces; voor meer, zie Crain, Cooper, and Dickinson (2014) en Bonney et al. (2014) . Crowdsourcing betekent meestal het nemen van een probleem dat gewoonlijk binnen een organisatie wordt opgelost en in plaats daarvan wordt uitbesteed aan een menigte; voor meer, zie Howe (2009) . Collectieve intelligentie betekent meestal groepen individuen die gezamenlijk optreden op manieren die intelligent lijken; voor meer, zie Malone and Bernstein (2015) . Nielsen (2012) is een introductie in boeken tot de kracht van massale samenwerking voor wetenschappelijk onderzoek.
Er zijn veel soorten massasamenwerking die niet netjes passen in de drie categorieën die ik heb voorgesteld, en ik denk dat drie daarvan speciale aandacht verdienen, omdat ze nuttig kunnen zijn in sociaal onderzoek. Een voorbeeld zijn voorspellingsmarkten, waar deelnemers contracten kopen en verhandelen die inwisselbaar zijn op basis van uitkomsten die in de wereld plaatsvinden. Voorspelling van markten wordt vaak gebruikt door bedrijven en overheden bij het voorspellen en ze zijn ook gebruikt door sociale onderzoekers om de repliceerbaarheid van gepubliceerde studies in de psychologie te voorspellen (Dreber et al. 2015) . Voor een overzicht van voorspellingsmarkten, zie Wolfers and Zitzewitz (2004) en Arrow et al. (2008) .
Een tweede voorbeeld dat niet goed in mijn categorisatieschema past, is het PolyMath-project, waar onderzoekers samenwerkten met behulp van blogs en wiki's om nieuwe wiskundige stellingen te bewijzen. Het PolyMath-project lijkt in zekere zin op de Netflix-prijs, maar in dit project bouwden de deelnemers actiever op de gedeeltelijke oplossingen van anderen. Voor meer informatie over het PolyMath-project, zie Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) en Kloumann et al. (2016) .
Een derde voorbeeld dat niet goed in mijn categorisatieschema past, is dat van tijdsafhankelijke mobilisaties, zoals de Network Challenge van het Defense Advanced Research Projects Agency (DARPA) (dwz de Red Balloon Challenge). Voor meer informatie over deze tijdsgevoelige mobilisaties, zie Pickard et al. (2011) , Tang et al. (2011) , en Rutherford et al. (2013) .
- Menselijke berekening (sectie 5.2)
De term 'menselijke berekening' komt voort uit werk gedaan door computerwetenschappers, en inzicht in de context achter dit onderzoek zal uw vermogen verbeteren om problemen op te zoeken die er misschien geschikt voor zijn. Voor bepaalde taken zijn computers ongelooflijk krachtig, met mogelijkheden die veel groter zijn dan die van zelfs ervaren mensen. In het schaakspel kunnen computers zelfs de beste grootmeesters verslaan. Maar - en dit wordt minder gewaardeerd door sociale wetenschappers - voor andere taken zijn computers eigenlijk veel erger dan mensen. Met andere woorden, op dit moment ben je beter dan zelfs de meest geavanceerde computer voor bepaalde taken met betrekking tot het verwerken van afbeeldingen, video, audio en tekst. Computerwetenschappers die aan deze moeilijke-voor-computers-gemakkelijk-voor-menselijke taken werkten, realiseerden zich daarom dat ze mensen in hun rekenproces konden opnemen. Hier is hoe Luis von Ahn (2005) menselijke berekening beschreef toen hij de term voor het eerst bedacht in zijn proefschrift: "een paradigma voor het gebruik van menselijke verwerkingskracht om problemen op te lossen die computers nog niet kunnen oplossen." Voor een boek-lengte behandeling van menselijke berekening, in de meest algemene betekenis van het woord, zie Law and Ahn (2011) .
Volgens de definitie die wordt voorgesteld in Ahn (2005) Foldit - dat ik beschreef in het gedeelte over open oproepen - kunnen worden beschouwd als een menselijk rekenproject. Ik heb ervoor gekozen om Foldit te categoriseren als een open call omdat het gespecialiseerde vaardigheden vereist (hoewel niet noodzakelijk een formele training) en het de beste oplossing gebruikt, in plaats van een split-apply-combinatiestrategie te gebruiken.
De term "split-apply-combine" werd gebruikt door Wickham (2011) om een strategie voor statistische gegevensverwerking te beschrijven, maar het beschrijft perfect het proces van veel menselijke rekenprojecten. De split-apply-combinatiestrategie is vergelijkbaar met het MapReduce-framework dat is ontwikkeld door Google; voor meer informatie over MapReduce, zie Dean and Ghemawat (2004) en Dean and Ghemawat (2008) . Zie Vo and Silvia (2016) voor meer informatie over andere gedistribueerde computerarchitecturen. Hoofdstuk 3 van Law and Ahn (2011) bevat een bespreking van projecten met complexere combinatiestappen dan die in dit hoofdstuk.
In de menselijke rekenprojecten die ik in het hoofdstuk heb besproken, waren de deelnemers zich bewust van wat er gebeurde. Sommige andere projecten proberen echter "werk" vast te leggen dat al gebeurt (vergelijkbaar met eBird) en zonder bewustzijn van de deelnemer. Zie bijvoorbeeld de ESP Game (Ahn and Dabbish 2004) en reCAPTCHA (Ahn et al. 2008) . Beide projecten werpen echter ook ethische vragen op omdat deelnemers niet wisten hoe hun gegevens werden gebruikt (Zittrain 2008; Lung 2012) .
Geïnspireerd door de ESP Game, hebben veel onderzoekers geprobeerd andere "games met een doel" te ontwikkelen (Ahn and Dabbish 2008) (dwz "human based computation games" (Pe-Than, Goh, and Lee 2015) ) die kunnen worden gebruikt gebruikt om een verscheidenheid aan andere problemen op te lossen. Wat deze "games met een doel" gemeen hebben, is dat ze proberen de taken die bij de menselijke berekening horen, plezierig te maken. Dus, terwijl ESP Game dezelfde split-apply-combineerstructuur deelt met Galaxy Zoo, verschilt het in hoe deelnemers gemotiveerd zijn-leuk versus verlangen om de wetenschap te helpen. Ahn and Dabbish (2008) voor meer informatie over games met een doel naar Ahn and Dabbish (2008) .
Mijn beschrijving van Galaxy Zoo is gebaseerd op Nielsen (2012) , Adams (2012) , Clery (2011) en Hand (2010) en mijn presentatie van de onderzoeksdoelstellingen van Galaxy Zoo is vereenvoudigd. Voor meer informatie over de geschiedenis van sterrenclassificatie in de astronomie en hoe Galaxy Zoo deze traditie voortzet, zie Masters (2012) en Marshall, Lintott, and Fletcher (2015) . Voortbouwend op Galaxy Zoo voltooiden de onderzoekers Galaxy Zoo 2, die meer dan 60 miljoen meer complexe morfologische classificaties van vrijwilligers verzamelde (Masters et al. 2011) . Verder vertakten ze zich in problemen buiten de morfologie van de sterrenstelsels, waaronder het verkennen van het oppervlak van de maan, het zoeken naar planeten en het transcriberen van oude documenten. Momenteel worden al hun projecten verzameld op de website van Zooniverse (Cox et al. 2015) . Een van de projecten - Snapshot Serengeti - levert bewijs dat projecten van het Galaxy Zoo-type voor beeldclassificatie ook kunnen worden uitgevoerd voor milieuonderzoek (Swanson et al. 2016) .
Voor onderzoekers die van plan zijn om een microtask-arbeidsmarkt te gebruiken (bijvoorbeeld Amazon Mechanical Turk) voor een menselijk rekenproject, bieden Chandler, Paolacci, and Mueller (2013) en J. Wang, Ipeirotis, and Provost (2015) goede adviezen over J. Wang, Ipeirotis, and Provost (2015) en andere gerelateerde problemen. Porter, Verdery, and Gaddis (2016) bieden voorbeelden en adviezen die specifiek zijn toegespitst op het gebruik van microtask-arbeidsmarkten voor wat zij 'gegevensvergroting' noemen. De grens tussen gegevensvergroting en gegevensverzameling is enigszins wazig. Zie Grimmer and Stewart (2013) voor meer informatie over het verzamelen en gebruiken van labels voor begeleid leren voor tekst.
Onderzoekers die geïnteresseerd zijn in het creëren van wat ik computer-geassisteerde menselijke rekensystemen heb genoemd (bijv. Systemen die menselijke labels gebruiken om een machine-leermodel te trainen) kunnen geïnteresseerd zijn in Shamir et al. (2014) (voor een voorbeeld met behulp van audio) en Cheng and Bernstein (2015) . Ook kunnen de machine learning-modellen in deze projecten worden gevraagd met open calls, waarbij onderzoekers concurreren om machineleermodellen met de grootste voorspellende prestaties te creëren. Het team van de Galaxy Zoo bijvoorbeeld, riep een open oproep en vond een nieuwe aanpak die beter was dan de aanpak die is ontwikkeld in Banerji et al. (2010) ; zie Dieleman, Willett, and Dambre (2015) voor details.
- Open oproepen (paragraaf 5.3)
Open oproepen zijn niet nieuw. Een van de meest bekende open oproepen dateert al van 1714 toen het Britse parlement de Longitudeprijs schreef voor iedereen die een manier kon ontwikkelen om de lengtegraad van een schip op zee te bepalen. Het probleem stumped veel van de grootste wetenschappers van de tijd, inclusief Isaac Newton, en de winnende oplossing werd uiteindelijk ingediend door John Harrison, een klokkenmaker uit het platteland die het probleem anders benaderde dan wetenschappers die gefocust waren op een oplossing die op de een of andere manier de astronomie zou betrekken ; voor meer informatie, zie Sobel (1996) . Zoals dit voorbeeld illustreert, is een reden dat open oproepen zo goed werken, is dat ze toegang bieden aan mensen met verschillende perspectieven en vaardigheden (Boudreau and Lakhani 2013) . Zie Hong and Page (2004) en Page (2008) voor meer over de waarde van diversiteit bij het oplossen van problemen.
Elk van de open call-gevallen in het hoofdstuk vereist een beetje verdere uitleg waarom het in deze categorie thuishoort. Ten eerste, een manier die ik onderscheid tussen menselijke berekening en open call-projecten is of de output een gemiddelde is van alle oplossingen (menselijke berekening) of de beste oplossing (open oproep). De Netflix-prijs is wat lastig in dit opzicht, omdat de beste oplossing een uitgekiend gemiddelde van individuele oplossingen bleek te zijn, een benadering die een ensemble-oplossing wordt genoemd (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Vanuit het perspectief van Netflix was alles wat ze moesten doen de beste oplossing kiezen. Voor meer informatie over de Netflix-prijs, zie Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , en Feuerverger, He, and Khatri (2012) .
Ten tweede moet Foldit volgens sommige definities van menselijke berekening (bijv. Ahn (2005) ) als een menselijk rekenproject worden beschouwd. Ik kies er echter voor om het te classificeren als een open call omdat het gespecialiseerde vaardigheden vereist (hoewel niet noodzakelijk gespecialiseerde training) en het de beste oplossing vereist, in plaats van een split-apply-combineerstrategie te gebruiken. Voor meer informatie over Foldit, Cooper et al. (2010) , Khatib et al. (2011) en Andersen et al. (2012) ; mijn beschrijving van Foldit is gebaseerd op beschrijvingen in Bohannon (2009) , Hand (2010) en Nielsen (2012) .
Ten slotte zou men kunnen stellen dat Peer-to-Patent een voorbeeld is van gedistribueerde gegevensverzameling. Ik kies ervoor om het op te nemen als een open oproep omdat het een wedstrijdachtige structuur heeft en alleen de beste bijdragen worden gebruikt, terwijl bij gedistribueerde gegevensverzameling het idee van goede en slechte bijdragen minder duidelijk is. Zie Noveck (2006) , Ledford (2007) , Noveck (2009) en Bestor and Hamp (2010) voor meer informatie over peer-to-patent.
In termen van het gebruik van open oproepen in sociaal onderzoek, resultaten vergelijkbaar met die van Glaeser et al. (2016) , worden gerapporteerd in hoofdstuk 10 van Mayer-Schönberger and Cukier (2013) waarbij New York City voorspellende modellen kon gebruiken om grote winst te boeken in de productiviteit van huisvestingsinspecteurs. In New York City werden deze voorspellende modellen gebouwd door stadsmedewerkers, maar in andere gevallen kon men zich voorstellen dat ze konden worden gecreëerd of verbeterd met open oproepen (bijv. Glaeser et al. (2016) ). Eén groot punt van zorg met voorspellende modellen die worden gebruikt om middelen toe te wijzen, is echter dat deze modellen de potentie hebben om bestaande vooroordelen te versterken. Veel onderzoekers weten al "vuilnis in, vuilnis buiten" en met voorspellende modellen kan het "vooringenomen, vooringenomen" zijn. Zie Barocas and Selbst (2016) en O'Neil (2016) voor meer over de gevaren van voorspellende modellen gebouwd met vooringenomen trainingsgegevens.
Een probleem dat overheden zou kunnen verhinderen open wedstrijden te gebruiken, is dat hiervoor gegevens moeten worden vrijgegeven, wat kan leiden tot schendingen van de privacy. Zie Narayanan, Huey, and Felten (2016) en de discussie in hoofdstuk 6 voor meer informatie over privacy en datapublicatie bij open oproepen.
Voor meer informatie over de verschillen en overeenkomsten tussen voorspelling en uitleg, zie Breiman (2001) , Shmueli (2010) , Watts (2014) en Kleinberg et al. (2015) . Voor meer informatie over de rol van voorspelling in sociaal onderzoek, zie Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , en Yarkoni and Westfall (2017) .
Voor een overzicht van open call-projecten in de biologie, inclusief ontwerpadvies, zie Saez-Rodriguez et al. (2016) .
- Gedistribueerde gegevensverzameling (paragraaf 5.4)
Mijn beschrijving van eBird is gebaseerd op beschrijvingen in Bhattacharjee (2005) , Robbins (2013) en Sullivan et al. (2014) . Voor meer informatie over hoe onderzoekers statistische modellen gebruiken om eBird-gegevens te analyseren, zie Fink et al. (2010) en Hurlbert and Liang (2012) . Voor meer informatie over het schatten van de vaardigheden van eBird-deelnemers, zie Kelling, Johnston, et al. (2015) . Voor meer informatie over de geschiedenis van burgerwetenschap in de ornithologie, zie Greenwood (2007) .
Voor meer informatie over het Malawi Journals Project, zie Watkins and Swidler (2009) en Kaler, Watkins, and Angotti (2015) . Voor meer informatie over een gerelateerd project in Zuid-Afrika, zie Angotti and Sennott (2015) . Voor meer voorbeelden van onderzoek met behulp van gegevens uit het Malawi Journals Project, zie Kaler (2004) en Angotti et al. (2014) .
- Je eigen ontwerpen (paragraaf 5.5)
Mijn aanpak om ontwerpadviezen te geven was inductief, gebaseerd op de voorbeelden van succesvolle en mislukte massasamenwerkingsprojecten waar ik van gehoord heb. Er is ook een stroom van onderzoekspogingen geweest om meer algemene sociaalpsychologische theorieën toe te passen bij het ontwerpen van online communities die relevant zijn voor het ontwerpen van massale samenwerkingsprojecten, zie bijvoorbeeld Kraut et al. (2012) .
Wat betreft het motiveren van deelnemers, is het eigenlijk best lastig om erachter te komen waarom mensen deelnemen aan massale samenwerkingsprojecten (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Als u deelnemers wilt motiveren met betaling op een microtaken arbeidsmarkt (bijv. Amazon Mechanical Turk), Kittur et al. (2013) geeft wat advies.
Voor meer verrassingen, meer voorbeelden van onverwachte ontdekkingen uit projecten van Zooiverse, zie Marshall, Lintott, and Fletcher (2015) .
Met betrekking tot ethisch gedrag zijn enkele goede algemene introducties van de betrokken kwesties Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) en Zittrain (2008) . Zie Felstiner (2011) voor kwesties die specifiek verband houden met juridische kwesties met crowd-werknemers. O'Connor (2013) op vragen over ethisch toezicht op onderzoek wanneer de rollen van onderzoekers en deelnemers vervagen. Zie Bowser et al. (2014) Voor informatie over het delen van gegevens en het beschermen van deelnemers aan burgerwetenschappelijke projecten Bowser et al. (2014) . Zowel Purdam (2014) en Windt and Humphreys (2016) hebben enige discussie over de ethische kwesties in gedistribueerde gegevensverzameling. Ten slotte erkennen de meeste projecten bijdragen, maar geven ze geen auteurskrediet aan deelnemers. In Foldit worden de spelers vaak vermeld als auteur (Cooper et al. 2010; Khatib et al. 2011) . In andere open call-projecten kan de winnende bijdrager vaak een paper schrijven waarin hun oplossingen worden beschreven (bijvoorbeeld Bell, Koren, and Volinsky (2010) en Dieleman, Willett, and Dambre (2015) ).
