ytterligare kommentarer
Detta avsnitt är utformat för att användas som en referens, i stället för att läsas som en berättelse.
- Inledning (avsnitt 5.1)
Mass samarbete blandar idéer från medborgare vetenskap, crowdsourcing och kollektiv intelligens. Citizen vetenskap innebär vanligen med "medborgare" (dvs icke-vetenskapsmän) i den vetenskapliga processen (Crain, Cooper, and Dickinson 2014) . Crowdsourcing betyder oftast tar ett problem vanligtvis lösas inom en organisation och i stället lägga ut den till en folkmassa (Howe 2009) . Kollektiv intelligens betyder oftast grupper av individer som agerar kollektivt på ett sätt som verkar intelligent (Malone and Bernstein 2015) . Nielsen (2012) är en underbar bok längd introduktion till kraften i mass samarbete för vetenskaplig forskning.
Det finns många typer av massa samarbete som inte passar in i de tre kategorierna som jag föreslagit, och jag tror att tre förtjänar särskild uppmärksamhet eftersom de kan vara användbara i social forskning vid någon tidpunkt. Ett exempel är förutsägelse marknader, där deltagarna köper och handelsavtal som inlösas baserat på resultat som inträffar i världen (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Förutsäga marknader används ofta av företag och regeringar för prognoser, och förutsäga marknader har också använts av sociala forskare för att förutsäga replikerbarhet publicerade studier i psykologi (Dreber et al. 2015) .
Ett annat exempel som inte passar väl in i min kategoriseringsschema är polymath-projektet, där forskare samarbetade med hjälp av bloggar och wikis för att bevisa nya matematiska teorem (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Den polymath-projektet är på vissa sätt liknar Netflix Priset, men i polymath projektdeltagarna mer aktivt byggt på dellösningar andras.
Ett tredje exempel som inte passar väl in i min kategoriseringsschema är tidsberoende mobilisering såsom Defense Advanced Research Projects Agency (DARPA) Network Challenge (dvs den röda ballongen Challenge). För mer information om dessa tidskänsliga mobiliseringar se Pickard et al. (2011) , Tang et al. (2011) , och Rutherford et al. (2013) .
- Human beräkning (avsnitt 5.2)
Uttrycket "humant beräkning" kommer ut ur arbete datavetare, och förstå sammanhanget bakom denna forskning kommer att förbättra din förmåga att plocka ut problem som kan vara mottagliga för det. För vissa uppgifter, datorer är otroligt kraftfull med kapacitet som vida överstiger även expert människor. Till exempel i schack, kan datorer slå även de bästa stormästare. Men-och detta är mindre väl uppskattas av samhällsvetare-för andra uppgifter, datorer är faktiskt mycket värre än människor. Med andra ord, just nu är du bättre än även de mest sofistikerade dator vissa uppgifter som innebär bearbetning av bilder, video, ljud och text. Sålunda som illustrerades av en underbar XKCD cartoon-det finns uppgifter som är lätta för datorer och svårt för människor, men det finns också uppgifter som är svåra för datorer och lätt för människor (Figur 5.13). Dator forskare som arbetar på dessa hårt för datorer-lätt för mänskliga uppgifter, därför insåg att de skulle kunna omfatta människor i deras beräknings process. Här är hur Luis von Ahn (2005) beskrev mänsklig beräkning när han först myntade termen i sin avhandling ". Ett paradigm för att utnyttja människors processorkraft för att lösa problem som datorer ännu inte kan lösa"
Figur 5.13: För vissa uppgifter datorer är fantastiska, som överstiger förmågan hos mänskliga experter. Men för andra uppgifter, kan vanliga människor överträffar även sofistikerade datorsystem. Storskaliga problem som innebär uppgifter som är svåra för datorer och lätt för människor är väl lämpade för mänsklig beräkning. Användas i enlighet med villkoren som beskrivs här: http://xkcd.com/license.html
Genom denna definition Foldit-som jag beskrev i avsnittet om öppna samtal, kan betraktas som en mänsklig beräkning projekt. Men jag väljer att kategorisera Foldit som ett öppet samtal eftersom det kräver specialkunskaper och det tar den bästa lösningen bidrog istället för att använda en delad apply-kombinera strategi.
För en utmärkt bok längd behandling av mänsklig beräkning, i den mest allmänna bemärkelse, se Law and Ahn (2011) . Kapitel 3 i Law and Ahn (2011) har en intressant diskussion om mer komplexa kombinerar steg än de i detta kapitel.
Termen "split-apply-kombinera" användes av Wickham (2011) för att beskriva en strategi för statistiska beräkningar, men det fångar perfekt processen för många mänskliga beräkningsprojekt. Uppdelningen-apply-kombinera strategi liknar MapReduce ram som utvecklats på Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Två smarta mänskliga beräkningsprojekt som jag inte har utrymme att diskutera är ESP Game (Ahn and Dabbish 2004) och reCAPTCHA (Ahn et al. 2008) . Båda dessa projekt funnit kreativa sätt att motivera deltagarna att ge etiketter på bilderna. Men båda dessa projekt också upp etiska frågor eftersom den till skillnad Galaxy Zoo, gjorde deltagarna i ESP spelet och reCAPTCHA inte vet hur deras data används (Lung 2012; Zittrain 2008) .
Inspirerad av ESP spel, har många forskare försökt att utveckla andra "spel med ett syfte" (Ahn and Dabbish 2008) (det vill säga, "människa-baserad beräknings spel" (Pe-Than, Goh, and Lee 2015) ) som kan vara användas för att lösa en mängd olika andra problem. Vad dessa "spel med ett syfte" har gemensamt är att de försöker göra de uppgifter som ingår i människans beräkning njutbar. Således, medan ESP spel delar samma split-apply-kombinera struktur med Galaxy Zoo, skiljer det i hur deltagarna är motiverade-kul kontra önskan att hjälpa vetenskapen.
Min beskrivning av Galaxy Zoo bygger på Nielsen (2012) , Adams (2012) , Clery (2011) , och Hand (2010) , och min presentation av forsknings mål Galaxy Zoo förenklades. För mer information om historien av galaxen klassificering i astronomi och hur Galaxy Zoo fortsätter denna tradition, se Masters (2012) och Marshall, Lintott, and Fletcher (2015) . Byggnad på Galaxy Zoo, forskarna avslutade Galaxy Zoo 2 som samlats in mer än 60 miljoner mer komplexa morfologiska klassificeringar från frivilliga (Masters et al. 2011) . Vidare, grenade de ut på problem utanför galaxen morfologi inklusive utforska månens yta, söka efter planeter, och transkribera gamla dokument. För närvarande är alla sina projekt samlas på www.zooniverse.org (Cox et al. 2015) . Ett av projekten-snapshot Serengeti-visar att Galaxy Zoo-type image klassificerings projekt också kan göras för miljöforskning (Swanson et al. 2016) .
För forskare planerar att använda en mikro uppgift arbetsmarknaden (t.ex. Amazon Mechanical Turk) för en människa beräkningsprojekt, Chandler, Paolacci, and Mueller (2013) och Wang, Ipeirotis, and Provost (2015) ger goda råd på uppgiften konstruktion och andra relaterade frågor.
Forskare som är intresserade av att skapa vad jag har kallat andra generationens mänskliga beräkningssystem (t.ex. system som använder mänskliga etiketter för att utbilda en maskininlärningsmodell) kan vara intresserade av Shamir et al. (2014) (för ett exempel med ljud) och Cheng and Bernstein (2015) . Dessutom kan dessa projekt göras med öppna samtal, där forskare konkurrerar om att skapa maskininlärning modeller med störst prediktiv prestanda. Till exempel sprang Galaxy Zoo laget ett öppet samtal och fann en ny metod som utvecklades bättre än en som utvecklats i Banerji et al. (2010) ; se Dieleman, Willett, and Dambre (2015) för mer information.
- Öppna samtal (avsnitt 5.3)
Öppna samtal är inte ny. I själva verket är en av de mest välkända öppna samtal går tillbaka till 1714 när brittiska parlamentet skapade The Longitud Priset för någon som kunde utveckla ett sätt att bestämma longituden av ett fartyg till sjöss. Problemet stumped många av de största vetenskapsmännen i dagarna, inklusive Isaac Newton, och den vinnande lösningen så småningom in av en urmakare från landsbygden som närmade sig problemet på olika sätt från forskare som var inriktade på en lösning som på något sätt skulle innebära astronomi (Sobel 1996) . Som detta exempel visar, är en anledning till att öppna samtal tänkt att fungera så bra att de ger tillgång till människor med olika perspektiv och färdigheter (Boudreau and Lakhani 2013) . Se Hong and Page (2004) och Page (2008) för mer om värdet av mångfald i problemlösning.
Var och en av de öppna samtalsfall i kapitlet kräver lite ytterligare förklaring till varför det hör hemma i denna kategori. För det första är ett sätt som jag skilja mellan mänsklig beräkning och öppna samtals projekt om utgången är ett genomsnitt av alla lösningar (human beräkning) eller den bästa lösningen (öppen ansökningsomgång). Netflix Priset är lite knepigt i detta avseende, eftersom den bästa lösningen visade sig vara en sofistikerad genomsnittet av enskilda lösningar, en närmade kallas en ensemble lösning (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Ur Netflix, men allt de hade att göra var plocka den bästa lösningen.
För det andra, av vissa definitioner av mänsklig beräkning (t.ex. Von Ahn (2005) ), Foldit bör betraktas som en mänsklig beräkning projekt. Men jag väljer att kategorisera Foldit som ett öppet samtal eftersom det kräver specialkunskaper och det tar den bästa lösningen bidrog istället för att använda en delad apply-kombinera strategi.
Slutligen skulle man kunna hävda att är peer-to-patent ett exempel på insamling distribuerade data. Jag väljer att inkludera det som ett öppet samtal eftersom det har en tävling liknande struktur och endast de bästa bidragen används (medan med insamling distribuerad data är mindre klart idén om goda och dåliga bidrag).
För mer information om Netflix Priset, se Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , och Feuerverger, He, and Khatri (2012) . För mer information om Foldit se Cooper et al. (2010) , Andersen et al. (2012) , och Khatib et al. (2011) ; min beskrivning av Foldit bygger på beskrivningar i Nielsen (2012) , Bohannon (2009) , och Hand (2010) . För mer information om peer-to-patent, se Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , och Noveck (2009) .
Liknar resultaten av Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , kapitel 10 rapporter stora vinster i produktivitet bostäder inspektörer i New York när inspektioner styrs av prediktiva modeller. I New York, var dessa prediktiva modeller byggda av stadens anställda, men i andra fall kan man tänka sig att de skulle kunna skapas eller förbättras med öppna samtal (t.ex. Glaeser et al. (2016) ). Men det är ett stort problem med prediktiva modeller som används för att allokera resurser att modellerna har potential att förstärka befintliga fördomar. Många forskare redan vet "skräp in, skräp ut", och med prediktiva modeller kan det vara "bias i, partiskhet ut." Se Barocas and Selbst (2016) och O'Neil (2016) för mer om farorna med prediktiva modeller byggda med partiska träningsdata.
Ett problem som kan hindra regeringar från att använda öppna tävlingar är att det kräver data release, vilket kan leda till kränkningar av privatlivet. För mer information om sekretess och data frisättning i öppna samtal se Narayanan, Huey, and Felten (2016) och diskussionen i kapitel 6.
- Insamling Distribuerad uppgifter (avsnitt 5.4)
Min beskrivning av eBird bygger på beskrivningar i Bhattacharjee (2005) och Robbins (2013) . För mer information om hur forskare använder statistiska modeller för att analysera eBird data se Hurlbert and Liang (2012) och Fink et al. (2010) . För mer information om historia medborgarnas vetenskap i ornothology, se Greenwood (2007) .
För mer information om Malawi Journals Project, se Watkins and Swidler (2009) och Kaler, Watkins, and Angotti (2015) . Och för mer information om en närstående projekt i Sydafrika, se Angotti and Sennott (2015) . För fler exempel på forskning med hjälp av data från Malawi Journals Project se Kaler (2004) och Angotti et al. (2014) .
- Designa din egen (avsnitt 5.5)
Min strategi att erbjuda konstruktion råd var induktiva, baserat på de exempel på lyckade och misslyckade mass samarbetsprojekt som jag har hört talas om. Det finns också en ström av forskning försöker att tillämpa allmänna socialpsykologiska teorier utforma online-grupper som är relevant för utformningen av mass projekt samarbete, se till exempel, Kraut et al. (2012) .
Beträffande motiverande deltagare är det faktiskt ganska svårt att räkna ut exakt varför människor deltar i mass samarbetsprojekt (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Om du planerar att motivera deltagarna betalning på en mikro uppgift arbetsmarknaden (t.ex. Amazon Mechanical Turk) Kittur et al. (2013) erbjuder några råd.
När det gäller att möjliggöra överraskning, för fler exempel på oväntade upptäckter som kommer ut ur Zoouniverse projekt, se Marshall, Lintott, and Fletcher (2015) .
När det gäller att vara etisk, några bra allmänna introduktioner till de frågor som är Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , och Zittrain (2008) . För frågor som särskilt rör juridiska problem med publiken anställda se Felstiner (2011) . O'Connor (2013) tar upp frågor om etisk kontroll av forskning när roller forskare och deltagare oskärpa. För frågor som rör datadelning och samtidigt skydda participats i medborgar naturvetenskapliga projekt, se Bowser et al. (2014) . Både Purdam (2014) och Windt and Humphreys (2016) har en diskussion om etiska frågor inom insamling distribuerade data. Slutligen, de flesta projekt erkänner bidrag men inte ge författarskap kredit till deltagarna. I Foldit, är Foldit spelarna ofta anges som en författare (Cooper et al. 2010; Khatib et al. 2011) . I andra projekt öppna samtal, kan den vinnande bidrags ofta skriva ett papper som beskriver sina lösningar (t.ex. Bell, Koren, and Volinsky (2010) och Dieleman, Willett, and Dambre (2015) ). I Galaxy Zoo familj av projekt, är mycket aktiva och viktiga bidragsgivare ibland inbjuden att vara medförfattare på papper. Till exempel, Ivan Terentev och Tim Matorny, två Radio Galaxy Zoo deltagare från Ryssland, var medförfattare på en av tidningarna som uppstod från det projektet (Banfield et al. 2016; Galaxy Zoo 2016) .
