Vad läser nästa

• Introduktion (avsnitt 5.1)

Masssamarbete blandar idéer från medborgarvetenskap , crowdsourcing och kollektiv intelligens . Medborgarvetenskap betyder oftast att "medborgare" (dvs. icke-vetenskapsmän) ingår i den vetenskapliga processen. för mer, se Crain, Cooper, and Dickinson (2014) och Bonney et al. (2014) . Crowdsourcing innebär vanligtvis att man löser ett problem som vanligtvis löses inom en organisation och istället outsourcar det till en publik. för mer, se Howe (2009) . Kollektiv intelligens betyder vanligtvis grupper av individer som agerar kollektivt på sätt som verkar intelligenta; för mer, se Malone and Bernstein (2015) . Nielsen (2012) är en boklängds introduktion till kraften i masssamarbete för vetenskaplig forskning.

Det finns många typer av masssamarbete som inte passar in i de tre kategorier som jag har föreslagit, och jag tror att tre av dessa förtjänar särskild uppmärksamhet, eftersom de kan vara användbara i social forskning. Ett exempel är förutsägelsesmarknader där deltagare köper och handlar avtal som kan lösas utifrån resultat som uppstår i världen. Förutsägande marknader används ofta av företag och regeringar för prognoser, och de har också använts av sociala forskare för att förutsäga replikabiliteten hos publicerade studier i psykologi (Dreber et al. 2015) . För en översikt över förutsägelsemarknader, se Wolfers and Zitzewitz (2004) och Arrow et al. (2008) .

Ett annat exempel som inte passar bra in i mitt kategoriseringsschema är PolyMath-projektet, där forskare samarbetade med bloggar och wikier för att bevisa nya matematiska teorier. PolyMath-projektet liknar på något sätt Netflix-priset, men i detta projekt deltog deltagarna mer aktivt på andras partiella lösningar. För mer om PolyMath-projektet, se Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) och Kloumann et al. (2016) .

Ett tredje exempel som inte passar bra in i mitt kategoriseringsschema är det för tidsberoende mobiliseringar, t.ex. DARPA-nätverksutmaningen (dvs. Red Balloon Challenge). För mer om dessa tidskänsliga mobiliseringar, se Pickard et al. (2011) , Tang et al. (2011) och Rutherford et al. (2013) .

• Mänsklig beräkning (avsnitt 5.2)

Uttrycket "mänsklig beräkning" kommer ut ur det arbete som utförs av datavetenskapare, och förståelsen av sammanhanget bakom denna forskning kommer att förbättra din förmåga att välja ut problem som kan passa det. För vissa uppgifter är datorerna oerhört kraftfulla, med kapacitet som överstiger de som till och med expertpersoner. Till exempel, i schack kan datorer slå även de bästa stormästarna. Men - och detta är mindre väl uppskattat av samhällsvetenskapliga - för andra uppgifter är datorer faktiskt mycket sämre än människor. Med andra ord, just nu är du bättre än ens den mest sofistikerade datorn vid vissa uppgifter som innefattar bearbetning av bilder, video, ljud och text. Datavetenskapare som arbetar med dessa hård-för-datorer-lätt-för-mänskliga uppgifter insåg därför att de kunde inkludera människor i sin beräkningsprocess. Så här beskriver Luis von Ahn (2005) mänsklig beräkning när han för första gången formulerade termen i sin avhandling: "Ett paradigm för att utnyttja mänsklig bearbetningskraft för att lösa problem som datorer inte kan lösa." För en boklängdsbehandling av mänsklig beräkning, i Den mest allmänna betydelsen av termen, se Law and Ahn (2011) .

Enligt definitionen i Ahn (2005) Foldit - som jag beskrivit i avsnittet om öppna samtal - kan betraktas som ett mänskligt beräkningsarbete. Jag väljer emellertid att kategorisera Foldit som ett öppet samtal, eftersom det kräver specialkunskaper (men inte nödvändigtvis formell utbildning) och det tar den bästa lösningen som bidras, snarare än att använda en split-apply-combining-strategi.

Begreppet "split-apply-combine" användes av Wickham (2011) att beskriva en strategi för statistisk databehandling, men det tar perfekt upp processen för många mänskliga beräkningsprojekt. Split-apply-combining-strategin liknar MapReduce-ramen som utvecklats hos Google. för mer på MapReduce, se Dean and Ghemawat (2004) och Dean and Ghemawat (2008) . För mer om andra distribuerade datortekniker, se Vo and Silvia (2016) . Kapitel 3 i Law and Ahn (2011) diskuterar projekt med mer komplexa kombinerade steg än de som beskrivs i detta kapitel.

I de mänskliga beräkningsprojekt som jag har diskuterat i kapitlet var deltagarna medvetna om vad som hände. Några andra projekt försöker dock fånga "arbete" som redan händer (liknar eBird) och utan deltagarnas medvetenhet. Se till exempel ESP-spelet (Ahn and Dabbish 2004) och reCAPTCHA (Ahn et al. 2008) . Båda dessa projekt ger emellertid också etiska frågor eftersom deltagarna inte visste hur deras data användes (Zittrain 2008; Lung 2012) .

Inspirerad av ESP-spelet har många forskare försökt utveckla andra "spel med ett syfte" (Ahn and Dabbish 2008) (dvs. "mänskliga beräkningsspel" (Pe-Than, Goh, and Lee 2015) ) som kan vara brukade lösa en rad andra problem. Vad dessa "spel med ett syfte" har gemensamt är att de försöker göra de uppgifter som är inblandade i mänsklig beräkning roligare. Således, medan ESP Game delar samma split-apply-combinera struktur med Galaxy Zoo, skiljer sig det i hur deltagarna är motiverade-roliga mot att vilja hjälpa vetenskapen. För mer om spel med ett syfte, se Ahn and Dabbish (2008) .

Min beskrivning av Galaxy Zoo drar på Nielsen (2012) , Adams (2012) , Clery (2011) och Hand (2010) , och min presentation av Galaxy Zoos forskningsmål var förenklad. För mer om Galaxy-klassificeringen i astronomi och hur Galaxy Zoo fortsätter denna tradition, se Masters (2012) och Marshall, Lintott, and Fletcher (2015) . Byggd på Galaxy Zoo utförde forskarna Galaxy Zoo 2 som samlade mer än 60 miljoner mer komplexa morfologiska klassificeringar från volontärer (Masters et al. 2011) . Vidare förgrenade de sig till problem utanför galaxmorfologin, inklusive att utforska Månens yta, leta efter planeter och transkribera gamla dokument. För närvarande samlas alla sina projekt på Zooniverses webbplats (Cox et al. 2015) . Ett av projekten - Snapshot Serengeti-ger bevis för att Galaxy Zoo-typ bildklassificeringsprojekt också kan göras för miljöforskning (Swanson et al. 2016) .

För forskare som planerar att använda en mikrotask-arbetsmarknad (t.ex. Amazon Mechanical Turk) för ett mänskligt beräkningsprojekt, Chandler, Paolacci, and Mueller (2013) och J. Wang, Ipeirotis, and Provost (2015) bra råd om uppgiftsdesign och andra relaterade problem. Porter, Verdery, and Gaddis (2016) erbjuder exempel och råd som specifikt riktar sig till användningen av mikrotask-arbetsmarknader för vad de kallar "dataförstoring". Linjen mellan dataförstoring och datainsamling är lite suddig. För mer om att samla och använda etiketter för övervakat lärande för text, se Grimmer and Stewart (2013) .

Forskare som är intresserade av att skapa det jag har kallat datorassisterade mänskliga beräkningssystem (t.ex. system som använder mänskliga etiketter för att utbilda en maskininlärningsmodell) kan vara intresserade av Shamir et al. (2014) (för ett exempel med ljud) och Cheng and Bernstein (2015) . Maskininlärningsmodellerna i dessa projekt kan också begäras med öppna samtal, varigenom forskare tävlar om att skapa maskininlärningsmodeller med störst prediktiv prestanda. Galaxy Zoo-teamet sprang till exempel ett öppet samtal och hittade ett nytt tillvägagångssätt som överträffade den som utvecklats i Banerji et al. (2010) ; se Dieleman, Willett, and Dambre (2015) för detaljer.

• Öppna samtal (avsnitt 5.3)

Öppna samtal är inte nya. Faktum är att en av de mest kända öppna samtalen går tillbaka till 1714 när Storbritanniens parlament skapade längdpriset för alla som kunde utveckla ett sätt att bestämma längden på ett fartyg till sjöss. Problemet stumpade många av dagens största forskare, inklusive Isaac Newton, och den vinnande lösningen lades senast av John Harrison, en urmakare från landsbygden som närmade sig problemet annorlunda än forskare som fokuserade på en lösning som på något sätt skulle involvera astronomi ; För mer information se Sobel (1996) . Som det här exemplet illustrerar är en anledning att öppna samtal tros fungera så bra att de ger tillgång till personer med olika perspektiv och färdigheter (Boudreau and Lakhani 2013) . Se Hong and Page (2004) och Page (2008) för mer om värdet av mångfald vid problemlösning.

Var och en av de öppna samtalsfallen i kapitlet kräver lite mer förklaring till varför den hör hemma i den här kategorin. För det första är det en metod som jag skiljer mellan mänsklig beräkning och öppna samtalsprojekt, om resultatet är ett medelvärde av alla lösningar (mänsklig beräkning) eller den bästa lösningen (öppet samtal). Netflixpriset är något knepigt i det avseendet, eftersom den bästa lösningen visade sig vara ett sofistikerat medelvärde av individuella lösningar, ett tillvägagångssätt kallat en ensemble-lösning (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Ur Netflix perspektiv var allt de behövde välja den bästa lösningen. För mer på Netflix-priset, se Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , och Feuerverger, He, and Khatri (2012) .

För det andra, genom vissa definitioner av mänsklig beräkning (t.ex. Ahn (2005) ), skulle Foldit betraktas som ett mänskligt beräkningsprojekt. Jag väljer emellertid att kategorisera det som ett öppet samtal eftersom det kräver specialkunskaper (men inte nödvändigtvis specialiserad utbildning) och det tar den bästa lösningen, snarare än att använda en split-apply-combining-strategi. För mer på Foldit se, Cooper et al. (2010) , Khatib et al. (2011) och Andersen et al. (2012) ; Min beskrivning av Foldit bygger på beskrivningar i Bohannon (2009) , Hand (2010) och Nielsen (2012) .

Slutligen kan man hävda att Peer-to-Patent är ett exempel på distribuerad datainsamling. Jag väljer att inkludera det som ett öppet samtal eftersom det har en tävlingsliknande struktur och endast de bästa bidragen används, medan det med fördelad datainsamling är tanken på bra och dåliga bidrag mindre tydligt. För mer om Peer-to-Patent, se Noveck (2006) , Ledford (2007) , Noveck (2009) och Bestor and Hamp (2010) .

När det gäller att använda öppna samtal i social forskning, är resultaten liknande Glaeser et al. (2016) redovisas i kapitel 10 i Mayer-Schönberger and Cukier (2013) varigenom New York City kunde använda prediktiv modellering för att producera stora vinster i bostadsinspektörernas produktivitet. I New York City byggdes dessa prediktiva modeller av stadens anställda, men i andra fall kunde man föreställa sig att de kunde skapas eller förbättras med öppna samtal (t.ex. Glaeser et al. (2016) ). Ett stort problem med prediktiva modeller som används för att allokera resurser är emellertid att dessa modeller har potential att förstärka befintliga fördomar. Många forskare vet redan "skräp i skräp," och med prediktiva modeller kan det vara "bias in, bias out". Se Barocas and Selbst (2016) och O'Neil (2016) för mer om farorna med prediktiva modeller byggda med fördröjd träningsdata.

Ett problem som kan hindra regeringar från att använda öppna tävlingar är att detta kräver datafrisättning, vilket kan leda till brott mot privatlivet. Mer information om sekretess och datautgivning i öppna samtal finns i Narayanan, Huey, and Felten (2016) och diskussionen i kapitel 6.

För mer om skillnaderna och likheterna mellan förutsägelse och förklaring, se Breiman (2001) , Shmueli (2010) , Watts (2014) och Kleinberg et al. (2015) . För mer om prediktionsroll i social forskning, se Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) och Yarkoni and Westfall (2017) .

För en översyn av öppna samtalsprojekt inom biologi, inklusive designrådgivning, se Saez-Rodriguez et al. (2016) .

• Distribuerad datainsamling (avsnitt 5.4)

Min beskrivning av eBird bygger på beskrivningar i Bhattacharjee (2005) , Robbins (2013) och Sullivan et al. (2014) . För mer om hur forskare använder statistiska modeller för att analysera eBird-data, se Fink et al. (2010) och Hurlbert and Liang (2012) . För mer om att uppskatta kompetensen hos eBird-deltagare, se Kelling, Johnston, et al. (2015) . För mer om medborgarvetenskapens historia i ornitologi, se Greenwood (2007) .

För mer om Malawi Journalprojektet, se Watkins and Swidler (2009) och Kaler, Watkins, and Angotti (2015) . För mer om ett relaterat projekt i Sydafrika, se Angotti and Sennott (2015) . För mer exempel på forskning med hjälp av data från Malawi Journal Project se Kaler (2004) och Angotti et al. (2014) .

• Designa din egen (avsnitt 5.5)

Min metod att erbjuda designrådgivning var induktiv, baserat på exempel på framgångsrika och misslyckade masssamarbetsprojekt som jag hört talas om. Det har också funnits en rad forskningsförsök att tillämpa mer allmänna sociala psykologiska teorier för att utforma onlinemiljöer som är relevanta för utformningen av masssamarbetsprojekt, se till exempel Kraut et al. (2012) .

När det gäller motiverande deltagare är det faktiskt ganska knepigt att ta reda på exakt varför människor deltar i masssamarbetsprojekt (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Om du planerar att motivera deltagare med betalning på en mikrotask arbetsmarknad (t.ex. Amazon Mechanical Turk), Kittur et al. (2013) ger några råd.

När det gäller att möjliggöra överraskning, för mer exempel på oväntade upptäckter som kommer ut ur Zooiverse-projekt, se Marshall, Lintott, and Fletcher (2015) .

När det gäller att vara etisk är några bra generella introduktioner till de berörda frågorna Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) och Zittrain (2008) . För frågor som är specifikt relaterade till juridiska problem med medarbetare, se Felstiner (2011) . O'Connor (2013) tar upp frågor om etiskt övervakning av forskning när forskarna och deltagarnas roller blur. För frågor som rör att dela data medan du skyddar deltagare i medborgarvetenskapliga projekt, se Bowser et al. (2014) . Både Purdam (2014) och Windt and Humphreys (2016) har en del diskussion om de etiska frågorna i distribuerad datainsamling. Slutligen erkänner de flesta projekt bidrag men ger inte upphovsmannen kredit till deltagarna. I Foldit listas spelarna ofta som författare (Cooper et al. 2010; Khatib et al. 2011) . I andra öppna samtalsprojekt kan den vinnande bidragsgivaren ofta skriva ett papper som beskriver sina lösningar (t.ex. Bell, Koren, and Volinsky (2010) och Dieleman, Willett, and Dambre (2015) ).