Hvad skal du læse næste
- Introduktion (afsnit 5.1)
Massesamarbejde blander ideer fra borgervidenskab , crowdsourcing og kollektiv intelligens . Citizen science betyder normalt involverer "borgere" (dvs. ikke-videnskabsfolk) i den videnskabelige proces; for mere, se Crain, Cooper, and Dickinson (2014) og Bonney et al. (2014) . Crowdsourcing betyder normalt at tage et problem som normalt løses i en organisation og i stedet outsource det til en skare; for mere, se Howe (2009) . Kollektiv intelligens betyder normalt grupper af individer, der handler kollektivt på måder, der virker intelligente; for mere, se Malone and Bernstein (2015) . Nielsen (2012) er en boglængde introduktion til kraften i massesamarbejde for videnskabelig forskning.
Der er mange typer massesamarbejde, der ikke passer fint ind i de tre kategorier, jeg har foreslået, og jeg tror tre af disse fortjener særlig opmærksomhed, fordi de kan være nyttige i social forskning. Et eksempel er forudsigelsesmarkeder, hvor deltagerne køber og handler kontrakter, der kan indløses, baseret på resultater der opstår i verden. Forudsigende markeder anvendes ofte af virksomheder og regeringer til prognoser, og de er også blevet anvendt af sociale forskere til at forudsige replikabiliteten af publicerede studier i psykologi (Dreber et al. 2015) . For en oversigt over forudsigelsesmarkederne, se Wolfers and Zitzewitz (2004) og Arrow et al. (2008) .
Et andet eksempel, der ikke passer godt ind i min kategoriseringsordning, er PolyMath-projektet, hvor forskere samarbejdede ved hjælp af blogs og wikier til at bevise nye matematiske sætninger. PolyMath-projektet er på nogle måder ligner Netflix-prisen, men i dette projekt er deltagerne mere aktivt bygget på andres delvise løsninger. For mere om PolyMath-projektet, se Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) og Kloumann et al. (2016) .
Et tredje eksempel, der ikke passer godt ind i min kategoriseringsordning, er tidsafhængige mobiliseringer, såsom DARPA-netværksudfordringen (dvs. Red Balloon Challenge). For mere om disse tidsfølsomme mobiliseringer, se Pickard et al. (2011) , Tang et al. (2011) , og Rutherford et al. (2013) .
- Menneskelig beregning (afsnit 5.2)
Udtrykket "menneskelig beregning" kommer ud af det arbejde, der udføres af computerforskere, og forståelsen af sammenhængen bag denne forskning vil forbedre din evne til at udvælge problemer, der kan være egnede til det. For visse opgaver er computere utroligt kraftfulde, med kapaciteter, som langt overstiger de af eksperteksperter. For eksempel kan computere i skak slå selv de bedste bedstemænd. Men - og dette er mindre vel værdsat af socialforskere. For andre opgaver er computere faktisk meget værre end mennesker. Med andre ord, lige nu er du bedre end endda den mest sofistikerede computer ved bestemte opgaver, der involverer behandling af billeder, video, lyd og tekst. Computerforskere, der arbejder på disse hard-to-computers-let-for-menneskelige opgaver, indså derfor, at de kunne inddrage mennesker i deres beregningsproces. Sådan beskriver Luis von Ahn (2005) menneskelig beregning, da han først udarbejdede begrebet i sin afhandling: "et paradigme til at udnytte menneskelig behandlingsevne til at løse problemer, som computere endnu ikke kan løse." For en boglængsbehandling af menneskelig beregning, i Den mest generelle betydning af begrebet, se Law and Ahn (2011) .
Ifølge definitionen foreslået i Ahn (2005) Foldit - som jeg beskrevet i afsnittet om åbne opkald - kunne betragtes som et menneskeligt beregningsprojekt. Men jeg vælger at kategorisere Foldit som et åbent opkald, fordi det kræver specialiserede færdigheder (selvom det ikke nødvendigvis er formel uddannelse), og det kræver den bedste løsning, der bidrager, snarere end at bruge en split-apply-combinere strategi.
Udtrykket "split-apply-combine" blev brugt af Wickham (2011) til at beskrive en strategi for statistisk databehandling, men det optager perfekt processen i mange menneskelige beregningsprojekter. Strategien med split-apply-combining svarer til MapReduce-rammen, der er udviklet hos Google; for mere på MapReduce, se Dean and Ghemawat (2004) og Dean and Ghemawat (2008) . For mere om andre distribuerede databehandlingsarkitekturer, se Vo and Silvia (2016) . Kapitel 3 i Law and Ahn (2011) drøfter projekter med mere komplekse kombinerede trin end dem i dette kapitel.
I de menneskelige beregningsprojekter, som jeg har diskuteret i kapitlet, var deltagerne opmærksomme på, hvad der skete. Nogle andre projekter søger imidlertid at indfange "arbejde", der allerede finder sted (ligner eBird) og uden deltagerkendskab. Se for eksempel ESP Game (Ahn and Dabbish 2004) og reCAPTCHA (Ahn et al. 2008) . Men begge disse projekter rejser også etiske spørgsmål, fordi deltagerne ikke vidste, hvordan deres data blev brugt (Zittrain 2008; Lung 2012) .
Inspireret af ESP Game har mange forskere forsøgt at udvikle andre "spil med et formål" (Ahn and Dabbish 2008) (dvs. "menneskelige (Ahn and Dabbish 2008) " (Pe-Than, Goh, and Lee 2015) ), der kan være bruges til at løse en række andre problemer. Hvad disse "spil med et formål" har til fælles er, at de forsøger at gøre opgaverne involveret i menneskelig beregning fornøjelig. Således, mens ESP Game deler den samme split-apply-combinere struktur med Galaxy Zoo, adskiller det sig i, hvordan deltagerne er motiverede-sjove versus ønske om at hjælpe videnskaben. For mere om spil med et formål, se Ahn and Dabbish (2008) .
Min beskrivelse af Galaxy Zoo trækker på Nielsen (2012) , Adams (2012) , Clery (2011) og Hand (2010) , og min præsentation af Galaxy Zoo's forskningsmål blev forenklet. For mere om Galaxy-klassifikationen i astronomi og hvordan Galaxy Zoo fortsætter denne tradition, se Masters (2012) og Marshall, Lintott, and Fletcher (2015) . På grundlag af Galaxy Zoo gennemførte forskerne Galaxy Zoo 2, som samlet mere end 60 millioner mere komplekse morfologiske klassifikationer fra frivillige (Masters et al. 2011) . Desuden forgrenede de sig til problemer uden for galakse morfologi, herunder at udforske Månens overflade, søge efter planeter og transkribere gamle dokumenter. I øjeblikket samles alle deres projekter på Zooniverses hjemmeside (Cox et al. 2015) . Et af projekterne - Snapshot Serengeti - viser, at Galaxy Zoo-type image-klassifikationsprojekter også kan gøres for miljøforskning (Swanson et al. 2016) .
For forskere, der planlægger at bruge et mikrotask arbejdsmarked (f.eks. Amazon Mechanical Turk) til et menneskeligt beregningsprojekt, tilbyder Chandler, Paolacci, and Mueller (2013) og J. Wang, Ipeirotis, and Provost (2015) gode råd om opgavedesign og andre relaterede problemer. Porter, Verdery, and Gaddis (2016) tilbyder eksempler og rådgivning, der specifikt fokuserer på anvendelse af mikrotask arbejdsmarkeder for hvad de kalder "dataforøgelse." Linjen mellem dataforøgelse og dataindsamling er noget sløret. For mere om at indsamle og bruge etiketter til overvåget læring til tekst, se Grimmer and Stewart (2013) .
Forskere, der er interesserede i at skabe det, jeg har kaldt computerassisterede menneskelige beregningssystemer (f.eks. Systemer, der bruger menneskelige etiketter til at træne en maskinindlæringsmodel), kan være interesseret i Shamir et al. (2014) (for et eksempel med lyd) og Cheng and Bernstein (2015) . Maskinindlæringsmodellerne i disse projekter kan også udbydes med åbne opkald, hvorved forskere konkurrerer om at skabe maskinindlæringsmodeller med den største prædiktive ydeevne. Galaxy Zoo holdet løb for eksempel et åbent opkald og fandt en ny tilgang, der overgik den udviklede i Banerji et al. (2010) ; se Dieleman, Willett, and Dambre (2015) for detaljer.
- Åbne opkald (afsnit 5.3)
Åbne opkald er ikke nye. Faktisk går et af de mest kendte åbne opkald tilbage til 1714, da Storbritanniens parlament skabte længdeprisen for alle, der kunne udvikle en måde at bestemme længden af et skib til søs. Problemet stumpede mange af dagens største forskere, herunder Isaac Newton, og den vindende løsning blev efterhånden indsendt af John Harrison, en urmager fra landet, der nærmede sig problemet forskelligt fra forskere, der fokuserede på en løsning, der på en eller anden måde ville involvere astronomi ; for mere information se Sobel (1996) . Som dette eksempel illustrerer, er en grund til at åbne opkald tænkt at fungere så godt, at de giver adgang til mennesker med forskellige perspektiver og færdigheder (Boudreau and Lakhani 2013) . Se Hong and Page (2004) og Page (2008) for mere om værdien af mangfoldighed i problemløsning.
Hvert af de åbne opkaldssager i kapitlet kræver en smule yderligere forklaring på, hvorfor det tilhører denne kategori. For det første er en måde, som jeg skelner mellem menneskelige beregninger og åbne opkaldsprojekter, om outputen er et gennemsnit af alle løsninger (menneskelig beregning) eller den bedste løsning (åbent opkald). Netflix-prisen er noget vanskelig i denne forbindelse, fordi den bedste løsning viste sig at være et sofistikeret gennemsnit af individuelle løsninger, en tilgang kaldet en ensemble-løsning (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Fra Netflix perspektiv var alt, hvad de skulle gøre, den bedste løsning. For mere på Netflix-prisen, se Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , og Feuerverger, He, and Khatri (2012) .
For det andet skal Foldit ved nogle definitioner af menneskelig beregning (f.eks. Ahn (2005) ) betragtes som et menneskeligt beregningsprojekt. Men jeg vælger at kategorisere det som et åbent opkald, fordi det kræver specialiserede færdigheder (men ikke nødvendigvis specialiseret uddannelse), og det tager den bedste løsning, snarere end at bruge en split-apply-combining strategi. For mere om Foldit se, Cooper et al. (2010) , Khatib et al. (2011) og Andersen et al. (2012) ; min beskrivelse af Foldit trækker på beskrivelser i Bohannon (2009) , Hand (2010) og Nielsen (2012) .
Endelig kan man argumentere for, at Peer-to-Patent er et eksempel på distribueret dataindsamling. Jeg vælger at inkludere det som et åbent opkald, fordi det har en konkurrencelignende struktur, og kun de bedste bidrag anvendes, mens ved distribueret dataindsamling er ideen om gode og dårlige bidrag mindre klart. For mere om Peer-to-Patent, se Noveck (2006) , Ledford (2007) , Noveck (2009) og Bestor and Hamp (2010) .
Hvad angår brug af åbne opkald i social forskning, er resultater svarende til dem fra Glaeser et al. (2016) er rapporteret i kapitel 10 i Mayer-Schönberger and Cukier (2013) hvor New York City var i stand til at anvende prædiktiv modellering til at producere store gevinster i Mayer-Schönberger and Cukier (2013) produktivitet. I New York City blev disse prædiktive modeller bygget af bymedarbejdere, men i andre tilfælde kunne man forestille sig, at de kunne skabes eller forbedres ved åbne opkald (f.eks. Glaeser et al. (2016) ). En stor bekymring med prædiktive modeller, der bruges til at allokere ressourcer, er imidlertid, at disse modeller har potentialet til at styrke eksisterende forspændinger. Mange forskere kender allerede "skrald i, skrald ud" og med prædiktive modeller kan det være "forvirret, forvirrede." Se Barocas and Selbst (2016) og O'Neil (2016) for mere om farerne ved prædiktive modeller bygget med forudindstillede træningsdata.
Et problem, der kan forhindre regeringer i at bruge åbne konkurrencer, er, at dette kræver dataudgivelse, hvilket kan medføre brud på privatlivets fred. For mere om privatliv og dataudgivelse i åbne opkald, se Narayanan, Huey, and Felten (2016) og diskussionen i kapitel 6.
For mere om forskellene og lighederne mellem forudsigelse og forklaring se Breiman (2001) , Shmueli (2010) , Watts (2014) og Kleinberg et al. (2015) . For mere om forudsigelsens rolle i social forskning, se Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) og Yarkoni and Westfall (2017) .
For en gennemgang af åbne opkaldsprojekter i biologi, herunder design rådgivning, se Saez-Rodriguez et al. (2016) .
- Distribueret dataindsamling (afsnit 5.4)
Min beskrivelse af eBird trækker på beskrivelser i Bhattacharjee (2005) , Robbins (2013) og Sullivan et al. (2014) . For mere om, hvordan forskere bruger statistiske modeller til at analysere eBird data, se Fink et al. (2010) og Hurlbert and Liang (2012) . For mere om at vurdere færdigheder hos eBird-deltagere, se Kelling, Johnston, et al. (2015) . For mere om borgernes videnskabs historie i ornitologi, se Greenwood (2007) .
For mere om Malawi Watkins and Swidler (2009) , se Watkins and Swidler (2009) og Kaler, Watkins, and Angotti (2015) . For mere om et relateret projekt i Sydafrika, se Angotti and Sennott (2015) . For flere eksempler på forskning ved hjælp af data fra Malawi Journals Project se Kaler (2004) og Angotti et al. (2014) .
- Design din egen (afsnit 5.5)
Min tilgang til at tilbyde design rådgivning var induktiv, baseret på eksempler på vellykkede og mislykkede massesamarbejde projekter, som jeg har hørt om. Der har også været en strøm af forsøg på at anvende mere generelle sociale psykologiske teorier til at designe onlinemiljøer, der er relevante for udformningen af masseprojekter, se for eksempel Kraut et al. (2012) .
Hvad angår motiverende deltagere, er det faktisk ret vanskeligt at finde ud af, hvorfor folk deltager i (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Hvis du planlægger at motivere deltagere med betaling på et mikrotask arbejdsmarked (f.eks. Amazon Mechanical Turk), Kittur et al. (2013) giver nogle råd.
Med hensyn til at muliggøre overraskelse, for flere eksempler på uventede opdagelser, der kommer ud af Zooiverse-projekter, se Marshall, Lintott, and Fletcher (2015) .
Hvad angår at være etisk, er nogle gode generelle introduktioner til de involverede spørgsmål Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) og Zittrain (2008) . For spørgsmål, der specifikt er relateret til juridiske problemer med medarbejdere i skare, se Felstiner (2011) . O'Connor (2013) behandler spørgsmål om etisk tilsyn med forskning, når forskerne og deltagernes roller blur. For problemer relateret til deling af data, samtidig med at deltagerne i borgervidenskabsprojekter beskyttes, se Bowser et al. (2014) . Både Purdam (2014) og Windt and Humphreys (2016) har en del diskussion om de etiske problemer i distribueret dataindsamling. Endelig anerkender de fleste projekter bidrag, men giver ikke forfatterskab til deltagere. I Foldit er spillerne ofte opført som forfatter (Cooper et al. 2010; Khatib et al. 2011) . I andre open call-projekter kan den vindende bidragyder ofte skrive et papir, der beskriver deres løsninger (f.eks. Bell, Koren, and Volinsky (2010) og Dieleman, Willett, and Dambre (2015) ).
