Hva å lese neste

• Innledning (avsnitt 5.1)

Masssamarbeid blander ideer fra borgervitenskap , crowdsourcing og kollektiv intelligens . Citizen science betyr vanligvis involverer "borgere" (dvs. nonscientists) i den vitenskapelige prosessen; for mer, se Crain, Cooper, and Dickinson (2014) og Bonney et al. (2014) . Crowdsourcing betyr vanligvis å ta et problem som vanligvis løses i en organisasjon, og i stedet outsource den til en mengde; for mer, se Howe (2009) . Kollektiv intelligens betyr vanligvis grupper av individer som handler kollektivt på måter som virker intelligente; for mer, se Malone and Bernstein (2015) . Nielsen (2012) er en boklengde introduksjon til kraften til massesamarbeid for vitenskapelig forskning.

Det er mange typer massesamarbeid som ikke passer fint inn i de tre kategoriene jeg har foreslått, og jeg tror tre av disse fortjener spesiell oppmerksomhet fordi de kan være nyttige i samfunnsforskning. Et eksempel er prediksjonsmarkeder, hvor deltakerne kjøper og handler kontrakter som er innløsbare basert på utfall som skjer i verden. Forutsigende markeder brukes ofte av bedrifter og regjeringer til prognoser, og de har også blitt brukt av sosiale forskere for å forutsi replikabiliteten av publiserte studier i psykologi (Dreber et al. 2015) . For en oversikt over prediksjonsmarkeder, se Wolfers and Zitzewitz (2004) og Arrow et al. (2008) .

Et annet eksempel som ikke passer godt inn i kategoriseringsordningen, er PolyMath-prosjektet, hvor forskere samarbeidet med blogger og wikier for å bevise nye matteormer. PolyMath-prosjektet er på noen måter lik Netflix-prisen, men i dette prosjektet er deltakerne mer aktivt bygget på delvise løsninger av andre. For mer om PolyMath-prosjektet, se Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) og Kloumann et al. (2016) .

Et tredje eksempel som ikke passer godt inn i kategoriseringsordningen, er tidsavhengige mobiliseringer, for eksempel DARPA-nettverksutfordringen (dvs. Red Balloon Challenge). For mer om disse tidsfølsomme mobiliseringene, se Pickard et al. (2011) , Tang et al. (2011) , og Rutherford et al. (2013) .

• Menneskelig beregning (avsnitt 5.2)

Begrepet "menneskelig beregning" kommer ut av arbeid utført av datavitenskapere, og forståelse av konteksten bak denne forskningen vil forbedre din evne til å velge ut problemer som kan være egnet for det. For bestemte oppgaver er datamaskiner utrolig kraftige, med muligheter som langt overstiger de som til og med er ekspertmennesker. For eksempel, i sjakk, kan datamaskiner slå selv de beste grandmasters. Men - og dette er mindre verdsatt av sosiale forskere. For andre oppgaver er datamaskiner faktisk mye verre enn folk. Med andre ord, akkurat nå er du bedre enn den mest sofistikerte datamaskinen ved bestemte oppgaver som involverer behandling av bilder, video, lyd og tekst. Datavitenskapere som arbeider med disse hardt for datamaskiner-lett-for-menneskelige oppgaver innså derfor at de kunne inkludere mennesker i deres beregnings prosess. Slik beskriver Luis von Ahn (2005) menneskelig beregning da han først oppfattet begrepet i sin avhandling: "Et paradigme for bruk av menneskelig prosessorkraft for å løse problemer som datamaskiner ikke kan løse." For en boklengdsbehandling av menneskelig beregning, i Den mest generelle oppfatning av begrepet, se Law and Ahn (2011) .

Ifølge definisjonen foreslått i Ahn (2005) Foldit - som jeg beskrev i avsnittet om åpne samtaler - kan anses som et menneskelig beregningsprosjekt. Men jeg velger å kategorisere Foldit som et åpent anrop fordi det krever spesialiserte ferdigheter (selv om det ikke nødvendigvis er formell opplæring), og det tar den beste løsningen som bidrar, i stedet for å bruke en splitt-søk-kombinert strategi.

Begrepet "split-apply-combine" ble brukt av Wickham (2011) å beskrive en strategi for statistisk databehandling, men det fanger opp prosessen med mange menneskelige beregningsprosjekter. Split-apply-combining-strategien ligner MapReduce-rammen utviklet hos Google; for mer på MapReduce, se Dean and Ghemawat (2004) og Dean and Ghemawat (2008) . For mer om andre distribuerte databehandlingarkitekturer, se Vo and Silvia (2016) . Kapittel 3 i Law and Ahn (2011) har en diskusjon av prosjekter med mer komplekse kombinere trinn enn de i dette kapittelet.

I de menneskelige beregningsprosjektene jeg har diskutert i kapitlet, var deltakerne klar over hva som skjedde. Noen andre prosjekter søker imidlertid å fange "arbeid" som allerede skjer (lik eBird) og uten deltakernes bevissthet. Se for eksempel ESP-spillet (Ahn and Dabbish 2004) og reCAPTCHA (Ahn et al. 2008) . Men begge disse prosjektene gir også etiske spørsmål fordi deltakerne ikke visste hvordan dataene ble brukt (Zittrain 2008; Lung 2012) .

Inspirert av ESP-spillet har mange forskere forsøkt å utvikle andre "spill med en hensikt" (Ahn and Dabbish 2008) (dvs. "menneskebaserte beregningsspill" (Pe-Than, Goh, and Lee 2015) ) som kan være brukes til å løse en rekke andre problemer. Hva disse "spillene med en hensikt" har til felles er at de prøver å gjøre oppgavene involvert i menneskelig beregning fornøyelig. Således, mens ESP Game deler samme split-apply-kombinere struktur med Galaxy Zoo, er det forskjellig i hvordan deltakere er motiverte-morsomme mot ønsket om å hjelpe vitenskapen. For mer om spill med en hensikt, se Ahn and Dabbish (2008) .

Min beskrivelse av Galaxy Zoo trekker på Nielsen (2012) , Adams (2012) , Clery (2011) og Hand (2010) , og min presentasjon av forskningsmålene til Galaxy Zoo ble forenklet. For mer om galakseklassifisering i astronomi og hvordan Galaxy Zoo fortsetter denne tradisjonen, se Masters (2012) og Marshall, Lintott, and Fletcher (2015) . Bygget på Galaxy Zoo, fullførte forskerne Galaxy Zoo 2 som samlet mer enn 60 millioner mer komplekse morfologiske klassifikasjoner fra frivillige (Masters et al. 2011) . Videre forgrenet de seg til problemer utenfor galakse morfologi, inkludert å utforske Månens overflate, søke etter planeter og transkribere gamle dokumenter. For tiden er alle prosjektene samlet inn på Zooniverses nettsted (Cox et al. 2015) . Et av prosjektene - Snapshot Serengeti - gir bevis for at Galaxy Zoo-type image klassifiseringsprosjekter også kan gjøres for miljøforskning (Swanson et al. 2016) .

For forskere som planlegger å bruke et mikrotask arbeidsmarked (for eksempel Amazon Mechanical Turk) for et menneskelig beregningsprosjekt, gir Chandler, Paolacci, and Mueller (2013) og J. Wang, Ipeirotis, and Provost (2015) gode råd om oppgavedesign og andre relaterte problemer. Porter, Verdery, and Gaddis (2016) tilbyr eksempler og råd som er fokusert spesielt på bruk av mikrotask arbeidsmarkeder for hva de kaller "dataforbedring." Linjen mellom dataforbedring og datainnsamling er noe uklart. For mer om innsamling og bruk av etiketter for overvåket læring for tekst, se Grimmer and Stewart (2013) .

Forskere som er interessert i å skape det jeg har kalt datamaskinassistente menneskelige beregningssystemer (for eksempel systemer som bruker menneskelige etiketter til å trene en maskinlæringsmodell), kan være interessert i Shamir et al. (2014) (for eksempel med lyd) og Cheng and Bernstein (2015) . Også maskininnlæringsmodellene i disse prosjektene kan rekvireres med åpne samtaler, hvor forskere konkurrerer om å skape maskinlæringsmodeller med størst prediktiv ytelse. For eksempel løp Galaxy Zoo-teamet en åpen samtale og fant en ny tilnærming som overgikk den som ble utviklet i Banerji et al. (2010) ; se Dieleman, Willett, and Dambre (2015) for detaljer.

• Åpne samtaler (avsnitt 5.3)

Åpne samtaler er ikke nye. Faktisk er et av de mest kjente åpne samtalene tilbake til 1714 da Storbritannias parlament opprettet lengdeprisen for alle som kunne utvikle en måte å bestemme lengden på et skip til sjøs. Problemet stumped mange av dagens største forskere, inkludert Isaac Newton, og den vinnende løsningen ble til slutt sendt inn av John Harrison, en urmakler fra landsbygda som nærmet seg problemet annerledes enn forskere som var fokusert på en løsning som på en eller annen måte ville involvere astronomi ; For mer informasjon, se Sobel (1996) . Som dette eksempelet illustrerer, er det en grunn til at åpne anrop (Boudreau and Lakhani 2013) å fungere så bra, at de gir tilgang til personer med ulike perspektiver og ferdigheter (Boudreau and Lakhani 2013) . Se Hong and Page (2004) og Page (2008) for mer om verdien av mangfold i problemløsning.

Hver av de åpne anropssakene i kapitlet krever litt videre forklaring på hvorfor den tilhører denne kategorien. For det første er en måte jeg skiller mellom menneskelig beregning og åpne anropsprosjekter, om utgangen er et gjennomsnitt av alle løsningene (menneskelig beregning) eller den beste løsningen (åpen samtale). Netflix-prisen er noe vanskelig i denne forbindelse fordi den beste løsningen viste seg å være et sofistikert gjennomsnitt av individuelle løsninger, en tilnærming kalt en ensemble-løsning (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Fra Netflix-perspektivet var alt de måtte gjøre, velge den beste løsningen. For mer på Netflix-prisen, se Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , og Feuerverger, He, and Khatri (2012) .

For det andre, ved noen definisjoner av menneskelig beregning (f.eks. Ahn (2005) ), bør Foldit betraktes som et menneskelig beregningsprosjekt. Imidlertid velger jeg å kategorisere det som et åpent anrop fordi det krever spesialiserte ferdigheter (men ikke nødvendigvis spesialisert opplæring) og det tar den beste løsningen, i stedet for å bruke en splitt-søk-kombinert strategi. For mer på Foldit se, Cooper et al. (2010) , Khatib et al. (2011) , og Andersen et al. (2012) ; Min beskrivelse av Foldit bygger på beskrivelser i Bohannon (2009) , Hand (2010) og Nielsen (2012) .

Til slutt kan man argumentere for at Peer-to-Patent er et eksempel på distribuert datainsamling. Jeg velger å inkludere den som en åpen samtale fordi den har en konkurranselignende struktur, og bare de beste bidragene blir brukt, mens med distribuert datainsamling er ideen om gode og dårlige bidrag mindre klar. For mer om Peer-to-Patent, se Noveck (2006) , Ledford (2007) , Noveck (2009) , og Bestor and Hamp (2010) .

Når det gjelder bruk av åpne samtaler i sosial forskning, er resultater som ligner Glaeser et al. (2016) , er rapportert i kapittel 10 i Mayer-Schönberger and Cukier (2013) der New York City var i stand til å bruke prediktiv modellering for å produsere store gevinster i produktiviteten til boliginspektørene. I New York City ble disse prediktive modellene bygd av byansatte, men i andre tilfeller kan man forestille seg at de kunne bli opprettet eller forbedret med åpne samtaler (f.eks. Glaeser et al. (2016) ). Imidlertid er en stor bekymring med prediktive modeller som brukes til å allokere ressurser, at disse modellene har potensial til å forsterke eksisterende forstyrrelser. Mange forskere kjenner allerede "søppel inn, søppel ut", og med prediktive modeller kan det være "forvirret, forvirre." Se Barocas and Selbst (2016) og O'Neil (2016) for mer om farene ved prediktive modeller bygget med forhåndsinnstilte treningsdata.

Et problem som kan forhindre at regjeringene bruker åpne konkurranser, er at dette krever datatilkobling, noe som kan føre til brudd på personvern. For mer om personvern og datautgivelse i åpne samtaler, se Narayanan, Huey, and Felten (2016) og diskusjonen i kapittel 6.

For mer om forskjellene og likhetene mellom prediksjon og forklaring, se Breiman (2001) , Shmueli (2010) , Watts (2014) og Kleinberg et al. (2015) . For mer om rollen som prediksjon i sosial forskning, se Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , og Yarkoni and Westfall (2017) .

For en gjennomgang av åpne samtaleprosjekter i biologi, inkludert designråd, se Saez-Rodriguez et al. (2016) .

• Distribuert datainnsamling (kapittel 5.4)

Min beskrivelse av eBird bygger på beskrivelser i Bhattacharjee (2005) , Robbins (2013) og Sullivan et al. (2014) . For mer om hvordan forskere bruker statistiske modeller for å analysere eBird-data, se Fink et al. (2010) og Hurlbert and Liang (2012) . For mer om å estimere ferdighetene til eBird-deltakere, se Kelling, Johnston, et al. (2015) . For mer om historien om borgervitenskap i ornitologi, se Greenwood (2007) .

For mer om Malawi Journals Project, se Watkins and Swidler (2009) og Kaler, Watkins, and Angotti (2015) . For mer om et relatert prosjekt i Sør-Afrika, se Angotti and Sennott (2015) . For flere eksempler på forskning ved hjelp av data fra Malawi Journals Project se Kaler (2004) og Angotti et al. (2014) .

• Design din egen (seksjon 5.5)

Min tilnærming til å tilby designråd var induktiv, basert på eksemplene på vellykkede og mislykkede samarbeidsprosjekter som jeg har hørt om. Det har også vært en rekke forskningsforsøk på å søke mer generelle sosialpsykologiske teorier for å designe nettbaserte samfunn som er relevante for utformingen av massesamarbeidsprosjekter, se for eksempel Kraut et al. (2012) .

Når det gjelder motiverende deltakere, er det faktisk ganske vanskelig å finne ut nøyaktig hvorfor folk deltar i massesamarbeidsprosjekter (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Hvis du planlegger å motivere deltakere med betaling på et mikrotask arbeidsmarked (f.eks. Amazon Mechanical Turk), Kittur et al. (2013) gir noen råd.

Når det gjelder å muliggjøre overraskelse, for flere eksempler på uventede funn som kommer ut av Zooiverse-prosjekter, se Marshall, Lintott, and Fletcher (2015) .

Når det gjelder å være etisk, er noen gode generelle introduksjoner til de involverte problemene Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) og Zittrain (2008) . For problemstillinger som er spesielt relatert til juridiske problemer med publikum, se Felstiner (2011) . O'Connor (2013) tar opp spørsmål om etisk tilsyn med forskning når forskerne og deltakernes roller utvises. For problemer relatert til deling av data mens du beskytter deltakerne i borgervitenskapsprosjekter, se Bowser et al. (2014) . Både Purdam (2014) og Windt and Humphreys (2016) har noen diskusjon om de etiske problemene i distribuert datainnsamling. Til slutt anerkjenner de fleste prosjekter bidrag, men gir ikke forfatterskap til deltakere. I Foldit er spillerne ofte oppført som forfatter (Cooper et al. 2010; Khatib et al. 2011) . I andre åpne Bell, Koren, and Volinsky (2010) kan den vinnende bidragsyteren ofte skrive et papir som beskriver deres løsninger (f.eks. Bell, Koren, and Volinsky (2010) og Dieleman, Willett, and Dambre (2015) ).