Mitä seuraavaksi

• Johdanto (5.1 jakso)

Mass-yhteistyö yhdistää ideoita kansalaistutkimuksesta , väkijoukosta ja kollektiivisesta älykkyydestä . Kansalaisten tiede tarkoittaa yleensä "kansalaisten" (eli ei-tiedemiehiä) osallistumista tieteelliseen prosessiin; Katso lisää Crain, Cooper, and Dickinson (2014) ja Bonney et al. (2014) . Crowdsourcing tarkoittaa tavallisesti ongelman ratkaisemista organisaatiossa ja sen sijaan ulkoistaa sen yleisölle; Katso lisää Howe (2009) . Kollektiivinen älykkyys tarkoittaa yleensä ihmisryhmiä, jotka toimivat kollektiivisesti tavalla, joka näyttää älyltä; katso lisää Malone and Bernstein (2015) . Nielsen (2012) on kirjanpituinen esittely massatuotannon valtaan tieteelliseen tutkimukseen.

On olemassa monenlaisia ​​massayhteistyöjä, jotka eivät sovi täsmällisesti kolmeen luokkaani, jotka olen ehdottanut, ja mielestäni kolme niistä ansaitsee erityistä huomiota, koska ne voivat olla hyödyllisiä sosiaalisessa tutkimuksessa. Yksi esimerkki on ennustamismarkkinat, joissa osallistujat ostavat ja myyvät sopimuksia, jotka voidaan lunastaa maailman johtavien tulosten perusteella. Yritykset ja hallitukset usein käyttävät ennakoivia markkinoita ennakointiin ja sosiaaliset tutkijat ovat myös käyttäneet sitä ennustamaan julkaistujen psykologisten tutkimusten toistettavuutta (Dreber et al. 2015) . Yleiskatsaus ennusteiden markkinoista on julkaisussa Wolfers and Zitzewitz (2004) ja Arrow et al. (2008) .

Toinen esimerkki, joka ei sovi hyvin luokittelujärjestelmään, on PolyMath-projekti, jossa tutkijat tekivät yhteistyötä blogien ja wikien avulla uusien matemaattisten teoreettien näyttämiseksi. PolyMath-projekti on jollain tavoin samanlainen kuin Netflix-palkinto, mutta tässä hankkeessa osallistujat ovat aktiivisemmin rakentaneet muiden osittaisia ​​ratkaisuja. Lisätietoja PolyMath-projektista on Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) ja Kloumann et al. (2016) .

Kolmas esimerkki, joka ei sovi hyvin luokittelujärjestelmään, on aika-riippuvaisten mobilisaatioiden, kuten DARPA-verkon haaste (eli Red Balloon Challenge). Näistä aikaherkistä mobilisaatioista lisää Pickard et al. (2011) , Tang et al. (2011) ja Rutherford et al. (2013) .

• Ihmisen laskenta (kohta 5.2)

Termi "ihmisen laskenta" tulee tietokoneasiantuntijan tekemästä työstä, ja tämän tutkimuksen taustalla oleva käsitys ymmärtää paremmin kykyäsi selvittää ongelmat, jotka sopivat siihen. Tietyissä tehtävissä tietokoneet ovat uskomattoman tehokkaita, ja niiden ominaisuudet ylittävät jopa edes asiantuntevan ihmisen. Esimerkiksi, shakissa tietokoneet voivat voittaa jopa parhaat suurmestarit. Mutta - ja tämä on yhteiskuntatieteilijöiden vähemmän tunnettu - muihin tehtäviin, tietokoneet ovat todella paljon huonompia kuin ihmiset. Toisin sanoen juuri nyt olet parempi kuin edes hienostunut tietokone tietyissä tehtävissä, joissa käsitellään kuvia, videoita, ääntä ja tekstiä. Tietokonevalmistajat, jotka työskentelivät näistä kovista tietokoneista, helppokäyttöiset tehtävät, ymmärtävät siten, että he voivat sisällyttää ihmisen niiden laskentaprosessiin. Näin Luis von Ahn (2005) kuvasi ihmisen laskennan, kun hän aluksi muotoili terminsä väitöskirjassaan: "paradigma ihmisen prosessointiteetin hyödyntämiseksi sellaisten ongelmien ratkaisemiseksi, joita tietokoneet eivät vielä pysty ratkaisemaan." yleisin termi, ks. Law and Ahn (2011) .

Ahn (2005) mukaan ehdotetun määritelmän mukaan Foldit - jota selostin avointen puhelujen osuudella - voitaisiin pitää ihmisen laskentaprojektina. Haluan kuitenkin luokitella Foldit avoimeksi, koska se vaatii erikoisosaamista (vaikkakaan ei välttämättä muodollista koulutusta), ja se vie parhaimman ratkaisun, eikä käytä split-apply-combine -strategiaa.

Wickham (2011) käytti termiä split-apply-combine (engl. Split-apply-combine Wickham (2011) kuvaamaan tilastollista tietojenkäsittelystrategiaa, mutta se kattaa täysin ihmisen laskentaprojektien prosessin. Split-apply-combine -strategia on samanlainen kuin Googlen kehittämä MapReduce-kehys; Lisätietoja MapReducesta on Dean and Ghemawat (2004) sekä Dean and Ghemawat (2008) . Lisätietoja muista hajautetuista laskennan arkkitehtuureista on Vo and Silvia (2016) . Lain 3 luku Law and Ahn (2011) käsittelevät hankkeita, joissa on monimutkaisempia yhdistelmiä kuin tässä luvussa.

Ihmisen laskentahankkeissa, joista olen keskustellut luvussa, osallistujat olivat tietoisia siitä, mitä tapahtui. Jotkut muut hankkeet pyrkivät kuitenkin hankkimaan "työ", joka on jo tapahtumassa (kuten eBird) ja ilman osallistujan tietoisuutta. Katso esim. ESP Game (Ahn and Dabbish 2004) ja reCAPTCHA (Ahn et al. 2008) . Molemmat näistä hankkeista herättävät kuitenkin eettisiä kysymyksiä, koska osallistujat eivät tienneet, miten heidän tietojaan käytetään (Zittrain 2008; Lung 2012) .

ESP-pelin innoittamana monet tutkijat ovat yrittäneet kehittää muita "pelejä, joilla on tarkoitus" (Ahn and Dabbish 2008) (eli " (Ahn and Dabbish 2008) laskentapelit" (Pe-Than, Goh, and Lee 2015) ), joita voidaan käytetään ratkaisemaan erilaisia ​​muita ongelmia. Nämä "pelit, joilla on tarkoitus" ovat yhteisiä, että he yrittävät tehdä ihmisen laskennan tehtävät miellyttäviksi. Siten, vaikka ESP Game jakaa saman split-apply-combine -rakenteen Galaxy Zoo: n kanssa, se eroaa siitä, miten osallistujat ovat motivoituneita - hauskaa vastaan ​​halu auttaa tiedettä. Lisätietoja peleistä, joilla on tarkoitus, katso Ahn and Dabbish (2008) .

Galaxy Zoo: n kuvaukseni perustuu Nielsen (2012) , Adams (2012) , Clery (2011) ja Hand (2010) , ja esittelyni Galaxy Zoo: n tutkimustavoitteista yksinkertaistettiin. Lisätietoja galaksin luokittelusta tähtitieteessä ja miten Galaxy Zoo jatkaa tätä perinnettä, katso Masters (2012) ja Marshall, Lintott, and Fletcher (2015) . Galaxy Zoo -työhön rakennettiin tutkijat, jotka suorittivat Galaxy Zoo 2: n, jotka keräsivät yli 60 miljoonaa monimutkaisempaa morfologista luokitusta vapaaehtoisilta (Masters et al. 2011) . Lisäksi ne hajautettiin ongelmiin galaksimorfologian ulkopuolella, mukaan lukien kuun pinnan tutkiminen, planeettojen etsiminen ja vanhojen asiakirjojen kääntäminen. Tällä hetkellä kaikki hankkeet kerätään Zooniverse-sivustolla (Cox et al. 2015) . Yksi projekteista - Snapshot Serengeti - tarjoaa todisteita siitä, että Galaxy Zoo -tyyppisiä kuva-luokitushankkeita voidaan tehdä myös ympäristötutkimuksessa (Swanson et al. 2016) .

Ihmisen laskentaprojektiin Chandler, Paolacci, and Mueller (2013) sekä J. Wang, Ipeirotis, and Provost (2015) tarjoavat hyviä neuvoja työtehtävän suunnittelusta ja tutkimuksesta. muut asiaan liittyvät asiat. Porter, Verdery, and Gaddis (2016) tarjoavat esimerkkejä ja neuvoja, jotka keskittyvät nimenomaan mikrotietokoneiden työmarkkinoiden käyttöön, mitä he kutsuvat "tietojen lisäämiseksi". Tietojen lisäämisen ja tiedonkeruun välinen viiva on hieman epäselvä. Lisätietoja tekstien keräämisestä ja käyttämisestä ohjaavalle oppimiselle on Grimmer and Stewart (2013) .

Tutkijat, jotka ovat kiinnostuneita luomaan tietokoneavusteisia ihmisen laskentajärjestelmiä (esim. Järjestelmät, jotka käyttävät ihmisen etikettejä koneen oppimismallin kouluttajana), saattavat olla kiinnostuneita Shamir et al. (2014) (esimerkki äänen käytöstä) ja Cheng and Bernstein (2015) . Myös koneiden oppimismalleja voi hakea avoimilla puheluilla, jolloin tutkijat kilpailevat luomaan koneen oppimismalleja, joilla on eniten ennakoivaa suorituskykyä. Esimerkiksi Galaxy Zoo -tiimi kävi avoimen puhelun ja löysi uuden lähestymistavan, joka ylitti Banerji et al. (2010) ; katso lisätietoja Dieleman, Willett, and Dambre (2015) .

• Avoimet puhelut (kappale 5.3)

Avoimet puhelut eivät ole uusia. Itse asiassa yksi tunnetuimmista avoimista puheluista on peräisin vuodelta 1714, jolloin Ison-Britannian parlamentti loi Pitkäaikaispalkinnon kenelle tahansa, joka voisi kehittää keinon määritellä laivan pituus merellä. Tämä ongelma riehui monista päivän suurimmista tiedemiehistä, kuten Isaac Newtonista, ja voittajana toimiva ratkaisu toimitti lopulta maaseudun kellopulaaja John Harrison, joka lähestyi ongelmaa eri tavalla kuin tiedemiehet, jotka keskittyivät ratkaisuun, joka jotenkin liittyisi tähtitieteeseen ; lisätietoja on Sobel (1996) . Kuten esimerkissä havainnollistetaan, yksi syy, jonka mukaan avointen puheluiden uskotaan toimivan niin hyvin, on se, että ne tarjoavat pääsyn ihmisille, joilla on erilaisia ​​näkymiä ja taitoja (Boudreau and Lakhani 2013) . Katso Hong and Page (2004) ja Page (2008) lisätietoja ongelmanratkaisun monimuotoisuuden arvosta.

Jokainen tässä luvussa olevista avoimista puheluista vaatii hieman lisätietoa miksi se kuuluu tähän luokkaan. Ensinnäkin eräs tapa, jolla erotan ihmisen laskennan ja avoimen puhelun projekteista, on onko tuloste keskimäärin kaikista ratkaisuista (ihmisen laskenta) tai parhaasta ratkaisusta (avoin puhelu). Netflix-palkinto on hieman hankala tässä suhteessa, sillä paras ratkaisu osoittautui yksilöllisten ratkaisujen hienostuneeksi keskiarvoksi, joka on kokonaisratkaisu (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflixin näkökulmasta kuitenkin kaikki, mitä heidän oli tehtävä, oli valita paras ratkaisu. Lisätietoja Netflix-palkinnosta löydät Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) sekä Feuerverger, He, and Khatri (2012) .

Toiseksi ihmisen laskennan tietyillä määritelmillä (esim. Ahn (2005) ) Foldit olisi pidettävä ihmisen laskentaprojektina. Haluan kuitenkin luokitella sen avoimeksi, koska se vaatii erikoistuneita taitoja (vaikkakaan ei välttämättä erikoistumiskoulutusta) ja se vie parhaan ratkaisun käyttämään split-apply-combine -strategiaa. Lisätietoja Folditista ks. Cooper et al. (2010) , Khatib et al. (2011) ja Andersen et al. (2012) ; selostukseni Folditista on kuvattu Bohannossa Bohannon (2009) , Hand (2010) ja Nielsen (2012) .

Lopuksi voidaan väittää, että Peer-to-Patent on esimerkki hajautetusta tiedonkeruusta. Päätän sisällyttää sen avoimeksi, koska sillä on kilpailurakenne, ja vain parhaita maksuosuuksia käytetään, kun taas hajautetun tietojenkeruun ansiosta ajatus hyvistä ja huonoista maksuista on vähemmän selkeää. Lisätietoja peer-to-patentista on Noveck (2006) , Ledford (2007) , Noveck (2009) ja Bestor and Hamp (2010) .

Sosiaalisen tutkimuksen avointen puhelujen osalta Glaeser et al. (2016) on esitetty Mayer-Schönberger and Cukier (2013) luvussa 10, jolloin New York City pystyi käyttämään ennakoivaa mallinnusta tuottaakseen suuria hyötyjä asunto-tarkastajien tuottavuudessa. New York Cityssä nämä ennustusmallit rakennettiin kaupungin työntekijöiltä, ​​mutta muissa tapauksissa voisi kuvitella, että ne voitaisiin luoda tai parantaa avoimilla puheluilla (esim. Glaeser et al. (2016) ). Yksi resurssien kohdentamiseen käytetyistä ennakoivista malleista huolestuttaa kuitenkin se, että näillä malleilla on potentiaalia vahvistaa nykyisiä ennakkoluuloja. Monet tutkijat tietävät jo "roskat, roskat ulos" ja ennakoivilla malleilla se voi olla "puolueellisuutta, puolueellisuutta". Katso Barocas and Selbst (2016) ja O'Neil (2016) lisää ennakoivien mallien vaaroista puolueettomilla harjoittelutietoilla.

Yksi ongelma, joka saattaa estää hallituksia käyttämästä avoimia kilpailuja, on, että tämä edellyttää tietojen luovuttamista, mikä voi johtaa yksityisyyden loukkauksiin. Lisätietoja yksityisyydestä ja tietojen julkaisemisesta avoimissa puheluissa on Narayanan, Huey, and Felten (2016) sekä keskustelu luvussa 6.

Lisätietoja ennusteiden ja selityksen eroista ja samankaltaisuuksista on Breiman (2001) , Shmueli (2010) , Watts (2014) ja Kleinberg et al. (2015) . Enemmän tietoa ennusteiden roolista yhteiskuntatutkimuksessa on Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) sekä Yarkoni and Westfall (2017) .

Saez-Rodriguez et al. (2016) .

• Hajautettu tiedonkeruu (kohta 5.4)

Oma kuvaukseni eBirdista perustuu kuvauksiin Bhattacharjee (2005) , Robbins (2013) ja Sullivan et al. (2014) . Lisätietoja siitä, miten tutkijat käyttävät tilastollisia malleja analysoimaan eBird-tietoja, katso Fink et al. (2010) ja Hurlbert and Liang (2012) . Enemmän arvioitaessa eBird-osanottajien taitoa, katso Kelling, Johnston, et al. (2015) . Lisätietoja kansalaistotieteen historiasta ornitologiassa, ks. Greenwood (2007) .

Lisätietoja Malawin Watkins and Swidler (2009) sekä Watkins and Swidler (2009) , Watkins and Swidler (2009) Kaler, Watkins, and Angotti (2015) . Lisätietoja läheisessä hankkeessa Etelä-Afrikassa on Angotti and Sennott (2015) . Lisää esimerkkejä tutkimuksesta, joka käyttää Malawin lehtien hankkeen tietoja, katso Kaler (2004) ja Angotti et al. (2014) .

• Suunnittelu omasta (kohta 5.5)

Suunnittelun neuvontaa koskeva lähestymistapa oli induktiivinen, joka perustuu esimerkkeihin onnistuneista ja epäonnistuneista massayhteistyöhankkeista, joista olen kuullut. Myös tutkimuspyrkimyksiä on sovellettu yleisempiin sosiaalisiin psykologisiin teorioihin verkkoyhteisöjen suunnittelussa, joka on olennaista massayhteistyöhankkeiden suunnittelulle, ks. Esim. Kraut et al. (2012) .

Motivoivien osallistujien osalta on varsin hankala selvittää, miksi ihmiset osallistuvat massatuotantoon (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Jos aiot motivoida osallistujia maksamaan mikrotaskun työmarkkinoilla (esim. Amazon Mechanical Turk), Kittur et al. (2013) tarjoaa joitakin neuvoja.

Mitä yllätyksenä on, ja lisää esimerkkejä Zooiverse-projekteista tulevista odottamattomista löydöistä, katso Marshall, Lintott, and Fletcher (2015) .

Eettisten näkökohtien osalta joitain hyviä yleisiä esityksiä kysymyksistä ovat Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) sekä Zittrain (2008) . Kysymyksiä, jotka liittyvät erityisesti laillisiin kysymyksiin väkijoukon työntekijöiden kanssa, ovat mm. Felstiner (2011) . O'Connor (2013) käsittelee kysymyksiä tutkimuksen eettisestä valvonnasta, kun tutkijoiden ja osallistujien roolit ovat hämärtyneet. Tietojen yhteiskäyttöön liittyvissä kysymyksissä samalla kun suojellaan kansalaisten tietoprojekteihin osallistuvia henkilöitä, katso Bowser et al. (2014) . Sekä Purdam (2014) että Windt and Humphreys (2016) keskustelevat hajautetun tiedonkeruun eettisistä kysymyksistä. Lopuksi useimmat hankkeet tunnustavat osallistumisen, mutta eivät anna osallistujille tekijän luottoa. Folditissa pelaajat luetellaan usein tekijänä (Cooper et al. 2010; Khatib et al. 2011) . Muissa avoimissa Bell, Koren, and Volinsky (2010) voittaja voi kirjoittaa usein paperin, joka kuvaa heidän ratkaisujaan (esim. Bell, Koren, and Volinsky (2010) ja Dieleman, Willett, and Dambre (2015) ).