Muita kommentteja

Tämä osio on suunniteltu käytettäväksi referenssinä, pikemmin kuin luettavaksi kerronnan.

• Johdanto (kohta 5.1)

Mass yhteistyö sulautuu ideoita kansalainen tieteen, crowdsourcing, ja kollektiivista älykkyyttä. Citizen tiede tarkoittaa yleensä liittyy "kansalaisten" (eli ei-tutkijat) tieteelliseen prosessiin (Crain, Cooper, and Dickinson 2014) . Crowdsourcing tarkoittaa yleensä ottaen ongelma ratkaistaan tavallisesti organisaation sisällä ja sen sijaan ulkoistaminen sen yleisöä (Howe 2009) . Collective Intelligence tarkoittaa yleensä ryhmiä yksilöiden toimivat yhdessä tavalla, joka näyttää älykkäät (Malone and Bernstein 2015) . Nielsen (2012) on hieno kirja-pituus kulkeutumisen voima massan yhteistyö tieteelliseen tutkimukseen.

On olemassa monenlaisia ​​massa yhteistyö, jotka eivät sovi siististi kolmeen ryhmään, jotka ehdotin, ja mielestäni kolme on kiinnitettävä erityistä huomiota, koska ne saattavat olla hyödyllisiä yhteiskuntatutkimuksen jossain vaiheessa. Yksi esimerkki on ennuste markkinoilla, jossa osallistujat ostaa ja kaupan sopimukset, jotka lunastettavissa perustuvat tuloksiin, jotka tapahtuvat maailmassa (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Hoitojen markkinat ovat usein yritysten ja hallitusten ennustamiseen, ja ennustamiseen markkinoita on käytetty sosiaalisen tutkijat ennustaa toistettavuutta julkaistujen tutkimusten psykologian (Dreber et al. 2015) .

Toinen esimerkki, joka ei sovi hyvin minun luokittelun järjestelmään on yleisnero projekti, jossa tutkijat yhteistyötä blogien ja wikien todistamaan uuden matematiikka lauseiden (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Yleisnero hanke on tietyllä tavalla samankaltainen kuin Netflix palkinnon, mutta Yleisnero hankkeen osanottajien aktiivisemmin rakennettu osaratkaisujen toisten.

Kolmas esimerkki, joka ei sovi hyvin minun luokittelun järjestelmään on aikariippuvainen mobiliaatio kuten Defense Advanced Research Projects Agency (DARPA) Network Challenge (eli Red Balloon Challenge). Lisätietoja näistä aika herkkä mobiliaatio katso Pickard et al. (2011) , Tang et al. (2011) , ja Rutherford et al. (2013) .

• Ihmisen laskenta (kohta 5.2)

Termi "ihmisen laskenta" tulee ulos työn tietotekniikan tutkijoita, ja ymmärtäminen yhteydessä taustalla tutkimus parantaa kykyä poimia ongelmia, jotka saattavat soveltua sen. Tiettyihin tehtäviin, tietokoneet ovat uskomattoman voimakas valmiuksia ylittää reilusti jopa asiantuntija ihmisiin. Esimerkiksi shakki, tietokoneet voivat voittaa jopa paras Grand Masters. Mutta-ja tämä on vähemmän hyvin arvostettu yhteiskuntatieteilijät-muihin tehtäviin, tietokoneet ovat todella paljon pahempi kuin ihmiset. Toisin sanoen, nyt olet parempi kuin jopa kaikkein kehittyneempiä tietokoneen tietyt tehtävät, joihin liittyy käsittelyä kuvia, videoita, ääntä ja tekstiä. Täten kuten havainnollistettiin hieno XKCD sarjakuva-on tehtäviä, jotka ovat helposti tietokoneita ja kova ihmisille, mutta on myös tehtäviä, jotka ovat kovat tietokoneita ja helpoksi (Kuva 5.13). Tietotekniikan tutkijoita työskentelee näiden vaikeasti for-tietokoneille-helppo-for-ihmisen tehtäviä, siis ymmärsivät, että he voisivat olla ihmisille heidän laskennallisen prosessissa. Näin Luis von Ahn (2005) kuvataan ihmisen laskenta, kun hän ensin termin hänen väitöskirja: "paradigman hyödyntämiseen ihmisen laskentatehoa ratkaista ongelmia, tietokoneet eivät voi vielä ratkaista."

Kuva 5.13: Joidenkin tehtävien tietokoneet ovat hämmästyttäviä, ylittää kyky ihmisen asiantuntijoita. Mutta, muihin tehtäviin, tavalliset ihmiset ovat parempia jopa kehittyneitä tietokoneita järjestelmiä. Laajamittainen liittyviin ongelmiin tehtäviä, joita on vaikea tietokoneiden ja helposti ihmisille soveltuvat hyvin ihmisen laskenta. Käytetään sanamuodon mukaisesti tässä kuvatut: http://xkcd.com/license.html

Tämän määritelmän Foldit-jota jaksossa avoimien-voidaan pitää ihmisen laskennan projekti. Olen kuitenkin halutessaan luokitella Foldit avoimena puhelun, koska se vaatii erikoistaitoja ja se vie paras ratkaisu vaikutti sijaan käyttämällä jaetun soveltaa-yhdistää strategian.

Erinomaisesta kirja pituus hoitoon ihmisen laskenta, kaikkein yleisesti merkityksessä, katso Law and Ahn (2011) . 3 luku Law and Ahn (2011) on mielenkiintoinen keskustelu monimutkaisempia yhdistää vaiheita kuin ne tässä luvussa.

Termi "split-soveltaa-yhdistävät" käytti Wickham (2011) kuvaamaan strategian tilastollinen tietojenkäsittely, mutta se täydellisesti kaappaa prosessi moniin ihmisen laskennan projekteja. Jaetun soveltaa-yhdistää strategia on samanlainen kuin MapReduce kehittämän Googlen (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Kaksi taitava ihmisen laskenta projekteja että en ole tilaa keskustella ovat ESP Game (Ahn and Dabbish 2004) ja reCAPTCHA (Ahn et al. 2008) . Molemmat hankkeet luovilla tavoilla motivoida osallistujia toimittamaan etikettejä kuvia. Kuitenkin molemmissa hankkeissa esiin myös eettiset kysymykset, sillä toisin kuin Galaxy Zoo, osallistujat ESP Game ja reCAPTCHA ei tiedä miten heidän tietoja oli käytössä (Lung 2012; Zittrain 2008) .

Innoittamana ESP Game, monet tutkijat ovat yrittäneet kehittää muille "pelejä tarkoitukseen" (Ahn and Dabbish 2008) (eli "ihmisen-pohjainen laskenta pelit" (Pe-Than, Goh, and Lee 2015) ), joka voi olla käytetään ratkaisemaan monia muita ongelmia. Mitä nämä "pelejä tarkoitukseen" on yhteistä se, että he yrittävät tehdä tehtäviä osallistuvat ihmisten laskenta nautittavaa. Siten, vaikka ESP Peli on sama jaetun soveltaa-yhdistyvät rakenne Galaxy Zoo, se eroaa siinä, miten osallistujat ovat motivoituneita-hauskaa vs. halu auttaa tiedettä.

Oma kuvaus Galaxy Zoo pohjautuu Nielsen (2012) , Adams (2012) , Clery (2011) , ja Hand (2010) , ja esitykseni tutkimuksen tavoitteista Galaxy Zoo yksinkertaistettiin. Lisätietoja historiasta galaksin luokituksen tähtitieteen ja miten Galaxy Zoo jatkaa tätä perinnettä, katso Masters (2012) ja Marshall, Lintott, and Fletcher (2015) . Pohjalta Galaxy Zoo, tutkijat valmistunut Galaxy Zoo 2 joka keräsi yli 60 miljoonaa monimutkaisempi morfologinen luokitusten vapaaehtoisilta (Masters et al. 2011) . Lisäksi he haarautunut ulos ongelmia ulkopuolella galaksin morfologia ja tutkitaan, kuun pinnalla, etsivät planeettoja, ja transcribing vanhoja asiakirjoja. Tällä hetkellä kaikki projektit kerätään www.zooniverse.org (Cox et al. 2015) . Yksi projekteista-Snapshot Serengetin-näyttää toteen, että Galaxy Zoo-tyyppi image luokitus projekteja voidaan tehdä myös ympäristötutkimuksen (Swanson et al. 2016) .

Tutkijalle aikoo käyttää mikro-tehtävä työmarkkinoilla (esim Amazon Mechanical Turk) ihmiselle laskennan projekti, Chandler, Paolacci, and Mueller (2013) ja Wang, Ipeirotis, and Provost (2015) tarjoavat hyviä neuvoja tehtävän suunnitteluun ja muut asiaan liittyvät kysymykset.

Tutkijat kiinnostunut luomaan mitä olen sanottu toisen sukupolven ihmisen laskenta (esim, järjestelmät, jotka käyttävät ihmisen tarroja kouluttaa koneen oppimisen malli) saattavat olla kiinnostuneita Shamir et al. (2014) (on esimerkki audio) ja Cheng and Bernstein (2015) . Myös nämä hankkeet voidaan tehdä avoimia puheluja, jolloin tutkijat kilpailevat luoda koneoppimismalleja kaikella ennakoivaa suorituskykyä. Esimerkiksi Galaxy Zoo joukkue juoksi avoimen ja löysivät uuden lähestymistavan, joka päihitti yksi kehitetty Banerji et al. (2010) ; katso Dieleman, Willett, and Dambre (2015) lisätietoja.

• Avoimet puhelut (kohta 5.3)

Avoimet puhelut eivät ole uusia. Itse asiassa yksi tunnetuimmista avoimen puhelut vuodelta 1714, kun Britannian parlamentin loi Pituusaste palkinto kaikille, jotka voisivat kehittää tapa määrittää pituutta aluksen merellä. Ongelma ihmeissään monet suurimmista tiedemiesten päivien, kuten Isaac Newton, ja voittanut liuos lopulta esittämät kelloseppä maalta jotka lähestyivät ongelmaa eri tutkijoille, jotka keskittyivät ratkaisua, joka jotenkin liittyy tähtitiede (Sobel 1996) . Koska tämä esimerkki osoittaa, yksi syy, että avoimia arvellaan toimivan niin hyvin, että ne tarjoavat pääsyn ihmisiä eri näkökulmia ja taitoja (Boudreau and Lakhani 2013) . Katso Hong and Page (2004) ja Page (2008) lisää arvosta monimuotoisuuden ongelmanratkaisuun.

Kukin avoimeen tapaukset luvussa vaatii hieman pidemmälle selitys sille, miksi se kuuluu tähän luokkaan. Ensinnäkin, yksi tapa, että olen erottaa ihmisen laskenta ja avoimen hankkeiden onko tuotos keskimäärin kaikki ratkaisut (ihmisen laskenta) tai paras ratkaisu (avoin). Netflix-palkinto on hieman hankala tässä suhteessa, koska paras ratkaisu osoittautui hienostunut keskiarvo yksittäisten ratkaisuissa lähestyi nimeltään ensemble ratkaisu (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Näkökulmasta Netflix, mutta kaikki heidän oli tehtävä oli valita paras ratkaisu.

Toiseksi, jotkut määritelmät ihmisen laskenta (esim Von Ahn (2005) ), Foldit olisi pidettävä ihmisen laskennan projekti. Olen kuitenkin halutessaan luokitella Foldit avoimena puhelun, koska se vaatii erikoistaitoja ja se vie paras ratkaisu myötävaikuttanut sijaan käyttämällä jaetun soveltaa-yhdistää strategian.

Lopuksi, voidaan väittää, että Peer-to-patentti on esimerkki hajautetun tiedonkeruun. En valita määrittämään sitä avoimen koska sillä on kilpailu kaltainen rakenne ja vain parhaat maksuja käytetään (kun taas hajautettu tiedonkeruun, ajatus hyviä ja huonoja osuus on epäselvempi).

Lisää tietoja Netflix-palkinto, katso Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ja Feuerverger, He, and Khatri (2012) . Lisää tietoja Foldit nähdä, Cooper et al. (2010) , Andersen et al. (2012) , ja Khatib et al. (2011) ; minun kuvaus Foldit pohjautuu kuvaukset Nielsen (2012) , Bohannon (2009) , ja Hand (2010) . Lisää tietoja Peer-to-patentin, katso Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , ja Noveck (2009) .

Samanlaisia ​​tuloksia on Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , luku 10 raporttia suuria voittoja tuottavuuden kotelon tarkastajien New Yorkissa, kun tarkastukset ohjaavat ennustavia malleja. New York City, nämä ennustemallit rakennettiin kaupungin työntekijöitä, mutta muissa tapauksissa, voisi kuvitella, että ne voitaisiin luoda tai parantaa auki puhelut (esim Glaeser et al. (2016) ). Kuitenkin yksi suuri huolenaihe kanssa ennustavia malleja käytetään resursseja on, että malleissa on mahdollista tehostaa nykyistä harhat. Monet tutkijat tietävät jo "roskat, roskat ulos", ja ennustavia malleja se voi olla "harha, bias ulos." Katso Barocas and Selbst (2016) ja O'Neil (2016) lisää vaaroista ennustavia malleja rakennettu puolueellinen harjoitustiedot.

Yksi ongelma, joka saattaa estää hallitusten käyttämästä Avoimessa kilpailussa on, että se vaatii tietojen julkaisu, joka voisi johtaa tietosuojaloukkauksista. Saat lisätietoja yksityisyyden ja tietojen julkaisu avoimessa puheluita nähdä Narayanan, Huey, and Felten (2016) ja keskustelu 6 luvussa.

• Hajautetut tiedonkeruun (5.4 kohta)

Oma kuvaus eBird pohjautuu kuvaukset Bhattacharjee (2005) ja Robbins (2013) . Lisätietoja siitä, miten tutkijat käyttävät tilastollisia malleja analysoida eBird tietojen nähdä Hurlbert and Liang (2012) ja Fink et al. (2010) . Lisätietoja historiasta kansalaisen tieteen ornothology, katso Greenwood (2007) .

Lisää tietoja Malawi Journals Project, katso Watkins and Swidler (2009) ja Kaler, Watkins, and Angotti (2015) . Ja lisää siihen liittyvästä projekti Etelä-Afrikassa, katso Angotti and Sennott (2015) . Lisää esimerkkejä tutkimuksen tietojen avulla Malawi lehdissä Project katso Kaler (2004) ja Angotti et al. (2014) .

• Suunnitella oma (5.5 jakso)

Minun lähestymistapa tarjoaa -suunnitteluapuamme oli induktiivinen, joka perustuu esimerkkejä onnistuneista ja epäonnistuneet massa yhteistyöprojekteja että olen kuullut. Myös virta tutkimus pyrkii soveltamaan yleisemmin sosiaalista psykologisia teorioita suunnittelussa online-yhteisöissä on merkitystä suunnittelu massan yhteistyöprojekteja, katso esimerkiksi, Kraut et al. (2012) .

Mitä motivointi osallistujia, se on itse asiassa varsin hankala selvittää, miksi ihmiset osallistuvat massa yhteistyöhankkeisiin (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Jos aiot motivoida osallistujille maksu on mikro-tehtävä työmarkkinoilla (esim Amazon Mechanical Turk) Kittur et al. (2013) tarjoaa joitakin neuvoja.

Mitä mahdollistaa yllätys, enemmän esimerkkejä odottamattomia löytöjä tulossa ulos zooniverse projekteja, katso Marshall, Lintott, and Fletcher (2015) .

Mitä on eettinen, hyviä yleisiä esittelyt liittyvistä asioista ovat Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ja Zittrain (2008) . Kysymyksissä liittyvät nimenomaan oikeudellisten kysymysten kanssa väkijoukkoon työntekijää, katso Felstiner (2011) . O'Connor (2013) käsitellään kysymyksiä eettisistä valvontaa tutkimusta, jossa roolit tutkijoiden ja osallistujien hämärtää. Liittyvien kysymysten jakaa tietoja samalla suojella participats kansalaispalveluihin tiedeprojekteissa, katso Bowser et al. (2014) . Molemmat Purdam (2014) ja Windt and Humphreys (2016) on joitakin keskustelua eettisistä kysymyksistä hajautetun tiedonkeruun. Lopuksi, useimmat hankkeet tunnustaa maksut, mutta älä anna tekijää luottoa osallistujille. Vuonna Foldit The Foldit pelaajat näkyvät usein tekijä (Cooper et al. 2010; Khatib et al. 2011) . Muissa avoimen projekteja, voittava osallistuja voi usein kirjoittaa kirjan, jossa kuvataan niiden ratkaisut (esim Bell, Koren, and Volinsky (2010) ja Dieleman, Willett, and Dambre (2015) ). Vuonna Galaxy Zoo perheen projektien, erittäin aktiivinen ja merkittävimpiä ovat joskus kutsuttu tekijäkumppaneita paperit. Esimerkiksi Ivan Terentev ja Tim Matorny kaksi Radio Galaxy Zoo osallistujia Venäjältä, oli co-kirjoittajat yksi papereita, jotka syntyivät että hanke (Banfield et al. 2016; Galaxy Zoo 2016) .