Mit kell olvasni?

• Bevezetés (5.1. Szakasz)

A tömeges együttműködés ötvözi az állampolgári tudomány , a tömeghalmozás és a kollektív intelligencia ötleteit. A polgári tudomány általában azt jelenti, hogy a tudományos folyamatban részt vesz a "polgárok" (azaz nem tudósok); lásd még Crain, Cooper, and Dickinson (2014) és Bonney et al. (2014) . A crowdsourcing általában azt jelenti, hogy egy szervezeten belül rendszerint megoldott problémát vesz igénybe, és inkább egy tömegnek kiszervezi; További információ: Howe (2009) . A kollektív intelligencia általában az egyének csoportjait jelenti, amelyek kollektíven működnek olyan módon, amely intelligensnek tűnik; bővebben lásd Malone and Bernstein (2015) . Nielsen (2012) egy könyvehosszú bevezetés a tudományos kutatások tömeges együttműködésének erejéig.

Számos olyan tömeges együttműködés létezik, amelyek nem illeszkednek az általam javasolt három kategóriába, és úgy gondolom, hogy ezek közül három különös figyelmet érdemel, mivel hasznosak lehetnek a társadalomkutatásban. Az egyik példa a becslési piac, ahol a résztvevők megvásárolhatják és értékesíthetnek olyan szerződéseket, amelyek a világon előforduló eredmények alapján visszaválthatóak. A cégek és kormányok gyakran előrejelző piacokat használnak az előrejelzéshez, és azokat a szociális kutatók is használják, hogy előrejelezzék a pszichológiai tanulmányok reprodukálhatóságát (Dreber et al. 2015) . A predikciós piacok áttekintését lásd: Wolfers and Zitzewitz (2004) és Arrow et al. (2008) .

Egy második példa, amely nem illeszkedik jól a kategorizációs sémámba, a PolyMath projekt, ahol a kutatók együttműködtek a blogok és a wikik használatával új matematikai tételek bizonyítására. A PolyMath projekt valamilyen módon hasonló a Netflix Díjhoz, de ebben a projektben a résztvevők aktívabban építettek mások részleges megoldásaira. A PolyMath projektről bővebben lásd: Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) és Kloumann et al. (2016) .

Egy harmadik példa, amely nem illeszkedik jól a kategorizációs sémámba, az időfüggő mobilizációk, mint például a Defense Advanced Research Projects Agency (DARPA) hálózati kihívás (azaz a Red Balloon Challenge). Ezen időérzékeny mozgósításokról bővebben lásd Pickard et al. (2011) , Tang et al. (2011) és Rutherford et al. (2013) .

• Emberi számítás (5.2. Szakasz)

Az "emberi számítás" kifejezés a számítógépes tudósok által végzett munkából származik, és a kutatás mögött meghúzódó kontextus megértése javítja a képességét, hogy megtalálja azokat a problémákat, amelyek alkalmasak lehetnek rá. Bizonyos feladatokhoz a számítógépek hihetetlenül nagy teljesítményűek, és a képességek messze meghaladják a még szakértő embereket. Például a sakkban a számítógépek is legyőzhetik a legjobb nagymestereket. De - és ezt a társadalomtudósok kevésbé értékelik - más feladatoknál a számítógépek valójában sokkal rosszabbak, mint az emberek. Más szóval most jobb vagy annál, mint a legfejlettebb számítógép bizonyos képfeldolgozási, video, audio és szövegfeldolgozási feladatoknál. A számítógéppel dolgozó tudósok, akik ilyen hard-for-computers-ot dolgoztak, könnyen értesültek arról, hogy az embereket bevonhatják számítási folyamatába. Így írta le Luis von Ahn (2005) az emberi számítást, amikor először koncepcióját a disszertációban foglalta össze: "paradigma az emberi feldolgozóerő hasznosítására olyan problémák megoldására, amelyeket a számítógépek még nem tudnak megoldani". a kifejezés legáltalánosabb értelme, lásd Law and Ahn (2011) .

Az Ahn (2005) által javasolt fogalommeghatározás szerint a Foldit - amelyet a nyílt hívásokról szóló fejezetben leírtam - humán számítási projektnek tekinthető. Mindazonáltal úgy döntöttem, hogy a Foldit nyílt hívásnak minősül, mert speciális készségeket igényel (bár nem feltétlenül formális képzés), és a legjobb megoldást a legjobb megoldás érinti, ahelyett, hogy egy split-apply-combine stratégiát alkalmazna.

A "split-apply-combine" kifejezést Wickham (2011) használta egy statisztikai számítástechnikai stratégia leírására, de tökéletesen rögzíti számos emberi számítási projekt folyamatát. A split-apply-combine stratégia hasonló a Google-nál kifejlesztett MapReduce keretrendszerhez; További tudnivalók a MapReduce-ról lásd Dean and Ghemawat (2004) és Dean and Ghemawat (2008) . További információ az elosztott számítástechnikai architektúrákról: Vo and Silvia (2016) . A Law and Ahn (2011) 3. fejezete Law and Ahn (2011) foglalkozik olyan projektekkel, amelyek bonyolultabb kombinációs lépései vannak, mint az ebben a fejezetben leírtak.

A fejezetben tárgyalt emberi számítási projektekben a résztvevők tisztában voltak azzal, hogy mi történik. Más projektek azonban megpróbálják megragadni a "munkát", ami már megtörtént (hasonlóan az eBird-hez) és a résztvevők tudatosítása nélkül. Lásd például az ESP Game (Ahn and Dabbish 2004) és az reCAPTCHA (Ahn et al. 2008) . Azonban mindkét projekt etikai kérdéseket vet fel, mivel a résztvevők nem tudták, hogy miként használják fel adataikat (Zittrain 2008; Lung 2012) .

Az ESP játék által inspirált sok kutató arra törekedett, hogy más "célzott játékokat" (Ahn and Dabbish 2008) (azaz "emberi alapú számítási játékokat" (Pe-Than, Goh, and Lee 2015) számos más problémát megoldani. Ezek a "célzott játékok" közösek abban, hogy az emberi számítástechnikai feladatokra törekednek. Így, miközben az ESP Game ugyanazt a split-apply-combine struktúrát osztja fel a Galaxy Zoo-val, különbözik attól, hogy a résztvevők motiváltak-mulatságosak a tudományt támogató vágyakkal szemben. Bővebben a célzott játékokról lásd Ahn and Dabbish (2008) .

A Galaxy Zoo leírása Nielsen (2012) , Adams (2012) , Clery (2011) és Hand (2010) , és a Galaxy Zoo kutatási céljainak ismertetése egyszerűsödött. További információ a csillagászat klasszifikációjáról és arról, hogy a Galaxy Zoo hogyan folytatja ezt a hagyományt: lásd Masters (2012) és Marshall, Lintott, and Fletcher (2015) . A Galaxy Zoo-ra építve a kutatók befejezték a Galaxy Zoo 2-et, amely több mint 60 millió összetettebb morfológiai osztályozást gyűjtött össze az önkéntesektől (Masters et al. 2011) . Ezenkívül a galaxis morfológiáján kívüli problémákat vetettek fel, beleértve a Hold felszínének feltérképezését, bolygókat keresve és a régi dokumentumok átírását. Jelenleg a projektjeiket a Zooniverse weboldalán gyűjtik össze (Cox et al. 2015) . Az egyik projekt - a Serengeti Snapshot - bizonyítékot szolgáltat arra nézve, hogy a Galaxy Zoo-típusú képminősítési projektek elvégezhetők a környezeti kutatásban is (Swanson et al. 2016) .

A Chandler, Paolacci, and Mueller (2013) valamint J. Wang, Ipeirotis, and Provost (2015) mikroszámítógépes munkaerőpiacra (pl. Amazon Mechanical Turk) történő felhasználására tervezett Chandler, Paolacci, and Mueller (2013) jó tanácsokat adnak a feladatok tervezésére és egyéb kapcsolódó kérdések. Porter, Verdery, and Gaddis (2016) példákat és tanácsokat kínálnak kifejezetten a mikrotask munkaerőpiacok használatára, amit "adattömörítésnek" neveznek. Az adatgyűjtés és az adatgyűjtés közötti vonal némileg homályos. Bővebben a címkék gyűjtésére és felhasználására a felügyelt tanuláshoz a szöveghez lásd: Grimmer and Stewart (2013) .

Azok a kutatók, akiket számítógépesített emberi számítási rendszereknek neveznek (pl. Olyan rendszerek, amelyek emberi feliratokat használnak gépi tanulási modell képzésére), érdeklődhetnek Shamir et al. (2014) (például az audio használatával) és Cheng and Bernstein (2015) . Emellett a gépek tanulási modelljei nyílt hívásokkal is felkínálhatók, így a kutatók versengenek a gépi tanulási modellek létrehozásához, amelyek a legnagyobb prediktív teljesítményt nyújtják. Például a Galaxy Zoo csapat nyílt hívást indított, és új megközelítést talált, amely felülmúlta a Banerji et al. (2010) ; lásd részletesen: Dieleman, Willett, and Dambre (2015) .

• Nyílt hívások (5.3. Szakasz)

A nyitott hívások nem újak. Valójában az egyik legismertebb nyílt hívás 1714-ben nyúlik vissza, amikor a brit parlament létrehozta a Longitudinális Díjat bárkinek, aki képes lenne kidolgozni egy módját annak meghatározására, hogy a hajó hosszúságú legyen a tengeren. A probléma a nap nagyszámú tudósa, köztük Isaac Newton megdöbbent, és a nyertes megoldást végül John Harrison, a vidéki óraművész nyújtotta be, aki másképp közelítette meg a problémát azoktól a tudósoktól, akik olyan megoldásra összpontosultak, amely valamilyen módon magában foglalja a csillagászatot ; további információkért lásd Sobel (1996) . Ahogy ez a példa illusztrálja, az egyik oka, hogy a nyílt hívások úgy gondolják, hogy olyan jól működik, hogy hozzáférést biztosítanak a különböző perspektívákhoz és képességekhez (Boudreau and Lakhani 2013) . Lásd Hong and Page (2004) és Page (2008) többet a változatosság értékéről a problémamegoldásról.

A fejezetben szereplő minden egyes nyílt hívás esetén további magyarázatot kell adni arra, hogy miért tartozik ebbe a kategóriába. Először is, az emberi számítás és a nyílt hívások közötti különbségtétel egyik módja az, hogy a kimenet az összes megoldás (emberi számítás) vagy a legjobb megoldás (nyitott hívás) átlaga. A Netflix-díj ebben a tekintetben kissé trükkös, mert a legjobb megoldás az egyedi megoldások kifinomult átlaga, egy olyan megoldás, amelyet egy együttes megoldásnak hívnak (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . A Netflix szempontjából azonban mindössze annyit kellett tennie, hogy kiválasztja a legjobb megoldást. További információ a Netflix-díjról: Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , valamint Bell, Koren, and Volinsky (2010) Feuerverger, He, and Khatri (2012) .

Másodszor, az emberi számítás bizonyos meghatározása (pl. Ahn (2005) ), a Foldit emberi számítási projektnek tekintendő. Mindazonáltal úgy döntöttem, hogy azt nyílt hívásnak minősítem, mert speciális készségeket igényel (bár nem feltétlenül speciális képzés), és a legjobb megoldást veszi igénybe, nem pedig egy split-apply-combine stratégiát. Bővebben a Foldit-ről lásd Cooper et al. (2010) , Khatib et al. (2011) és Andersen et al. (2012) ; a Foldit leírása a Bohannon (2009) , a Hand (2010) és a Nielsen (2012) leírásokra támaszkodik.

Végül vitathatjuk, hogy a Peer-to-Patent példa az elosztott adatgyűjtésre. Úgy döntöttem, hogy nyílt hívásként veszi fel, mert versenyszerű szerkezettel rendelkezik, és csak a legjobb hozzájárulásokat használják, míg az elosztott adatgyűjtésnél a jó és rossz hozzájárulások ötlete kevésbé világos. A Peer-to- Noveck (2006) bővebben lásd: Noveck (2006) , Ledford (2007) , Noveck (2009) és Bestor and Hamp (2010) .

A társadalmi kutatásban a nyílt hívások használatával hasonló eredményeket Glaeser et al. (2016) a Mayer-Schönberger and Cukier (2013) 10. fejezetében közöltek, amely szerint a New York City képes volt prediktív modellezésre, hogy nagy nyereséget teremtsen a lakásfelügyelők termelékenységében. A New York-i városban ezek a prediktív modellek a város alkalmazottai által épültek, de más esetekben elképzelhető, hogy nyílt hívásokkal létrehozhatók vagy javíthatók (pl. Glaeser et al. (2016) ). Ugyanakkor a prediktív modellek egyik legfontosabb aggodalma az erőforrások elosztására szolgál, hogy ezek a modellek potenciálisan megerősítik a meglévő előítéleteket. Sok kutató már tudja "szemetet, szemetet", és a prediktív modellekkel "elfogultság, torzítás" lehet. Lásd Barocas and Selbst (2016) és O'Neil (2016) többet a tervezett előrejelző modellek veszélyeiről az elfogult képzési adatokkal.

Az egyik probléma, amely megakadályozhatja a kormányokat abban, hogy nyílt versenyeket használjanak, hogy ez adatközlést igényel, ami magánélet megsértéséhez vezethet. A nyílt hívások adatvédelméről és adattovábbításáról bővebben lásd Narayanan, Huey, and Felten (2016) valamint a 6. fejezetben ismertetett beszélgetés.

Bővebben a becslések és a magyarázatok közötti különbségekről és hasonlóságokról lásd Breiman (2001) , Shmueli (2010) , Watts (2014) és Kleinberg et al. (2015) . Az inkább a szerepe a jóslat a társadalmi kutatások, lásd Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , és Yarkoni and Westfall (2017) .

A biológia nyílt hívások projektjeinek áttekintése, beleértve a tervezési tanácsadást, lásd: Saez-Rodriguez et al. (2016) .

• Elosztott adatgyűjtés (5.4. Szakasz)

Az eBird leírása a Bhattacharjee (2005) , Robbins (2013) és a Sullivan et al. (2014) . További információ arról, hogy a kutatók statisztikai modelleket használnak az eBird adatok elemzéséhez lásd Fink et al. (2010) és Hurlbert and Liang (2012) . Az eBird-résztvevők készségének becslésénél lásd: Kelling, Johnston, et al. (2015) . További tudnivalók az ornitológia állampolgári tudományának történetéről lásd Greenwood (2007) .

A Malawi Journals projektről bővebben lásd Watkins and Swidler (2009) valamint Kaler, Watkins, and Angotti (2015) . További információ a kapcsolódó projektről Dél-Afrikában, lásd Angotti and Sennott (2015) . További példák a Malawi Journals Project adatainak felhasználásával kapcsolatos kutatásokról lásd Kaler (2004) és Angotti et al. (2014) .

• Saját tervezés (5.5. Szakasz)

A tervezési tanácsadáshoz való hozzáállásom induktív volt, a sikeres és sikertelen tömeges együttműködési projektek példáján alapulva, amelyekről hallottam. Ugyancsak folyik a kutatási kísérlet arra, hogy általánosabb társadalmi pszichológiai elméleteket alkalmazzanak az online közösségek megtervezéséhez, ami releváns a tömeges együttműködési projektek tervezéséhez, lásd például Kraut et al. (2012) .

Ami a motiváló résztvevőket illeti, valójában eléggé trükkös megérteni, hogy miért vesznek részt a tömeges együttműködési projektekben (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ha a résztvevőket egy mikroszámlázási munkaerőpiacon kívánja motiválni (pl. Amazon Mechanical Turk), Kittur et al. (2013) néhány tanácsot nyújt.

Ami a meglepetés lehetőségét illeti, a Zooiverse projektekből származó váratlan felfedezések további példáiról lásd Marshall, Lintott, and Fletcher (2015) Lintott Marshall, Lintott, and Fletcher (2015) .

Ami az etikai kérdést illeti, néhány jó általános bevezetés az érintett kérdésekre: Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , valamint Zittrain (2008) . A tömeges munkatársakkal kapcsolatos jogi kérdésekkel kapcsolatban lásd: Felstiner (2011) . O'Connor (2013) foglalkozik a kutatás etikai felügyeletével kapcsolatos kérdésekkel, amikor a kutatók és a résztvevők szerepe homályossá válik. Az adatok megosztására vonatkozó kérdésekben a polgári tudományos projektek résztvevőinek védelmét illetően lásd Bowser et al. (2014) . Mind a Purdam (2014) mind a Windt and Humphreys (2016) megvitatja a megosztott adatgyűjtés etikai kérdéseit. Végül, a legtöbb projekt elismerte a hozzájárulásokat, de nem ad megbízást a résztvevőknek. A Foldit-ban gyakran szerepelnek a szerzők (Cooper et al. 2010; Khatib et al. 2011) . Más nyitható projekteknél a nyertes munkatárs gyakran írjon egy megoldást (például Bell, Koren, and Volinsky (2010) és Dieleman, Willett, and Dambre (2015) ).