Co přečíst dále

• Úvod (část 5.1)

Masová spolupráce spojuje myšlenky z občanské vědy , davu a kolektivní inteligence . Občanská věda obvykle znamená zapojit do vědeckého procesu "občany" (tj. Vědce); více viz Crain, Cooper, and Dickinson (2014) a Bonney et al. (2014) . Crowdsourcing obvykle znamená řešení problému obvykle vyřešeného v rámci organizace a místo toho outsourcingu davu; pro více viz Howe (2009) . Kolektivní inteligence obvykle znamená skupiny jednotlivců působící kolektivně způsobem, který se zdá být inteligentní; pro více viz Malone and Bernstein (2015) . Nielsen (2012) je kniha-délka úvod do moci masové spolupráce pro vědecký výzkum.

Existuje mnoho druhů masové spolupráce, které se nehodí do tří kategorií, které jsem navrhoval, a myslím, že tři z nich si zaslouží zvláštní pozornost, protože by mohly být užitečné v sociálním výzkumu. Jedním z příkladů jsou trhy s předpovědí, kdy účastníci nakupují a obchodují se smlouvami, které jsou zpoplatněny na základě výsledků, které se vyskytují ve světě. Předpovědi trhů jsou často využívány firmami a vládami pro prognózu a také byly využity sociálními vědci k předpovědi opakovatelnosti publikovaných studií v psychologii (Dreber et al. 2015) . Pro přehled tržních předpovědí viz Wolfers and Zitzewitz (2004) a Arrow et al. (2008) .

Druhým příkladem, který se dobře nezapadá do mé schémy kategorizace, je projekt PolyMath, kde výzkumníci spolupracovali pomocí blogů a wiki, aby dokázali nové matematické věty. Projekt PolyMath je v jistém smyslu podobný ceně Netflix, ale v tomto projektu se účastníci aktivněji věnovali dílčím řešením druhých. Další informace o projektu PolyMath viz Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) a Kloumann et al. (2016) .

Třetím příkladem, který se nehodí dobře do mé schémy kategorizace, je časově závislé mobilizace, jako je např. Výzva k síti DARPA (Challenge Advanced Challenge Agency) (tzv. Red Balloon Challenge). Více o těchto časově citlivých mobilizacích viz Pickard et al. (2011) , Tang et al. (2011) a Rutherford et al. (2013) .

• Výpočet člověka (oddíl 5.2)

Termín "lidský výpočet" vychází z práce, kterou provádějí vědci v oblasti počítačů, a chápání kontextu tohoto výzkumu zlepší vaši schopnost vybírat problémy, které by mohly být pro ně vhodné. Pro některé úkoly jsou počítače neuvěřitelně silné, s schopnostmi daleko přesahujícími schopnost i odborných lidí. Například v šachu mohou počítače porazit i ty nejlepších velmistrů. Ale - a toto je méně dobře oceňováno sociálními vědci - pro jiné úkoly, počítače jsou ve skutečnosti mnohem horší než lidé. Jinými slovy, právě teď jste lepší než dokonce nejmodernější počítač při určitých úkolech zahrnujících zpracování obrázků, videa, zvuku a textu. Počítačové vědci, kteří pracují na těchto hard-to-computers-snadných pro lidské úkoly si proto uvědomili, že mohou zahrnovat lidi ve svém výpočetním procesu. Zde je popsáno, jak Luis von Ahn (2005) popsal výpočet člověka, když poprvé vytvořil termín v dizertační práci: "paradigma pro využití lidské zpracovatelské síly k vyřešení problémů, které počítače dosud nemohou vyřešit." Pro knihu o délce zpracování výpočtů člověka nejobecnější smysl termínu, viz Law and Ahn (2011) .

Podle definice navržené v Ahn (2005) Foldit - kterou jsem popsal v sekci o otevřených výzvách - mohl být považován za projekt lidského výpočtu. Rozhodla jsem se však kategorizovat Foldit jako otevřený hovor, protože vyžaduje speciální dovednosti (i když ne nutně formální školení) a nejlépe přispívá k řešení, než ke strategii split-apply-combine.

Termín "split-apply-combine" byl používán Wickham (2011) k popisu strategie pro statistické výpočty, ale dokonale zachycuje proces mnoha lidských výpočetních projektů. Strategie split-apply-combine je podobná strategii MapReduce vyvinuté společností Google; pro více na MapReduce, viz Dean and Ghemawat (2004) a Dean and Ghemawat (2008) . Další informace o dalších distribuovaných výpočetních architekturách viz Vo and Silvia (2016) . Kapitola 3 Law and Ahn (2011) obsahuje diskuze o projektech s mnohem složitějšími kombinovanými kroky než v této kapitole.

V projektech lidských výpočtů, o nichž jsem se v kapitole zabývala, si účastníci uvědomovali, co se děje. Některé další projekty se však snaží zachytit "práci", která se již děje (podobně jako eBird) a bez povědomí účastníků. Viz například ESP Game (Ahn and Dabbish 2004) a reCAPTCHA (Ahn et al. 2008) . Nicméně oba tyto projekty také vyvolávají etické otázky, protože účastníci nevěděli, jak byly jejich údaje používány (Zittrain 2008; Lung 2012) .

Inspirovaný ESP Game, mnoho vědců se pokouší rozvíjet jiné "hry s cílem" (Ahn and Dabbish 2008) (tj. "Lidské počítačové hry" (Pe-Than, Goh, and Lee 2015) ), které mohou být použita k řešení řady dalších problémů. Co mají tyto "hry s účelem" společné, je, že se pokoušejí učinit úkoly spojené s výpočtem člověka příjemným. Takže zatímco hra ESP sdílí stejnou strukturu split-apply-combine s Galaxy Zoo, liší se v tom, jak jsou motivováni účastníci - zábava versus touha pomáhat vědě. Více o hrách se záměrem viz Ahn and Dabbish (2008) .

Můj popis Galaxy Zoo vychází z Nielsen (2012) , Adams (2012) , Clery (2011) a Hand (2010) a moje prezentace výzkumných cílů Galaxy Zoo byla zjednodušena. Více o historii klasifikace galaxií v astronomii a o tom, jak Galaxy Zoo pokračuje v této tradici, viz Masters (2012) a Marshall, Lintott, and Fletcher (2015) . V návaznosti na Galaxy Zoo výzkumníci dokončili Galaxy Zoo 2, který shromáždil více než 60 milionů komplexnějších morfologických klasifikací od dobrovolníků (Masters et al. 2011) . Dále se rozvinuli do problémů mimo morfologii galaxií, včetně zkoumání povrchu Měsíce, hledání planet a přepisování starých dokumentů. V současné době jsou všechny jejich projekty shromažďovány na webu Zooniverse (Cox et al. 2015) . Jeden z projektů - Snapshot Serengeti - poskytuje důkaz, že projekty klasifikace obrazu Galaxy Zoo lze také provádět pro výzkum v oblasti životního prostředí (Swanson et al. 2016) .

Pro výzkumné pracovníky plánující využití pracovního trhu microtask (např. Amazon Mechanical Turk) pro lidský výpočetní projekt nabízejí Chandler, Paolacci, and Mueller (2013) a J. Wang, Ipeirotis, and Provost (2015) další související otázky. Porter, Verdery, and Gaddis (2016) nabízejí příklady a rady zaměřené konkrétně na využití trhů práce v oblasti microtasku za to, co nazývají "zvětšení dat". Rozpětí mezi zvětšením dat a sběrem dat je poněkud rozmazané. Další informace o shromažďování a používání štítků pro supervizované učení pro text viz Grimmer and Stewart (2013) .

Vědci, kteří se zajímají o vytvoření toho, co jsem nazval výpočetní systémy podporované výpočetní technikou (např. Systémy používající lidské štítky pro výuku modelu strojového učení), by mohly mít zájem o Shamir et al. (2014) (například pomocí audia) a Cheng and Bernstein (2015) . Také modely učení strojů v těchto projektech mohou být vyžádány s otevřenými voláními, čímž výzkumníci soutěží o vytvoření modelů strojového učení s největším prediktivním výkonem. Například tým Galaxy Zoo spustil otevřený hovor a našel nový přístup, který překonal ten, který byl vyvinut v Banerji et al. (2010) ; viz Dieleman, Willett, and Dambre (2015) .

• Otevřené hovory (oddíl 5.3)

Otevřené hovory nejsou nové. Jeden z nejznámějších otevřených výzev totiž pochází z roku 1714, kdy britský parlament vytvořil cenu za délku pro každého, kdo by mohl vyvinout způsob, jak určit délku lodi na moři. Problém se dotkl mnoha největších vědců dnešních dnů, včetně Isaaca Newtona, a nakonec zvítězil John Harrison, strojníček z venkovského prostředí, který se k problému přiblížil odlišně od vědců, kteří se zaměřili na řešení, které by nějakým způsobem zahrnovalo astronomii ; více informací viz Sobel (1996) . Jak ukazuje tento příklad, jedním z důvodů, proč jsou otevřené výzvy fungovat tak dobře, je to, že poskytují přístup k lidem s různými perspektivami a dovednostmi (Boudreau and Lakhani 2013) . Viz Hong and Page (2004) a Page (2008) více o hodnotě rozmanitosti v řešení problémů.

Každá z případů otevřených hovorů v kapitole vyžaduje další vysvětlení, proč patří do této kategorie. Za prvé, jedním z způsobů, kterými rozlišuji mezi výpočtem člověka a otevřenými projekty volání, je to, zda výstup je průměr všech řešení (výpočet člověka) nebo nejlepší řešení (otevřené volání). Cena Netflixu je v tomto ohledu poněkud choulostivá, protože nejlepší řešení se ukázalo být sofistikovaným průměrem individuálních řešení, což je přístup nazvaný řešení souboru (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Z pohledu Netflixu však muselo pouze vybrat nejlepší řešení. Další informace o ceně Netflix naleznete v článku Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) Feuerverger, He, and Khatri (2012) .

Za druhé, některými definicemi výpočtu člověka (např. Ahn (2005) ) by měl být Foldit považován za projekt lidského výpočtu. Rozhodla jsem se však, že to považuji za otevřenou výzvu, protože vyžaduje specializované dovednosti (i když ne nutně speciální výcvik) a je to nejlepší řešení, spíše než použití strategie split-apply-combine. Další informace o Folditu viz Cooper et al. (2010) , Khatib et al. (2011) a Andersen et al. (2012) ; můj popis Folditu čerpá z popisů v Bohannon (2009) , Hand (2010) a Nielsen (2012) .

Konečně lze tvrdit, že Peer-to-Patent je příkladem distribuovaného sběru dat. Rozhodl jsem se ji zahrnout jako otevřenou výzvu, protože má soutěžní strukturu a používají se jen ty nejlepší příspěvky, zatímco s distribuovaným sběrem dat je myšlenka dobrých a špatných příspěvků méně jasná. Více informací o Peer-to-Patent naleznete v článku Noveck (2006) , Ledford (2007) , Noveck (2009) a Bestor and Hamp (2010) .

Pokud jde o využívání otevřených volání v sociálním výzkumu, výsledky podobné těm, které Glaeser et al. (2016) , jsou uvedeny v kapitole 10 Mayer-Schönberger and Cukier (2013) podle nichž byl New York City schopen používat prediktivní modelování, aby přinesl velké zisky v produktivitě inspektorů bydlení. V New Yorku byly tyto prediktivní modely postaveny městskými zaměstnanci, ale v jiných případech je možné si představit, že mohou být vytvořeny nebo vylepšeny otevřenými voláními (např. Glaeser et al. (2016) ). Jedním z hlavních problémů s využitím prediktivních modelů při přidělování zdrojů je však to, že tyto modely mají potenciál posílit stávající předsudky. Mnoho vědců už zná "odpadky v odpadku" a podle prediktivních modelů to může být "zkreslení, předpojatost." Viz Barocas and Selbst (2016) a O'Neil (2016) více o nebezpečích Barocas and Selbst (2016) modelů postavených s předpojatými údaji o školení.

Jedním z problémů, které by mohly bránit vládám, aby používaly otevřené soutěže, je to, že vyžaduje vydání dat, což by mohlo vést k porušování soukromí. Další informace o soukromí a zpřístupňování dat v otevřených voláních viz Narayanan, Huey, and Felten (2016) a diskuse v kapitole 6.

Více o rozdílech a podobnostech mezi předpovědí a vysvětlením viz Breiman (2001) , Shmueli (2010) , Watts (2014) a Kleinberg et al. (2015) . Pro více informací o úloze predikce v sociální oblasti výzkumu, viz Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) a Yarkoni and Westfall (2017) .

Pro přehled projektů otevřených výzev v oblasti biologie, včetně návrhových rad, viz Saez-Rodriguez et al. (2016) .

• Distribuované sběr dat (oddíl 5.4)

Můj popis eBird vychází z popisů v Bhattacharjee (2005) , Robbins (2013) a Sullivan et al. (2014) . Další informace o tom, jak výzkumníci používají statistické modely k analýze údajů eBird, viz Fink et al. (2010) a Hurlbert and Liang (2012) . Další informace o odhadu dovedností účastníků programu eBird naleznete v publikaci Kelling, Johnston, et al. (2015) . Další informace o dějinách občanské vědy v ornitologii naleznete v dokumentu Greenwood (2007) .

Další informace o projektu Malawi Journals naleznete v článku Watkins and Swidler (2009) a Kaler, Watkins, and Angotti (2015) . Více informací o souvisejícím projektu v Jihoafrické republice viz Angotti and Sennott (2015) . Další příklady výzkumu s využitím dat z projektu Malawi Journals viz Kaler (2004) a Angotti et al. (2014) .

• Navrhování vlastních (oddíl 5.5)

Můj přístup k navrhování poradenství byl induktivní, založený na příkladech úspěšných a neúspěšných projektů masové spolupráce, o kterých jsem slyšel. Také se objevil proud pokusů o uplatnění obecnějších sociálních psychologických teorií na navrhování on-line komunit, které jsou relevantní pro návrh projektů masové spolupráce, viz například Kraut et al. (2012) .

Pokud jde o motivaci účastníků, je skutečně velmi složité přesně zjistit, proč se lidé podílejí na masových projektech spolupráce (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Pokud hodláte motivovat účastníky platbou na trhu práce na mikrotasku (např. Amazon Mechanical Turk), Kittur et al. (2013) nabízí některé rady.

Pokud jde o umožnění překvapení, pro další příklady nečekaných objevů pocházejících ze projektů Zooiverse viz Marshall, Lintott, and Fletcher (2015) .

Co se týče etiky, některé dobré obecné představy o těchto otázkách jsou Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) a Zittrain (2008) . U otázek, které se konkrétně týkají právních otázek s Felstiner (2011) zaměstnanci, viz Felstiner (2011) . O'Connor (2013) zabývá otázkami týkajícími se etického dohledu nad výzkumem, kdy se rozostří role výzkumných pracovníků a účastníků. Pro otázky související se sdílením dat při ochraně účastníků vědeckých projektů občanů viz Bowser et al. (2014) . Jak Purdam (2014) i Windt and Humphreys (2016) diskutují o etických otázkách při sběru distribuovaných dat. Konečně, většina projektů uznává příspěvky, ale účastníkům neposkytuje autorský kredit. Ve Folditu jsou hráči často uvedeni jako autoři (Cooper et al. 2010; Khatib et al. 2011) . V dalších otevřených projektech může vítězný přispěvatel často psát článek popisující jejich řešení (např. Bell, Koren, and Volinsky (2010) a Dieleman, Willett, and Dambre (2015) ).