Čo čítať ďalej

• Úvod (časť 5.1)

Masová spolupráca spája myšlienky občianskej vedy , crowdsourcingu a kolektívnej inteligencie . Občianska veda zvyčajne znamená zapojiť do vedeckého procesu "občanov" (tj neznámych); pozri ďalšie Crain, Cooper, and Dickinson (2014) a Bonney et al. (2014) . Crowdsourcing zvyčajne znamená riešenie problému bežne vyriešeného v rámci organizácie a namiesto toho outsourcing na dav; pre viac, pozri Howe (2009) . Kolektívna inteligencia zvyčajne znamená skupiny jednotlivcov konajúcich kolektívne spôsobom, ktorý sa zdá byť inteligentný; pre viac, pozri Malone and Bernstein (2015) . Nielsen (2012) je kniha-dĺžka úvod do moci masovej spolupráce pre vedecký výskum.

Existuje mnoho typov masovej spolupráce, ktoré sa nehodia do troch kategórií, ktoré som navrhla, a myslím, že tri z nich si zaslúžia osobitnú pozornosť, pretože by mohli byť užitočné v sociálnom výskume. Jedným z príkladov sú predikčné trhy, kde účastníci nakupujú a obchodujú so zmluvami, ktoré sú splatné na základe výsledkov, ktoré sa vyskytujú vo svete. Predpovedanie trhov často používajú firmy a vlády na prognózovanie a používali ich aj výskumní pracovníci v sociálnej oblasti na predpovedanie reprodukovateľnosti publikovaných štúdií v oblasti psychológie (Dreber et al. 2015) . Prehľad o predikčných trhoch pozri Wolfers and Zitzewitz (2004) a Arrow et al. (2008) .

Druhým príkladom, ktorý sa dobre nezapadá do mojej kategorizačnej schémy, je projekt PolyMath, kde výskumníci spolupracovali pomocou blogov a wikiet, aby dokázali nové matematické teórie. Projekt PolyMath je v niektorých smeroch podobný ako cena Netflix, ale v tomto projekte účastníci viac aktívne stavali na čiastkových riešeniach iných. Viac informácií o projekte PolyMath nájdete v publikácii Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) a Kloumann et al. (2016) .

Tretí príklad, ktorý sa mi dobre nezhoduje s mojej kategorizačnej schémy, je časovo závislé mobilizácie, akou je napr. Challenge Network Challenge Agency (DARPA) Network Challenge (tj Challenge Red Balloon Challenge). Viac informácií o týchto časovo citlivých mobilizáciách nájdete v Pickard et al. (2011) , Tang et al. (2011) a Rutherford et al. (2013) .

• Výpočet človeka (oddiel 5.2)

Termín "ľudský výpočet" vychádza z práce vykonanej počítačovými vedcami a chápanie kontextu tohto výskumu zlepší vašu schopnosť vyberať problémy, ktoré by pre ne mohli byť vhodné. Pre určité úlohy sú počítače neuveriteľne silné, s možnosťami, ktoré ďaleko prevyšujú schopnosti dokonca aj odborných ľudí. Napríklad v šachu počítače dokážu poraziť aj tých najlepších velmistrov. Ale - a toto je menej dobre ocenené sociálnymi vedcami - pre iné úlohy, počítače sú v skutočnosti oveľa horšie ako ľudia. Inými slovami, práve teraz ste lepšie ako aj najsofistikovanejší počítač pri určitých úlohách zahŕňajúcich spracovanie obrázkov, videa, zvuku a textu. Počítačskí vedci, ktorí pracujú na týchto hard-to-computers-jednoduchých úlohách pre človeka, si preto uvedomili, že môžu zahrnúť ľudí do svojho výpočtového procesu. Tu je to, ako Luis von Ahn (2005) opísal výpočet človeka, keď po prvý raz uviedol pojem v dizertačnej práci: "paradigma využitia ľudskej spracovateľskej sily na vyriešenie problémov, ktoré počítače ešte nedokážu vyriešiť". najzávažnejší pojem termínu, pozri Law and Ahn (2011) .

Podľa definície navrhovanej v Ahn (2005) Foldit - ktorú som opísal v časti o otvorených výzvach - by sa mohol považovať za projekt na výpočet ľudskej činnosti. Rozhodol som sa však kategorizovať Foldit ako otvorenú výzvu, pretože vyžaduje špecializované zručnosti (hoci nie nevyhnutne formálne) a najlepšie riešenie, než aby sa použila stratégia split-apply-combine.

Termín "split-apply-combine" bol použitý Wickham (2011) na opis stratégie štatistického výpočtu, ale dokonale zachycuje proces mnohých ľudských výpočtových projektov. Stratégia split-apply-combine je podobná stratégii MapReduce vyvinutému v spoločnosti Google; viac informácií o MapReduce pozri Dean and Ghemawat (2004) a Dean and Ghemawat (2008) . Viac informácií o ďalších distribuovaných výpočtových architektúrach nájdete v systéme Vo and Silvia (2016) . V kapitole 3 Law and Ahn (2011) sa diskutuje o projektoch so zložitejšími kombinovanými krokmi ako v tejto kapitole.

V projektoch ľudských výpočtov, o ktorých som hovoril v kapitole, účastníci si boli vedomí toho, čo sa deje. Niektoré ďalšie projekty sa však snažia zachytiť "prácu", ktorá sa už deje (podobne ako eBird) a bez vedomia účastníkov. Pozri napríklad ESP Game (Ahn and Dabbish 2004) a reCAPTCHA (Ahn et al. 2008) . Avšak obidva tieto projekty vyvolávajú aj etické otázky, pretože účastníci nevedeli, ako sa používajú ich údaje (Zittrain 2008; Lung 2012) .

Inšpirovaný ESP Game, mnohí vedci sa pokúsili vyvinúť iné "hry s cieľom" (Ahn and Dabbish 2008) (tj "ľudské počítačové hry" (Pe-Than, Goh, and Lee 2015) ), ktoré môžu byť používajú na riešenie rôznych ďalších problémov. Čo majú tieto "hry s cieľom" spoločné, je to, že sa snažia urobiť úlohy spojené s ľudským výpočtom príjemné. Takže zatiaľ čo ESP Game má rovnakú štruktúru split-apply-combine s Galaxy Zoo, líši sa v tom, ako účastníci sú motivovaní - zábava a túžba pomôcť vede. Viac informácií o hrách s účelom nájdete v Ahn and Dabbish (2008) .

Môj popis Galaxy Zoo čerpá z Nielsen (2012) , Adams (2012) , Clery (2011) a Hand (2010) a moje predstavenie výskumných cieľov Galaxy Zoo bolo zjednodušené. Viac o histórii klasifikácie galaxií v astronómii ao tom, ako Galaxy Zoo pokračuje v tejto tradícii, pozri Masters (2012) a Marshall, Lintott, and Fletcher (2015) . Vychádzajúc zo Zoo Galaxy, výskumníci dokončili Galaxiu Zoo 2, ktorá zhromaždila viac ako 60 miliónov zložitejších morfologických klasifikácií od dobrovoľníkov (Masters et al. 2011) . Ďalej sa rozdelili na problémy mimo morfológiu galaxií, vrátane skúmania povrchu Mesiaca, hľadania planét a prepisovania starých dokumentov. V súčasnosti sú všetky ich projekty zhromaždené na webovej lokalite Zooniverse (Cox et al. 2015) . Jeden z projektov - Snapshot Serengeti - dokazuje, že projekty klasifikácie obrazu Galaxy Zoo sa dajú robiť aj pre environmentálny výskum (Swanson et al. 2016) .

Pre výskumných pracovníkov, ktorí plánujú používať trh práce na trhu s mikroprocesmi (napr. Amazon Mechanical Turk) na projekt ľudských výpočtov Chandler, Paolacci, and Mueller (2013) a J. Wang, Ipeirotis, and Provost (2015) ďalšie súvisiace otázky. Porter, Verdery, and Gaddis (2016) ponúkajú príklady a rady zamerané konkrétne na využitie trhov práce microtask pre to, čo nazývajú "zväčšenie dát". Riadok medzi zväčšením údajov a zhromažďovaním údajov je trochu rozmazaný. Ďalšie informácie o zhromažďovaní a používaní štítkov pre dohľad nad textom pozri Grimmer and Stewart (2013) .

Výskumní pracovníci, ktorí majú záujem vytvoriť to, čo som nazval počítačom podporované ľudské výpočtové systémy (napr. Systémy používajúce ľudské štítky na výcvik modelu strojového učenia), by mohli mať záujem o Shamir et al. (2014) (napríklad pomocou zvuku) a Cheng and Bernstein (2015) . Tiež modely strojového učenia sa v týchto projektoch môžu byť vyžiadané prostredníctvom otvorených výziev, čím sa vedci sústreďujú na vytvorenie modelov strojového učenia s najväčším prediktívnym výkonom. Napríklad tím Galaxy Zoo spustil otvorený hovor a našiel nový prístup, ktorý prekonal ten, ktorý sa vyvinul v Banerji et al. (2010) ; pozri Dieleman, Willett, and Dambre (2015) pre podrobnosti.

• Otvorené hovory (časť 5.3)

Otvorené hovory nie sú nové. V skutočnosti jedno z najznámejších otvorených výziev sa datuje do roku 1714, kedy britský parlament vytvoril Cenu za dlžnú hodnosť pre každého, kto by mohol vyvinúť spôsob, ako určiť zemepisnú dĺžku lode na mori. Problém sa dotkol mnohých najväčších vedeckých pracovníkov v dňoch, vrátane Isaaca Newtona, a víťazné riešenie nakoniec predložil John Harrison, hodinár z vidieka, ktorý sa k problému obrátil inak než vedci, ktorí sa sústredili na riešenie, ktoré by sa nejako týkalo astronómie ; viac informácií pozri Sobel (1996) . Ako ukazuje tento príklad, jedným z dôvodov, prečo sa otvorené výzvy považujú za úspešné, je to, že poskytujú prístup k ľuďom s rôznymi perspektívami a schopnosťami (Boudreau and Lakhani 2013) . Pozri Hong and Page (2004) a Page (2008) viac o hodnote rôznorodosti pri riešení problémov.

Každý z prípadov otvorených hovorov v kapitole si vyžaduje trochu ďalšie vysvetlenie, prečo patrí do tejto kategórie. Po prvé, jedným zo spôsobov, ktorými rozlišujem medzi ľudským výpočtom a projektmi s otvorenými výzvami, je to, či výstup je priemerom všetkých riešení (ľudský výpočet) alebo najlepším riešením (otvorený hovor). Cena Netflixu je v tomto ohľade trochu komplikovaná, pretože najlepšie riešenie sa ukázalo ako sofistikovaný priemer individuálnych riešení, prístup nazvaný riešenie súborov (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Z pohľadu spoločnosti Netflix však všetko, čo museli urobiť, bolo vybrať najlepšie riešenie. Ďalšie informácie o cene Netflix nájdete v článku Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) a Feuerverger, He, and Khatri (2012) .

Po druhé, podľa niektorých definícií ľudského výpočtu (napr. Ahn (2005) ), Foldit by sa mal považovať za projekt na výpočet človeka. Rozhodla som sa ho klasifikovať ako otvorenú výzvu, pretože vyžaduje špecializované zručnosti (hoci nie nevyhnutne špecializované školenie) a najlepšie riešenie, než použiť stratégiu split-apply-combine. Viac o Foldit pozri, Cooper et al. (2010) , Khatib et al. (2011) a Andersen et al. (2012) ; môj opis Folditu čerpá z opisov v Bohannon (2009) , Hand (2010) a Nielsen (2012) .

Nakoniec by sme mohli argumentovať, že Peer-to-Patent je príkladom zberu distribuovaných údajov. Rozhodol som sa ho zaradiť ako otvorenú výzvu, pretože má štruktúru podobnú súťaži a používajú sa len tie najlepšie príspevky, zatiaľ čo pri zhromažďovaní distribuovaných údajov je myšlienka dobrých a zlých príspevkov menej jasná. Viac informácií o Peer-to-Patent nájdete v Noveck (2006) , Ledford (2007) , Noveck (2009) a Bestor and Hamp (2010) .

Pokiaľ ide o používanie otvorených výziev v sociálnom výskume, výsledky podobné tým, ktoré Glaeser et al. (2016) , sú uvedené v kapitole 10 Mayer-Schönberger and Cukier (2013) vďaka ktorému New York City mohol využívať prediktívne modelovanie na dosiahnutie veľkých ziskov v produktivite bytových inšpektorov. V New Yorku boli tieto prediktívne modely postavené mestskými zamestnancami, avšak v iných prípadoch by sa dalo predpokladať, že by mohli byť vytvorené alebo zdokonalené otvorenými výzvami (napr. Glaeser et al. (2016) ). Jedným z hlavných problémov s prediktívnymi modelmi, ktoré sa používajú na prideľovanie zdrojov, je však to, že tieto modely majú potenciál posilniť existujúce predsudky. Mnohí vedci už vedia "odpadky v odpadkoch" a prediktívnymi modelmi to môže byť "skreslenie, skreslenie." Pozri Barocas and Selbst (2016) a O'Neil (2016) ohľadom nebezpečenstva prediktívnych modelov s predpísanými údajmi o školení.

Jeden problém, ktorý by mohol brániť vládam, aby používali otvorené súťaže, je, že to vyžaduje uvoľnenie údajov, čo by mohlo viesť k porušovaniu súkromia. Ďalšie informácie o súkromí a uvoľňovaní údajov v otvorených výzvach nájdete v Narayanan, Huey, and Felten (2016) a diskusii v kapitole 6.

Viac o rozdieloch a podobnostiach medzi predikciou a vysvetlením pozri Breiman (2001) , Shmueli (2010) , Watts (2014) a Kleinberg et al. (2015) . Pre viac informácií o úlohe predikcie v sociálnej oblasti výskumu, pozri Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) a Yarkoni and Westfall (2017) .

Pre prehľad projektov otvorených výziev v oblasti biológie vrátane návrhového poradenstva pozri Saez-Rodriguez et al. (2016) .

• Distribúcia zberu údajov (oddiel 5.4)

Môj popis eBird čerpá z opisov v Bhattacharjee (2005) , Robbins (2013) a Sullivan et al. (2014) . Ďalšie informácie o tom, ako vedci používajú štatistické modely na analýzu údajov eBird, pozri Fink et al. (2010) a Hurlbert and Liang (2012) . Ďalšie informácie o odhadovaní zručností účastníkov systému eBird nájdete Kelling, Johnston, et al. (2015) . Viac informácií o histórii vedy občanov v ornitológii nájdete v článku Greenwood (2007) .

Viac informácií o projekte Malawi Journals nájdete v článku Watkins and Swidler (2009) a Kaler, Watkins, and Angotti (2015) . Viac informácií o súvisiacom projekte v Južnej Afrike nájdete v článku Angotti and Sennott (2015) . Viac príkladov výskumu s využitím údajov z projektu Malawi Journals pozri Kaler (2004) a Angotti et al. (2014) .

• Navrhovanie vlastných (oddiel 5.5)

Môj prístup k navrhovaniu poradenstva bol induktívny, založený na príkladoch úspešných a neúspešných projektov masovej spolupráce, o ktorých som počul. Taktiež sa uskutočnil výskum pokusov o uplatnenie všeobecnejších sociálnych psychologických teórií na navrhovanie on-line komunít, ktoré sú dôležité pre návrh projektov masovej spolupráce, pozri napríklad Kraut et al. (2012) .

Pokiaľ ide o motiváciu účastníkov, je naozaj pomerne zložité presne zistiť, prečo ľudia participujú na projektoch masovej spolupráce (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ak máte v úmysle motivovať účastníkov platbou na trhu práce s mikroprocesmi (napr. Amazon Mechanical Turk), Kittur et al. (2013) ponúka niekoľko rád.

Pokiaľ ide o umožnenie prekvapenia, viac príkladov neočakávaných objavov, ktoré vychádzajú zo projektov Zooiverse, pozri Marshall, Lintott, and Fletcher (2015) .

Čo sa týka etiky, niektoré dobré všeobecné predstavy o týchto otázkach sú Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) a Zittrain (2008) . Pokiaľ ide o otázky, ktoré sa konkrétne týkajú právnych problémov s davmi, pozri Felstiner (2011) . O'Connor (2013) zaoberá otázkami etického dohľadu nad výskumom, keď sa rozplynú úlohy výskumníkov a účastníkov. Pri otázkach týkajúcich sa zdieľania údajov pri ochrane účastníkov v projektoch vedy občanov pozri Bowser et al. (2014) . Obaja Purdam (2014) a Windt and Humphreys (2016) majú nejakú diskusiu o etických otázkach v oblasti zhromažďovania distribuovaných údajov. Napokon, väčšina projektov uznáva príspevky, ale účastníkom neposkytuje autorský kredit. Vo Foldite sa hráči často uvádzajú ako autori (Cooper et al. 2010; Khatib et al. 2011) . V iných otvorených projektoch môže Bell, Koren, and Volinsky (2010) prispievať často k popisu ich riešení (napr. Bell, Koren, and Volinsky (2010) a Dieleman, Willett, and Dambre (2015) ).