Hvað á að lesa næst

• Inngangur (kafli 5.1)

Mass samstarf blandar hugmyndir frá ríkisborgari vísindi , mannfjöldi og sameiginlega upplýsingaöflun . Citizen vísindi þýðir venjulega að taka þátt í "vísindalegum ferli", þ.e. Fyrir meira, sjá Crain, Cooper, and Dickinson (2014) og Bonney et al. (2014) . Crowdsourcing þýðir yfirleitt að taka upp vandamál sem venjulega er leyst innan stofnunar og í staðinn útvistun það til mannfjöldans; Fyrir meira, sjá Howe (2009) . Sameiginleg upplýsingaöflun þýðir yfirleitt hópar einstaklinga sem vinna sameiginlega á þann hátt sem virðist vera greindur; Fyrir meira, sjá Malone and Bernstein (2015) . Nielsen (2012) er bók lengd kynning á krafti samvinnu massa fyrir vísindarannsóknir.

Það eru margar tegundir af samvinnu í massa sem passa ekki vel í þrjá flokka sem ég hef lagt til, og ég held að þrír af þeim eiga skilið sérstaka athygli vegna þess að þeir gætu verið gagnlegar í félagsrannsóknum. Eitt dæmi er spámarkaðir, þar sem þátttakendur kaupa og selja samninga sem eru innleysanleg á grundvelli niðurstaðna sem eiga sér stað í heiminum. Spámarkaðir eru oft notaðir af fyrirtækjum og stjórnvöldum til að spá fyrir um og þeir hafa einnig verið notaðir af félagsvísindamönnum til að spá fyrir um (Dreber et al. 2015) birtra rannsókna í sálfræði (Dreber et al. 2015) . Til að fá yfirlit yfir Wolfers and Zitzewitz (2004) , sjá Wolfers and Zitzewitz (2004) og Arrow et al. (2008) .

Annað dæmi sem passar ekki vel í flokkunarkerfi mínu er PolyMath verkefnið, þar sem vísindamenn hafa unnið með blogg og wikis til að sanna nýjar stærðfræðigreinar. PolyMath verkefnið er á nokkurn hátt svipað Netflix-verðlaunin, en í þessu verkefni byggðu þátttakendur virkari á hluta lausna annarra. Fyrir frekari upplýsingar um PolyMath verkefnið, sjá Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) og Kloumann et al. (2016) .

Þriðja dæmi sem passar ekki vel í flokkunarkerfið mitt er tímabundið hreyfingar eins og DARPA (Network Development Challenge) (Challenge). Fyrir meira um þessar tímabundnar hreyfingar sjá Pickard et al. (2011) , Tang et al. (2011) og Rutherford et al. (2013) .

• Mannleg útreikningur (kafla 5.2)

Hugtakið "mannleg útreikningur" kemur út úr vinnu hjá tölvunarfræðingum og skilning á samhenginu á bak við þessa rannsókn mun bæta getu þína til að velja vandamál sem gætu hentað henni. Fyrir ákveðin verkefni eru tölvur ótrúlega öflugar, með hæfileika sem eru langt yfir þeim sem eru jafnvel sérfræðingar menn. Til dæmis, í skák, tölvur geta slá jafnvel bestu stórmeistarar. En - og þetta er minna vel þegið af félagsvísindamönnum - fyrir önnur verkefni eru tölvur í raun miklu verri en fólk. Með öðrum orðum, núna ertu betri en jafnvel háþróaður tölva við ákveðin verkefni sem fela í sér vinnslu mynda, myndbands, hljóð og texta. Tölva vísindamenn sem vinna að þessum tölvuverkefnum, sem er auðvelt fyrir mannauð, áttaði sig því á að þeir gætu falið í sér menn í tölvunarferlinu. Hér er hvernig Luis von Ahn (2005) lýsti mannlegri útreikningi þegar hann hugsaði fyrst hugtakið í ritgerð sinni: "Hönnunaraðferð til að nýta mannleg vinnsluafli til að leysa vandamál sem tölvur geta ekki enn leyst." Algengasta skilningin á hugtakinu, sjá Law and Ahn (2011) .

Samkvæmt skilgreiningunni sem mælt er fyrir um í Ahn (2005) Foldit - sem ég lýsti í kaflanum um opna símtöl - gæti talist mannlegt útreikningsverkefni. Hins vegar ákvað ég að flokka Foldit sem opið símtal vegna þess að það krefst sérhæfðrar færni (þó ekki endilega formlega þjálfun) og það tekur besta lausnin sem stuðlað er að, frekar en að nota samhæfð stefnu.

Hugtakið "split-apply-combining" var notað af Wickham (2011) til að lýsa stefnu fyrir tölfræðilegri tölvunarfræði, en það tekur fullkomlega ferlið við margar rannsóknir á mönnum. Stefnumótunarleiðin er svipuð og MapReduce ramma þróuð hjá Google; Fyrir meira á MapReduce, sjá Dean and Ghemawat (2004) og Dean and Ghemawat (2008) . Fyrir frekari upplýsingar um önnur dreift computing arkitektúr, sjá Vo and Silvia (2016) . Í 3. kafla Law and Ahn (2011) er fjallað um verkefni með flóknari samskeyti en í þessum kafla.

Í útreikningum mönnum sem ég hef rætt um í kaflanum voru þátttakendur meðvitaðir um hvað var að gerast. Sum önnur verkefni leitast hins vegar við að fanga "vinnu" sem er þegar að gerast (líkt og eBird) og án þátttakanda meðvitundar. Sjá til dæmis ESP (Ahn and Dabbish 2004) og reCAPTCHA (Ahn et al. 2008) . Hins vegar (Zittrain 2008; Lung 2012) bæði þessi verkefni við siðferðilegar spurningar vegna þess að þátttakendur vissu ekki hvernig gögnin voru notuð (Zittrain 2008; Lung 2012) .

Innblásin af ESP leiknum, hafa margir vísindamenn reynt að þróa aðra "leiki með tilgang" (Ahn and Dabbish 2008) (þ.e. "mannlegar byggingar tölvuleiki" (Pe-Than, Goh, and Lee 2015) ) sem geta verið notað til að leysa ýmsar aðrar vandamál. Hvað þessi "leikur með tilgang" hafa sameiginlegt er að þeir reyna að gera verkefni sem taka þátt í mannlegri útreikning skemmtilegt. Þannig að á meðan ESP leikurinn deilir sömu skiptisviðbrögðum með Galaxy dýragarðinum er það ólíkt því hvernig þátttakendur eru hvattir til skemmtilegs og löngun til að hjálpa vísindum. Fyrir meira um leiki með tilgangi, sjá Ahn and Dabbish (2008) .

Lýsing mín á Galaxy Zoo dregur á Nielsen (2012) , Adams (2012) , Clery (2011) og Hand (2010) og kynning mín á rannsóknarmarkmiðum Galaxy Zoo var einfölduð. Fyrir meira um sögu Galaxy flokkun í stjörnufræði og hvernig Galaxy Zoo heldur áfram þessari hefð, sjá Masters (2012) og Marshall, Lintott, and Fletcher (2015) . Byggð á Galaxy dýragarðinum, gerðu vísindamenn lokið Galaxy Zoo 2 sem safnaði meira en 60 milljón flóknari formfræðilegum flokkum frá sjálfboðaliðum (Masters et al. 2011) . Ennfremur greindu þeir út í vandamál utan vetrarbrautarinnar, þar á meðal að skoða yfirborð tunglsins, leita að plánetum og flytja gömlu skjölin. Nú eru öll verkefni þeirra safnað á heimasíðu Zooniverse (Cox et al. 2015) . Eitt af verkefnunum-Snapshot Serengeti-gefur vísbendingar um að Galaxy Zoo-tegund myndflokkunarverkefni geti einnig verið gerðar til umhverfisrannsókna (Swanson et al. 2016) .

Fyrir vísindamenn sem ætla að nota mikrotask vinnumarkaðinn (td Amazon Mechanical Turk) fyrir mannlegt útreikningsverkefni, bjóða Chandler, Paolacci, and Mueller (2013) og J. Wang, Ipeirotis, and Provost (2015) góð ráð um verkefni hönnun og önnur skyld mál. Porter, Verdery, and Gaddis (2016) bjóða upp á dæmi og ráðgjöf sem sérstaklega er beitt á notkun vinnumarkaða mikrotaskanna fyrir það sem þeir kalla "gögn augmentation." Línan milli gagnauppbyggingar og gagnasöfnun er nokkuð óskýr. Til að fá meiri upplýsingar um að safna og nota merki um undirbúið nám fyrir texta, sjá Grimmer and Stewart (2013) .

Vísindamenn sem hafa áhuga á að búa til það sem ég hef kallað tölvuaðstoðanlegar tölvukerfi (td kerfi sem nota mannleg merki til að þjálfa tölvukerfi) gætu haft áhuga á Shamir et al. (2014) (fyrir dæmi með hljóð) og Cheng and Bernstein (2015) . Einnig er hægt að biðja um að læra líkanið í þessum verkefnum með opnum símtölum, þar sem vísindamenn keppa við að búa til vélnemannámsmyndir með mesta sjálfvirkni. Til dæmis hljóp Galaxy Zoo liðið opið símtal og fann nýjan aðferða sem náði betri árangri en Banerji et al. (2010) ; sjá Dieleman, Willett, and Dambre (2015) fyrir nánari upplýsingar.

• Opna símtöl (kafla 5.3)

Opna símtöl eru ekki nýjar. Reyndar er einn af þekktustu opnum símtölum frá 1714 þegar þingið í Bretlandi bjó til lengdarverðlaunin fyrir þá sem gætu þróað leið til að ákvarða lengd skipa á sjó. Vandamálið stumped margir af stærstu vísindamönnum daganna, þar á meðal Isaac Newton og aðlaðandi lausnin var að lokum lögð fram af John Harrison, klukka frá sveitinni, sem nálgaðist vandamálið öðruvísi en vísindamenn sem voru með áherslu á lausn sem myndi einhvern veginn fela í sér stjörnufræði ; Nánari upplýsingar er að finna í Sobel (1996) . Eins og þetta dæmi sýnir er ein ástæða þess að opna símtöl eru talin vinna svo vel að þau veita aðgang að fólki með mismunandi sjónarmið og færni (Boudreau and Lakhani 2013) . Sjá Hong and Page (2004) og Page (2008) fyrir meira um verðmæti margbreytileika í vandræðum.

Hvert opið símtal í kaflanum krefst frekar útskýringar á því hvers vegna það tilheyrir þessum flokki. Í fyrsta lagi er ein leið til að greina á milli mannauppbyggingar og opna símtala, hvort framleiðsla er að meðaltali allra lausna (mannleg útreikningur) eða besta lausnin (opið símtal). Netflix-verðlaunin er nokkuð erfiður í þessu sambandi vegna þess að besta lausnin virtist vera háþróuð meðaltal einstakra lausna, nálgun sem kallast samsetta lausn (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Frá sjónarhóli Netflix var þó allt sem þeir þurftu að velja besta lausnin. Fyrir meira á Netflix verðlaununum, sjá Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) og Feuerverger, He, and Khatri (2012) .

Í öðru lagi, með nokkrum skilgreiningum á útreikningum manna (td Ahn (2005) ), ætti Foldit að teljast til útreiknings fyrir menn. Hins vegar vali ég að flokka það sem opið símtal vegna þess að það krefst sérhæfða færni (þó ekki endilega sérhæfð þjálfun) og það tekur bestu lausnin, frekar en að nota samhæfð stefnu. Fyrir meira á Foldit sjá, Cooper et al. (2010) , Khatib et al. (2011) og Andersen et al. (2012) ; Lýsing mín á Foldit byggir á lýsingu í Bohannon (2009) , Hand (2010) og Nielsen (2012) .

Að lokum má halda því fram að Peer-to-Patent sé dæmi um dreift gagnasöfnun. Ég kýs að setja það inn sem opið símtal vegna þess að það hefur keppni eins og uppbygging og aðeins bestu framlög eru notuð, en með dreifðu gagnasöfnun er hugmyndin um góða og slæma framlag ekki skýrari. Fyrir meira um Peer-to-Patent, sjá Noveck (2006) , Ledford (2007) , Noveck (2009) , og Bestor and Hamp (2010) .

Hvað varðar notkun opinbers símtala í félagslegum rannsóknum, niðurstöður svipaðar þeim sem Glaeser et al. (2016) , er greint frá í kafla 10 í Mayer-Schönberger and Cukier (2013) þar sem New York City gat notað fyrirbyggjandi líkan til að framleiða mikla hagnað í framleiðni eftirlitsaðila húsnæðis. Í New York City voru þessar fyrirbyggjandi gerðir byggðar af starfsmönnum borgarinnar, en í öðrum tilvikum gæti maður ímyndað sér að hægt væri að búa til eða bæta við opnum símtölum (td Glaeser et al. (2016) ). Hins vegar er eitt stórt áhyggjuefni með fyrirsjáanlegum líkönum sem notuð eru til að úthluta auðlindir, að þessi líkön geta hugsanlega styrkt núverandi fyrirvik. Margir vísindamenn þekkja nú þegar "sorp í rusli," og með spádrættum líkönum getur það orðið "hlutdrægni í hlutdrægni." Sjá Barocas and Selbst (2016) og O'Neil (2016) til að fá meiri upplýsingar um hættuna á spádómlegum gerðum með hlutdrægum þjálfunargögnum.

Eitt vandamál sem gæti komið í veg fyrir að ríkisstjórnir noti opna keppni er að þetta krefst gagnaútgáfu, sem gæti leitt til einkalífsbrota. Nánari upplýsingar um persónuvernd og gagnaútgáfu í opnum símtölum er að finna í Narayanan, Huey, and Felten (2016) og umfjöllunin í kafla 6.

Fyrir meira um mismun og líkindi milli spá og útskýringar, sjá Breiman (2001) , Shmueli (2010) , Watts (2014) og Kleinberg et al. (2015) . Fyrir meira um hlutverk spá í félagslegum rannsóknum, sjá Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) og Yarkoni and Westfall (2017) .

Fyrir endurskoðun á opnum símtalaverkefnum í líffræði, þar með talið hönnunarráðgjöf, sjá Saez-Rodriguez et al. (2016) .

• Úthlutað gagnasöfnun (kafli 5.4)

Lýsing mín á eBird dregur á lýsingar í Bhattacharjee (2005) , Robbins (2013) og Sullivan et al. (2014) . Fyrir frekari upplýsingar um hvernig vísindamenn nota tölfræðilegar gerðir til að greina eBird gögn sjá Fink et al. (2010) og Hurlbert and Liang (2012) . Fyrir frekari upplýsingar um hæfni þátttakenda í eBird, sjá Kelling, Johnston, et al. (2015) . Fyrir meira um sögu borgarvísinda í ornithology, sjá Greenwood (2007) .

Fyrir meira um Malawi Tíðindi Verkefnið, sjá Watkins and Swidler (2009) og Kaler, Watkins, and Angotti (2015) . Fyrir meira um tengt verkefni í Suður-Afríku, sjáðu Angotti and Sennott (2015) . Fyrir fleiri dæmi um rannsóknir með því að nota gögn úr Malaví-tíðnifélaginu sjá Kaler (2004) og Angotti et al. (2014) .

• Hönnun þín eigin (kafla 5.5)

Aðferðin mín við að bjóða hönnunarráðgjöf var inductive, byggt á dæmi um árangursríkar og mistókst samstarfsverkefni sem ég hef heyrt um. Einnig hefur verið unnið að rannsóknum á almennum félagslegum sálfræðilegum kenningum til að hanna netheima sem tengjast hönnun samstarfsverkefna, sjá td Kraut et al. (2012) .

Að því er varðar hvetjandi þátttakendur er það í raun nokkuð erfitt að finna út nákvæmlega hvers vegna fólk tekur þátt í verkefnum í samvinnu við massamiðlun (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ef þú ætlar að hvetja þátttakendur við greiðslu á vinnumarkaði með mikrotaskum (td Amazon Mechanical Turk), Kittur et al. (2013) býður upp á nokkur ráð.

Varðandi að koma á óvart, sjá fleiri dæmi um óvæntar uppgötvanir sem koma út úr Zooiverse verkefni, sjá Marshall, Lintott, and Fletcher (2015) .

Um það að vera siðferðileg eru nokkrar góðar almennar kynningar á málunum sem máli skipta Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) og Zittrain (2008) . Fyrir málefni sem tengjast sérstaklega lagalegum málefnum við starfsfólk starfsmanna, sjá Felstiner (2011) . O'Connor (2013) fjallar um spurningar um siðferðileg eftirlit með rannsóknum þegar hlutverk vísindamanna og þátttakenda er óskýrt. Fyrir málefni sem tengjast hlutdeild gagna meðan vernda þátttakendur í rannsóknum á borgarvísindum, sjá Bowser et al. (2014) . Bæði Purdam (2014) og Windt and Humphreys (2016) hafa nokkrar umræður um siðferðileg vandamál í dreifðri gagnasöfnun. Að lokum viðurkenna flest verkefni að framlagi en ekki veita höfundaréttindi til þátttakenda. Í Foldit eru leikmenn oft skráðir sem höfundur (Cooper et al. 2010; Khatib et al. 2011) . Í öðrum opnum símtalum getur vinnandi framlagið oft skrifað grein sem lýsir lausnum sínum (td Bell, Koren, and Volinsky (2010) og Dieleman, Willett, and Dambre (2015) ).