fierder kommentaar
Dizze paragraaf is ûntwurpen om brûkt wurde as in ferwizing, earder as om te lêzen as in ferhaal.
- Ynlieding (paragraaf 5.1)
Mass gearwurking Natuerkunde ideeën út boarger wittenskip, crowdsourcing, en kollektyf yntelliginsje. Boarger wittenskip meastentiids betsjut wêrby't "boargers" (dat wol sizze, net-wittenskippers) yn it wittenskiplike proses (Crain, Cooper, and Dickinson 2014) . Crowdsourcing meastentiids betsjut dêrby in probleem ornaris oplost binnen in organisaasje en ynstee útbesteging it om in publyk (Howe 2009) . Collective yntelliginsje meastentiids betsjut groepen fan yndividuen aktearjen kollektyf yn wizen dy't lykje yntelligint (Malone and Bernstein 2015) . Nielsen (2012) is in prachtich boek-lingte ynfiering yn de macht fan de massa gearwurking foar wittenskiplik ûndersyk.
Der binne in protte soarten fan de massa gearwurking dy't net passe kreas yn 'e trije kategoryen dy't ik útstel, en ik tink trije fertsjinje bysûnder omtinken, om't se miskien wêze handich yn sosjale ûndersyk op in stuit. Ien foarbyld is foarsizzing merken, dêr't dielnimmers keapje en hannel kontrakten dy't Redeemable basearre op útkomsten dy't foarkomme yn 'e wrâld (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Foarsizzen fan merken wurde faak brûkt troch bedrijven en oerheden foar forecasting, en it foarsizzen fan merken hawwe ek al brûkt troch sosjale ûndersikers te foarsizze de replicability fan publisearre stúdzjes yn psychology (Dreber et al. 2015) .
In twadde foarbyld dat net past goed yn myn kategorisearring skema is de argivaris projekt, dêr't ûndersikers gearwurke mei help fan blogs en wikis te bewizen nije math stellingen (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . De argivaris projekt is yn guon opsichten ferlykber oan it Netflix Priis, mar yn 'e argivaris projekt dielnimmers mear aktyf boud op de parsjele oplossingen fan oaren.
In tredde foarbyld dat net past goed yn myn kategorisearring skema is tiid-ôfhinklike mobilizations lykas de ferdigening Avansearre Research Projects Agency (DARPA) Netwurk Challenge (dat wol sizze, de Reade Balloon Challenge). Foar mear op dizze tiid gefoelige mobilizations sjogge Pickard et al. (2011) , Tang et al. (2011) , en Rutherford et al. (2013) .
- Human computation (paragraaf 5.2)
De term "minske computation" komt út it wurk dien troch kompjûter wittenskippers, en begryp fan de kontekst efter dit ûndersyk sil ferbetterje dyn fermogen te heljen út problemen dy't miskien wêze amenable nei it. Foar bepaalde taken, kompjûters binne ongelooflijk krêftich mei kapasiteiten fier heechst sels saakkundige minsken. Bygelyks, yn skaken, kompjûters kinne beat ek de bêste grutte masters. Mar-en dit is minder goed wurdearre troch sosjale wittenskippers-foar oare taken, kompjûters binne eins folle minder as minsken. Yn oare wurden, rjocht no jo binne better as ek de meast ferfine kompjûter op bepaalde taken wêrby't ferwurkjen fan bylden, video, audio, en tekst. Sa-as waard yllustrearre troch in prachtige Xkcd cartoon-der binne taken dy't maklik foar kompjûters en hurd foar minsken, mar der binne ek taken dy't hurd foar kompjûters en maklik foar minsken (Figure 5,13). Kompjûter wittenskippers wurke op dy hurde-foar-computers-easy-foar-minsklike taken, dêrom, realisearre dat se koe ûnder mear minsken yn harren kompjûtasjonele proses. Hjir is hoe't Luis de Ahn (2005) beskreaun minsklike computation doe't er earst betocht de term yn syn dissertaasje: "in paradigma foar brûken fan minsklike ferwurking macht te lossen problemen dat kompjûters kinne noch net oplosse."
Figure 5,13: Foar guon taken kompjûters binne geweldich, heechst it fermogen fan minsklike eksperts. Mar, foar oare taken, gewoane minsken kinne outperform sels ferfine kompjûters systemen. Grutte skaal problemen dy't belûke taken dy't hurd foar kompjûters en maklik foar minsken binne goed geskikt foar minsklike berekkening. Brûkt neffens de betingsten beskreaun hjir: http://xkcd.com/license.html
By dizze definysje FoldIt-dêr't ik beskreaun yn de seksje op iepen petearen-koe wurde beskôge in minsklike computation projekt. Mar, ik kieze te kategory FoldIt as in iepen oprop omdat it freget spesjalisearre feardichheden en it kostet de bêste oplossing bydroegen earder as mei help fan in split-jilde-kombinearje strategy.
Foar in poerbêst boek lingte behanneling fan minsklike computation, yn 'e meast algemiene sin fan' e term, sjoch Law and Ahn (2011) . Haadstik 3 fan Law and Ahn (2011) hat in nijsgjirrige diskusje fan mear komplekse kombinearje stappen as de bern yn dit haadstik.
De term "split-jilde-kombinearje" waard brûkt troch Wickham (2011) te beskriuwe in strategy foar statistyske Computing, mar it perfect vangt it proses fan in protte minsklike computation projekten. De split-jilde-kombinearje strategy is te ferlykjen mei de MapReduce ramt ûntwikkele by Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Twa tûke minsklike computation projekten dy't ik net ha romte te besprekken binne de ESP Game (Ahn and Dabbish 2004) en reCAPTCHA (Ahn et al. 2008) . Beide fan dy projekten fûn kreative manieren te motivearjen dielnimmers te bieden labels op bylden. Mar, beide fan dy projekten ek ferhege etyske fragen omdat, oars as Galaxy Zoo, de dielnimmers yn 'e ESP Game en reCAPTCHA wist net hoe't harren gegevens wie dat brûkt (Lung 2012; Zittrain 2008) .
Ynspirearre troch de ESP Game, in protte ûndersikers hawwe besocht te ûntwikkeljen oaren "ferslein mei in doel" (Ahn and Dabbish 2008) (ie, "minske-basearre computation games" (Pe-Than, Goh, and Lee 2015) ), dat kin wêze brûkt om oplosse in ferskaat oan oare problemen. Wat dy "ferslein mei in doel" hawwe yn mienskiplik is dat se besykje om de taken belutsen yn minsklike computation enjoyable. Sa, wylst de ESP Game dielt deselde split-jilde-kombinearje struktuer mei Galaxy Zoo, it ferskilt yn hoe't dielnimmers binne motivearre-fun vs. winsk te helpen wittenskip.
Myn beskriuwing fan Galaxy Zoo lûkt op Nielsen (2012) , Adams (2012) , Clery (2011) , en Hand (2010) , en myn presintaasje fan it ûndersyk doelen fan Galaxy Zoo waard ferienfâldige. Foar mear op 'e skiednis fan galaxy klassifikaasje yn de astronomy en hoe't Galaxy Zoo giet dizze tradysje, sjoch Masters (2012) en Marshall, Lintott, and Fletcher (2015) . Gebou op Galaxy Zoo, de ûndersikers foltôge Galaxy Zoo 2 dy't sammele mear as 60 miljoen mear komplekse morfologyske klassifikaasjes fan frijwilligers (Masters et al. 2011) . Fierder, se fertakke út yn problemen bûten fan galaxy morfology ynklusyf ferkenning it oerflak fan de moanne, it sykjen nei planeten, en transcribing âlde dokuminten. Op it stuit, al harren projekten wurde sammele op www.zooniverse.org (Cox et al. 2015) . Ien fan de projekten-Snapshot Serengeti-jout oanwizings dat Galaxy Zoo-type image klassifikaasje projekten kin ek dien wurde foar miljeu ûndersyk (Swanson et al. 2016) .
Foar ûndersikers fan doel te brûken in mikro-taak arbeidsmerk (bygelyks, Amazon Mechanical Turk) foar in minsklike computation projekt, Chandler, Paolacci, and Mueller (2013) en Wang, Ipeirotis, and Provost (2015) biede goede advys op taak ûntwerp en oare besibbe saken.
Ûndersikers ynteressearre yn it meitsjen fan wat ik neamd twadde generaasje minsklike computation systemen (bygelyks, systemen dy't brûke minsklike labels te trenen in masine learen model) soe wêze ynteressearre yn Shamir et al. (2014) (foar in bygelyks mei help fan audio) en Cheng and Bernstein (2015) . Ek, dy projekten kin dien wurde mei iepen petearen, wêrtroch't ûndersikers stride te meitsjen masine learen modellen mei de grutste foarsizzend prestaasje. Bygelyks, de Galaxy Zoo ploech rûn in iepen petear en fûn in nije oanpak dy't hegere skoares hellen as de iene ûntwikkele yn Banerji et al. (2010) ; sjoch Dieleman, Willett, and Dambre (2015) foar details.
- Iepen petearen (paragraaf 5.3)
Iepen petearen binne net nij. Yndie, ien fan de meast bekende iepen petearen datearret nei 1714 doe't Brittanje fan Parlemint makke De Brredtegraad Priis foar elk dy't koe ûntwikkelje in manier om te bepalen de lingtegraad fan in skip op see. It probleem stumped in soad fan de grutste wittenskippers fan 'e dagen, wêrûnder Isaac Newton, en de winnende oplossing waard úteinlik yntsjinne troch in klokmakker fan it plattelân, dy't benadere it probleem oars út wittenskippers dy't rjochte op in oplossing, dat soe een of andere manier om de astronomy (Sobel 1996) . As dit foarbyld yllustrearret, ien reden dat iepen petearen wurde tocht oan it wurk sa goed is dat se biede tagong ta minsken mei ferskillende perspektiven en feardichheden (Boudreau and Lakhani 2013) . Sjoch Hong and Page (2004) en Page (2008) foar mear op 'e wearde fan ferskaat yn probleem oplossen.
Elk fan 'e iepen oprop gefallen yn it haadstik freget in bytsje fan fierdere ferklearring foar wêrom't it heart yn dizze kategory. Earste, ien manier dat ik ûnderskied tusken minske computation en iepen oprop projekten is oft de útgong is in gemiddelde fan alle oplossings (minsklik computation) of de bêste oplossing (iepen call). De Netflix priis is wat lestich yn dit ferbân omdat de bêste oplossing blykte te wêzen in ferfine gemiddelde fan yndividuele oplossings, in benei neamd in ensemble oplossing (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Ut it perspektyf fan Netflix, lykwols, al se hie te dwaan wie pick de bêste oplossing.
Twadde, troch guon definysjes fan minsklike computation (bygelyks, Von Ahn (2005) ), FoldIt moat wurde beskôge in minsklike computation projekt. Mar, ik kieze te kategory FoldIt as in iepen oprop omdat it freget spesjalisearre feardichheden en it kostet de bêste oplossing bydroegen, ynstee fan mei help fan in split-jilde-kombinearje strategy.
Ta beslút, men koe stelle dat Peer-nei-Patent is in foarbyld fan ferspraat datasammeling. Ik kies foar ûnder oaren it as in iepen oprop omdat it hat in priisfraach-lykas struktuer en allinne de bêste bydragen wurde brûkt (wylst mei ferspraat gegevens kolleksje, it idee fan goede en minne bydragen is minder dúdlik).
Foar mear op 'e Netflix Priis, sjoch Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , en Feuerverger, He, and Khatri (2012) . Foar mear op FoldIt sjen, Cooper et al. (2010) , Andersen et al. (2012) , en Khatib et al. (2011) ; myn beskriuwing fan FoldIt lûkt op beskriuwingen yn Nielsen (2012) , Bohannon (2009) , en Hand (2010) . Foar mear op Peer-nei-Patent, sjoch Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , en Noveck (2009) .
Similar nei de resultaten fan Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , haadstik 10 rapporten grutte winst yn de produktiviteit fan wenten ynspekteurs yn New York City as ynspeksjes wurde liede troch foarsizzend modellen. Yn New York City, dy foarsizzend modellen waarden boud troch stêd meiwurkers, mar yn oare gefallen, men soe my yntinke kinne dat sy koe wurde makke of ferbettere mei iepen petearen (bygelyks, Glaeser et al. (2016) ). Mar, ien grutte soarch mei foarsizzend modellen wurde brûkt om allocate middels is dat de modellen hawwe de potinsje om te fersterkjen besteande biases. In protte ûndersikers al witte "afval yn, hússmoargens út", en mei foarsizzend modellen it kin wêze "foaroardielen yn, foaroardielen út." Sjoch Barocas and Selbst (2016) en O'Neil (2016) foar mear op de gefaren fan foarsizzend modellen boud mei bias training gegevens.
In probleem dat miskien foarkommen oerheden út mei help iepen wedstriden is dat it nedich gegevens release, dat kin liede ta privacy oertrêdings. Foar mear oer privacy en gegevens frijlitting yn iepen petearen sjogge Narayanan, Huey, and Felten (2016) en de diskusje yn haadstik 6.
- Ferspraat gegevens samling (paragraaf 5.4)
Myn beskriuwing fan eBird lûkt op beskriuwingen yn Bhattacharjee (2005) en Robbins (2013) . Foar mear op hoe't ûndersikers brûke statistyske modellen om analysearje eBird gegevens sjen Hurlbert and Liang (2012) en Fink et al. (2010) . Foar mear op 'e skiednis fan de boarger wittenskip yn ornothology, sjoch Greenwood (2007) .
Foar mear op de Malawi Journals Projekt, sjoch Watkins and Swidler (2009) en Kaler, Watkins, and Angotti (2015) . En foar mear op in besibbe projekt yn Súd-Afrika, sjoch Angotti and Sennott (2015) . Foar mear foarbylden fan ûndersyk mei help fan gegevens út 'e Malawi Journals Project sjen Kaler (2004) en Angotti et al. (2014) .
- It ûntwerpen dyn eigen (paragraaf 5.5)
Myn oanpak fan oanbieden fan ûntwerp advys wie Inductive, basearre op 'e foarbylden fan suksesfolle en mislearre massa gearwurking projekten dy't ik heard oer. Der is ek in stream fan ûndersyk probearret te passen mear algemiene sosjale psychologyske teoryen oan it ûntwerpen online mienskippen dy't relevant is foar it ûntwerp fan de massa gearwurking projekten, sjoch, bygelyks, Kraut et al. (2012) .
Wat dus dielnimmers, it is eins hiel lestich út te finen krekt wêrom't minsken dogge mei oan massa gearwurking projekten (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . As jo fan doel te motivearjen dielnimmers mei betelling op in mikro-taak arbeidsmerk (bygelyks, Amazon Mechanical Turk) Kittur et al. (2013) biedt wat advys.
Oangeande it ynskeakeljen fan ferrassing, foar mear foarbylden fan ûnferwachte fynsten út fan Zoouniverse projekten, sjoch Marshall, Lintott, and Fletcher (2015) .
Oangeande wêzen etyske, in pear goede algemiene ynliedingen nei de saken belutsen binne Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , en Zittrain (2008) . Foar saken spesifyk yn ferbân mei juridyske saken mei publyk meiwurkers, sjoch Felstiner (2011) . O'Connor (2013) adressen fragen oer etyske tafersjoch fan ûndersyk doe't de rollen fan ûndersikers en dielnimmers blur. Foar saken yn ferbân mei dielen gegevens wylst beskermjen participats yn boarger wittenskip projekten, sjoch Bowser et al. (2014) . Beide Purdam (2014) en Windt and Humphreys (2016) hawwe wat diskusje oer it etyske saken yn ferspraat gegevens samling. Ta beslút, de measte projekten erkenne bydragen mar net jaan auteurskip kredyt oan dielnimmers. Yn Foldit, de Foldit spilers wurde faak neamd as in skriuwer (Cooper et al. 2010; Khatib et al. 2011) . Yn oare iepen oprop projekten, de winnende bewurker kin faak skriuwe in papier beskriuwing harren oplossings (bygelyks, Bell, Koren, and Volinsky (2010) en Dieleman, Willett, and Dambre (2015) ). Yn de Galaxy Zoo famylje fan projekten, tige aktyf en wichtige meiwurkers wurde soms útnoege te wêzen co-skriuwers op papieren. Bygelyks, Ivan Terentev en Tim Matorny, twa Radio Galaxy Zoo dielnimmers út Ruslân, wienen mei-auteurs op ien fan 'e papieren dy't ûntstie út dat projekt (Banfield et al. 2016; Galaxy Zoo 2016) .
