Ibi ifowosowopo ṣe idapọ awọn imọran lati imọ-ori ilu , iṣowo , ati itetisi gbogbo eniyan . Imọ-iṣe ti ilu ni o tumọ si pe "awọn ilu" (ie, awọn alailẹgbẹ) ninu ilana ijinle sayensi; fun diẹ sii, wo Crain, Cooper, and Dickinson (2014) ati Bonney et al. (2014) . Irọwọ-iṣọra maa n tumọ si mu iṣoro kan ti a daadaa laarin iṣọpọ kan ati dipo ti o ṣe apejuwe rẹ si awujọ; fun diẹ sii, wo Howe (2009) . Awọn imọran ti o gbajọ tumo si awọn ẹgbẹ ti awọn ẹni-kọọkan ti n ṣe apẹrẹ gbogbo ni ọna ti o dabi ẹnipe; fun diẹ sii, wo Malone and Bernstein (2015) . Nielsen (2012) jẹ ikede iwe-ipari si agbara ti ibi-ifowosowopo fun ijinle sayensi.
Ọpọlọpọ awọn orisi ti ibi-ifowosowopo ti o ko ni ibamu si awọn ẹka mẹta ti mo ti dabaa, ati pe mo ro pe mẹta ninu awọn wọnyi yẹ ifojusi pataki nitori pe wọn le wulo ninu iwadi awujọ. Apeere kan jẹ awọn asọtẹlẹ asọtẹlẹ, nibi ti awọn alabaṣepọ ra ati awọn iwe-iṣowo ti o jẹ atunṣe ti o da lori awọn esi ti o waye ni agbaye. Awọn asọtẹlẹ awọn ọja ni a maa n lo nipasẹ awọn ile-iṣẹ ati awọn ijoba fun asọtẹlẹ, ati awọn oluwadi awujọ tun ti lo wọn lati ṣe asọtẹlẹ ifarahan awọn iwadi ti a gbejade ni imọran-ọrọ (Dreber et al. 2015) . Fun apejuwe awọn ọja asọtẹlẹ, wo Wolfers and Zitzewitz (2004) ati Arrow et al. (2008) .
Àpẹrẹ keji ti ko dara dada sinu iseto tito-iṣẹ mi ni iṣẹ PolyMath, nibi ti awọn oluwadi ṣe papọ pẹlu awọn bulọọgi ati awọn wikis lati ṣe afihan awọn akori tuntun iṣiro. Iṣẹ akanṣe PolyMath ni awọn ọna kan ti o ni ibamu si Nipasẹ Netflix, ṣugbọn ninu awọn alabaṣepọ ti o wa ni idiyele diẹ sii ni itumọ ti a ṣe lori awọn iṣaladi ti awọn miran. Fun diẹ sii lori iṣẹ akanṣe PolyMath, wo Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , ati Kloumann et al. (2016) .
Àpẹrẹ kẹta ti ko daadaa si iṣowo titobi mi jẹ pe awọn idaniloju gbigbe akoko-akoko gẹgẹbi Idaabobo Ikọja Idagbasoke Advanced (Advanced Defense Research Projects Agency) (DARPA) (ie, Ipenija Redio balloon). Fun diẹ ẹ sii lori awọn mobilizations akoko-kókó yii wo Pickard et al. (2011) , Tang et al. (2011) , ati Rutherford et al. (2013) .
Oro naa "iṣiro eniyan" ti jade kuro ninu iṣẹ ti awọn ogbontarigi kọmputa ṣe, ati agbọye ọrọ ti o tẹle lẹhin iwadi yii yoo mu agbara rẹ lọ lati yan awọn iṣoro ti o le ṣe deede fun. Fun awọn iṣẹ kan, awọn kọmputa jẹ alagbara ti o lagbara, pẹlu awọn agbara ti o jina ju awọn ti ogbon eniyan lọ. Fun apẹẹrẹ, ni ẹsun, awọn kọmputa le lu paapaa awọn oludari nla ti o dara julọ. Sugbon-ati eyi ko ni imọran daradara nipasẹ awọn onimọ-ọrọ-iṣe-iṣe-ṣiṣe-awọn iṣẹ miiran, awọn kọmputa jẹ kosi pupọ ju eniyan lọ. Ni gbolohun miran, ni bayi o dara ju koda kọmputa ti o tayọ julọ ni awọn iṣẹ-ṣiṣe kan pẹlu ṣiṣe awọn aworan, fidio, ohun-orin, ati ọrọ. Awọn onimo ijinlẹ Kọmputa ti n ṣiṣẹ lori awọn iṣẹ-ṣiṣe-dani-kọmputa-rọrun-fun-eniyan-iṣẹ-ṣiṣe naa ni o ṣe akiyesi pe wọn le ni eniyan ninu ilana iṣẹ wọn. Eyi ni bi Luis von Ahn (2005) ṣe apejuwe awọn iṣiro eniyan nigbati o kọkọ sọ ọrọ naa ninu iwe kikọsilẹ rẹ: "Aye fun lilo agbara iṣakoso eniyan lati yanju awọn iṣoro ti awọn kọmputa ko le tun yanju." Fun itọju ipari-iwe ti iṣowo eniyan, ni ọrọ ori gbogbogbo ti ọrọ yii, wo Law and Ahn (2011) .
Gegebi itumọ ti a gbekalẹ ni Ahn (2005) Foldit-eyi ti mo ti salaye ninu apakan lori awọn ipe ṣi silẹ-le ṣe ayẹwo iṣẹ akanṣe iṣiro eniyan. Sibẹsibẹ, Mo yan lati ṣafọtọ Awọn folda gẹgẹbi ipe-ìmọ nitori pe o nilo imọ-ẹrọ pataki (biotilejepe ko ṣe dandan ikẹkọ ni ilọsiwaju) ati pe o gba ifitonileti ti o dara julọ, ju ki o lo igbimọ kan ti o ni ipa-pin.
Oro naa "apapọ-apapọ-darapọ" ti Wickham (2011) lati ṣe apejuwe ilana kan fun kọmputa iširo, ṣugbọn o gba gbogbo awọn ilana ti ọpọlọpọ awọn agbese iṣiro gba. Ilana ti o dapọ-pin-papọ ni iru si ilana MapReduce ti o waye ni Google; fun diẹ sii lori MapReduce, wo Dean and Ghemawat (2004) ati Dean and Ghemawat (2008) . Fun diẹ sii lori awọn ile-iṣẹ kọmputa iyatọ miiran, wo Vo and Silvia (2016) . Abala 3 ti Law and Ahn (2011) ni ifọrọwọrọ lori awọn iṣẹ akanṣe pẹlu awọn iṣọpọ ti o pọ ju awọn ti o wa ni ori ori yii lọ.
Ninu awọn iṣẹ iṣiro eniyan ti mo ti sọ ninu ori iwe, awọn alabaṣepọ mọ ohun ti n ṣẹlẹ. Diẹ ninu awọn iṣẹ miiran, sibẹsibẹ, wa lati ṣawari "iṣẹ" ti o ti tẹlẹ ṣẹlẹ (bii eBird) ati laisi imoye alabaṣepọ. Wo, fun apẹẹrẹ, Ere ESP (Ahn and Dabbish 2004) ati reCAPTCHA (Ahn et al. 2008) . Sibẹsibẹ, mejeeji ti awọn iṣẹ wọnyi tun n gbe awọn ibeere alaiṣẹ nitori awọn olukopa ko mọ bi wọn ti nlo data wọn (Zittrain 2008; Lung 2012) .
Ni atilẹyin nipasẹ ESP Ere, ọpọlọpọ awọn oluwadi ti gbiyanju lati ṣe awọn ere miiran pẹlu idi kan (Ahn and Dabbish 2008) (ie, "awọn ere idasile ti eniyan" (Pe-Than, Goh, and Lee 2015) ) ti o le jẹ lo lati yanju ọpọlọpọ awọn iṣoro miiran. Ohun ti awọn ere "wọnyi pẹlu idi kan" ni o wọpọ ni pe wọn gbiyanju lati ṣe awọn iṣẹ-ṣiṣe ti o wa ninu iṣiro eniyan ni igbadun. Bayi, lakoko ti ESP Ere ṣe ipinfunni isopọ kanna ti o ni ibamu pẹlu Zoo Zoo, o yatọ si ni bi awọn alabaṣepọ ṣe nfa-idunnu ati ifẹkufẹ lati ṣe iranlọwọ fun sayensi. Fun diẹ sii lori ere pẹlu idi, wo Ahn and Dabbish (2008) .
Apejuwe mi ti Zoo Zoo fa lori Nielsen (2012) , Adams (2012) , Clery (2011) , ati Hand (2010) , ati fifiranṣẹ awọn afojusun iwadi ti Zoo Zoo jẹ simplified. Fun diẹ ẹ sii lori itan ti iforukọsilẹ titobi ni astronomie ati bi Agbaaiye Zoo tẹsiwaju aṣa yii, wo Masters (2012) ati Marshall, Lintott, and Fletcher (2015) . Ilé lori Zoo Zoo, awọn oluwadi ti pari Zoo Zoo 2, eyiti o gba idajọ diẹ ẹ sii ju ẹ sii 60 ti awọn iyọọda (Masters et al. 2011) . Pẹlupẹlu, wọn ti fi ara wọn sinu awọn iṣoro ti o wa ni ita ti kẹmika galaxy, pẹlu ṣawari aye ti Oṣupa, wiwa awọn aye, ati kikowe awọn iwe atijọ. Lọwọlọwọ, gbogbo awọn iṣẹ wọn ni a gba ni aaye ayelujara Zooniverse (Cox et al. 2015) . Ọkan ninu awọn agbese-Serengeti Fọto-pese ẹri pe awọn iṣẹ ipilẹ aworan aworan Zoo-tun ṣe le ṣee ṣe fun iwadi ayika (Swanson et al. 2016) .
Fun awọn oluwadi nroro lati lo ọja iṣowo microtask (fun apẹẹrẹ, Amazon Mechanical Turk) fun iṣẹ akanṣe ti eniyan, Chandler, Paolacci, and Mueller (2013) ati J. Wang, Ipeirotis, and Provost (2015) ṣe imọran ti o dara lori imọran iṣẹ-ṣiṣe ati awọn oran ti o ni ibatan miiran. Porter, Verdery, and Gaddis (2016) nfun apẹẹrẹ ati imọran ni imọran pataki lori awọn lilo awọn iṣẹ ti awọn iṣẹ microtask fun awọn ohun ti wọn pe "data augmentation." Laini laarin ilo data ati gbigba data jẹ bii diẹ. Fun diẹ ẹ sii lori gbigba ati lilo awọn akole fun idanileko ẹkọ fun ọrọ, wo Grimmer and Stewart (2013) .
Awọn oniwadi ti o nifẹ lati ṣiṣẹda ohun ti Mo ti sọ ni awọn ọna ṣiṣe iṣowo ti kọmputa-iranlọwọ awọn eniyan (fun apẹẹrẹ, awọn ọna šiše ti o lo awọn akole ti eniyan lati ṣe akẹkọ awoṣe ẹrọ) le jẹ ifẹ si Shamir et al. (2014) (fun apẹẹrẹ nipa lilo ohun) ati Cheng and Bernstein (2015) . Pẹlupẹlu, awọn imudani ẹkọ ẹrọ ni awọn iṣẹ wọnyi le wa ni ibere pẹlu awọn ipe ti o ni gbangba, nipasẹ eyiti awọn oniwadi ṣe njijadu lati ṣẹda awọn ẹkọ idaniloju ẹrọ pẹlu iṣẹ ti o pọju asọtẹlẹ. Fun apẹẹrẹ, ẹgbẹ Zoo Agbaaiye wa ṣiṣe ipe ti n ṣii ati ki o wa ọna titun ti o ṣe afihan ẹni ti o waye ni Banerji et al. (2010) ; wo Dieleman, Willett, and Dambre (2015) fun awọn alaye.
Awọn ipe ti a ṣii ko ṣe titun. Ni otitọ, ọkan ninu awọn ipe ti o mọ julọ mọ ni ọjọ pada si ọdun 1714 nigbati Ilufin Britain ṣe Ẹri Ipamọ Longitude fun ẹnikẹni ti o le dagbasoke ọna lati pinnu idiwọn ti ọkọ oju omi ni okun. Iṣoro naa kọ ọpọlọpọ awọn onimọ ijinle nla julọ ti awọn ọjọ, pẹlu Isaaki Newton, ati ojutu ti o ni igbadun ti Johannu Harrison, ti o ṣe alabojuto igberiko lati inu igberiko ti o sunmọ iṣoro naa yatọ si awọn onimọ ijinlẹ sayensi ti o da lori ifojusi kan ti yoo jẹ irufẹ-awoju kan ; fun alaye sii, wo Sobel (1996) . Gẹgẹbi apẹẹrẹ yi ṣe apejuwe, idi kan ti awọn ipe ti npe ti wa ni a ṣero lati ṣiṣẹ daradara ni pe wọn pese aaye si awọn eniyan ti o ni awọn oju-ọna ati awọn imọ oriṣiriṣi (Boudreau and Lakhani 2013) . Wo Hong and Page (2004) ati Page (2008) fun diẹ sii lori iye ti oniruuru ni iṣoro iṣoro.
Kọọkan awọn ipe ipe gbangba ni ori ipin nilo alaye diẹ fun idi ti o jẹ ninu ẹka yii. Ni akọkọ, ọna kan ti emi yoo fi iyatọ laarin iṣatunkọ eniyan ati awọn iṣẹ ipe ti n ṣiipe boya iyasọtọ jẹ apapọ ti gbogbo awọn iṣoro (iṣiro eniyan) tabi ojutu ti o dara julọ (ipe pipe). Nipasẹ Netflix jẹ ohun ti o dara julọ ni eyi nitori pe ojutu ti o dara julọ ti jade lati wa ni apapọ ti o ni imọran ti awọn iṣeduro kọọkan, ọna ti a npe ni ipilẹ kan (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Lati irisi ti Netflix, sibẹsibẹ, gbogbo ohun ti wọn ni lati ṣe ni a mu ojutu ti o dara julọ. Fun diẹ sii lori Nipasẹ Netflix, wo Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ati Feuerverger, He, and Khatri (2012) .
Keji, nipa diẹ ninu awọn itumọ ti iṣiro eniyan (fun apẹẹrẹ, Ahn (2005) ), A gbọdọ kà folda si iṣẹ akanṣe iṣiro eniyan. Sibẹsibẹ, Mo yan lati ṣajọpọ bi ipe ti a ṣi silẹ nitori pe o nilo imọ-ẹrọ pataki (biotilejepe ko ṣe pataki fun ikẹkọ pataki) ati pe o gba ojutu ti o dara julọ, dipo ki o lo igbimọ kan ti o ni ipa-pin. Fun diẹ sii lori Foldit wo, Cooper et al. (2010) , Khatib et al. (2011) , ati Andersen et al. (2012) ; apejuwe mi ti Foldit fa lori awọn apejuwe ni Bohannon (2009) , Hand (2010) , ati Nielsen (2012) .
Níkẹyìn, ọkan le jiyan pe Peer-to-Patent jẹ apẹẹrẹ ti ikojọpọ pinpin. Mo yan lati fi sii gẹgẹbi ipe ìmọ nitori pe o ni eto idije kan ati pe nikan ni awọn ijẹrisi to dara julọ lo, lakoko pe pẹlu pinpin data gba, imọran ti awọn iṣẹ rere ati buburu ko kere julọ. Fun diẹ sii lori Ẹrọ-Itọsi, wo Noveck (2006) , Ledford (2007) , Noveck (2009) , ati Bestor and Hamp (2010) .
Ni awọn ofin ti lilo awọn ipe ìmọ ni iwadi awujọ, awọn esi ti o jọmọ ti Glaeser et al. (2016) , ni a sọ ni ori 10 ti Mayer-Schönberger and Cukier (2013) eyiti Ilu New York fi le lo awọn awoṣe asọtẹlẹ lati ṣe awọn anfani nla ni ṣiṣe awọn olutọju ile. Ni ilu New York City, awọn apẹẹrẹ asọtẹlẹ wọnyi jẹ eyiti awọn abáni ilu ṣe, ṣugbọn ni awọn igba miran, ọkan le rii pe wọn le ṣẹda tabi dara si pẹlu awọn ipe ti o la sile (fun apẹẹrẹ, Glaeser et al. (2016) ). Sibẹsibẹ, iṣoro ọkan pataki pẹlu awọn asọtẹlẹ asọtẹlẹ ti a lo lati pin awọn ẹtọ ni pe awọn awoṣe wọnyi ni agbara lati ṣe iṣeduro awọn iṣeduro to wa. Ọpọlọpọ awọn awadi ti mọ "idoti ni, idoti jade," ati pẹlu awọn apẹẹrẹ asọtẹlẹ o le jẹ "ipalara ninu, ipalara jade." Wo Barocas and Selbst (2016) ati O'Neil (2016) fun diẹ sii lori awọn ewu ti awọn apẹẹrẹ asọtẹlẹ pẹlu data ikẹkọ ti ko ni agbara.
Isoro kan ti o le dẹkun awọn ijọba lati lo awọn idije ti o ni gbangba ni pe eyi nilo gbigba data, eyi ti o le ja si awọn ipamọ asiri. Fun diẹ ẹ sii nipa ifamọ ati ipamọ data ni awọn ipe ṣi silẹ, wo Narayanan, Huey, and Felten (2016) ati ijiroro ni ori 6.
Fun diẹ sii lori awọn iyatọ ati awọn iṣedede laarin asọ ati alaye, wo Breiman (2001) , Shmueli (2010) , Watts (2014) , ati Kleinberg et al. (2015) . Fun diẹ ẹ sii lori ipa asọtẹlẹ ninu iwadi awujọ, wo Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , ati Yarkoni and Westfall (2017) .
Fun atunyẹwo awọn iṣẹ ipe ipade ni isedale, pẹlu awọn imọran imọran, wo Saez-Rodriguez et al. (2016) .
Apejuwe mi ti eBird fa awọn apejuwe ni Bhattacharjee (2005) , Robbins (2013) , ati Sullivan et al. (2014) . Fun diẹ sii lori bi awọn oluwadi ṣe lo awọn awoṣe iṣiro lati ṣe itupalẹ eBird data wo Fink et al. (2010) ati Hurlbert and Liang (2012) . Fun diẹ ẹ sii lori sisọ imọran awọn olukopa eBird, wo Kelling, Johnston, et al. (2015) . Fun diẹ ẹ sii lori itan ti imọ-ori ilu ni ornithology, wo Greenwood (2007) .
Fun diẹ sii lori Iṣilọ Malawi Journals, wo Watkins and Swidler (2009) ati Kaler, Watkins, and Angotti (2015) . Fun diẹ sii lori iṣẹ-ṣiṣe kan ti o ni ibatan ni South Africa, wo Angotti and Sennott (2015) . Fun awọn apeere diẹ ẹ sii ti iwadi nipa lilo awọn data lati Iṣoojọ Apero Malawi wo Kaler (2004) ati Angotti et al. (2014) .
Ọna mi lati funni ni imọran imọran jẹ inductive, da lori awọn apeere ti awọn iṣẹ-ṣiṣe ifowosowopo iṣowo ati awọn iṣubu ti o ti kuna ti Mo ti gbọ nipa. O tun wa ṣiṣan ti awọn igbiyanju iwadi lati lo awọn eroja awujọ ti ara ẹni ti o ni imọran julọ lati ṣe apẹrẹ awọn agbegbe ti o wa ni ayelujara ti o ṣe pataki si apẹrẹ awọn iṣẹ ifowosowopo ibi, wo, fun apẹẹrẹ, Kraut et al. (2012) .
Nipa awọn olukopa ti o ni atilẹyin, o jẹ ohun ti o dara lati ṣafihan idiyee ti awọn eniyan fi kopa ninu awọn iṣẹ ajọṣepọ (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ti o ba gbero lati rọ awọn alabaṣepọ pẹlu owo sisan lori ọja iṣowo microtask (fun apẹẹrẹ, Amazon Mechanical Turk), Kittur et al. (2013) nfunni imọran.
Nipa iyalenu idaniloju, fun awọn apejuwe diẹ ti awọn imọran ti ko ni airotẹlẹ ti o jade kuro ninu awọn iṣẹ Zooiverse, wo Marshall, Lintott, and Fletcher (2015) .
Nipa iṣe iṣe ti aṣa, diẹ ninu awọn ifarahan gbogbogbo ti o dara julọ ni awọn oran ti o wa ni Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ati Zittrain (2008) . Fun awọn oran ti o nii ṣe pataki si awọn oran ofin pẹlu awọn alagbaṣe eniyan, wo Felstiner (2011) . O'Connor (2013) ṣagbe awọn ibeere nipa iṣọwo ti iṣawari ti iṣawari nigbati ipa awọn oluwadi ati awọn alabaṣepọ ṣoro. Fun awọn oran ti o ni ibatan si pinpin data lakoko ti o dabobo awọn olukopa ninu awọn imọ-ẹrọ imọ-ilu, wo Bowser et al. (2014) . Meji Purdam (2014) ati Windt and Humphreys (2016) ni diẹ ninu awọn ijiroro nipa awọn oran-ọrọ ti o wa ni pinpin data pinpin. Lakotan, ọpọlọpọ awọn agbese gba awọn ẹri ṣugbọn ko funni ni iwe-aṣẹ onkọwe si awọn alabaṣepọ. Ni Foldit, awọn ẹrọ orin maa n ṣe apejuwe rẹ gẹgẹbi onkọwe (Cooper et al. 2010; Khatib et al. 2011) . Ni awọn ile-iṣẹ ipe miiran ti n ṣipe, olutọpa ti o gba ni igbagbogbo kọ iwe kan ti o ṣalaye awọn iṣeduro wọn (fun apẹẹrẹ, Bell, Koren, and Volinsky (2010) ati Dieleman, Willett, and Dambre (2015) ).