He aha ki te korero i muri mai
- Whakataki (waahanga 5.1)
Mahi tahi Mass nunumi whakaaro i tangata pūtaiao, rōpūmātāpuna, me maramarama ngā. Ko te tikanga o te taiao taketake ko te whakamahi i nga "tangata taangata" (arā ko nga kaitautoko) i roto i te tukanga pūtaiao; mo etahi atu, kite Crain, Cooper, and Dickinson (2014) me Bonney et al. (2014) . Ko te nuinga o nga huihuinga ko te tango i te raruraru e whakatauhia ana i roto i te whakahaere, engari kaore e whakawakia ki te iwi; mo etahi atu, tirohia te Howe (2009) . Ko te tikanga o te matauranga ko te roopu o nga tangata e mahi tahi ana i roto i nga huarahi e ahua mohio ana; mo etahi atu, kite a Malone and Bernstein (2015) . Nielsen (2012) he whakaaturanga pukapuka-roa ki te kaha o te mahi tahi mo te rangahau rangahau.
He maha nga ahuatanga o te mahi tahi kaore e tika ana ki nga waahanga e toru i whakaarohia e au, a ko taku whakaaro me te toru o enei e tika ana kia whai whakaaro motuhake kia whai hua ai ki te rangahau hapori. Ko tetahi o nga tauira ko nga maakete tohu, kei reira nga kaihoko me te hokohoko kirimana e taea ana te hoko mai i runga i nga hua e puta ana i te ao. Ka whakamahia e nga kamupene, me nga kawanatanga nga tikanga hokohoko, me nga kawanatanga mo te mahere, me te whakamahi hoki e nga kairangahau hapori ki te tohu i te ahuatanga o nga rangahau i whakaputaina i roto i te hinengaro (Dreber et al. 2015) . Mo te tirohanga whānui o nga maakete tohu, kite Wolfers and Zitzewitz (2004) me Arrow et al. (2008) .
Ko tetahi tauira tuarua e kore e pai ki taku kaupapa whakahirahira ko te kaupapa PolyMath, kei reira nga kairangahau i mahi ngātahi me te whakamahi i nga rangitaki me nga wikis hei whakamatau i nga kupu whakaari hou. Ko te kaupapa PolyMath i etahi huarahi e rite ana ki te Netflix Prize, engari i roto i tenei kaupapa e kaha ake ana te whakauru atu ki nga otinga wehewehe o etahi atu. Mo te korero mo te kaupapa PolyMath, tirohia Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , me Kloumann et al. (2016) .
Ko te tauira tuatoru e kore e pai ki taku kaupapa whakahirahira ko te hunga mobili mo te wa-roa pēnei i te Challenge Network Projects Agency (DARPA) Challenge Challenge (arā, te Whero Whero Whero). Mo etahi atu korero mo enei mobilizations ka kite i te Pickard et al. (2011) , Tang et al. (2011) , me Rutherford et al. (2013) .
- Te whakatau a te tangata (waahanga 5.2)
Ko te kupu "te tatauranga tangata" ka puta mai i nga mahi a nga kaimori rorohiko, me te mohio ki te horopaki i muri i tenei rangahau ka whakapai ake i to kaha ki te tautuhi i nga raru e pai ana mo taua mea. Mo etahi mahi, he tino kaha te rorohiko, me te kaha ake i nga tangata mohio. Hei tauira, i roto i te ngarara, ka taea e nga rorohiko te patu i nga kaitohutohu pai rawa. Engari-a ka iti ake te painga o nga kaitoro-hapori-mo etahi atu mahi, ko te rorohiko he tino kino atu i nga tangata. I tetahi atu kupu, i tenei wa ka pai ake koe i te rorohiko tino pai rawa i etahi mahi e pa ana ki te tukatuka o nga whakaahua, te ataata, te ororongo me te kuputuhi. Ko nga kaimätai rorohiko e mahi ana i enei mahi pakeke-mo-rorohiko-ngawari-mo-tangata i mohio ai ka taea te whakauru i nga tangata i roto i ta raatau mahi. Koinei te korero a Luis von Ahn (2005) i te tatauranga a te tangata i tana wahanga tuatahi i te wa i roto i tana tuhinga: "he tauira mo te whakamahi i te mana tukatuka tangata hei whakaoti rapanga kaore e taea e te rorohiko te whakaoti." te tikanga tino nui o te tau, tirohia te Law and Ahn (2011) .
E ai ki te whakamaramatanga i whakaarohia i Ahn (2005) Pukapuka-i whakaahuahia i roto i te waahanga i runga i nga waea tuwhera-ka taea te whakaaro he kaupapa whakarite tangata. Engari, ka whiriwhiri ahau ki te whakariterite i nga Foldit hei karanga tuwhera no te mea e hiahiatia ana nga pukenga motuhake (ahakoa ehara i te whakangungu whakangungu), me te whakaoti i te otinga pai rawa atu, kaore i te whakamahi i te rautaki whakakotahi-raupapa.
I whakamahia e te Wickham (2011) te kupu "whakakotahi-whakakotahi" hei whakaatu i tetahi rautaki mo te rorohiko tatauranga, engari kei te hopu i te tukanga o te maha o nga kaupapa whakataunga tangata. Ko te rautaki raupapa-raupapa-rite he rite ki te anga MapReduce whakawhanakehia i Google; mo etahi atu ma MapReduce, tirohia a Dean and Ghemawat (2004) me Dean and Ghemawat (2008) . Mo etahi atu korero mo etahi mahinga rorohiko wehewehe, tirohia a Vo and Silvia (2016) . Ko te Pukapuka 3 o Law and Ahn (2011) he matapaki mo nga kaupapa me nga mahinga huinga nui ake i nga waahanga o tenei pene.
I roto i nga kaupapa whakatau a te tangata kua korerohia e ahau i roto i te pene, ka mohio nga kaiuru ki te mea i tupu. Ko etahi atu kaupapa, ka rapu ki te hopu i "mahi" kua pahemo (he rite ki te eBird) me te kore e whai whakaaro te kaiuru. Tirohia, hei tauira, te Kete Hoko (Ahn and Dabbish 2004) me te reCAPTCHA (Ahn et al. 2008) . Engari, ko enei o enei kaupapa e whakahou ana i nga take taatai no te mea kaore nga kaiuru i mohio ki te whakamahinga o o raatau raraunga (Zittrain 2008; Lung 2012) .
Ko te kaupapa o te ESP Game, he maha nga kairangahau i ngana ki te whakawhanake i etahi atu "whakataetae me te kaupapa" (Ahn and Dabbish 2008) (arā, "nga whakataetae taatau tangata" (Pe-Than, Goh, and Lee 2015) ) whakamahia hei whakaoti i te maha o era atu raru. He aha enei "whakataetae me te kaupapa" kei te painga ko te ngana ki te mahi i nga mahi e pa ana ki te taatau tangata. No reira, i te wa e whakawhiwhia ana e te ESP te mahinga rereke-mahinga-tahi me te Zoo Zoo, he rereke te ahua o nga akonga e ngahau ana-ngahau me te hiahia ki te awhina i te pütaiao. Mo etahi atu mo nga whakataetae me te kaupapa, tirohia Ahn and Dabbish (2008) .
Ko taku whakaahuatanga o te Zoo Zoo e kii mai ana ki a Nielsen (2012) , Adams (2012) , Clery (2011) , me Hand (2010) , me taku whakaaturanga o nga whaainga rangahau o te Zoo Zoo kua whakakotahi. Mo te nuinga atu o te hitori o te raupapa o te taurarangi i roto i te aorangi me te pehea o te taru Zoo e mau ana i tenei tikanga, tirohia te Masters (2012) me Marshall, Lintott, and Fletcher (2015) . Ko te hanga i runga i te Zoo Zoo, kua oti nga kairangahau te Zoo Zoo 2 te kohikohi ake i te 60 miriona atu i te waahanga o nga kaimahi (Masters et al. 2011) . I tua atu, kua whakawhitingahia ki roto ki nga raruraru i waho atu o te taiao o te ao, tae atu ki te tirotiro i te mata o te Moon, te rapu i nga aorangi, me te tuhi i nga tuhinga tawhito. I tenei wa, ka kohikohia nga kaupapa katoa ki te paetukutuku Zooniverse (Cox et al. 2015) . Ko tetahi o nga kaupapa-Whakaahuatanga Serengeti-e whakarato ana i nga tohu ka taea ano hoki nga mahinga whakaahua whakaahua Zoo-momo mo te rangahau taiao (Swanson et al. 2016) .
I te mea ko nga kairangahau e whakamahere ana ki te whakamahi i te mahinga mahi umanga microtask (hei tauira, Amazon Mechanical Turk) mo te kaupapa Chandler, Paolacci, and Mueller (2013) me J. Wang, Ipeirotis, and Provost (2015) tuku tohutohu pai mo te hoahoa mahi. ētahi atu take e pā ana. Porter, Verdery, and Gaddis (2016) whakarato ana i nga tauira me nga tohutohu e arotahi ana ki te whakamahi i nga mahinga umanga microtask mo te mea e karangahia ana e ratou "te whakatipu raraunga." Ko te rarangi i waenganui i te whakarahi raraunga me te kohikohinga raraunga he ahuareka. Mo te kohikohi me te whakamahi i nga tapanga mo nga akoranga e tirotirohia ana mo te tuhinga, tirohia te Grimmer and Stewart (2013) .
Ko nga kairangahau e hiahia ana ki te waihanga i nga mea kua karangatia e ahau ko nga rautaki rorohiko awhina rorohiko (hei tauira, ko nga punaha e whakamahi ana i nga tapanga tangata ki te whakangungu i te tauira akoako miihini) e hiahia ana ki a Shamir et al. (2014) (hei tauira hei whakamahi i te oro) me Cheng and Bernstein (2015) . Waihoki, ko nga tauira ako miihini i roto i enei kaupapa ka taea te tono me nga waea tuwhera, ka taea e nga kairangahau te whakataetae ki te waihanga i nga tauira ako miihini me te mahi maatauranga. Hei tauira, ka oma te kapa Zoo o te Zoo i tetahi waea tuwhera, ka kitea he huarahi hou i puta ke i te waahanga i whakawhanakehia i Banerji et al. (2010) ; kite Dieleman, Willett, and Dambre (2015) mo nga taipitopito.
- Nga waea tuwhera (wahanga 5.3)
Ko nga karangatanga tuwhera ehara i te mea hou. Ko te tikanga, ko tetahi o nga karangatanga tino rongonui i te tau 1714 i te wa i hanga ai e te Whare Paremete o Peretana te Paari Paari mo tetahi ka taea te whakawhanake i tetahi huarahi ki te whakatau i te roa o te kaipuke i te moana. Ko te raruraru i hinga i te nuinga o nga tohunga nui o nga ra, tae atu ki a Isaac Newton, a, i tukuna mai e John Harrison, he kaitohu mai i te taone i tae atu ki te raruraru rereke mai i nga kaitaiao i arotahi ki runga i te otinga e whai hua ai te wheturangi ; mo etahi atu korero, tirohia a Sobel (1996) . Hei whakaatu i tenei tauira, ko tetahi take e whakaarohia ana kia pai te mahi ma te hunga e whai whakaaro rereke ana me o ratou pukenga (Boudreau and Lakhani 2013) . Tirohia te Hong and Page (2004) me te Page (2008) mo etahi atu mo te painga o te rereketanga i roto i te whakaoti rapanga.
Ko ia o nga korero karanga tuwhera i roto i te upoko ka hiahiatia etahi atu whakamaramatanga mo te aha i roto i tenei waahanga. Tuatahi, tetahi huarahi e wehewehe ai ahau i waenga i te whakatau a te tangata me nga kaupapa karanga tuwhera, mehemea ko te putanga ko te waa toharite o nga otinga (te whakatau a te tangata) me te otinga pai rawa (karanga tuwhera). He iti rawa te utu a Netflix mo tenei mea no te mea ko te otinga tino pai ake ko te maatauranga o nga otinga takitahi, ko te huarahi e kii ana ko te otinga huinga (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Mai i te tirohanga o Netflix, heoi, ko nga mea katoa i mahia e ratau ko te whiriwhiri i te otinga pai. Mo te nuinga ake o te whiwhinga Netflix, tirohia Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , me Feuerverger, He, and Khatri (2012) .
Tuarua, na etahi whakamaramatanga o te whakatau a te tangata (hei tauira, Ahn (2005) ), Me whakaarohia te Pupuri hei kaupapa whakarite tangata. Heoi, ka whiriwhiria e au ki te wehewehe i te mea he karanga tuwhera no te mea he mea hangarau motuhake (ahakoa ehara i te whakangungu motuhake) me te painga pai rawa atu, kaua te whakamahi i te rautaki whakakotahi-raupapa. Mo etahi atu korero mo te Pukapuka, kite Cooper et al. (2010) , Khatib et al. (2011) , me Andersen et al. (2012) ; Ko taku whakaahuatanga o te Pukapuka kei runga i nga whakaaturanga i Bohannon (2009) , Hand (2010) , me Nielsen (2012) .
Hei whakamutunga, ka taea e tetahi te tautohe ko te Peer-to-Patent he tauira o te kohinga raraunga tohatoha. Ka whiriwhiria e au ki te whakauru mai hei karanga tuwhera no te mea he hanganga whakataetae rite noa atu, ka whakamahia anake nga painga pai, ahakoa ko te kohinga raraunga tohatoha, ko te whakaaro o nga mahi pai me te kino he iti rawa. Mo te korero mo te Peer-to-Patent, tirohia Noveck (2006) , Ledford (2007) , Noveck (2009) , me Bestor and Hamp (2010) .
I runga i te whakamahi i nga karanga tuwhera i roto i te rangahau hapori, nga hua e rite ana ki a Glaeser et al. (2016) , ka whakaaturia i te waahanga 10 o Mayer-Schönberger and Cukier (2013) na New York City i ahei ki te whakamahi i te tauira whakatauira hei whakaputa i nga hua nui i te hua o nga kaitirotiro whare. I New York City, ko enei tauira tohu i hangaia e nga kaimahi o te taone, engari i etahi atu waahanga, ka taea e tetahi te whakaaro ka taea te hanga me te whakapai ake ki nga waea tuwhera (hei tauira, Glaeser et al. (2016) ). Engari, ko tetahi o nga raruraru nui ki te whakamahi i nga tauira e tohuhia ana ki te tohatoha i nga rauemi, ko enei tauira he kaha ki te whakapakari i nga pokanoa. He maha nga kairangahau kua mohio "he paru ki roto, he otaota," me te tauira tohu ka taea te " Barocas and Selbst (2016) , te rereke." Tirohia Barocas and Selbst (2016) me O'Neil (2016) mo te kaha ake o nga tauira o mua. me nga raraunga whakangungu.
Ko tetahi raruraru e kore e taea e nga kawanatanga te whakamahi i nga tautohetohe tawhito, ko tenei me tuku te tuku raraunga, ka arahi i nga mahi haumaru. Mo etahi atu korero mo te tuku iho me te tuku raraunga i nga waea tuwhera, kite Narayanan, Huey, and Felten (2016) me te korero i te upoko 6.
Mo te maha atu o nga rereke me nga ritenga i waenga i te korero me te whakamaramatanga, tirohia te Breiman (2001) , Shmueli (2010) , Watts (2014) , me Kleinberg et al. (2015) . Hei korero atu mo te kaupapa o te tohu i roto i te rangahau hapori, tirohia Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , me Yarkoni and Westfall (2017) .
Mo te arotake o nga kaupapa karanga tuwhera i roto i te koiora, tae atu ki nga tohutohu hoahoa, tirohia a Saez-Rodriguez et al. (2016) .
- Kohikohinga raraunga tohatoha (waahanga 5.4)
Ko taku whakaahuatanga o eBird e whakaatu ana i nga whakaahua i Bhattacharjee (2005) , Robbins (2013) , me Sullivan et al. (2014) . Mo te maha ake o te whakamahi a nga kairangahau i nga tauira taipitopito hei tuhi i nga raraunga eBird kite Fink et al. (2010) me Hurlbert and Liang (2012) . Mo te korero i runga i te whakatau i nga pukenga o nga akonga eBird, tirohia te Kelling, Johnston, et al. (2015) . Mo etahi atu mea mo te hitori o te taiao taketake i roto i te koiora, tirohia Greenwood (2007) .
Mo etahi atu korero mo te Kaupapa Watkins and Swidler (2009) Malawi, tirohia a Watkins and Swidler (2009) me Kaler, Watkins, and Angotti (2015) . Mo etahi atu korero mo tetahi kaupapa e pa ana ki Awherika ki te Tonga, tirohia Angotti and Sennott (2015) . Mo etahi atu tauira o te rangahau e whakamahi ana i nga raraunga mai i te Kaler (2004) Malawi ka kite Kaler (2004) me Angotti et al. (2014) .
- Te hoahoa i a koe (waahanga 5.5)
Ko taku huarahi ki te whakarato i nga tohutohu hoahoa he ngohe, i runga i nga tauira o nga kaupapa mahi papatono angitu me te kore i rongohia e au. Kua puta ano he awa o nga rangahau ki te whakamahi i nga arii hinengaro nui atu o te hinengaro hinengaro ki te hoahoa i nga hapori ipurangi e whai paanui ana ki te hoahoatanga o nga kaupapa mahi papanga, tirohia, hei tauira, Kraut et al. (2012) .
Na te mea ka akiaki nga kaihautū, he tino pai rawa te whakaatu i te take e uru ai nga tāngata ki nga kaupapa mahi nui (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Mena kei te whakamahere koe ki te whakatairanga i nga kaiuru ki te utu i runga i te mahinga umanga microtask (hei tauira, Amazon Mechanical Turk), Kittur et al. (2013) tuku etahi tohutohu.
Mo runga i te kaha o te maere, mo etahi atu tauira o nga kitenga kore i puta mai i nga kaupapa Zooiverse, kite Marshall, Lintott, and Fletcher (2015) .
Mo te ahuatanga o te tikanga, ko etahi whakamohiotanga nui ki nga take e pa ana ko Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , me Zittrain (2008) . Mo nga take e pa ana ki nga take ture me nga kaimahi kaimahi, tirohia te Felstiner (2011) . O'Connor (2013) whakautu ana i nga paatai mo nga mahi rangahau o te rangahau i te wa e raruraru nga mahi a nga kairangahau me nga kaiuru. Mo nga take e pa ana ki te whakawhitiwhiti raraunga i te wa e tiaki ana i nga kaihauturu i nga kaupapa rangahau tangata, kite Bowser et al. (2014) . Ko te Purdam (2014) me te Windt and Humphreys (2016) he korero mo nga take whaitake o te kohinga raraunga tohatoha. Hei whakamutunga, ko te nuinga o nga kaupapa e whakaatu ana i nga mahi, engari kaore i te tuku i nga nama ki nga kaiuru. I roto i te Pupuri, ka tohaina nga kaitakaro hei kaituhi (Cooper et al. 2010; Khatib et al. 2011) . I roto i etahi atu waahanga karanga tuwhera, ka taea e te kaituku toa te tuhi i tetahi pepa e whakaatu ana i o raatau rongo (hei tauira, Bell, Koren, and Volinsky (2010) me Dieleman, Willett, and Dambre (2015) ).
