Dè a leughas a-rithist

• Ro-ràdh (earrann 5.1)

Tha co-obrachadh aifreann a 'measgachadh bheachdan bho shaidheans saoranach , solarachadh sluagh , agus fiosrachadh coitcheann . Mar as trice bidh saidheans nan saoranaich a 'ciallachadh a bhith a' toirt a-steach "saoranaich" (ie, luchd-ionnsachaidh neo-eòlach) sa phròiseas saidheansail airson barrachd, faic Crain, Cooper, and Dickinson (2014) agus Bonney et al. (2014) . Mar as trice tha luchd-frithealaidh a 'ciallachadh a bhith a' toirt duilgheadas a-steach gu h-àbhaisteach air a rèiteachadh taobh a-staigh buidheann agus an àite sin a bhith ga sgaoileadh gu sluagh; airson barrachd, faic Howe (2009) . Mar as trice bidh fiosrachadh coitcheann a 'ciallachadh buidhnean de dhaoine a tha ag obair còmhla ann an dòighean a tha coltach gu bheil iad ciallach; airson barrachd, faic Malone and Bernstein (2015) . Nielsen (2012) na ro-ràdh fad leabhar airson cumhachd co-obrachadh mòr airson rannsachadh saidheansail.

Tha iomadh seòrsa de cho-obrachadh mòr ann nach eil a 'freagairt gu math ris na trì roinnean a mhol mi, agus tha mi a' smaoineachadh gu bheil trì dhiubh sin airidh air aire shònraichte oir dh'fhaodadh iad a bhith feumail ann an rannsachadh sòisealta. Is e aon eisimpleir na margaidhean ro-innse, far a bheil compàirtichean a 'ceannach agus a' malairt chùmhnantan a ghabhas ath-nuadhachadh stèidhichte air toraidhean a tha a 'tachairt air feadh an t-saoghail. Tha margaidhean ro-chreidsinneach gu tric air an cleachdadh le companaidhean agus riaghaltasan airson ro-aithris, agus tha luchd-rannsachaidh sòisealta air an cleachdadh cuideachd gus ro-innseachd a dhèanamh air sgrùdaidhean sgrùdaidhean ann an eòlas-inntinn (Dreber et al. 2015) . Airson sealladh farsaing air margaidhean ro-innse, faic Wolfers and Zitzewitz (2004) agus Arrow et al. (2008) .

Is e an dàrna eisimpleir nach eil a 'freagairt gu math a-steach don sgeama measaidh agamsa am pròiseact PolyMath, far an do rinn luchd-rannsachaidh co-obrachadh le bhith a' cleachdadh bhlogan agus wikis gus teòirichean matamataig ùra a dhearbhadh. Tha am pròiseact PolyMath ann an cuid de dhòighean coltach ris an Duais Netflix, ach anns a 'phròiseact seo tha compàirtichean air an togail gu gnìomhach air na fuasglaidhean pàirt de dhaoine eile. Airson barrachd air pròiseact PolyMath, faic Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , agus Kloumann et al. (2016) .

Is e an treas eisimpleir nach eil a 'freagairt gu math a-steach don sgeama meòrachaidh agam mar thoradh air fallainean a tha an urra ri ùine mar Dùbhlan Lìonra Buidheann Pròiseactan Rannsachaidh Adhartach (DARPA) (ie, Dùbhlan Balloon Dearg). Airson barrachd air na gluasadan sin a tha mothachail air ùine, faic Pickard et al. (2011) , Tang et al. (2011) , agus Rutherford et al. (2013) .

• Rianachadh daonna (earrann 5.2)

Tha an abairt "àireamhachadh daonna" a 'tighinn a-mach às an obair a rinn luchd-saidheans coimpiutaireachd, agus leasaichidh e an co-theacsa taobh a-staigh an rannsachaidh seo do chomas air duilgheadasan a dh'fhaodadh a bhith freagarrach dha. Airson cuid de dh 'obair, tha coimpiutairean uabhasach cumhachdach, le comasan fada nas àirde na feadhainn eadhon eòlaichean. Mar eisimpleir, ann an tàileasg, faodaidh coimpiutairean buaidh a thoirt air eadhon na maighstirean-mòra as fheàrr. Ach-agus chan eil luchd-saidheans sòisealta cho measail air an seo - airson gnìomhan eile, tha coimpiutairean gu math nas miosa na daoine. Ann am faclan eile, tha thu nas fheàrr an-dràsta na eadhon an coimpiutair as adhartaiche ann an cuid de ghnìomhan a 'buntainn ri bhith a' giullachd ìomhaighean, bhidio, claistinn agus teacsa. Mar sin, thuig luchd-saidheans coimpiutaireachd ag obair air na duilgheadasan cruaidh-do-choimpiutairean seo-furasta gum faodadh iad a bhith a 'toirt a-steach daoine anns a' phròiseas àireamhach aca. Seo mar a thug Luis von Ahn (2005) iomradh air àireamhachadh daonna nuair a rinn e an toiseach anns an tràchdas aige: "pìos airson cumhachd giollachd daonna a chleachdadh gus duilgheadasan fhuasgladh nach urrainn coimpiutairean fhuasgladh fhathast." Airson làimhseachadh fad leabhraichean air àireamhachadh daonna, an t-seadh as fharsainge den teirm, faic Law and Ahn (2011) .

A rèir a 'mhìneachaidh a chaidh a mholadh ann an Ahn (2005) Foldit-a dh' innseas mi san earrann air gairmean fosgailte-dh'fhaodadh beachdachadh air mar phròiseas àireamhachd daonna. Ach, tha mi a 'taghadh Foldit ainmeachadh mar ghairm fhosgailte oir tha feum air sgilean speisealta (ged nach eil e gu feum trèanadh foirmeil) agus tha e a' faighinn an fhuasgladh as fheàrr a tha a 'toirt seachad, seach a bhith a' cleachdadh ro-innleachd sgairteil.

Chaidh am facal "split-apply-combine" a chleachdadh le Wickham (2011) gus cunntas a thoirt air ro-innleachd airson coimpiutaireachd staitistigeil, ach tha e gu tur a 'glacadh pròiseas iomadh pròiseact coimpiutaireachd daonna. Tha an ro-innleachd co-roinn sgairteil coltach ris an fhrèam MapReduce a chaidh a leasachadh aig Google; airson barrachd air MapReduce, faic Dean and Ghemawat (2004) agus Dean and Ghemawat (2008) . Airson barrachd air ailtireachd coimpiutaireachd eile, faic Vo and Silvia (2016) . Tha deasbad aig Caibideil 3 de Law and Ahn (2011) mu phròiseactan le ceumannan co-cheangailte nas toinnte na an fheadhainn sa chaibideil seo.

Anns na pròiseactan coimpiutaireachd daonna a bhruidhinn mi sa chaibideil, bha com-pàirtichean mothachail air na bha a 'tachairt. Ach tha cuid de phròiseactan eile a 'feuchainn ri "obair" a ghlacadh a tha mar-thà a' tachairt (coltach ri eBird) agus gun mothachadh com-pàirtiche. Faic, mar eisimpleir, an Gèam ESP (Ahn and Dabbish 2004) agus reCAPTCHA (Ahn et al. 2008) . Ach, tha an dà phròiseact seo cuideachd a 'togail cheistean beusanta oir cha robh fios aig na com-pàirtichean ciamar a bha an dàta aca gan cleachdadh (Zittrain 2008; Lung 2012) .

Air a bhrosnachadh le Gèam ESP, tha grunn luchd-rannsachaidh air feuchainn ri "geamannan le adhbhar" eile a leasachadh " (Ahn and Dabbish 2008) (ie," geamannan coimpiutaireachd stèidhichte air daonna " (Pe-Than, Goh, and Lee 2015) ) a dh'fhaodas a bhith air a chleachdadh gus fuasgladh fhaighinn air caochladh dhuilgheadasan eile. Dè na "geamannan le adhbhar" seo a tha gu math cumanta is gum bi iad a 'feuchainn ri na gnìomhan a tha an sàs ann an àireamhachadh dhaoine a dhèanamh tlachdmhor. Mar sin, fhad 'sa tha an Gèam ESP a' roinn an aon structar split-apply-co-cheangailte ri Galaxy Zoo, tha e eadar-dhealaichte mar a tha na com-pàirtichean brosnachail agus spòrsail airson saidheans a chuideachadh. Airson barrachd air geamannan le adhbhar, faic Ahn and Dabbish (2008) .

Tha an tuairisgeul agam air Galaxy Zoo a 'tarraing air Nielsen (2012) , Adams (2012) , Clery (2011) , agus Hand (2010) , agus chaidh mo thaisbeanadh de na h-amasan rannsachaidh aig Galaxy Zoo a dhèanamh nas sìmplidhe. Airson barrachd air eachdraidh seòrsachadh galaxy ann an saidheans agus mar a tha Galaxy Zoo a 'leantainn air adhart leis a' bheul-aithris seo, faic Masters (2012) agus Marshall, Lintott, and Fletcher (2015) . A 'togail air Galaxy Zoo, chrìochnaich an luchd-rannsachaidh Galaxy Zoo 2 a chruinnich còrr is 60 millean seòrsachadh morphòlach nas duilghe bho shaor-thoilich (Masters et al. 2011) . A bharrachd, chaidh iad a-mach gu duilgheadasan taobh a-muigh màr-eòlas galaxy, a 'toirt a-steach sgrùdadh air uachdar a' ghealach, a 'coimhead airson planaidean, agus a' tar-sgrìobhadh seann sgrìobhainnean. Aig an àm seo, tha na pròiseactan aca uile air an cruinneachadh aig làrach-lìn Zooniverse (Cox et al. 2015) . Tha aon de na pròiseactan-Snapshot Serengeti-a 'toirt seachad fianais gum faodar pròiseactan seòrsachaidh ìomhaighean Galaxy Zoo a dhèanamh cuideachd airson rannsachadh àrainneachdail (Swanson et al. 2016) .

Airson luchd-rannsachaidh a tha an dùil margadh saothair microtask a chleachdadh (me, Amazon Mechanical Turk) airson pròiseact àireamhachd daonna, tha Chandler, Paolacci, and Mueller (2013) agus J. Wang, Ipeirotis, and Provost (2015) tairgse comhairle mhath air dealbhadh ghnìomhan agus cùisean co-cheangailte eile. Porter, Verdery, and Gaddis (2016) tairgsinn eisimpleirean agus comhairle a tha ag amas gu sònraichte air cleachdadh mhargaidhean obraichean microtask airson na tha iad a' ciallachadh "meudachadh dàta." Tha an loidhne eadar meudachadh dàta agus cruinneachadh dàta rudeigin duilich. Airson barrachd air cruinneachadh agus cleachdadh labels airson ionnsachadh fo stiùir airson teacsa, faic Grimmer and Stewart (2013) .

Is dòcha gum bi ùidh aig luchd-rannsachaidh a tha ag iarraidh a bhith a 'cruthachadh na tha mi air siostaman cunntadh dhaoine le taic coimpiutaireachd (me, siostaman a bhios a' cleachdadh bileagan daonna airson modail ionnsachaidh innealan a thrèanadh) ann an Shamir et al. (2014) (airson eisimpleir a 'cleachdadh claistinn) agus Cheng and Bernstein (2015) . Cuideachd, faodar tagraidhean iarraidh air na modailean ionnsachaidh innealan anns na pròiseactan seo, far am bi luchd-rannsachaidh a 'farpais airson modailean ionnsachaidh innealan a chruthachadh leis an coileanadh ro-innseach as motha. Mar eisimpleir, chùm sgioba Galaxy Zoo gairm fhosgailte agus lorg iad dòigh-obrach ùr a bha na b 'fheàrr na an fheadhainn a chaidh a leasachadh ann am Banerji et al. (2010) ; faic Dieleman, Willett, and Dambre (2015) airson fiosrachadh.

• Gluasadan fosgailte (earrann 5.3)

Chan eil gairmean fosgailte ùra. Gu dearbh, tha aon de na gairmean fosgailte as ainmeile a 'dol air ais gu 1714 nuair a chruthaich Pàrlamaid Bhreatainn an Duais Long airson duine sam bith a dh'fhaodadh dòigh a leasachadh gus long bàta aig muir a chomharrachadh. Chuir an duilgheadas mòran de na luchd-saidheans as motha de na làithean, nam measg Isaac Newton, agus chaidh an fhuasgladh a bhuannaich a chuir a-steach mu dheireadh le John Harrison, neach-dèanaig cloc bhon dùthaich a thàinig gu duilgheadas eadar luchd-saidheans a bha ag amas air fuasgladh a bhiodh a ' ; Airson tuilleadh fiosrachaidh, faic Sobel (1996) . Mar a tha an eisimpleir seo a 'sealltainn, is e aon adhbhar a thathar a' smaoineachadh gu bheil glacaidhean fosgailte ag obair cho math 'sa tha iad a' toirt cothrom do dhaoine le diofar sheallaidhean agus sgilean (Boudreau and Lakhani 2013) . Faic Hong and Page (2004) agus Page (2008) airson barrachd air luach iomadachd ann am fuasgladh cheistean.

Feumaidh gach aon de na cùisean call fosgailte anns a 'chaibideil beagan mìneachadh a bharrachd air carson a tha e a' buntainn ris an roinn seo. An toiseach, tha aon dhòigh anns a bheil mi a 'dèanamh eadar-obrachadh eadar pròiseas daonna agus pròiseactan gairm fosgailte co-dhiù a tha an toradh cuibheasach de na fuasglaidhean (rionnachadh daonna) no am fuasgladh as fheàrr (gairm fosgailte). Tha Duais Netflix rudeigin duilich a thaobh seo seach gu bheil am fuasgladh as fheàrr mar mheadhan cuibheasach de fhreagairtean fa leth, dòigh-obrach ris an canar fuasgladh co-chruinneachadh (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Bho shealladh Netflix, ge-tà, b 'e sin uile a bha aca ri dhèanamh a' taghadh am fuasgladh as fheàrr. Airson barrachd air Duais Netflix, faic Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , agus Feuerverger, He, and Khatri (2012) .

Anns an dàrna àite, le cuid de mhìneachaidhean air àireamhachadh daonna (me, Ahn (2005) ), bu chòir beachdachadh air Foldit mar phròiseict àireamhachd daonna. Ach, tha mi a 'roghnachadh a bhith ga ainmeachadh mar fhosgailte oir tha feum air sgilean speisealta (ged nach eil feum air trèanadh sònraichte) agus tha e a' faighinn an fhuasgladh as fheàrr, an àite a bhith a 'cleachdadh ro-innleachd sgairteil. Airson barrachd air Foldit faic, Cooper et al. (2010) , Khatib et al. (2011) , agus Andersen et al. (2012) ; tha mo thuairisgeul air Foldit a 'tarraing air tuairisgeul ann am Bohannon (2009) , Hand (2010) , agus Nielsen (2012) .

Mu dheireadh, dh'fhaodadh aon argamaid a dhèanamh gu bheil Peer-to-Patent na eisimpleir de chruinneachadh dàta air a sgaoileadh. Tha mi a 'taghadh a chur a-steach mar ghairm fhosgailte seach gu bheil structar coltach ri farpais aige agus nach eil ach na tabhartasan as fheàrr gan cleachdadh, ach le cruinneachadh dàta air a sgaoileadh, chan eil am beachd air tabhartasan math agus dona cho soilleir. Airson barrachd air Co-neach- Noveck (2006) , faic Noveck (2006) , Ledford (2007) , Noveck (2009) , agus Bestor and Hamp (2010) .

A thaobh a bhith a 'cleachdadh gairmean fosgailte ann an rannsachadh sòisealta, toraidhean coltach ris an fheadhainn aig Glaeser et al. (2016) , air aithris ann an caibideil 10 de Mayer-Schönberger and Cukier (2013) far am b 'urrainn do Bhaile Ùr Eabhraig modail ro-innseachail a chleachdadh gus buannachdan mòra a thoirt gu buil ann an toradh luchd-sgrùdaidh taigheadais. Ann an Cathair New York, chaidh na modailean ro-innseachail seo a thogail le luchd-obrach a 'bhaile, ach ann an cùisean eile, dh'fhaodadh aon smaoineachadh gum faodadh iad a bhith air an cruthachadh no air an leasachadh le gairmean fosgailte (me, Glaeser et al. (2016) ). Ach, aon dragh mòr le modailean ro-innseach a thathar a 'cleachdadh airson goireasan a riarachadh is gu bheil comas aig na modailean sin a bhith a' daingneachadh a 'chinn-làimhe a th' ann mar-thà. Tha mòran de luchd-rannsachaidh eòlach air "briseadh a-steach, truailleadh a-mach," agus le modailean ro-innseach faodaidh e a bhith "claonadh a-mach, a-mach às a chèile." Faic Barocas and Selbst (2016) agus O'Neil (2016) airson barrachd air cunnartan nam modalan predictive a chaidh a thogail le dàta trèanaidh a tha air a chlaonadh.

Aon dhuilgheadas a dh'fhaodadh bacadh a thoirt air riaghaltasan bho bhith a 'cleachdadh com-pàirtichean fosgailte gu bheil feum air sgaoileadh dàta, a dh'fhaodadh leantainn gu briseadh prìobhaideachd. Airson barrachd fiosrachaidh mu phrìobhaideachd agus sgaoileadh dàta ann an gairmean fosgailte, faicibh Narayanan, Huey, and Felten (2016) agus an deasbad ann an caibideil 6.

Airson barrachd air na h-eadar-dhealachaidhean agus eadar-dhealachaidhean eadar ro-innse agus mìneachadh, faic Breiman (2001) , Shmueli (2010) , Watts (2014) , agus Kleinberg et al. (2015) . Airson barrachd air mar a tha ro-innse ann an rannsachadh sòisealta, faic Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , agus Yarkoni and Westfall (2017) .

Airson ath-sgrùdadh de phròiseactan gairm fosgailte ann am bith-eòlas, a 'gabhail a-steach comhairle dealbhaidh, faic Saez-Rodriguez et al. (2016) .

• Cruinneachadh dàta air a sgaoileadh (earrann 5.4)

Tha mo thuairisgeul air eBird a 'tarraing air tuairisgeulan ann am Bhattacharjee (2005) , Robbins (2013) , agus Sullivan et al. (2014) . Airson barrachd air mar a bhios luchd-rannsachaidh a 'cleachdadh mhodhan staitistigeil gus mion-sgrùdadh air dàta eBird, faic Fink et al. (2010) agus Hurlbert and Liang (2012) . Airson barrachd air tuairmse a dhèanamh air sgil chom-pàirtichean eBird, faic Kelling, Johnston, et al. (2015) . Airson barrachd air eachdraidh saidheans nan saoranach ann an eòlas-eòlas, faic Greenwood (2007) .

Airson barrachd air Pròiseact Journals Malawi, faic Watkins and Swidler (2009) agus Kaler, Watkins, and Angotti (2015) . Airson barrachd air pròiseact ceangailte ann an Afraga a-Deas, faic Angotti and Sennott (2015) . Airson barrachd eisimpleirean de rannsachadh a 'cleachdadh dàta bho Phròiseact Journals Malawi, faic Kaler (2004) agus Angotti et al. (2014) .

• Dealbhadh dhut fhèin (earrann 5.5)

Bha an dòigh san robh mi a 'tabhann comhairle dealbhaidh inntinneach, stèidhichte air na h-eisimpleirean de phròiseactan co-obrachaidh mòr soirbheachail a dh'fhàillig agus a dh'fhàillig mi. Chaidh cuideachd a dhèanamh de dh'iarrtasan rannsachaidh gus teòiridhean sòisealta coitcheann nas fharsainge a chur an gnìomh gus coimhearsnachdan air-loidhne a dhealbhadh a tha buntainneach ri dealbhadh phròiseactan co-obrachaidh mòra, faic, mar eisimpleir, Kraut et al. (2012) .

A thaobh com-pàirtichean brosnachaidh, tha e gu math duilich a bhith a 'dearbhadh a-mach carson a tha daoine a' gabhail pàirt ann am pròiseactan co-obrachaidh mòr (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ma tha thu an dùil com-pàirtichean a bhrosnachadh le pàigheadh ​​air margadh obraichean microtask (me, Amazon Mechanical Turk), Kittur et al. (2013) tabhann beagan comhairle.

A thaobh sireadh iongnadh, airson barrachd eisimpleirean de lorgan nach robh dùil a 'tighinn a-mach à pròiseactan Zooiverse, faic Marshall, Lintott, and Fletcher (2015) .

A thaobh a bhith beusanta, tha cuid de thaisbeanaidhean math gu na cùisean a tha an sàs ann: Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , agus Zittrain (2008) . Airson cùisean a tha gu sònraichte ceangailte ri cùisean laghail le luchd-obrach an t-sluaigh, faic Felstiner (2011) . O'Connor (2013) bruidhinn cheistean mu bhith a' cumail sùil air sgrùdadh beusach air rannsachadh nuair a tha dreuchdan luchd-rannsachaidh agus com-pàirtichean a 'cur an cèill. Airson ceistean co-cheangailte ri bhith a 'roinn dàta agus a' dìon chom-pàirtichean ann am pròiseactan saidheans saoranach, faic Bowser et al. (2014) . Tha Purdam (2014) agus Windt and Humphreys (2016) mu na cùisean beusanta ann an cruinneachadh dàta air an sgaoileadh. Mu dheireadh, tha a 'chuid as motha de phròiseactan a' toirt a-steach tabhartasan ach chan eil iad a 'toirt creideas ùghdarras do chom-pàirtichean Ann am Foldit, tha na cluicheadairean gu tric air an clàradh mar ùghdar (Cooper et al. 2010; Khatib et al. 2011) . Ann am pròiseactan gairm fosgailte eile, is urrainn don neach a bhuannaich am pàipear pàipear a sgrìobhadh a 'mìneachadh am fuasglaidhean (me, Bell, Koren, and Volinsky (2010) agus Dieleman, Willett, and Dambre (2015) ).