Cuireann comhoibriú aifreann le smaointe ó eolaíocht na saoránach , le cúrsaí pobail , agus le faisnéis chomhchoiteann . De ghnáth, ciallaíonn eolaíocht shaoránaigh a bhaineann le "saoránaigh" (ie, nonscientists) sa phróiseas eolaíoch; le haghaidh níos mó, féach Crain, Cooper, and Dickinson (2014) agus Bonney et al. (2014) . De ghnáth, ciallaíonn Crowdsourcing fadhb a réiteach de ghnáth laistigh d'eagraíocht agus ina ionad sin é a fhoinsiú go dtí an slua; le haghaidh níos mó, féach Howe (2009) . De ghnáth, ciallaíonn faisnéis choiteann grúpaí daoine aonair atá ag gníomhú go comhpháirteach ar bhealaí is cosúil go bhfuil siad cliste; le haghaidh níos mó, féach Malone and Bernstein (2015) . Nielsen (2012) ná tabhairt isteach leabhar ar chumas an chomhoibrithe mais le haghaidh taighde eolaíoch.
Tá go leor cineálacha comhoibrithe mais ann nach bhfuil oiriúnach go sásúil sna trí chatagóir a mhol mé, agus is dóigh liom go dtabharfadh aird ar leith ar thriúr díobh seo mar go bhféadfadh siad a bheith úsáideach i dtaighde sóisialta. Sampla amháin ná margaí tuar, nuair a cheannaíonn rannpháirtithe agus conarthaí trádála atá infhuasaithe bunaithe ar thorthaí a tharlaíonn ar fud an domhain. Is minic a úsáideann na gnólachtaí agus na rialtais na margaí réamh-mheasta, agus rinne taighdeoirí sóisialta iad a úsáid freisin chun a mhacasamhlú a dhéanamh ar staidéir fhoilsithe sa síceolaíocht (Dreber et al. 2015) . Le haghaidh forbhreathnú ar mhargaí tuar, féach Wolfers and Zitzewitz (2004) agus Arrow et al. (2008) .
Is é an dara sampla nach bhfuil oiriúnach go maith i mo scéim chatagóiriú ná an tionscadal PolyMath, áit a gcomhoibrigh taighdeoirí ag baint úsáide as blaganna agus wikis chun teoirimí matamaitice nua a chruthú. Tá an tionscadal PolyMath ar roinnt bealaí cosúil le Duais Netflix, ach sa rannpháirtithe tionscadail seo tógadh níos gníomhaí ar réitigh pháirtithe daoine eile. Chun tuilleadh eolais a fháil ar thionscadal PolyMath, féach Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , agus Kloumann et al. (2016) .
Tríú sampla nach bhfuil oiriúnach go maith i mo scéim chatagóiriú ná gurb é an t-am a bhí ag brath ar thréimhse ama amhail Dúshlán Líonra na Gníomhaireachta um Thionscadail Taighde Ard-Defense (DARPA) (.i. Dúshlán an Bhailigh Dhearg). Chun tuilleadh eolais a fháil maidir leis na slógálacha seo atá íogair ó thaobh ama, féach Pickard et al. (2011) , Tang et al. (2011) , agus Rutherford et al. (2013) .
Tagann an téarma "ríomh daonna" as obair a rinne eolaithe ríomhaireachta, agus feabhsóidh an comhthéacs atá taobh thiar den taighde seo do chumas fadhbanna a d'fhéadfadh a bheith oiriúnach dó a roghnú. I gcás tascanna áirithe, tá ríomhairí thar a bheith cumhachtach, agus cumais atá i bhfad níos mó ná sin de shaineolaithe fiú. Mar shampla, i bhfichille, is féidir le ríomhairí buille fiú na maighstiúirí is fearr. Ach-agus is lú eolaithe sóisialta é seo a mheastar go maith-le haghaidh tascanna eile, tá ríomhairí i bhfad níos measa i ndáiríre ná daoine. I bhfocail eile, tá tú níos fearr anois ná an ríomhaire is sofaisticiúla fiú ag tascanna áirithe a bhaineann le próiseáil íomhánna, físeáin, fuaime agus téacs. Mar sin, thuig eolaithe ríomhairí a bhí ag obair ar na tascanna crua-ríomhairí-éasca le duine sin go bhféadfadh siad daoine a chur san áireamh sa phróiseas ríomhaireachta. Seo mar a thug Luis von Ahn (2005) cur síos ar ríomh an duine nuair a chonaic sé an téarma ina thráchtas ar dtús: "paradigma chun cumhacht próiseála an duine a úsáid chun fadhbanna a réiteach nach féidir le ríomhairí a réiteach go fóill." I gcás cóireáil fadleabhar ar ríomh an duine, an tuiscint is ginearálta ar an téarma, féach Law and Ahn (2011) .
De réir an mhínithe atá molta in Ahn (2005) Foldit-a chuir mé síos sa rannóg ar ghlaonna oscailte - d'fhéadfaí a mheas mar thionscadal ríomh daonna. Mar sin féin, roghnaíonn mé Foldit a chatagóiriú mar ghlaoch oscailte toisc go n-éilíonn sé scileanna speisialaithe (cé nach gá go mbeadh oiliúint fhoirmiúil de dhíth orthu) agus go gcuireann sé an réiteach is fearr leis, seachas straitéis chomhcheangailte a chur i bhfeidhm.
Baineadh úsáid as an téarma "scoilt-apply-combine" ag Wickham (2011) chun cur síos a dhéanamh ar straitéis le haghaidh ríomhaireachta staidrimh, ach déanann sé an próiseas go leor de thionscadail ríomhaithe daonna a ghabháil. Tá an straitéis scoite-iarratas comhcheangailte cosúil leis an gcreat MapReduce forbartha ag Google; le haghaidh tuilleadh ar MapReduce, féach Dean and Ghemawat (2004) agus Dean and Ghemawat (2008) . Le haghaidh níos mó ar ailtireacht ríomhaireachta a dháileadh eile, féach Vo and Silvia (2016) . Pléitear i gCaibidil 3 den Law and Ahn (2011) ar thionscadail a bhfuil céimeanna comhcheangailte níos casta ná iad siúd sa chaibidil seo.
Sna tionscadail ríomh daonna a phléigh mé sa chaibidil, bhí na rannpháirtithe ar an eolas faoi na rudaí a bhí ag tarlú. Féachann roinnt tionscadal eile, áfach, "obair" a ghabháil atá ag tarlú cheana féin (cosúil le eBird) agus gan feasacht rannpháirtithe. Féach, mar shampla, an cluiche ESP (Ahn and Dabbish 2004) agus reCAPTCHA (Ahn et al. 2008) . (Zittrain 2008; Lung 2012) dá cheann de na tionscadail seo ceisteanna eiticeacha freisin, toisc nach raibh a fhios ag na rannpháirtithe cén chaoi a n-úsáidtear a gcuid sonraí (Zittrain 2008; Lung 2012) .
Arna spreagadh ag an gCluiche ESP, tá iarracht déanta ag go leor taighdeoirí "cluichí chun críche" eile a fhorbairt (Ahn and Dabbish 2008) (ie "cluichí ríomhaireachta bunaithe ar an duine" (Pe-Than, Goh, and Lee 2015) ) a d'fhéadfadh a bheith a úsáidtear chun fadhbanna eile a réiteach. Cad iad na "cluichí le cuspóir" seo i gcoiteann ná go ndéanfaidh siad iarracht na tascanna a bhaineann le ríomh an duine a bheith taitneamhach. Dá bhrí sin, cé go scaireann an cluiche ESP an struchtúr céanna scoite-iarratas le Galaxy Zoo, tá sé difriúil maidir leis an gcaoi a bhfuil na rannpháirtithe spreagthach i gcoinne an mhian chun cuidiú leis an eolaíocht. Le haghaidh níos mó ar chluichí chun críche, féach Ahn and Dabbish (2008) .
Tarraingíonn mo thuairisc ar Réaltraige Zoo ar Nielsen (2012) , Adams (2012) , Clery (2011) , agus Hand (2010) , agus rinneadh simpliú ar mo chur i láthair ar spriocanna taighde Réaltraisc. Chun tuilleadh eolais a fháil ar stair aicmithe réaltra sa réalteolaíocht agus ar an gcaoi a leanann Réaltra Zú an traidisiún seo, féach Masters (2012) agus Marshall, Lintott, and Fletcher (2015) . Ag tógáil ar Réaltraga Zú, chríochnaigh na taighdeoirí Galaxy Zoo 2 a bhailigh níos mó ná 60 milliún aicmí morfolaíochta níos casta ó oibrithe deonacha (Masters et al. 2011) . Ina theannta sin, dhírigh siad amach ar fhadhbanna lasmuigh den mhoirfeolaíocht réaltra, lena n-áirítear dromchla an Ghealach a iniúchadh, cuardach a dhéanamh ar phláinéid agus trascríobh d'aoischáipéisí. Faoi láthair, bailítear a gcuid tionscadal uile ag láithreán gréasáin Zooniverse (Cox et al. 2015) . Ceann de na tionscadail-Snapshot Serengeti-soláthraíonn sé fianaise gur féidir tionscadail aicmithe íomhá Réaltraga Zoo a dhéanamh le haghaidh taighde comhshaoil (Swanson et al. 2016) .
I gcás taighdeoirí atá ag pleanáil margadh saothair microtasc a úsáid (m.sh. Amazon Mechanical Turk) le haghaidh tionscadal ríomhaithe daonna, tá Chandler, Paolacci, and Mueller (2013) agus J. Wang, Ipeirotis, and Provost (2015) tabhairt comhairle mhaith maidir le dearadh tasc agus saincheisteanna eile a bhaineann leo. Porter, Verdery, and Gaddis (2016) samplaí agus comhairle a dhírítear go sonrach ar úsáidí na margaí saothair microtasc ar an méid a thugann siad "méadú sonraí". Tá an líne idir méadú sonraí agus bailiú sonraí beagán blurry. Chun tuilleadh eolais a fháil maidir le lipéid a bhailiú agus a úsáid le haghaidh foghlama maoirseachta le haghaidh téacs, féach Grimmer and Stewart (2013) .
D'fhéadfadh suim a bheith ag taighdeoirí i gcruthú na n-iarr mé ar chórais ríomhaithe daonna le cúnamh ríomhairithe (m.sh. córais a úsáideann lipéid daonna chun múnla foghlama meaisín a oiliúint) i Shamir et al. (2014) (mar shampla ag baint úsáide as fuaime) agus Cheng and Bernstein (2015) . Chomh maith leis sin, is féidir glaonna oscailte a iarraidh ar na samhlacha foghlama meaisín sna tionscadail seo, trína ndéanann taighdeoirí dul san iomaíocht chun samhlacha foghlama meaisíní a chruthú leis an fheidhmíocht is fearr a thuar. Mar shampla, ghlac foireann an Réaltra Zú glaoch oscailte agus fuair siad cur chuige nua a d'éirigh thar barr leis an gceann a d'fhorbair Banerji et al. (2010) ; féach Dieleman, Willett, and Dambre (2015) le haghaidh sonraí.
Níl glaonna oscailte nua. Go deimhin, déantar ceann de na glaonna oscailte is mó aitheanta ar ais go dtí 1714 nuair a chruthaigh Parlaimint na Breataine an Duais Amháin d'aon duine a d'fhéadfadh bealach a fhorbairt chun long na farraige a chinneadh. Chuir an fhadhb isteach go leor de na heolaithe is mó de na laethanta, lena n-áirítear Isaac Newton, agus chuir John Harrison, geallghlacálaí ón tuath, isteach ar an réiteach buaite ag deireadh na bliana, rud a dhírigh ar an bhfadhb go difriúil ó eolaithe a dhírigh ar réiteach a bheadh ina réalteolaíocht ar bhealach éigin ; Le haghaidh tuilleadh faisnéise, féach Sobel (1996) . Mar a léiríonn an sampla seo, is é ceann amháin de na cúiseanna go nglactar go n-oibríonn glaonna oscailte chomh maith is go soláthraíonn siad rochtain ar dhaoine le dearcadh agus scileanna difriúla (Boudreau and Lakhani 2013) . Féach Hong and Page (2004) agus Page (2008) le haghaidh níos mó ar luach na héagsúlachta i réiteach fadhbanna.
Éilíonn gach ceann de na cásanna glaonna oscailte sa chaibidil míniú breise ar an gcúis a mbaineann sé sa chatagóir seo. Ar an gcéad dul síos, is é bealach amháin gur féidir liom idirdhealú a dhéanamh idir ríomh an duine agus tionscadail glaonna oscailte an bhfuil an t-aschur meán ar na réitigh go léir (ríomh an duine) nó an réiteach is fearr (glao oscailte). Tá an Duais Netflix beagán deacair maidir leis seo, toisc gurb é an réiteach is fearr ná meán sofaisticiúil réitigh aonair, cur chuige ar a dtugtar réiteach ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Ó pheirspictíocht Netflix, áfach, ba léir go raibh siad a dhéanamh ná an réiteach is fearr a roghnú. Chun tuilleadh eolais a fháil ar an Duais Netflix, féach Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , agus Feuerverger, He, and Khatri (2012) .
Sa dara háit, trí roinnt sainmhínithe ar ríomh daonna (m.sh., Ahn (2005) ), ba cheart go ndéanfaí Foldit a mheas mar thionscadal ríomhaithe daonna. Mar sin féin, roghnaíonn mé é a chatagóiriú mar ghlaoch oscailte toisc go n-éilíonn sé scileanna speisialaithe (cé nach gá go mbeadh oiliúint speisialaithe ann) agus go dtógfaidh sé an réiteach is fearr, seachas straitéis a chomhcheangal le scoilt-iarratas a úsáid. Le haghaidh tuilleadh ar Foldit féach, Cooper et al. (2010) , Khatib et al. (2011) , agus Andersen et al. (2012) ; Tarraingíonn mo thuairisc ar Foldit ar thuairiscí i mBaile na Sionainne Bohannon (2009) , Hand (2010) , agus Nielsen (2012) .
Mar fhocal scoir, d'fhéadfadh duine a mhaíomh go bhfuil Piaraí go Phatent mar shampla de bhailiú sonraí a dháileadh. Roghnaigh liom é a chur san áireamh mar ghlaoch oscailte toisc go bhfuil struchtúr cosúil leis an gcomórtas agus nach n-úsáidtear ach na ranníocaíochtaí is fearr, ach nuair a bhailítear sonraí a dháileadh, níl an smaoineamh ar ranníocaíochtaí maithe agus olc níos soiléire. Chun tuilleadh eolais a fháil maidir le Piaraí go Paitinne, féach Noveck (2006) , Ledford (2007) , Noveck (2009) , agus Bestor and Hamp (2010) .
Maidir le glaonna oscailte a úsáid i dtaighde sóisialta, tá torthaí cosúil le Glaeser et al. (2016) , i gcaibidil 10 de Mayer-Schönberger and Cukier (2013) inarbh fhéidir Cathair Nua-Eabhrac a bheith in ann samhaltú réamhaisnéiseach a úsáid chun gnóthachain mhóra a thabhairt ar tháirgiúlacht cigirí tithíochta. I Nua-Eabhrac, tógadh na samhlacha réamhghníomhacha seo le fostaithe cathrach, ach i gcásanna eile, d'fhéadfadh duine a shamhlú gur féidir iad a chruthú nó a fheabhsú le glaonna oscailte (m.sh., Glaeser et al. (2016) ). Mar sin féin, is mór imní mór amháin le samhlacha tuarthacha a úsáidtear chun acmhainní a leithdháileadh ná go bhféadfadh na samhlacha seo na claontaí atá ann cheana a threisiú. Tá a fhios ag go leor taighdeoirí cheana féin "truflais, truflais amach," agus le samhlacha réamhghníomhacha is féidir é a bheith "claonadh i gclaonadh amach". Féach Barocas and Selbst (2016) agus O'Neil (2016) le haghaidh níos mó ar na contúirtí a bhaineann le samhlacha réamhaisnéiseacha a tógadh le sonraí traenála claonta.
Fadhb amháin a d'fhéadfadh cosc a chur ar rialtais ó chomórtais oscailte a úsáid ná go n-éilíonn sé seo scaoileadh sonraí, rud a d'fhéadfadh sáruithe príobháideachta a bheith ann. Chun tuilleadh eolais a fháil maidir le príobháideacht agus scaoileadh sonraí i nglaonna oscailte, féach Narayanan, Huey, and Felten (2016) agus an plé i gcaibidil 6.
Chun tuilleadh eolais a fháil ar na difríochtaí agus na cosúlachtaí idir tuar agus míniú, féach Breiman (2001) , Shmueli (2010) , Watts (2014) , agus Kleinberg et al. (2015) . Chun tuilleadh eolais a fháil ar ról an tuar i dtaighde sóisialta, féach Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , agus Yarkoni and Westfall (2017) .
Chun athbhreithniú a dhéanamh ar thionscadail glaonna oscailte i bitheolaíocht, lena n-áirítear comhairle ar dhearadh, féach Saez-Rodriguez et al. (2016) .
Tarraingíonn mo thuairisc ar eBird ar thuairiscí i Bhattacharjee (2005) , Robbins (2013) , agus Sullivan et al. (2014) . Chun tuilleadh eolais a fháil ar an tslí a úsáideann taighdeoirí múnlaí staidrimh chun anailís a dhéanamh ar shonraí eBird féach Fink et al. (2010) agus Hurlbert and Liang (2012) . Le tuilleadh eolais a dhéanamh maidir le scileanna rannpháirtithe eBird, féach Kelling, Johnston, et al. (2015) . Chun tuilleadh eolais a fháil ar stair na heolaíochta saoránach in ornithíocht, féach Greenwood (2007) .
Chun tuilleadh eolais a fháil ar Thionscadal Tréimhseacháin na Mhaláiv, féach Watkins and Swidler (2009) agus Kaler, Watkins, and Angotti (2015) . Chun tuilleadh eolais a fháil ar thionscadal gaolmhar san Afraic Theas, féach Angotti and Sennott (2015) . Le haghaidh níos mó samplaí de thaighde a úsáideann sonraí ó Thionscadal Tréimhseacháin na Mhaláiv féach Kaler (2004) agus Angotti et al. (2014) .
Bhí an cur chuige atá agam maidir le comhairle deartha a thairiscint ionduchtach, bunaithe ar na samplaí de thionscadail mhara rathúla agus theipthe a chuala mé faoi. Cuireadh sruth d'iarrachtaí taighde freisin chun teoiricí síceolaíocha sóisialta níos ginearálta a chur i bhfeidhm chun pobail ar líne a dhearadh atá ábhartha maidir le dearadh tionscadal mais comhoibrithe, féach, mar shampla, Kraut et al. (2012) .
Maidir le rannpháirtithe spreagthacha, tá sé an-deacair figiúr a fháil amach cén fáth go bhfuil daoine rannpháirteach i dtionscadail mais-chomhoibrithe (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Má tá sé ar intinn agat rannpháirtithe a spreagadh le híocaíocht a dhéanamh ar mhargadh saothair microtasc (eg, Amazon Mechanical Turk), Kittur et al. (2013) cuireann roinnt comhairle ar fáil.
Maidir le hiontas a chumasú, le haghaidh níos mó samplaí de fhionnachtana gan choinne a thagann as tionscadail Zooiverse, féach Marshall, Lintott, and Fletcher (2015) .
Maidir le bheith eiticiúil, is iad Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , agus Zittrain (2008) . Maidir le saincheisteanna a bhaineann go sonrach le saincheisteanna dlí le fostaithe slua, féach Felstiner (2011) . O'Connor (2013) seoltaí ar cheisteanna faoi mhaoirsiú eiticiúil ar thaighde nuair a bhíonn róil taighdeoirí agus rannpháirtithe blur. Maidir le saincheisteanna a bhaineann le sonraí a roinnt agus rannpháirtithe i dtionscadail eolaíochta saoránach a chosaint, féach Bowser et al. (2014) . Tá roinnt plé ar Purdam (2014) agus Windt and Humphreys (2016) faoi na saincheisteanna eiticiúla maidir le bailiú sonraí a dháileadh. Ar deireadh, aithníonn formhór na dtionscadal ranníocaíochtaí ach ní thugann siad creidmheas na n-údar do rannpháirtithe. I Foldit, is minic a liostaítear na himreoirí mar údar (Cooper et al. 2010; Khatib et al. 2011) . I dtionscadail glaonna oscailte eile, is minic gur féidir leis an rannpháirtí buaite páipéar a scríobh ag cur síos ar a gcuid réitigh (m.sh., Bell, Koren, and Volinsky (2010) agus Dieleman, Willett, and Dambre (2015) ).