Beth i'w ddarllen nesaf
- Cyflwyniad (adran 5.1)
Mae cydweithredu amseroedd yn cyfuno syniadau o wyddoniaeth dinasyddion , tyrfaoedd cudd , a deallusrwydd ar y cyd . Fel arfer, mae gwyddoniaeth dinasyddion yn golygu cynnwys "dinasyddion" (hy, nonscientists) yn y broses wyddonol; am fwy, gweler Crain, Cooper, and Dickinson (2014) a Bonney et al. (2014) . Fel arfer, mae cyfryngau torfol yn golygu cymryd problem sy'n cael ei datrys fel arfer o fewn sefydliad ac yn hytrach ei gontractio i dorf; Am fwy, gweler Howe (2009) . Mae cudd-wybodaeth ar y cyd fel rheol yn golygu bod grwpiau o unigolion yn gweithredu ar y cyd mewn ffyrdd sy'n ymddangos yn ddeallus; Am ragor o wybodaeth, gweler Malone and Bernstein (2015) . Nielsen (2012) yn gyflwyniad hyd llyfr i rym cydweithio màs ar gyfer ymchwil wyddonol.
Mae yna lawer o fathau o gydweithio màs nad ydynt yn ffitio'n daclus i'r tri chategori yr wyf wedi'u cynnig, ac rwy'n credu bod tri o'r rhain yn haeddu sylw arbennig oherwydd y gallent fod yn ddefnyddiol mewn ymchwil gymdeithasol. Un enghraifft yw marchnadoedd rhagfynegi, lle mae cyfranogwyr yn prynu a masnachu contractau sy'n cael eu hailddefnyddio yn seiliedig ar ganlyniadau sy'n digwydd yn y byd. Mae marchnadoedd rhagfynegi yn aml yn cael eu defnyddio gan gwmnïau a llywodraethau ar gyfer rhagweld, ac fe'u defnyddiwyd gan ymchwilwyr cymdeithasol hefyd i ragweld y gellir dadlau ailadrodd astudiaethau cyhoeddedig mewn seicoleg (Dreber et al. 2015) . I gael trosolwg o'r marchnadoedd rhagfynegi, gweler Wolfers and Zitzewitz (2004) ac Arrow et al. (2008) .
Ail enghraifft nad yw'n cyd-fynd yn dda â'm cynllun categoreiddio yw'r prosiect PolyMath, lle mae ymchwilwyr yn cydweithio gan ddefnyddio blogiau a wikis i brofi theoremau mathemateg newydd. Mae'r prosiect PolyMath mewn rhai ffyrdd yn debyg i Wobr Netflix, ond yn y prosiect hwn mae cyfranogwyr yn cael eu hadeiladu'n fwy gweithredol ar atebion rhannol eraill. Am ragor o wybodaeth am y prosiect PolyMath, gweler Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , a Kloumann et al. (2016) .
Trydydd enghraifft nad yw'n cyd-fynd yn dda â'm cynllun categoreiddio yw ysgogiadau dibynnol yn ôl amser fel Her Rhwydwaith Amddiffyn Prosiectau Ymchwil Uwch (DARPA) (hy, Her Balwn Coch). Am ragor o wybodaeth am yr ymgyrchoedd sensitif hyn, gweler Pickard et al. (2011) , Tang et al. (2011) , a Rutherford et al. (2013) .
- Cyfrifiad dynol (adran 5.2)
Daw'r term "cyfrifiad dynol" allan o waith a wneir gan wyddonwyr cyfrifiadurol, a bydd deall y cyd-destun y tu ôl i'r ymchwil hwn yn gwella'ch gallu i ddatrys problemau a allai fod yn addas iddi. Ar gyfer rhai tasgau, mae cyfrifiaduron yn hynod o bwerus, gyda galluoedd yn llawer uwch na'r rheiny sydd â phobl hyd yn oed arbenigol. Er enghraifft, mewn gwyddbwyll, gall cyfrifiaduron guro hyd yn oed yr arsyllwyr gorau. Ond - ac nid yw gwyddonwyr cymdeithasol yn gwerthfawrogi hyn - ar gyfer tasgau eraill, mae cyfrifiaduron mewn gwirionedd yn llawer gwaeth na phobl. Mewn geiriau eraill, ar hyn o bryd rydych chi'n well na'r cyfrifiadur mwyaf soffistigedig hyd yn oed mewn tasgau penodol sy'n ymwneud â phrosesu delweddau, fideo, sain a thestun. Felly gwyddonwyr cyfrifiaduron sy'n gweithio ar y tasgau anodd-i-gyfrifiaduron-hawdd-i-ddynol hyn, y gallent gynnwys pobl yn eu proses gyfrifiadurol. Dyma sut y disgrifiodd Luis von Ahn (2005) gyfrifiad dynol pan enillodd y term yn gyntaf yn ei draethawd hir: "paradigm ar gyfer defnyddio pŵer prosesu dynol i ddatrys problemau na all cyfrifiaduron eu datrys eto." Am driniaeth gyfrifiadurol dynol, yr ystyr mwyaf cyffredinol o'r term, gweler y Law and Ahn (2011) .
Yn ôl y diffiniad a gynigir yn Ahn (2005) Foldit-y gallaf ei ddisgrifio yn yr adran ar alwadau agored-gellid ei ystyried yn brosiect cyfrifo dynol. Fodd bynnag, rwy'n dewis categoreiddio Foldit fel galwad agored oherwydd ei fod yn gofyn am sgiliau arbenigol (er nad yw o reidrwydd yn hyfforddiant ffurfiol) ac mae'n cymryd yr ateb gorau a gyfrannwyd, yn hytrach na defnyddio strategaeth cyfuno-ymgeisio.
Defnyddiwyd y term "cyfuno-ymgeisio" gan Wickham (2011) i ddisgrifio strategaeth ar gyfer cyfrifiadura ystadegol, ond mae'n berffaith yn craffu'r broses o lawer o brosiectau cyfrifo dynol. Mae'r strategaeth cyfuno-ymgeisio yn debyg i'r fframwaith MapReduce a ddatblygwyd yn Google; Am fwy o wybodaeth ar MapReduce, gweler Dean and Ghemawat (2004) a Dean and Ghemawat (2008) . Am ragor o wybodaeth am bensaernļau cyfrifiadurol dosbarthedig eraill, gweler Vo and Silvia (2016) . Mae gan Bennod 3 o'r Law and Ahn (2011) drafodaeth am brosiectau gyda chamau cyfun mwy cymhleth na'r rhai yn y bennod hon.
Yn y prosiectau cyfrifo dynol yr wyf wedi'u trafod yn y bennod, roedd y cyfranogwyr yn ymwybodol o'r hyn oedd yn digwydd. Fodd bynnag, mae rhai prosiectau eraill yn ceisio dal "gwaith" sydd eisoes yn digwydd (tebyg i eBird) ac heb ymwybyddiaeth cyfranogwyr. Gweler, er enghraifft, y Gêm ESP (Ahn and Dabbish 2004) a reCAPTCHA (Ahn et al. 2008) . Fodd bynnag, mae'r ddau brosiect hwn hefyd yn codi cwestiynau moesegol oherwydd nad oedd y cyfranogwyr yn gwybod sut roedd eu data'n cael ei ddefnyddio (Zittrain 2008; Lung 2012) .
Wedi'i ysbrydoli gan y Gêm ESP, mae llawer o ymchwilwyr wedi ceisio datblygu "gemau â phwrpas" eraill (Ahn and Dabbish 2008) (hy, "gemau cyfrifo dynol" (Pe-Than, Goh, and Lee 2015) ) a all fod yn a ddefnyddiwyd i ddatrys amrywiaeth o broblemau eraill. Beth yw'r "gemau â phwrpas" hyn yn gyffredin yw eu bod yn ceisio gwneud y tasgau sy'n gysylltiedig â chyfrifiad dynol yn bleserus. Felly, er bod y Gêm ESP yn rhannu'r un strwythur cyfunol-gymhwyso gyda Galaxy Zoo, mae'n wahanol i'r modd y mae cyfranogwyr yn gymhellol-hwyl yn erbyn awydd i helpu gwyddoniaeth. Am ragor o wybodaeth am gemau â phwrpas, gweler Ahn and Dabbish (2008) .
Mae fy disgrifiad o Galaxy Zoo yn tynnu ar Nielsen (2012) , Adams (2012) , Clery (2011) , a Hand (2010) , a symleiddiwyd fy nghyflwyniad o nodau ymchwil Galaxy Zoo. Am fwy o wybodaeth am hanes dosbarthiad galaeth mewn seryddiaeth a sut mae Galaxy Zoo yn parhau â'r traddodiad hwn, gweler Masters (2012) a Marshall, Lintott, and Fletcher (2015) . Gan adeiladu ar Galaxy Zoo, cwblhaodd yr ymchwilwyr Galaxy Zoo 2 a gasglodd dros 60 miliwn o ddosbarthiadau morffolegol mwy cymhleth gan wirfoddolwyr (Masters et al. 2011) . Ymhellach, maent yn cangenio allan i broblemau y tu allan i morffoleg galacs, gan gynnwys archwilio wyneb y Lleuad, chwilio am blanedau, a thrawsgrifio hen ddogfennau. Ar hyn o bryd, mae eu holl brosiectau yn cael eu casglu ar wefan Zooniverse (Cox et al. 2015) . Un o'r prosiectau-Snapshot Serengeti-yn darparu tystiolaeth y gellir gwneud prosiectau dosbarthu delweddau Galaxy Zoo hefyd ar gyfer ymchwil amgylcheddol (Swanson et al. 2016) .
Mae ymchwilwyr sy'n bwriadu defnyddio marchnad lafur microtasg (ee, Amazon Mecanical Turk) ar gyfer prosiect cyfrifo dynol, Chandler, Paolacci, and Mueller (2013) a J. Wang, Ipeirotis, and Provost (2015) cynnig cyngor da ar dasgau tasgau a materion cysylltiedig eraill. Porter, Verdery, and Gaddis (2016) cynnig enghreifftiau a chyngor sy'n canolbwyntio'n benodol ar ddefnyddio marchnadoedd llafur microtask am yr hyn y maent yn ei alw'n "ychwanegu data." Mae'r llinell rhwng ychwanegiad data a chasglu data ychydig yn aneglur. Am ragor o wybodaeth am gasglu a defnyddio labeli ar gyfer dysgu dan oruchwyliaeth ar gyfer testun, gweler Grimmer and Stewart (2013) .
Efallai y bydd gan ymchwilwyr sydd â diddordeb mewn creu yr hyn rwyf wedi galw systemau cyfrifo dynol â chymorth cyfrifiadur (ee systemau sy'n defnyddio labeli dynol i hyfforddi model dysgu peiriannau) ddiddordeb yn Shamir et al. (2014) (er enghraifft gan ddefnyddio sain) a Cheng and Bernstein (2015) . Hefyd, gellir defnyddio modelau dysgu peiriannau yn y prosiectau hyn â galwadau agored, lle mae ymchwilwyr yn cystadlu i greu modelau dysgu peiriannau gyda'r perfformiad rhagfynegol mwyaf. Er enghraifft, roedd tîm y Galaxy Sw yn rhedeg galwad agored a chanfuwyd ymagwedd newydd a oedd yn perfformio'n well na'r un a ddatblygwyd yn Banerji et al. (2010) ; gweler Dieleman, Willett, and Dambre (2015) am fanylion.
- Galwadau agored (adran 5.3)
Nid yw galwadau agored yn newydd. Mewn gwirionedd, mae un o'r galwadau agored mwyaf adnabyddus yn dyddio'n ôl i 1714 pan grëodd Senedd Prydain y Wasg Hydra i unrhyw un a allai ddatblygu ffordd i bennu hydred llong ar y môr. Roedd y broblem yn rhwystro llawer o wyddonwyr mwyaf y dyddiau, gan gynnwys Isaac Newton, a chyflwynwyd yr ateb buddugol yn y pen draw gan John Harrison, gwneuthurwr cloc o gefn gwlad a ddaeth i'r broblem yn wahanol i wyddonwyr a oedd yn canolbwyntio ar ateb a fyddai'n rhywsut yn cynnwys seryddiaeth ; Am ragor o wybodaeth, gweler Sobel (1996) . Fel y mae'r enghraifft hon yn dangos, un rheswm y credir bod galwadau agored yn gweithio mor dda yw eu bod yn darparu mynediad i bobl â gwahanol safbwyntiau a sgiliau (Boudreau and Lakhani 2013) . Gweler Hong and Page (2004) a Page (2008) am fwy ar werth amrywiaeth wrth ddatrys problemau.
Mae angen esboniad pellach ar bob un o'r achosion galwadau agored yn y bennod am pam mae'n perthyn i'r categori hwn. Yn gyntaf, un ffordd y gallaf wahaniaethu rhwng cyfrifiad dynol a phrosiectau galw agored yw a yw'r allbwn yn gyfartaledd o'r holl atebion (cyfrifiad dynol) neu'r ateb gorau (galwad agored). Mae Gwobr Netflix braidd yn anodd yn hyn o beth oherwydd bod yr ateb gorau yn gyfystyr â chyfartaledd soffistigedig o atebion unigol, dull o'r enw ateb ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . O safbwynt Netflix, fodd bynnag, yr oedd yn rhaid iddynt wneud popeth oedd dewis yr ateb gorau. Am ragor o wybodaeth am Wobr Netflix, gweler Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , a Feuerverger, He, and Khatri (2012) .
Yn ail, gan rai diffiniadau o gyfrifiad dynol (ee, Ahn (2005) ), dylid ystyried Foldit yn brosiect cyfrifo dynol. Fodd bynnag, dewisaf ei gategoreiddio fel galwad agored oherwydd ei fod yn gofyn am sgiliau arbenigol (er nad yw o reidrwydd yn hyfforddiant arbenigol) ac y mae'n cymryd yr ateb gorau, yn hytrach na defnyddio strategaeth cyfuno ar wahân. Am ragor o wybodaeth am Foldit see, Cooper et al. (2010) , Khatib et al. (2011) , ac Andersen et al. (2012) ; mae fy disgrifiad o Foldit yn tynnu ar ddisgrifiadau yn Bohannon (2009) , Hand (2010) , a Nielsen (2012) .
Yn olaf, gallai un dadlau bod Cyfoed-i-Bentent yn enghraifft o gasglu data wedi'i ddosbarthu. Rwy'n dewis ei gynnwys fel galwad agored oherwydd bod ganddo strwythur tebyg i gystadleuaeth a dim ond y cyfraniadau gorau a ddefnyddir, ond wrth i gasgliad data wedi'i ddosbarthu, mae'r syniad o gyfraniadau da a gwael yn llai clir. Am ragor o wybodaeth ar Gyd-Patent, gweler Noveck (2006) , Ledford (2007) , Noveck (2009) , a Bestor and Hamp (2010) .
O ran defnyddio galwadau agored mewn ymchwil gymdeithasol, mae canlyniadau'n debyg i rai Glaeser et al. (2016) , ym mhennod 10 o Mayer-Schönberger and Cukier (2013) lle roedd New York City yn gallu defnyddio modelu rhagfynegol i gynhyrchu enillion mawr yng ngweithgarwch arolygwyr tai. Yn Ninas Efrog Newydd, adeiladwyd y modelau rhagfynegol hyn gan weithwyr y ddinas, ond mewn achosion eraill, gallai un ddychmygu y gellid eu creu neu eu gwella gyda galwadau agored (ee, Glaeser et al. (2016) ). Fodd bynnag, un pryder mawr gyda modelau rhagfynegol sy'n cael ei ddefnyddio i ddyrannu adnoddau yw bod gan y modelau hyn y potensial i atgyfnerthu rhagfarn bresennol. Mae llawer o ymchwilwyr eisoes yn gwybod "sbwriel yn y sbwriel," a gyda modelau rhagfynegol gall fod yn "duedd, yn rhagfarnu". Gweler Barocas and Selbst (2016) a O'Neil (2016) am fwy ar beryglon modelau rhagfynegol a adeiladwyd gyda data hyfforddiant rhagfarnol.
Un broblem a allai atal llywodraethau rhag defnyddio cystadlaethau agored yw bod hyn yn gofyn am ryddhau data, a allai arwain at droseddau preifatrwydd. Am ragor o wybodaeth am breifatrwydd a rhyddhau data mewn galwadau agored, gweler Narayanan, Huey, and Felten (2016) a'r drafodaeth ym mhennod 6.
Am fwy o wybodaeth am y gwahaniaethau a'r tebygrwydd rhwng rhagfynegiad ac eglurhad, gweler Breiman (2001) , Shmueli (2010) , Watts (2014) , a Kleinberg et al. (2015) . Am ragor o wybodaeth am rôl rhagfynegiad mewn ymchwil gymdeithasol, gweler Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , a Yarkoni and Westfall (2017) .
Am adolygiad o brosiectau galwadau agored mewn bioleg, gan gynnwys cyngor dylunio, gweler Saez-Rodriguez et al. (2016) .
- Casgliad data wedi'i ddosbarthu (adran 5.4)
Mae fy disgrifiad o eBird yn tynnu ar ddisgrifiadau yn Bhattacharjee (2005) , Robbins (2013) , a Sullivan et al. (2014) . Am fwy o wybodaeth ar sut mae ymchwilwyr yn defnyddio modelau ystadegol i ddadansoddi data eBird gweler Fink et al. (2010) a Hurlbert and Liang (2012) . Am ragor o wybodaeth am amcangyfrif sgil cyfranogwyr eBird, gweler Kelling, Johnston, et al. (2015) . Am ragor o wybodaeth am hanes gwyddoniaeth dinesydd mewn ornitholeg, gweler Greenwood (2007) .
Am ragor o wybodaeth ar Brosiect Cyfnodolion Malawi, gweler Watkins and Swidler (2009) a Kaler, Watkins, and Angotti (2015) . Am ragor o wybodaeth am brosiect cysylltiedig yn Ne Affrica, gweler Angotti and Sennott (2015) . Am ragor o enghreifftiau o ymchwil gan ddefnyddio data o Brosiect Cylchgronau Malawi gweler Kaler (2004) ac Angotti et al. (2014) .
- Dylunio'ch hun (adran 5.5)
Roedd fy ymagwedd tuag at gynnig cyngor dylunio yn anwythol, yn seiliedig ar yr enghreifftiau o brosiectau cydweithredu màs llwyddiannus a methwyd yr wyf wedi clywed amdanynt. Cafwyd nifer o ymdrechion ymchwil hefyd i gymhwyso damcaniaethau seicolegol cymdeithasol mwy cyffredinol i ddylunio cymunedau ar-lein sy'n berthnasol i ddylunio prosiectau cydweithredu màs, gweler, er enghraifft, Kraut et al. (2012) .
O ran cyfranogwyr ysgogol, mae'n eithaf anodd nodi'n union pam mae pobl yn cymryd rhan mewn prosiectau cydweithredu màs (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Os ydych chi'n bwriadu ysgogi cyfranogwyr gyda thaliad ar farchnad lafur microtasg (ee, Amazon Mecanical Turk), Kittur et al. (2013) cynnig rhywfaint o gyngor.
O ran galluogi syndod, am fwy o enghreifftiau o ddarganfyddiadau annisgwyl sy'n dod allan o brosiectau Zooiverse, gweler Marshall, Lintott, and Fletcher (2015) .
O ran bod yn foesegol, mae rhai cyflwyniadau cyffredinol da i'r materion dan sylw yn Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , a Zittrain (2008) . Ar gyfer materion sy'n ymwneud yn benodol â materion cyfreithiol gyda gweithwyr y dorf, gweler Felstiner (2011) . O'Connor (2013) mynd i'r afael â chwestiynau ynghylch goruchwylio moesegol o ymchwil pan fo rolau ymchwilwyr a chyfranogwyr yn aflonyddu. Ar gyfer materion sy'n ymwneud â rhannu data wrth amddiffyn cyfranogwyr mewn prosiectau gwyddoniaeth dinasyddion, gweler Bowser et al. (2014) . Mae gan Purdam (2014) a Windt and Humphreys (2016) rywfaint o drafodaeth am y materion moesegol wrth gasglu data dosbarthu. Yn olaf, mae'r rhan fwyaf o brosiectau yn cydnabod cyfraniadau ond nid ydynt yn rhoi credyd awdur i'r cyfranogwyr. Yn Foldit, mae'r chwaraewyr yn aml yn cael eu rhestru fel awdur (Cooper et al. 2010; Khatib et al. 2011) . Mewn prosiectau galw agored eraill, gall y buddugolwr yn aml ysgrifennu papur sy'n disgrifio eu hatebion (ee, Bell, Koren, and Volinsky (2010) a Dieleman, Willett, and Dambre (2015) ).
