Il-kollaborazzjoni tal-massa tgħaqqad l-ideat miċ- xjenza taċ-ċittadini , mill- għerf u mill -intelliġenza kollettiva . Ix-xjenza taċ-ċittadin normalment ifisser li tinvolvi "ċittadini" (jiġifieri, mhux xjentisti) fil-proċess xjentifiku; għal aktar, ara Crain, Cooper, and Dickinson (2014) u Bonney et al. (2014) . L-immobbli normalment ifisser li tieħu problema ordinarjament solvuta fi ħdan organizzazzjoni u minflok toħroġha lil folla; għal aktar, ara Howe (2009) . L-intelliġenza kollettiva ġeneralment tfisser gruppi ta 'individwi li jaġixxu kollettivament f'modi li jidhru intelliġenti; għal aktar, ara Malone and Bernstein (2015) . Nielsen (2012) hija introduzzjoni fil-kotba għall-poter tal-kollaborazzjoni tal-massa għar-riċerka xjentifika.
Hemm ħafna tipi ta 'kollaborazzjoni tal-massa li ma jaqblux sewwa fit-tliet kategoriji li pproponejt, u naħseb li tlieta minn dawn jixirqilhom attenzjoni speċjali għaliex jistgħu jkunu utli fir-riċerka soċjali. Eżempju wieħed huwa s-swieq ta 'tbassir, fejn il-parteċipanti jixtru u jikkummerċjalizzaw kuntratti li jistgħu jinfdew abbażi tar-riżultati li jseħħu fid-dinja. Is-swieq prevedibbli ħafna drabi jintużaw mid-ditti u l-gvernijiet għat-tbassir, u ġew ukoll użati minn riċerkaturi soċjali biex ibassru r-replikazzjoni ta 'studji ppubblikati fil-psikoloġija (Dreber et al. 2015) . Għal ħarsa ġenerali tas-swieq tal-previżjoni, ara Wolfers and Zitzewitz (2004) u Arrow et al. (2008) .
It-tieni eżempju li ma joqgħodx tajjeb fl-iskema ta 'kategorizzazzjoni tiegħi huwa l-proġett PolyMath, fejn ir-riċerkaturi kkollaboraw bl-użu ta' blogs u wikis biex jippruvaw teoremi ġodda tal-matematika. Il-proġett PolyMath huwa b'xi modi simili għall-Premju Netflix, iżda f'dan il-proġett il-parteċipanti b'mod aktar attiv ibnu fuq is-soluzzjonijiet parzjali ta 'oħrajn. Għal aktar tagħrif dwar il-proġett PolyMath, ara Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , u Kloumann et al. (2016) .
It-tielet eżempju li ma joqgħodx tajjeb fl-iskema ta 'kategorizzazzjoni tiegħi huwa dak ta' mobilizzazzjonijiet dipendenti fuq il-ħin bħalma huma l-Isfida tan-Netwerk tal-Proġetti ta 'Riċerka Avvanzata ta' Riċerka (DARPA). Għal aktar tagħrif dwar dawn il-mobilizzazzjonijiet sensittivi għall-ħin, ara Pickard et al. (2011) , Tang et al. (2011) , u Rutherford et al. (2013) .
It-terminu "komputazzjoni umana" joħroġ mix-xogħol magħmul minn xjentisti tal-kompjuter, u jifhem il-kuntest wara din ir-riċerka se jtejjeb il-ħila tiegħek li jagħżel il-problemi li jistgħu jkunu adattati għaliha. Għal ċerti kompiti, il-kompjuters huma oerhört qawwija, b'kapaċitajiet ferm ogħla minn dawk ta 'nies esperti anke. Pereżempju, fiċ-ċess, il-kompjuters jistgħu jegħlbu anki l-aħjar qassisin. Imma - u dan huwa inqas apprezzat minn xjenzati soċjali - għal ħidmiet oħra, il-kompjuters huma tassew agħar minn nies. Fi kliem ieħor, issa int aħjar minn anki l-aktar kompjuter sofistikat f'ċerti kompiti li jinvolvu l-ipproċessar ta 'immaġini, video, awdjo u test. Ix-xjenzjati tal-kompjuter li jaħdmu fuq dawn il-kompiti diffiċli għall-kompjuters faċli għall-bniedem għalhekk indunaw li jistgħu jinkludu bnedmin fil-proċess ta 'komputazzjoni tagħhom. Hawnhekk kif Luis von Ahn (2005) iddeskriva l-komputazzjoni tal-bniedem meta l-ewwel ħoloq it-terminu fid-dissertazzjoni tiegħu: "paradigma għall-użu tal-poter tal-ipproċessar tal-bniedem biex issolvi problemi li l-kompjuters għadhom ma jistgħux isolvu." Għal trattament ta ' l-aktar sens ġenerali tat-terminu, ara Law and Ahn (2011) .
Skont id-definizzjoni proposta Ahn (2005) Foldit - li deskritt fit-taqsima dwar sejħiet miftuħa - tista 'titqies bħala proġett ta' komputazzjoni umana. Madankollu, nagħżel li jikklassifika lil Foldit bħala sejħa miftuħa għax teħtieġ ħiliet speċjalizzati (għalkemm mhux neċessarjament taħriġ formali) u tieħu l-aħjar soluzzjoni kontribwita, aktar milli tuża strateġija ta 'kombinazzjoni maqsuma.
It-terminu "split-apply-combine" intuża minn Wickham (2011) biex jiddeskrivi strateġija għall-informatika statistika, iżda jaqbad perfettament il-proċess ta 'ħafna proġetti ta' komputazzjoni umana. L-istrateġija ta 'tlaqqigħ flimkien hija simili għall-qafas ta' MapReduce żviluppat fuq Google; għal aktar fuq MapReduce, ara Dean and Ghemawat (2004) u Dean and Ghemawat (2008) . Għal aktar tagħrif dwar arkitettura mqassma oħra tal-kompjuters, ara Vo and Silvia (2016) . Il-Kapitolu 3 tal- Law and Ahn (2011) għandhom diskussjoni ta 'proġetti b'pass iktar komplut li jikkombinaw minn dawk f'dan il-kapitolu.
Fil-proġetti tal-komputazzjoni tal-bniedem li jien iddiskutejna fil-kapitolu, il-parteċipanti kienu konxji ta 'dak li kien qed jiġri. Xi proġetti oħra, madankollu, ifittxu li jaqbdu "xogħol" li diġà qed jiġri (simili għal eBird) u mingħajr għarfien minn parteċipanti. Ara, per eżempju, il-Game ESP (Ahn and Dabbish 2004) u reCAPTCHA (Ahn et al. 2008) . Madankollu, dawn iż-żewġ proġetti wkoll iqajmu mistoqsijiet etiċi għaliex il-parteċipanti ma kinux jafu kif id-dejta tagħhom kienet qed tintuża (Zittrain 2008; Lung 2012) .
Inspirati mill-Game ESP, ħafna riċerkaturi ppruvaw jiżviluppaw "logħob b'għan" ieħor (Ahn and Dabbish 2008) (jiġifieri, "logħob tal-komputazzjoni bbażat fuq il-bniedem" (Pe-Than, Goh, and Lee 2015) ) li jistgħu jiġu użata biex issolvi varjetà ta 'problemi oħra. X'inhuma dawn il-"logħob bi skop" għandhom komuni huma li jippruvaw jagħmlu l-kompiti involuti fil-komputazzjoni tal-bniedem pjaċevoli. Għalhekk, filwaqt li l-ESP Game għandha l-istess struttura li tgħaqqad flimkien ma 'Galaxy Zoo, tvarja fil-mod kif il-parteċipanti huma motivati -gost versus ix-xewqa li tgħin ix-xjenza. Għal aktar logħob b'għan, ara Ahn and Dabbish (2008) .
Id-deskrizzjoni tiegħi ta 'Galaxy Zoo hija bbażata fuq Nielsen (2012) , Adams (2012) , Clery (2011) u Hand (2010) , u l-preżentazzjoni tiegħi tal-miri ta' riċerka ta 'Galaxy Zoo ġiet simplifikata. Għal aktar tagħrif dwar l-istorja tal-klassifikazzjoni tal-galaxie fl-astronomija u kif Galaxy Zoo tkompli din it-tradizzjoni, ara Masters (2012) u Marshall, Lintott, and Fletcher (2015) . Waqt li tibni fuq Galaxy Zoo, ir-riċerkaturi tlestew Galaxy Zoo 2 li ġabret aktar minn 60 miljun klassifikazzjoni morfoloġika kumplessa minn voluntiera (Masters et al. 2011) . Barra minn hekk, huma qajmu problemi barra l-morfoloġija tal-galaxie, inkluż l-esplorazzjoni tal-wiċċ tal-Qamar, it-tiftix tal-pjaneti u t-traskrizzjoni ta 'dokumenti qodma. Bħalissa, il-proġetti kollha tagħhom jinġabru fil-websajt ta 'Zooniverse (Cox et al. 2015) . Wieħed mill-proġetti-Snapshot Serengeti-jipprovdi evidenza li proġetti ta 'klassifikazzjoni tal-immaġni tat-tip Galaxy Zoo jistgħu jsiru wkoll għar-riċerka ambjentali (Swanson et al. 2016) .
Għar-riċerkaturi li jippjanaw li jużaw suq tax-xogħol microtask (eż. Amazon Mechanical Turk) għal proġett ta 'komputazzjoni umana, Chandler, Paolacci, and Mueller (2013) u J. Wang, Ipeirotis, and Provost (2015) joffru pariri tajbin dwar id- kwistjonijiet oħra relatati. Porter, Verdery, and Gaddis (2016) joffru eżempji u pariri ffokati speċifikament fuq l-użi tas-swieq tax-xogħol tal-microtask għal dak li huma jismu "żieda fid-dejta." Il-linja bejn l-awmentazzjoni tad-dejta u l-ġbir tad-dejta hija kemmxejn ċajpir. Għal aktar tagħrif dwar il-ġbir u l-użu ta 'tikketti għal tagħlim sorveljat għal test, ara Grimmer and Stewart (2013) .
Riċerkaturi interessati li joħolqu dak li għedt imsejħa sistemi ta 'komputazzjoni tal-bniedem assistiti mill-kompjuter (eż., Sistemi li jużaw tikketti umani biex iħarrġu mudell ta' tagħlim bil-magna) jistgħu jkunu interessati Shamir et al. (2014) (għal eżempju bl-użu tal-awdjo) u Cheng and Bernstein (2015) . Barra minn hekk, il-mudelli ta 'tagħlim tal-magni f'dawn il-proġetti jistgħu jiġu solleċitati b'sejħiet miftuħa, fejn ir-riċerkaturi jikkompetu biex joħolqu mudelli ta' tagħlim bil-magna bl-akbar prestazzjoni ta 'tbassir. Pereżempju, it-tim tal-Galaxy Zoo mexxa sejħa miftuħa u sab approċċ ġdid li qabeż dak żviluppat Banerji et al. (2010) ; ara Dieleman, Willett, and Dambre (2015) għad-dettalji.
Is-sejħiet miftuħa mhumiex ġodda. Fil-fatt, waħda mill-iktar sejħiet miftuħa magħrufa hija l-1714 meta l-Parlament Brittaniku ħoloq il-Premju Lonġitudni għal kull min seta 'jiżviluppa mod biex jiddetermina l-lonġitudni ta' bastiment fuq il-baħar. Il-problema spiċċat f'ħafna mill-ikbar xjentisti tal-ġurnata, inkluż Isaac Newton, u s-soluzzjoni rebbieħa eventwalment ġiet sottomessa minn John Harrison, arloġġ mill-kampanja li approva l-problema b'mod differenti minn xjentisti li kienu ffokati fuq soluzzjoni li b'xi mod tinvolvi l-astronomija ; Għal aktar informazzjoni, ara Sobel (1996) . Kif juri dan l-eżempju, raġuni waħda li s-sejħiet miftuħa huma maħsuba li jaħdmu tajjeb hija li jipprovdu aċċess għal persuni b'perspettivi u ħiliet differenti (Boudreau and Lakhani 2013) . Ara Hong and Page (2004) u Page (2008) għal aktar dwar il-valur tad-diversità fis-soluzzjoni tal-problemi.
Kull waħda mill-każijiet ta 'sejħa miftuħa fil-kapitolu teħtieġ ftit spjegazzjoni ulterjuri dwar għaliex tappartjeni f'din il-kategorija. L-ewwelnett, mod li niddistingwi bejn il-komputazzjoni umana u l-proġetti sejħa miftuħa huwa jekk il-produzzjoni hijiex medja tas-soluzzjonijiet kollha (komputazzjoni umana) jew l-aħjar soluzzjoni (sejħa miftuħa). Il-Premju Netflix huwa kemmxejn delikat f'dan ir-rigward minħabba li l-aħjar soluzzjoni rriżultat bħala medja sofistikata ta 'soluzzjonijiet individwali, approċċ imsejjaħ soluzzjoni ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Mill-perspettiva ta 'Netflix, madankollu, kull ma kellu jagħmel kien li jagħżel l-aħjar soluzzjoni. Għal aktar tagħrif dwar il-Premju Netflix, ara Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , u Feuerverger, He, and Khatri (2012) .
It-tieni, b'xi definizzjonijiet ta 'komputazzjoni tal-bniedem (eż. Ahn (2005) ), Foldit għandu jitqies bħala proġett ta' komputazzjoni umana. Madankollu, nagħżel li tikkategorizzaha bħala sejħa miftuħa għax teħtieġ ħiliet speċjalizzati (għalkemm mhux neċessarjament taħriġ speċjalizzat) u tieħu l-aħjar soluzzjoni, aktar milli tuża strateġija ta 'kombinazzjoni maqsuma. Għal aktar informazzjoni dwar Foldit ara, Cooper et al. (2010) , Khatib et al. (2011) , u Andersen et al. (2012) ; id-deskrizzjoni tiegħi ta 'Foldit hija bbażata fuq deskrizzjonijiet Bohannon (2009) , Hand (2010) , u Nielsen (2012) .
Fl-aħħarnett, wieħed jista 'jargumenta li Peer-to-Patent huwa eżempju ta' ġbir ta 'dejta distribwita. Jiena niddeċiedi li ninkludiha bħala sejħa miftuħa minħabba li għandha struttura bħal dik ta 'konkors u biss l-aħjar kontribuzzjonijiet huma użati, filwaqt li permezz ta' ġbir tad-dejta mqassma, l-idea ta 'kontribuzzjonijiet tajbin u ħżiena hija inqas ċara. Għal aktar dwar Peer-to-Patent, ara Noveck (2006) , Ledford (2007) , Noveck (2009) , u Bestor and Hamp (2010) .
F'termini ta 'użu ta' sejħiet miftuħa fir-riċerka soċjali, riżultati simili għal dawk ta ' Glaeser et al. (2016) , huma rrappurtati fil-kapitolu 10 ta ' Mayer-Schönberger and Cukier (2013) fejn New York City seta' juża mudelli ta 'tbassir biex jipproduċi qligħ kbir fil-produttività tal-ispetturi tad-djar. Fi New York City, dawn il-mudelli ta 'tbassir inbnew minn impjegati tal-belt, iżda f'każijiet oħra, wieħed jista' jimmaġina li jistgħu jinħolqu jew jitjiebu b'sejħiet miftuħa (eż., Glaeser et al. (2016) ). Madankollu, tħassib ewlieni ħafna ma 'mudelli ta' previżjoni li qed jintużaw biex jallokaw ir-riżorsi huwa li dawn il-mudelli għandhom il-potenzjal li jsaħħu l-preġudizzji eżistenti. Ħafna riċerkaturi diġà jafu "żibel, żibel barra", u b'mudelli ta 'tbassir jista' jkun "bias in, bias out." Ara Barocas and Selbst (2016) u O'Neil (2016) għal aktar dwar il-perikli ta 'mudelli ta' tbassir mibnija b'dejta ta 'taħriġ preġudikata.
Problema waħda li tista 'tipprevjeni lill-gvernijiet milli jużaw konkorsi miftuħa hija li dan jirrikjedi rilaxx ta' data, li jista 'jwassal għal vjolazzjonijiet tal-privatezza. Għal aktar tagħrif dwar il-privatezza u r-rilaxx tad-dejta f'sejħiet miftuħa, ara Narayanan, Huey, and Felten (2016) u d-diskussjoni fil-kapitolu 6.
Għal aktar dwar id-differenzi u xebh bejn tbassir u spjegazzjoni, ara Breiman (2001) , Shmueli (2010) , Watts (2014) , u Kleinberg et al. (2015) . Għal aktar tagħrif dwar ir-rwol tal-previżjoni fir-riċerka soċjali, ara Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , u Yarkoni and Westfall (2017) .
Għal reviżjoni tal-proġetti ta 'sejħiet miftuħa fil-bijoloġija, inkluż pariri dwar id-disinn, ara Saez-Rodriguez et al. (2016) .
Id-deskrizzjoni tiegħi ta 'eBird hija bbażata fuq deskrizzjonijiet Bhattacharjee (2005) , Robbins (2013) , u Sullivan et al. (2014) . Għal aktar tagħrif dwar kif ir-riċerkaturi jużaw mudelli statistiċi biex janalizzaw id-dejta ta 'eBird ara Fink et al. (2010) u Hurlbert and Liang (2012) . Għal aktar tagħrif dwar l-istima tal-ħiliet tal-parteċipanti ta 'eBird, ara Kelling, Johnston, et al. (2015) . Għal aktar tagħrif dwar l-istorja tax-xjenza taċ-ċittadini fl-ornitoloġija, ara Greenwood (2007) .
Għal aktar dwar il-Proġett ta 'Ġurnali Malawi, ara Watkins and Swidler (2009) u Kaler, Watkins, and Angotti (2015) . Għal aktar dwar proġett relatat fl-Afrika t'Isfel, ara Angotti and Sennott (2015) . Għal aktar eżempji ta 'riċerka li tuża data mill-Proġett ta' Ġurnali Malawi ara Kaler (2004) u Angotti et al. (2014) .
L-approċċ tiegħi biex joffri parir dwar id-disinn kien induttiv, ibbażat fuq l-eżempji ta 'proġetti ta' kollaborazzjoni tal-massa li rnexxew u fallew li smajt dwarhom. Kien hemm ukoll nixxiegħa ta 'tentattivi ta' riċerka biex jiġu applikati teoriji psikoloġiċi soċjali aktar ġenerali biex jitfasslu komunitajiet onlajn li huma rilevanti għad-disinn ta 'proġetti ta' kollaborazzjoni tal-massa, ara, pereżempju, Kraut et al. (2012) .
Rigward il-parteċipanti li jimmotivaw, fil-fatt huwa pjuttost delikat biex insemmu eżattament għaliex in-nies jipparteċipaw fi proġetti ta 'kollaborazzjoni massiva (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Jekk qed tippjana li timmotiva lill-parteċipanti bil-ħlas fuq suq tax-xogħol microtask (eż. Amazon Mechanical Turk), Kittur et al. (2013) toffri xi pariri.
Rigward li tippermetti sorpriża, għal aktar eżempji ta 'skoperti mhux mistennija li joħorġu minn proġetti Zooiverse, ara Marshall, Lintott, and Fletcher (2015) .
Fir-rigward tal-etika, xi introduzzjonijiet ġenerali tajbin għall-kwistjonijiet involuti huma Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , u Zittrain (2008) . Għal kwistjonijiet relatati speċifikament ma 'kwistjonijiet legali ma' impjegati tal-folla, ara Felstiner (2011) . O'Connor (2013) tindirizza mistoqsijiet dwar is-sorveljanza etika tar-riċerka meta r-rwoli tar-riċerkaturi u l-parteċipanti ċċajpar. Għal kwistjonijiet relatati mal-qsim tad-dejta waqt li tipproteġi l-parteċipanti fil-proġetti tax-xjenza taċ-ċittadini, ara Bowser et al. (2014) . Kemm Purdam (2014) u Windt and Humphreys (2016) għandhom xi diskussjoni dwar il-kwistjonijiet etiċi fil-ġbir ta 'dejta distribwita. Finalment, ħafna mill-proġetti jirrikonoxxu l-kontribuzzjonijiet imma ma jagħtux kreditu ta 'awtur lill-parteċipanti. F'Foldit, l-atturi huma spiss elenkati bħala awtur (Cooper et al. 2010; Khatib et al. 2011) . Fi proġetti oħrajn ta 'sejħa miftuħa, il-kontributur rebbieħ jista' ħafna drabi jikteb dokument li jiddeskrivi s-soluzzjonijiet tagħhom (eż. Bell, Koren, and Volinsky (2010) u Dieleman, Willett, and Dambre (2015) ).