Çfarë lexoni më pas

• Hyrje (seksioni 5.1)

Bashkëpunimi masiv bashkon idetë nga shkenca qytetare , crowdsourcing dhe inteligjenca kolektive . Shkenca qytetare zakonisht nënkupton përfshirjen e "qytetarëve" (dmth., Jo-shkencëtarët) në procesin shkencor; për më shumë, shih Crain, Cooper, and Dickinson (2014) dhe Bonney et al. (2014) . Crowdsourcing zakonisht nënkupton marrjen e një problemi të zgjidhur në mënyrë të rregullt brenda një organizate dhe në vend të kësaj e jep atë në një turmë; për më shumë, shih Howe (2009) . Inteligjenca kolektive zakonisht nënkupton grupet e individëve që veprojnë kolektivisht në mënyra që duket inteligjente; për më shumë, shih Malone and Bernstein (2015) . Nielsen (2012) është një hyrje në libër gjatë fuqisë së bashkëpunimit masiv për kërkime shkencore.

Ka shumë lloje të bashkëpunimit masiv që nuk përshtaten me kujdes në tre kategoritë që i kam propozuar dhe mendoj se tre prej tyre meritojnë vëmendje të veçantë sepse ato mund të jenë të dobishme në kërkimet shoqërore. Një shembull është tregjet e parashikimit, ku pjesëmarrësit blejnë dhe tregtojnë kontrata që janë të riblerueshme bazuar në rezultatet që ndodhin në botë. Tregjet parashikuese shpesh përdoren nga firmat dhe qeveritë për parashikimin, dhe ato gjithashtu janë përdorur nga hulumtuesit socialë për të parashikuar përsëritjen e studimeve të publikuara në psikologji (Dreber et al. 2015) . Për një pasqyrë të tregjeve të parashikimit, shih Wolfers and Zitzewitz (2004) dhe Arrow et al. (2008) .

Një shembull i dytë që nuk përshtatet mirë me skemën e kategorizimit tim është projekti PolyMath, ku studiuesit bashkëpunuan duke përdorur bloget dhe wikët për të provuar teorema të reja të matematikës. Projekti PolyMath është në disa mënyra të ngjashme me Çmimin Netflix, por në këtë projekt pjesëmarrësit janë ndërtuar më aktivisht në zgjidhjet e pjesshme të të tjerëve. Për më shumë në projektin PolyMath, shih Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) dhe Kloumann et al. (2016) .

Një shembull i tretë që nuk i përshtatet mirë skemës sime të kategorizimit është ajo e mobilizimeve të varura nga koha, siç është Sfida e Rrjetit të Sfidës së Agjensisë së Projekteve të DARPA (DARPA). Për më shumë në këto mobilizime të ndjeshme ndaj kohës shih Pickard et al. (2011) , Tang et al. (2011) , dhe Rutherford et al. (2013) .

• Llogaritja e njeriut (neni 5.2)

Termi "llogaritja njerëzore" vjen nga puna e bërë nga shkencëtarët kompjuterikë dhe kuptimi i kontekstit që qëndron pas këtij hulumtimi do të përmirësojë aftësinë tuaj për të zgjedhur problemet që mund të jenë të përshtatshme për të. Për detyra të caktuara, kompjuterët janë jashtëzakonisht të fuqishëm, me aftësi shumë më të mëdha se ato të njerëzve madje edhe të ekspertëve. Për shembull, në shah, kompjuterët mund të rrahin edhe grandmasters më të mirë. Por - dhe kjo është më pak e vlerësuar nga shkencëtarët socialë - për detyra të tjera, kompjuterët janë në fakt shumë më keq se njerëzit. Me fjalë të tjera, tani ju jeni më mirë se edhe kompjuteri më i sofistikuar në detyra të caktuara që përfshijnë përpunimin e imazheve, video, audio dhe tekst. Shkencëtarët e kompjuterëve që punonin në këto punë hard-for-computers-easy-for-humanisht kuptuan se ata mund të përfshinin njerëzit në procesin e tyre kompjuterik. Ja si Luis von Ahn (2005) përshkroi përllogaritjen njerëzore kur ai e shpiku termin në disertacionin e tij: "një paradigmë për shfrytëzimin e fuqisë përpunuese të njeriut për të zgjidhur problemet që kompjuteri nuk mund ta zgjidhë akoma". kuptimi më i përgjithshëm i këtij termi, shih Law and Ahn (2011) .

Sipas përkufizimit të propozuar në Ahn (2005) Foldit - që e përshkrova në seksionin mbi thirrjet e hapura - mund të konsiderohet një projekt i llogaritjes njerëzore. Megjithatë, unë zgjedh të kategorizoj Foldit si një thirrje të hapur, sepse kërkon aftësi të specializuara (megjithëse jo domosdoshmërisht formale) dhe merr zgjidhjen më të mirë të kontribuar, në vend që të përdorë një strategji të ndarë-zbatohet-kombinoj.

Termi "split-apply-combine" u përdor nga Wickham (2011) për të përshkruar një strategji për informatikë statistikore, por në mënyrë perfekte kap procesin e shumë projekteve të llogaritjes njerëzore. Strategjia e ndarë-zbatohet-kombinon është e ngjashme me kuadrin MapReduce të zhvilluar në Google; për më shumë në MapReduce, shih Dean and Ghemawat (2004) dhe Dean and Ghemawat (2008) . Për më shumë në arkitekturat e tjera të shpërndara kompjuterike, shih Vo and Silvia (2016) . Kapitulli 3 i Law and Ahn (2011) ka një diskutim të projekteve me hapa më komplekse të kombinuara sesa ato në këtë kapitull.

Në projektet e llogaritjes njerëzore që kam diskutuar në kapitull, pjesëmarrësit ishin të vetëdijshëm për atë që po ndodhte. Megjithatë, disa projekte të tjera kërkojnë të kapin "punën" që po ndodh (ngjashëm me eBird) dhe pa ndërgjegjësimin e pjesëmarrësve. Shihni, për shembull, lojë ESP (Ahn and Dabbish 2004) dhe reCAPTCHA (Ahn et al. 2008) . Megjithatë, të dyja këto projekte gjithashtu ngrenë pyetje etike, sepse pjesëmarrësit nuk dinin se si përdoreshin të dhënat e tyre (Zittrain 2008; Lung 2012) .

Frymëzuar nga ESP Game, shumë studiues janë përpjekur të zhvillojnë "lojëra me qëllim" të tjerë (Ahn and Dabbish 2008) (dmth. "Lojëra llogaritëse me bazë në njerëz" (Pe-Than, Goh, and Lee 2015) ) që mund të përdoret për të zgjidhur një sërë problemesh të tjera. Ajo që këto "lojëra me një qëllim" kanë të përbashkët është se ata përpiqen të bëjnë detyrat e përfshira në llogaritjen njerëzore të kënaqshme. Kështu, ndërkohë që Game ESP ndan strukturën e njëjtë të ndarjes së aplikuar-kombinuar me Galaxy Zoo, ndryshon në mënyrën se si pjesëmarrësit janë të motivuar - argëtim kundrejt dëshirës për të ndihmuar shkencën. Për më shumë në lojëra me një qëllim, shih Ahn and Dabbish (2008) .

Përmbledhja ime e Zoologjisë Galaxy bazohet në Nielsen (2012) , Adams (2012) , Clery (2011) dhe Hand (2010) , dhe prezantimi im i qëllimeve kërkimore të Galaxy Zoo u thjeshtua. Për më shumë në historinë e klasifikimit të galaktikës në astronomi dhe mënyrën se si vazhdon kjo traditë Galaxy Zoo, shih Masters (2012) dhe Marshall, Lintott, and Fletcher (2015) . Duke u bazuar në Galaxy Zoo, hulumtuesit përfunduan Galaxy Zoo 2 që mblodhën më shumë se 60 milionë klasifikime morfologjike më komplekse nga vullnetarët (Masters et al. 2011) . Më tej, ata u degraduan në probleme jashtë morfologjisë së galaksisë, duke përfshirë eksplorimin e sipërfaqes së Hënës, kërkimin e planetit dhe transkriptimin e dokumenteve të vjetra. Aktualisht, të gjitha projektet e tyre janë mbledhur në faqen e internetit Zooniverse (Cox et al. 2015) . Një nga projektet-Snapshot Serengeti-siguron dëshmi se projektet e klasifikimit të imazhit të tipit Galaxy Zoo mund të bëhen edhe për kërkimin mjedisor (Swanson et al. 2016) .

Chandler, Paolacci, and Mueller (2013) dhe J. Wang, Ipeirotis, and Provost (2015) ofrojnë këshilla të mira për hartimin e detyrës dhe për hulumtuesit që planifikojnë të përdorin një treg pune të vogël (p.sh., Amazon Mechanical Turk) çështje të tjera të lidhura. Porter, Verdery, and Gaddis (2016) ofrojnë shembuj dhe këshilla të fokusuara në mënyrë specifike në përdorimin e tregjeve të punës të mikrotaskave për atë që ata e quajnë "shtim të të dhënave". Linja midis shtimit të të dhënave dhe grumbullimit të të dhënave është disi e paqartë. Për më shumë në mbledhjen dhe përdorimin e etiketave për mësim të mbikëqyrur për tekst, shih Grimmer and Stewart (2013) .

Studiuesit e interesuar për krijimin e asaj që unë e kam quajtur sistemet kompjuterike të kompjuterizuara (p.sh. sistemet që përdorin etiketa njerëzore për të trajnuar modelin e mësimit të makinës) mund të jenë të interesuar në Shamir et al. (2014) (për shembull duke përdorur audio) dhe Cheng and Bernstein (2015) . Gjithashtu, modelet e mësimit të makinës në këto projekte mund të kërkohen me thirrje të hapura, ku hulumtuesit konkurrojnë për të krijuar modele të mësimit të makinës me performancën më të madhe parashikuese. Për shembull, ekipi i Zoologjisë Galaxy zhvilloi një telefonatë të hapur dhe gjeti një qasje të re që e mbizotëronte atë të zhvilluar në Banerji et al. (2010) ; shih Dieleman, Willett, and Dambre (2015) për detaje.

• Thirrjet e hapura (neni 5.3)

Thirrjet e hapura nuk janë të reja. Në fakt, një nga thirrjet më të njohura të datës daton në 1714 kur Parlamenti i Britanisë krijoi Çmimin e Gjatësisë për këdo që mund të zhvillonte një mënyrë për të përcaktuar gjatësinë e një anijeje në det. Problemi u habit shumë nga shkencëtarët më të mëdhenj të ditëve, duke përfshirë Isaac Newtonin dhe zgjidhja fituese u dorëzua më vonë nga John Harrison, një orator nga fshati i cili iu drejtua problemit ndryshe nga shkencëtarët të cilët u përqëndruan në një zgjidhje që në njëfarë mënyre do të përfshinte astronomi ; për më shumë informacion, shih Sobel (1996) . Siç ilustron ky shembull, një arsye që thirrjet e hapura mendohet të funksionojnë aq mirë është se ato ofrojnë qasje në njerëz me perspektiva dhe aftësi të ndryshme (Boudreau and Lakhani 2013) . Shikoni Hong and Page (2004) dhe Page (2008) për më shumë mbi vlerën e diversitetit në zgjidhjen e problemeve.

Secili prej rasteve të thirrjes së hapur në kapitull kërkon pak shpjegime të mëtejshme përse i takon kësaj kategorie. Së pari, një mënyrë që dalloj midis llogarive njerëzore dhe projekteve të thirrjeve të hapura është nëse prodhimi është një mesatare e të gjitha zgjidhjeve (llogaritja e njeriut) ose zgjidhja më e mirë (thirrja e hapur). Çmimi Netflix është disi i ndërlikuar në këtë drejtim, sepse zgjidhja më e mirë doli të jetë një mesatare e sofistikuar e zgjidhjeve individuale, një qasje e quajtur një zgjidhje e ansambleve (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Sidoqoftë, nga këndvështrimi i Netflix, gjithçka që duhej të bënin ishte zgjidhja më e mirë. Për më shumë në Çmimin Netflix, shih Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , dhe Feuerverger, He, and Khatri (2012) .

Së dyti, nga disa përkufizime të llogaritjes njerëzore (p.sh., Ahn (2005) ), Foldit duhet të konsiderohet një projekt i llogaritjes njerëzore. Megjithatë, zgjedh ta kategorizoj atë si një thirrje të hapur, sepse kërkon aftësi të specializuara (megjithëse jo domosdoshmërisht trajnime të specializuara) dhe merr zgjidhjen më të mirë, në vend që të përdorë një strategji të ndarë-zbatohet-kombinoj. Për më shumë në Foldit shih, Cooper et al. (2010) , Khatib et al. (2011) , dhe Andersen et al. (2012) ; përshkrimi im i Foldit bazohet në përshkrimet në Bohannon (2009) , Hand (2010) dhe Nielsen (2012) .

Së fundi, mund të argumentohet se Peer-to-Patent është një shembull i mbledhjes së të dhënave të shpërndara. Unë zgjedh ta përfshij atë si një thirrje të hapur sepse ajo ka një strukturë të ngjashme me konkursin dhe vetëm kontributet më të mira janë përdorur, ndërsa me mbledhjen e të dhënave të shpërndara, ideja e kontributeve të mira dhe të këqija është më pak e qartë. Për më shumë në Peer-to-Patent, shih Noveck (2006) , Ledford (2007) , Noveck (2009) dhe Bestor and Hamp (2010) .

Në kuptimin e përdorimit të thirrjeve të hapura në kërkimet sociale, rezultate të ngjashme me ato të Glaeser et al. (2016) , janë raportuar në kapitullin 10 të Mayer-Schönberger and Cukier (2013) ku New York City ka qenë në gjendje të përdorë modelimin parashikuese për të prodhuar përfitime të mëdha në produktivitetin e inspektorëve të strehimit. Në New York City, këto modele parashikuese u ndërtuan nga punonjësit e qytetit, por në raste të tjera, mund të imagjinonim se ato mund të krijoheshin ose përmirësoheshin me thirrje të hapura (p.sh., Glaeser et al. (2016) ). Megjithatë, një shqetësim i madh me modelet parashikuese që përdoren për shpërndarjen e burimeve është se këto modele kanë potencial për të përforcuar paragjykimet ekzistuese. Shumë studiues tashmë e njohin "mbeturinat në, mbeturinat jashtë", dhe me modele parashikuese mund të jetë "paragjykim në, paragjykime." Shih Barocas and Selbst (2016) dhe O'Neil (2016) për më shumë mbi rreziqet e modeleve parashikuese të ndërtuara me të dhëna trajnimi të njëanshme.

Një problem që mund të parandalojë qeveritë nga përdorimi i konkurseve të hapura është se kjo kërkon lirimin e të dhënave, të cilat mund të çojnë në shkelje të privatësisë. Për më shumë rreth privatësisë dhe lirimit të të dhënave në thirrje të hapura, shih Narayanan, Huey, and Felten (2016) dhe diskutimi në kapitullin 6.

Për më shumë për dallimet dhe ngjashmëritë midis parashikimit dhe shpjegimit, shih Breiman (2001) , Shmueli (2010) , Watts (2014) dhe Kleinberg et al. (2015) . Për më shumë në rolin e parashikimit në hulumtimet sociale, shih Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , dhe Yarkoni and Westfall (2017) .

Për një rishikim të projekteve të thirrjes së hapur në biologji, duke përfshirë këshilla të dizajnit, shih Saez-Rodriguez et al. (2016) .

• Mbledhja e të dhënave të shpërndara (neni 5.4)

Përshkrimi im i eBird bazohet në përshkrimet në Bhattacharjee (2005) , Robbins (2013) dhe Sullivan et al. (2014) . Për më shumë se si hulumtuesit përdorin modele statistikore për të analizuar të dhënat eBird shih Fink et al. (2010) dhe Hurlbert and Liang (2012) . Për më shumë në vlerësimin e aftësisë së pjesëmarrësve eBird, shih Kelling, Johnston, et al. (2015) . Për më shumë mbi historinë e shkencës qytetare në ornitologji, shih Greenwood (2007) .

Për më shumë në Projektin e Revistës Malavi, shihni Watkins and Swidler (2009) dhe Kaler, Watkins, and Angotti (2015) . Për më shumë në një projekt të lidhur në Afrikën e Jugut, shih Angotti and Sennott (2015) . Për më shumë shembuj të hulumtimit duke përdorur të dhëna nga Projekti i Revistës Malavi, shih Kaler (2004) dhe Angotti et al. (2014) .

• Hartimi i juaji (neni 5.5)

Qasja ime për të ofruar këshilla të dizajnit ishte induktive, duke u bazuar në shembujt e projekteve të suksesshme dhe të dështuara të bashkëpunimit masiv që kam dëgjuar për. Ka pasur gjithashtu një rrjedhë të përpjekjeve kërkimore për të aplikuar teoritë më të përgjithshme psikologjike sociale në hartimin e komuniteteve online që janë relevante për projektimin e projekteve të bashkëpunimit masiv, shih, për shembull, Kraut et al. (2012) .

Sa i përket motivimit të pjesëmarrësve, është në të vërtetë shumë e ndërlikuar të kuptojmë saktësisht se pse njerëzit marrin pjesë në projektet e bashkëpunimit masiv (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Nëse keni ndërmend të motivoni pjesëmarrësit me pagesë në një treg pune të vogël (p.sh. Amazon Mechanical Turk), Kittur et al. (2013) ofron disa këshilla.

Lidhur me mundësinë e befasisë, për më shumë shembuj të zbulimeve të papritura që vijnë nga projektet Zooiverse, shih Marshall, Lintott, and Fletcher (2015) .

Sa i përket etikës, disa hyrje të përgjithshme të përgjithshme për çështjet e përfshira janë Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , dhe Zittrain (2008) . Për çështje veçanërisht të lidhura me çështjet ligjore me punonjësit e turmës, shih Felstiner (2011) . O'Connor (2013) drejtohet pyetjeve rreth mbikëqyrjes etike të kërkimit kur rolet e studiuesve dhe pjesëmarrësve të turbullojnë. Për çështjet që lidhen me ndarjen e të dhënave duke mbrojtur pjesëmarrësit në projektet e shkencës qytetare, shih Bowser et al. (2014) . Të dy Purdam (2014) dhe Windt and Humphreys (2016) kanë një diskutim rreth çështjeve etike në mbledhjen e të dhënave të shpërndara. Së fundi, shumica e projekteve pranojnë kontributet, por nuk japin autorësinë për pjesëmarrësit. Në Foldit, lojtarët shpesh renditen si autore (Cooper et al. 2010; Khatib et al. 2011) . Në projektet e tjera të hapura, kontribuesi fitues shpesh mund të shkruajë një letër që përshkruan zgjidhjet e tyre (p.sh. Bell, Koren, and Volinsky (2010) dhe Dieleman, Willett, and Dambre (2015) ).