Naon maca salajengna

• Bubuka (bagian 5.1)

Kolaborasi massa blends pamendak ti elmu warga, crowdsourcing, sarta kecerdasan koléktif. elmu warga biasana hartina ngalibetkeun "belegug" (ie, nonscientists) dina prosés ilmiah; pikeun leuwih lengkep, tingal Crain, Cooper, and Dickinson (2014) sarta Bonney et al. (2014) . Crowdsourcing biasana hartina nyokot masalah ordinarily direngsekeun dina hiji organisasi jeung gantina outsourcing ka riungan a; pikeun leuwih lengkep, tingal Howe (2009) . kecerdasan koléktif biasana hartina Grup individu akting sacara koléktif di cara nu sigana calakan; pikeun leuwih lengkep, tingal Malone and Bernstein (2015) . Nielsen (2012) mangrupakeun bubuka buku-panjang jeung kakuatan kolaborasi massa pikeun panalungtikan ilmiah.

Aya loba jenis kolaborasi massa anu teu cocog rapih kana tilu kategori nu Kuring geus ngajukeun, sarta Jigana tilu sahiji pantas perhatian husus alatan maranéhna bisa jadi mangpaat dina panalungtikan sosial. Hiji conto nyaeta pasar prediksi, dimana pamilon meuli jeung kontrak dagang anu redeemable dumasar kana hasil anu lumangsung di dunya. Pasar ngaramal anu mindeng dipaké ku firms sarta pamaréntah pikeun forecasting, sarta aranjeunna geus ogé kungsi dipaké ku panalungtik sosial keur prediksi replicability studi diterbitkeun dina psikologi (Dreber et al. 2015) . Pikeun tinjauan pasar prediksi, tingali Wolfers and Zitzewitz (2004) sarta Arrow et al. (2008) .

Hiji conto nu kadua nu teu cocog ogé kana skéma categorization abdi proyek PolyMath, dimana peneliti gawé maké blog na wikis ngabuktikeun theorems math anyar. Proyek PolyMath aya dina sababaraha cara sarupa Hadiah Netflix, tapi proyék ieu pamilon leuwih aktip diwangun dina leyuran parsial batur. Pikeun leuwih lengkep dina proyék PolyMath, tingali Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , sarta Kloumann et al. (2016) .

Hiji conto katilu anu henteu cocog ogé kana skéma categorization abdi nu ti mobilizations waktos-gumantung kayaning Pertahanan Advanced Panalungtikan Projects Agency (DARPA) Network tangtangan (ie, Beureum balon tangtangan). Pikeun langkung lengkep ihwal mobilizations waktos-sénsitip ieu tingali Pickard et al. (2011) , Tang et al. (2011) , sarta Rutherford et al. (2013) .

• Ngitung manusa (bagian 5.2)

Istilah "ngitung manusa" asalna kaluar gawé dilakukeun ku ilmuwan komputer, sarta ngarti kana konteks tukangeun ieu panalungtikan baris ngaronjatkeun pangabisa anjeun pikeun nyokot kaluar masalah anu bisa jadi cocog pikeun eta. Pikeun tugas nu tangtu, komputer téh incredibly kawasa, kalawan kamampuhan tebih exceeding pamadegan sanajan ahli manusa. Contona, dina catur, komputer bisa ngéléhkeun komo grandmasters pangalusna. Tapi-na ieu kirang ogé ngaapresiasi ku sosial élmuwan-keur tugas sejen, komputer sabenerna loba leuwih goreng ti urang. Dina basa sejen, ayeuna anjeun hadé ti malah komputer paling canggih di tugas nu tangtu ngawengku ngolah gambar, vidéo, audio, sarta téks. élmuwan Komputer dipake dina ieu keras pikeun-komputer-gampang-pikeun-manusa tugas kituna sadar yén maranéhna bisa ngawengku manusa dina prosés komputasi maranéhanana. Di dieu nu kumaha Luis von Ahn (2005) ditétélakeun ngitung manusa nalika anjeunna mimiti diciptakeun istilah dina disertasi na: "paradigma pikeun ngamangpaatkeun kakuatan processing manusa pikeun ngajawab masalah anu komputer teu tiasa acan ngajawab". Pikeun pengobatan buku-panjang ngitung manusa, dina rasa paling umum tina istilah éta, tingali Law and Ahn (2011) .

Dumasar kana watesan diajukeun di Ahn (2005) Foldit-mana Abdi digambarkeun dina bagian dina buka nelepon-bisa dianggap proyék ngitung manusa. Najan kitu, kuring milih ngararangkay Foldit salaku hiji panggero kabuka alatan merlukeun kaahlian husus (latihan sanajan teu merta formal) jeung waktu nu diperlukeun solusi pangalusna nyumbang, tinimbang ngagunakeun pamisah-nerapkeun-ngagabungkeun strategi.

Istilah "pamisah nerapkeun--ngagabungkeun" ieu dipaké ku Wickham (2011) pikeun ngajelaskeun strategi pikeun komputerisasi dina statistik, tapi sampurna ngarebut prosés loba proyek ngitung manusa. Pamisah-nerapkeun-ngagabungkeun strategi anu sarupa jeung kerangka MapReduce dimekarkeun di Google; pikeun nu langkung lengkep ihwal MapReduce, tingali Dean and Ghemawat (2004) sarta Dean and Ghemawat (2008) . Pikeun langkung lengkep ihwal arsitéktur komputasi séjén disebarkeun, tingali Vo and Silvia (2016) . Bab 3 of Law and Ahn (2011) boga hiji sawala proyék kalawan ngagabungkeun lengkah nu leuwih kompleks tinimbang jelema dina bab ieu.

Dina proyék ngitung manusa anu kuring dibahas dina bab, pamilon geus awas ti naon ieu lumangsung. Sababaraha proyék séjén, kumaha oge, neangan candak "karya" anu geus lumangsung (sarupa eBird) jeung tanpa kasadaran pamilon. Tempo, contona, Game ESP (Ahn and Dabbish 2004) sarta reCAPTCHA (Ahn et al. 2008) . Sanajan kitu, duanana proyék ieu ogé ngangkat patarosan etika lantaran pamaénna teu nyaho kumaha data maranéhanana anu dipake (Zittrain 2008; Lung 2012) .

Diideuan ku Game ESP, loba peneliti ngusahakeun pikeun ngembangkeun séjén "kaulinan kalayan Tujuan a" (Ahn and Dabbish 2008) (ie, "ngitung dumasar manusa-kaulinan" (Pe-Than, Goh, and Lee 2015) ) nu bisa jadi dipaké pikeun ngajawab rupa-rupa masalah séjén. Naon ieu "kaulinan sareng Tujuan" mibanda di umum nyaeta aranjeunna coba nyieun tugas aub dina ngitung manusa nikmat. Ku kituna, bari Game ESP babagi anu sarua pamisah-nerapkeun-ngagabungkeun struktur kalayan Smithsonian Galaxy, éta béda dina sabaraha pamilon anu ngamotivasi-fun versus kahayang pikeun mantuan sains. Pikeun langkung lengkep ihwal kaulinan kalayan Tujuan a, tingali Ahn and Dabbish (2008) .

Pedaran mah Smithsonian Galaxy draws on Nielsen (2012) , Adams (2012) , Clery (2011) , sarta Hand (2010) , sarta presentasi mah tujuan panalungtikan Smithsonian Galaxy ieu disederhanakeun. Pikeun leuwih lengkep dina sajarah klasifikasi galaksi di astronomi jeung kumaha Smithsonian Galaxy terus tradisi ieu, tingali Masters (2012) sarta Marshall, Lintott, and Fletcher (2015) . Gedong dina Smithsonian Galaxy, panalungtik réngsé Galaxy Smithsonian 2 nu dikumpulkeun leuwih ti 60 juta leuwih klasifikasi morfologis kompleks ti sukarelawan (Masters et al. 2011) . Salajengna, aranjeunna cabang kaluar kana masalah luar tina galaksi morfologi, kaasup Ngalanglang beungeut Bulan, néang planét, sarta transcribing dokumén heubeul. Ayeuna, sakabéh proyék-proyék maranéhanana dikumpulkeun di ramatloka Zooniverse (Cox et al. 2015) . Salah sahiji proyek-Snapshot Serengeti-nyadiakeun bukti yén Galaxy Smithsonian-tipe proyék klasifikasi gambar bisa ogé dipigawé pikeun panalungtikan lingkungan (Swanson et al. 2016) .

Pikeun peneliti perencanaan pikeun ngagunakeun pasar tenaga kerja microtask (misalna, Amazon Mechanical Turk) pikeun proyék ngitung manusa, Chandler, Paolacci, and Mueller (2013) jeung J. Wang, Ipeirotis, and Provost (2015) nawiskeun nasihat alus dina desain tugas jeung isu nu patali lianna. Porter, Verdery, and Gaddis (2016) tawaran conto na saran fokus husus on kagunaan tina pasar tenaga kerja microtask keur naon maranéhna nelepon "data augmentation". The garis antara augmentation data na pendataan anu rada rumeuk. Pikeun nu langkung lengkep ihwal cara ngumpulkeun jeung maké labél keur learning diawasan pikeun téks, tingali Grimmer and Stewart (2013) .

Peneliti museurkeun nyieun naon geus mah disebut sistem ngitung manusa komputer-ditulungan (misalna, sistem nu make labél manusa pikeun ngalatih modél pembelajaran mesin) bisa jadi museurkeun Shamir et al. (2014) (pikeun conto ngagunakeun audio) jeung Cheng and Bernstein (2015) . Ogé, model mesin learning dina proyék ieu bisa solicited kalawan nelepon kabuka, whereby peneliti bersaing pikeun nyieun model mesin learning jeung kinerja duga greatest. Contona, tim Smithsonian Galaxy lumpat hiji panggero kabuka sarta kapanggih pendekatan anyar nu outperformed hiji dimekarkeun di Banerji et al. (2010) ; tingali Dieleman, Willett, and Dambre (2015) pikeun detil.

• Buka nelepon (bagian 5.3)

nelepon Buka henteu anyar. Kanyataanna, salah sahiji nelepon muka pang alusna-dipikawanoh balik deui ka 1714 mun DPR Britania urang dijieun The Bujur Hadiah pikeun saha anu bisa ngamekarkeun cara pikeun nangtukeun bujur tina kapal di laut. masalah stumped loba élmuwan greatest tina poé, kaasup Isaac Newton, jeung solusi unggul ieu pamustunganana nyerah ku John Harrison, nu clockmaker ti padesaan anu ditilik masalah béda ti ilmuwan anu fokus kana solusi anu kumaha bae bakal ngalibetkeun astronomi ; pikeun inpo lengkep, tempo Sobel (1996) . Salaku conto ieu illustrates, salah alesan yén nelepon kabuka aya pamikiran dianggo jadi ogé nyaeta aranjeunna nyadiakeun aksés ka jalma kalawan perspéktif jeung kaahlian béda (Boudreau and Lakhani 2013) . Tempo Hong and Page (2004) sarta Page (2008) pikeun nu langkung lengkep ihwal nilai diversity dina ngarengsekeun masalah.

Unggal kasusna panggero kabuka dina bab butuh saeutik katerangan salajengna pikeun naha eta milik di kategori ieu. Kahiji, hiji cara nu kuring ngabedakeun antara ngitung manusa jeung proyék panggero buka téh naha output mangrupa rata-rata kabeh solusi (ngitung manusa) atawa leyuran pangalusna (muka panggero). The Netflix Hadiah mangrupa rada tricky dina hal ieu alatan leyuran pangalusna tétéla janten rata canggih tina solusi individual, hiji pendekatan disebut solusi ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Ti perspektif Netflix, kumaha oge, sadayana kagungan aranjeunna pikeun ngalakukeun éta nyokot solusi pangalusna. Pikeun langkung lengkep ihwal Hadiah Netflix, tingali Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , sarta Feuerverger, He, and Khatri (2012) .

Kadua, ku sababaraha definisi ngitung manusa (misalna Ahn (2005) ), Foldit kudu dianggap hiji proyék ngitung manusa. Najan kitu, kuring milih ngararangkay salaku hiji panggero kabuka alatan merlukeun kaahlian husus (sanajan teu merta husus latihan) jeung waktu nu diperlukeun solusi pangalusna, tinimbang ngagunakeun pamisah-nerapkeun-ngagabungkeun strategi. Pikeun langkung lengkep ihwal Foldit tingali, Cooper et al. (2010) , Khatib et al. (2011) , sarta Andersen et al. (2012) ; pedaran mah Foldit draws on déskripsi dina Bohannon (2009) , Hand (2010) , sarta Nielsen (2012) .

Tungtungna, salah bisa ngajawab yén peer-to-Patén conto pendataan disebarkeun. Kuring milih kaasup salaku hiji panggero kabuka alatan boga struktur kontes-kawas na mung kontribusi pangalusna nu dipake, sedengkeun ku pendataan disebarkeun, pamanggih kontribusi alus jeung goréng téh kirang jelas. Pikeun langkung lengkep ihwal peer-to-Patén, tingali Noveck (2006) , Ledford (2007) , Noveck (2009) , sarta Bestor and Hamp (2010) .

Dina watesan maké nelepon kabuka dina panalungtikan sosial, hasilna siga pamadegan Glaeser et al. (2016) , anu dilaporkeun dina bab 10 of Mayer-Schönberger and Cukier (2013) whereby New York City éta bisa make modeling duga ngahasilkeun gains badag dina produktivitas inspectors perumahan. Di New York City, ieu model prediksi anu diwangun ku pagawé kota, tapi dina kasus sejen, salah sahiji bisa ngabayangkeun yén maranéhna bisa dijieun atawa ningkat kalawan nelepon kabuka (misalna Glaeser et al. (2016) ). Sanajan kitu, salah sahiji perhatian utama kalayan model prediksi dipake pikeun allocate sumberdaya éta model ieu boga potensi pikeun nguatkeun biases aya. Loba peneliti geus nyaho "sampah di, sampah kaluar," na ku model prediksi bisa "bias di, bias kaluar." Tempo Barocas and Selbst (2016) sarta O'Neil (2016) pikeun nu langkung lengkep ihwal bahaya model prediksi diwangun kalawan data latihan bias.

Hiji masalah anu bisa nyegah pamaréntah tina ngagunakeun contests muka éta ieu merlukeun release data, anu bisa ngakibatkeun pelanggaran privacy. Pikeun leuwih lengkep ngeunaan privacy jeung sékrési data di nelepon buka, nempo Narayanan, Huey, and Felten (2016) sarta sawala dina bab 6.

Pikeun leuwih lengkep dina béda jeung kamiripan antara prediksi jeung katerangan, tingali Breiman (2001) , Shmueli (2010) , Watts (2014) , sarta Kleinberg et al. (2015) . Pikeun langkung lengkep ihwal peran prediksi dina panalungtikan sosial, tingali Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , sarta Yarkoni and Westfall (2017) .

Pikeun review proyék panggero kabuka dina biologi, kaasup nasihat desain, tingali Saez-Rodriguez et al. (2016) .

• Pendataan disebarkeun (bagian 5.4)

Pedaran mah eBird draws on déskripsi dina Bhattacharjee (2005) , Robbins (2013) , sarta Sullivan et al. (2014) . Pikeun langkung lengkep ihwal kumaha peneliti make model statistik keur nganalisis data eBird tingali Fink et al. (2010) jeung Hurlbert and Liang (2012) . Pikeun langkung lengkep ihwal estimasi skill pamilon eBird, tingali Kelling, Johnston, et al. (2015) . Pikeun leuwih lengkep dina sajarah sains warga di ornithology, tingali Greenwood (2007) .

Pikeun leuwih lengkep dina jurnal Project Malawi, tingali Watkins and Swidler (2009) jeung Kaler, Watkins, and Angotti (2015) . Pikeun leuwih lengkep dina proyék patali di Afrika Kidul, tingali Angotti and Sennott (2015) . Pikeun conto deui panalungtikan ngagunakeun data ti Project Malawi jurnal tingali Kaler (2004) sarta Angotti et al. (2014) .

• Ngarancang sorangan (bagian 5,5)

pendekatan ka maturan nasihat rarancang éta induktif, dumasar kana conto sukses tur gagal proyék kolaborasi massa yén Kuring geus Nu Uninga Ngeunaan. Aya ogé geus aliran panalungtikan nyoba panawaran leuwih umum téori psikologi sosial pikeun ngarancang komunitas online nu aya relevan keur desain proyék kolaborasi massa, tingali, contona, Kraut et al. (2012) .

Ngeunaan motivating pamilon, éta sabenerna rada tricky angka kaluar persis naha urang ilubiung dina proyék kolaborasi massa (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Lamun rencanana pikeun memotivasi peserta kalayan mayar dina pasar tenaga kerja microtask (misalna, Amazon Mechanical Turk), Kittur et al. (2013) nawarkeun sababaraha saran.

Ngeunaan sangkan reuwas, keur conto leuwih tina pamanggihan kaduga datang kaluar proyék Zooiverse, tingali Marshall, Lintott, and Fletcher (2015) .

Ngeunaan mahluk etika, sababaraha perkenalan umum alus kana isu aub téh Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , sarta Zittrain (2008) . Pikeun isu husus nu patali jeung isu légal jeung karyawan balaréa, tingali Felstiner (2011) . O'Connor (2013) alamat patarosan ngeunaan pangawasan etika panalungtikan nalika kalungguhan peneliti sarta peserta blur. Pikeun isu nu patali jeung babagi data bari mayungan pamilon dina proyék elmu warga, tingali Bowser et al. (2014) . Duanana Purdam (2014) sarta Windt and Humphreys (2016) boga sababaraha sawala ngeunaan isu etika dina pendataan disebarkeun. Tungtungna, paling proyék ngaku kontribusi tapi ulah masihan kiridit Pangarang pikeun pamilon. Dina Foldit, pamaén anu mindeng kadaptar salaku hiji pangarang (Cooper et al. 2010; Khatib et al. 2011) . Dina proyék panggero kabuka sejen, pangdeudeul unggul mindeng bisa nulis tulisan ngajéntrékeun solusi maranéhanana (misalna, Bell, Koren, and Volinsky (2010) sarta Dieleman, Willett, and Dambre (2015) ).