katrangan luwih

Bagean iki dirancang kanggo digunakake minangka referensi, tinimbang kanggo maca minangka narasi.

• Pambuka (Section 5.1)

Collaboration Massa campuran gagasan saka ilmu warga, crowdsourcing, lan Intelligence. Ilmu Citizen biasane tegese nglibatno "warga" (IE, non-èlmuwan) ing proses ilmiah (Crain, Cooper, and Dickinson 2014) . Crowdsourcing biasane tegese njupuk masalah biasane ditanggulangi ing organisasi lan tinimbang outsourcing menyang akeh (Howe 2009) . Intelligence biasane tegese klompok individu tumindak bebarengan ing cara sing koyone pinter (Malone and Bernstein 2015) . Nielsen (2012) iku sing wiwitan buku-dawa apik menyang daya saka collaboration massa kanggo riset ilmiah.

Ana akeh jinis collaboration massa sing ora pas rapi menyang telung kategori sing aku ngajokaken, lan aku telung pantes manungsa waé khusus amarga padha bisa migunani ing riset sosial ing sawetara titik. Salah sijine yaiku pasar prediksi, ngendi peserta tuku lan kontrak perdagangan sing redeemable adhedhasar kasil sing dumadi ing donya (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Pasar ngiro-iro asring digunakake dening perusahaan lan pemerintah kanggo prakiraan, lan pasar ngiro uga wis digunakake dening peneliti sosial kanggo mrédhiksi replicability pasinaon diterbitake ing psikologi (Dreber et al. 2015) .

Conto liya sing ora pas uga menyang rencana categorization iku ing project PolyMath, ngendi peneliti kolaborasi nggunakake blog lan sacara global kanggo mbuktekaken téoréma math anyar (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Proyèk PolyMath ing sawetara cara sing padha kanggo Bebungah Netflix, nanging ing peserta project PolyMath luwih aktif dibangun ing solusi sebagean liyane.

Conto katelu sing ora pas uga menyang rencana categorization iku mobilizations wektu gumantung kayata Agensi Defense Advanced Riset Projects (DARPA) Network Challenge (IE, ing Red Balon Challenge). Kanggo luwih ing wektu iki mobilizations sensitif ndeleng Pickard et al. (2011) , Tang et al. (2011) , lan Rutherford et al. (2013) .

• Etungan Human (Section 5.2)

Tembung "etungan manungsa" metu saka karya déning ilmuwan komputer, lan pangerten babak konco riset iki bakal nambah kemampuan kanggo Pick metu masalah sing bisa dadi amenable kanggo iku. Kanggo tugas tartamtu, komputer sing luar biasa kuat karo Kapabilitas adoh ngluwihi manungsa malah pakar. Contone, ing catur, komputer bisa ngalahake malah paling grand Master. Nanging-lan iki kurang uga ngormati dening sosial ilmuwan-tugas liyane, komputer sing bener akeh Samsaya Awon saka wong. Ing tembung liyane, sapunika sampeyan sing luwih apik saka malah komputer paling canggih ing tugas tartamtu nglibatno Processing saka gambar, video, audio, lan teks. Mangkono-kaya iki gambaran dening xkcd apik kartun-ana tugas sing gampang kanggo komputer lan hard kanggo wong, nanging ana uga tugas sing hard kanggo komputer lan gampang kanggo wong (Figure 5.13). ilmuwan komputer nggarap iki hard-kanggo-komputer-gampang-kanggo-manungsa tugas, mulane, temen maujud sing padha bisa kalebu manungsa ing proses komputasi sing. Punika carane Luis von Ahn (2005) diterangake etungan manungsa nalika pisanan diciptakaké istilah ing karangan dowo: ". Paradigma kanggo nggenepi daya Processing manungsa kanggo ngatasi masalah sing komputer bisa durung ngatasi"

Tokoh 5,13: Kanggo sawetara tugas komputer sing apik tenan, ngluwihi kemampuan ahli manungsa. Nanging, kanggo tugas liya, manungsa biasa bisa outperform sistem komputer malah canggih. permasalahan gedhe sing ndherek tugas sing hard kanggo komputer lan gampang kanggo manungsa sing melu-cocog kanggo komputasi manungsa. Digunakake miturut syarat-syarat kasebut ing kéné: http://xkcd.com/license.html

Miturut dhéfinisi iki FoldIt-kang diterangake ing bagean ing mbukak telpon-bisa dianggep minangka sawijining proyèk sing etungan manungsa. Nanging, aku milih kanggo nggolongake FoldIt minangka telpon mbukak amarga mbutuhake skills khusus lan njupuk solusi sing paling apik nyumbang tinimbang nggunakake pamisah aplikasi-gabungan strategi.

Kanggo perawatan dawa buku banget etungan manungsa, ing pangertèn sing paling umum saka istilah, ndeleng Law and Ahn (2011) . Bab 3 of Law and Ahn (2011) wis diskusi menarik saka gabungan langkah liyane Komplek saka sing gedhe-gedhe ing bab iki.

Tembung "pamisah aplikasi--gabungan" iki digunakake dening Wickham (2011) kanggo njlèntrèhaké strategi kanggo komputerisasi statistik, nanging becik nelukaké proses akeh proyèk etungan manungsa. Pamisah-aplikasi-gabungan strategi iku padha karo framework MapReduce dikembangaké ing Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Two proyèk etungan manungsa pinter sing aku ora duwe papan kanggo ngrembug sing Game ESP (Ahn and Dabbish 2004) lan reCAPTCHA (Ahn et al. 2008) . Loro-lorone saka proyèk iki ditemokaké cara kreatif kanggo nambah semangat peserta kanggo nyedhiyani labels ing gambar. Nanging, loro proyèk iki uga wungu pitakonan sopan amarga, kados Zoo Galaxy, peserta ing Game ESP lan reCAPTCHA ora ngerti carane data sing iki digunakake (Lung 2012; Zittrain 2008) .

Inspirasi dening Game ESP, akeh riset wis ngupaya kanggo berkembang liyane "game karo tujuan sing" (Ahn and Dabbish 2008) (ie, "etungan adhedhasar manungsa-game" (Pe-Than, Goh, and Lee 2015) ) sing bisa dadi mecahaké manéka masalah liyane. Apa iki "game karo tujuan" wis umum iku padha nyoba kanggo nggawe tugas melu etungan manungsa nyenengake. Mangkono, nalika Game ESP enggo bareng padha pamisah aplikasi-madhuaken struktur karo Zoo Galaxy, iku bedo ing carane peserta sing motivasi-fun vs. kepinginan kanggo èlmu.

Gambaran sandi Zoo Galaxy ndudohke ing Nielsen (2012) , Adams (2012) , Clery (2011) , lan Hand (2010) , lan presentation saka gol riset Zoo Galaxy iki Sederhana. Kanggo luwih ing sajarah Klasifikasi galaxy ing astronomi lan carane Zoo Galaxy terus iki tradisi, ndeleng Masters (2012) lan Marshall, Lintott, and Fletcher (2015) . Bangunan ing Zoo Galaxy, peneliti rampung Galaxy Zoo 2 kang diklumpukake luwih saka 60 yuta liyane klasifikasi morfologi Komplek saka sukarelawan (Masters et al. 2011) . Luwih, padha nyabang masalah sanjabane morfologi galaksi kalebu Njelajah lumahing rembulan, nggoleki planet, lan transkripsi dokumen lawas. Saiki, kabèh proyèk-proyèk sing diklumpukake ing www.zooniverse.org (Cox et al. 2015) . Salah proyèk-asli seko Serengeti-menehi bukti-bukti sing Galaxy Zoo-jinis proyèk Klasifikasi gambar bisa uga rampung kanggo riset lingkungan (Swanson et al. 2016) .

Kanggo peneliti planning kanggo nggunakake pegawe pasar mikro-tugas (eg, Amazon Teknik Turk) kanggo proyek etungan manungsa, Chandler, Paolacci, and Mueller (2013) lan Wang, Ipeirotis, and Provost (2015) nasihat apik ing desain tugas lan masalah liyane sing gegandhengan.

Peneliti kasengsem ing nggawe apa aku wis disebut generasi kapindho sistem komputasi manungsa (eg, sistem sing nggunakake label manungsa kanggo olahraga model learning machine) uga kasengsem ing Shamir et al. (2014) (kanggo conto nggunakake audio) lan Cheng and Bernstein (2015) . Uga, proyèk iki bisa rampung karo telpon mbukak, kang peneliti saingan kanggo nggawe model machine learning karo kinerja prediktif paling. Contone, tim Zoo Galaxy mlayu telpon mbukak lan ketemu pendekatan anyar sing outperformed siji dikembangaké ing Banerji et al. (2010) ; ndeleng Dieleman, Willett, and Dambre (2015) kanggo rincian.

• Open telpon (Section 5.3)

telpon mbukak ora anyar. Ing kasunyatan, salah siji saka telpon mbukak paling kondhang awale 1714 nalika Parlemen Britain kang kacipta Bujur Bebungah kanggo sapa waé sing bisa berkembang cara kanggo nemtokake longitude saka kapal ing segara. Masalah stumped akeh ilmuwan paling saka dina, kalebu Isaac Newton, lan solusi menang iki pungkasanipun diajukake dening tukang damel jam saka deso sing nyedhaki masalah beda saka ilmuwan sing padha fokus ing solusi sing piye wae bakal ndherek astronomi (Sobel 1996) . Minangka conto iki nggambaraké, siji alesan sing telpon mbukak sing panginten bisa uga iku padha nyedhiyani akses kanggo wong persepektif lan skills beda (Boudreau and Lakhani 2013) . Waca Hong and Page (2004) lan Page (2008) kanggo liyane ing Nilai saka bhinéka ing kemampuan ngatasi masalah.

Saben kasus telpon mbukak ing bab mbutuhake dicokot saka panjelasan luwih kanggo apa belongs ing kategori punika. First, salah siji cara sing aku mbedakake antarane etungan manungsa lan proyèk telpon mbukak apa output Rata-rata kabeh solusi (etungan manungsa) utawa solusi sing paling apik (mbukak telpon). Netflix Bebungah Luwih angel ing gati amarga solusi sing paling apik diaktifake metu dadi saben canggih saka solusi individu, lan nyedhaki disebut solusi gamelan (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Saka perspektif Netflix, Nanging, kabeh wis padha apa ana Pick solusi sing paling apik.

Kapindho, dening sawetara dhéfinisi etungan manungsa (eg, Von Ahn (2005) ), FoldIt kudu dianggep project etungan manungsa. Nanging, aku milih kanggo nggolongake FoldIt minangka telpon mbukak amarga mbutuhake skills khusus lan njupuk solusi sing paling apik nyumbang, tinimbang nggunakake pamisah aplikasi-gabungan strategi.

Akhire, siji bisa argue sing Peer-kanggo-Patent punika conto data mbagekke. Aku milih nambahi iku minangka telpon mbukak amarga nduweni struktur kontes-kaya lan mung panganggo paling digunakake (déné karo data mbagekke, ing idea saka panganggo apik lan ala iku kurang cetha).

Kanggo luwih ing Hadhiah Netflix, ndeleng Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , lan Feuerverger, He, and Khatri (2012) . Kanggo liyane FoldIt ndeleng, Cooper et al. (2010) , Andersen et al. (2012) , lan Khatib et al. (2011) ; gambaran sandi FoldIt ndudohke nang Nielsen (2012) , Bohannon (2009) , lan Hand (2010) . Kanggo liyane Peer-kanggo-Patent, ndeleng Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , lan Noveck (2009) .

Padha karo asil saka Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , 10 laporan hasil gedhe ing produktivitas saka inspektur omah ing New York City nalika pemriksaan sing dipandu dening model prediktif. Ing New York City, iki model prediktif punika dipunbangun karyawan kutha, nanging ing kasus liyane, siji bisa mbayangno sing padha bisa digawé utawa apik karo telpon mbukak (eg, Glaeser et al. (2016) ). Nanging, siji badhan utama karo model prediktif digunakake kanggo nyedhiakke sumber iku model duwe potensial kanggo nguwataké biases ana. Akeh peneliti wis ngerti "uwuh ing, uwuh metu", lan karo model prediktif bisa "bias in, Bias metu." Waca Barocas and Selbst (2016) lan O'Neil (2016) kanggo liyane ing beboyo saka model prediktif dibangun karo data latihan prasongko.

Salah masalah sing bisa nyegah pemerintah saka nggunakake Sayemboro mbukak iku mbutuhake release data, kang bisa mimpin kanggo Pelanggaran privasi. Kanggo luwih bab privasi lan release data ing telpon mbukak ndeleng Narayanan, Huey, and Felten (2016) lan diskusi ing Bab 6.

• Koleksi data mbagekke (Section 5.4)

Gambaran sandi eBird ndudohke nang Bhattacharjee (2005) lan Robbins (2013) . Kanggo luwih akeh babagan carane peneliti nggunakake model statistik kanggo njelasno data eBird ndeleng Hurlbert and Liang (2012) lan Fink et al. (2010) . Kanggo luwih ing sajarah ilmu warga ing ornothology, ndeleng Greenwood (2007) .

Kanggo luwih ing Journals Project Malawi, ndeleng Watkins and Swidler (2009) lan Kaler, Watkins, and Angotti (2015) . Lan kanggo liyane ing project sing gegandhengan ing Afrika Kidul, ndeleng Angotti and Sennott (2015) . Kanggo conto liyane riset nggunakake data saka Project Malawi Journals ndeleng Kaler (2004) lan Angotti et al. (2014) .

• Ngrancang dhewe (Section 5.5)

pendekatan kanggo aturan saran desain ana induktif, adhedhasar conto sukses lan gagal proyèk collaboration massa sing aku wis krungu bab. Ana uga stream riset usaha kanggo aplikasi sing luwih umum teori psychological sosial kanggo ngrancang komunitas online sing cocog kanggo desain proyèk collaboration massa, ndeleng, contone, Kraut et al. (2012) .

Usul motivating peserta, iku bener cukup angel kanggo tokoh metu persis apa wong melok proyèk collaboration massa (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Yen rencana kanggo nambah semangat peserta karo pembayaran ing pasar pegawe mikro-tugas (eg, Amazon Teknik Turk) Kittur et al. (2013) nawakake saran.

Usul mbisakake surprise, kanggo conto liyane saka panemon dikarepke teka metu saka proyèk Zoouniverse, ndeleng Marshall, Lintott, and Fletcher (2015) .

Usul kang sopan, sawetara nepangaken general apik kanggo masalah melu sing Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , lan Zittrain (2008) . Kanggo masalah khusus masalah hukum karo karyawan akeh, waca Felstiner (2011) . O'Connor (2013) alamat pitakonan kasil sopan riset nalika peran peneliti lan peserta cetho. Kanggo masalah kanggo enggo bareng data nalika nglindhungi participats ing proyèk èlmu warga, ndeleng Bowser et al. (2014) . Loro-lorone Purdam (2014) lan Windt and Humphreys (2016) duwe sawetara diskusi bab masalah sopan ing koleksi data mbagekke. Akhire, paling proyèk ngakoni panganggo nanging ora menehi kredit pangginaan kanggo peserta. Ing Foldit, pemain Foldit asring didaftar minangka penulis (Cooper et al. 2010; Khatib et al. 2011) . Ing proyèk telpon mbukak, kontributor menang asring bisa nulis kertas njlentrehke solusi sing (eg, Bell, Koren, and Volinsky (2010) lan Dieleman, Willett, and Dambre (2015) ). Ing kulawarga Zoo Galaxy proyèk, contributors banget aktif lan penting sing kadhangkala diundang dadi co-penulis ing makalah. Contone, Ivan Terentev lan Tim Matorny, loro peserta Radio Galaxy Zoo saka Rusia, padha co-penulis ing salah siji saka makalah sing jumeneng saka project sing (Banfield et al. 2016; Galaxy Zoo 2016) .