Apa sing arep dibaca sabanjuré

• Pambuka (bagean 5.1)

Kolaborasi massa campuran ide-ide dari ilmu pengetahuan bangsa , crowdsourcing , dan intelijen kolektif . Èlmu umum sing biasane tegese nglibataké "warga" (yaiku, nonscientists) ing proses ilmiah; kanggo luwih, pirsani Crain, Cooper, and Dickinson (2014) lan Bonney et al. (2014) . Crowdsourcing biasane tegese njupuk masalah sing biasa ditindakake ing organisasi lan malah ngirim metu kanggo akeh; kanggo luwih, pirsani Howe (2009) . Kagiyatan intelektual biasane nyatane kelompok-kelompok individu sing tumindak bebarengan kanthi cara-cara sing katon cerdas; kanggo luwih, pirsani Malone and Bernstein (2015) . Nielsen (2012) minangka introduksi buku-buku kanthi kekuatan kolaborasi massa kanggo riset ilmiah.

Ana akeh jinis kolaborasi massa sing ora cocok karo telung kategori sing aku wis ngajokaken, lan aku nganggep telu saka iki layak ditrima amarga bisa uga migunani ing riset sosial. Salah siji contone yaiku pasar prediksi, ing ngendi peserta tuku lan kontrak dagang sing bisa ditebus miturut asil sing dumadi ing donya. Prediksi pasar asring digunakake dening perusahaan lan pemerintah kanggo prakiraan, lan uga wis digunakake dening peneliti sosial kanggo prédhiksi sing bisa ditrapake studi diterbitake ing psikologi (Dreber et al. 2015) . Kanggo gambaran pasar prediksi, waca Wolfers and Zitzewitz (2004) lan Arrow et al. (2008) .

Conto liyane sing ora cocok karo skema kategorisasi yaiku proyek PolyMath, ing ngendi peneliti kolaborasi nggunakake blog lan wiki kanggo mbuktekake teorema matematika anyar. Proyek PolyMath ing sawetara cara padha karo Netflix Prize, nanging ing partisipasi proyek iki luwih aktif dibangun ing solusi parsial liyane. Kanggo luwih akeh proyek PolyMath, pirsani Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , lan Kloumann et al. (2016) .

Conto katelu sing ora cocog karo skema kategorisasi kuwi yaiku mobilisasi wektu gumantung kaya Tugas Jaringan Riset Proyek Pertahanan (DARPA) Pertahanan (yakuwi Tantangan Merah Balloon). Kanggo luwih akeh mobilisasi-sensitif wektu iki, Pickard et al. (2011) , Tang et al. (2011) , lan Rutherford et al. (2013) .

• Computasi manungsa (bagean 5.2)

Istilah "komputasi manungsa" metu saka karya sing digawé dening para ilmuwan komputer, lan mangerteni konteks sing ana ing panliten iki bakal ningkatake kemampuan sampeyan kanggo ngetokake masalah sing bisa cocok kanggo kasebut. Kanggo tugas tartamtu, komputer sing luar biasa kuat, kanthi kemampuan luwih gedhé ngluwihi manungsa pakar. Contone, ing catur, komputer bisa ngalahake lulusan paling gedhe. Nanging-lan iki kurang disenengi dening para ilmuwan sosial-kanggo tugas liyane, komputer bener luwih elek tinimbang wong. Ing tembung liyane, saiki sampeyan luwih apik tinimbang komputer paling canggih ing tugas tartamtu sing nglibatake pangolahan gambar, video, audio, lan teks. Para ilmuwan komputer nggarap tugas-tugas keras kanggo komputer-gampang-kanggo-manungsa iki sadhar yen bisa nyakup manungsa ing proses komputasi. Punika babagan Luis von Ahn (2005) nyebataken komputasi manungsa nalika piyambakipun nate nyiptakaken istilah punika ing disertasinipun: "paradigma kangge ngamanaken kekuwatan ngolah manungsa kangge ngatasi masalah ingkang mboten saged dipundadosaken komputer." Kanggo pengobatan manut buku manungsa, ing pangertèn paling umum, waca Law and Ahn (2011) .

Miturut definisi sing diajokake ing Ahn (2005) Foldit-kang diterangake ing bagean kasebut ing bukaan telpon-bisa dianggep minangka proyek komputasi manungsa. Nanging, aku milih nggolongake Foldit minangka telpon sing mbukak amarga mbutuhake skills khusus (sanajan ora kudu latihan resmi) lan njupuk solusi sing paling apik nyumbang, tinimbang nggunakake strategi pamisah-aplikasi-gabungan.

Istilah "split-apply-combine" dipigunakaké déning Wickham (2011) kanggo njlèntrèhaké strategi kanggo komputasi statistika, nanging ngrampungaké prosès akèh prosès pangétifikasi manungsa. Strategi split-apply-combine mirip karo framework MapReduce sing dikembangake ing Google; luwih kanggo MapReduce, ndeleng Dean and Ghemawat (2004) lan Dean and Ghemawat (2008) . Kanggo liyane arsitektur komputasi sing disebarake, waca Vo and Silvia (2016) . Bab 3 saka Law and Ahn (2011) nduweni diskusi ing proyek kanthi langkah-langkah sing luwih rumit ketimbang sing kasebut ing bab iki.

Ing proyek komputasi manungsa sing aku rembugan ing bab kasebut, para peserta weruh apa sing kedadeyan. Sawetara proyèk liya, nanging, ngupaya nyekel "karya" sing wis kedadeyan (padha karo eBird) lan tanpa kesadaran peserta. Contone, umpamane, Game ESP (Ahn and Dabbish 2004) lan reCAPTCHA (Ahn et al. 2008) . Nanging, proyèk-proyèk iki uga mundhut pitakonan sing sopan amarga peserta ora ngerti carane data-data kasebut digunakake (Zittrain 2008; Lung 2012) .

Diiloni dening Game ESP, akeh peneliti nyoba ngembang "game kanthi tujuan" liya (Ahn and Dabbish 2008) (ie, "game komputasi berbasis manungsa" (Pe-Than, Goh, and Lee 2015) digunakake kanggo ngatasi macem-macem masalah liyane. Apa sing dimaksud "dolanan karo tujuan" iki yaiku sing padha nyoba kanggo nggawe tugas-tugas sing ana ing komputasi manungsa sing nyenengake. Mangkene, nalika Game ESP nuduhake struktur pamisah-aplikasi-gabungan sing padha karo Galaxy Zoo, bedane cara peserta didokumentasikake kanthi seneng-seneng mungsuh supaya bisa ngelmu. Kanggo luwih akeh game kanthi tujuan, deleng Ahn and Dabbish (2008) .

Gambaranku Zoo Galaxy narik kawigaten ing Nielsen (2012) , Adams (2012) , Clery (2011) , lan Hand (2010) , lan penyajian tujuan penelitian Galaxy Zoo disederhanakake. Kanggo luwih akeh babagan sejarah klasifikasi galaksi astronomi lan cara Kebon Binatang Galaxy terus tradhisi iki, pirsani Masters (2012) lan Marshall, Lintott, and Fletcher (2015) . Bangunan ing Galaxy Zoo, peneliti rampung Galaxy Zoo 2 sing nglumpukake luwih saka 60 yuta klasifikasi morfologis sing luwih rumit saka sukarelawan (Masters et al. 2011) . Sabanjure, dheweke nyebar menyang masalah ing njaba morfologi galaksi, kalebu njelajah permukaan Bulan, nggoleki planet lan transcribe dokumen lawas. Saiki, kabeh proyek sing dikumpulake ing situs web Zooniverse (Cox et al. 2015) . Salah sijine proyek-Serigeti-menehi bukti yen proyek klasifikasi gambar Zoo Galaxy uga bisa ditindakake kanggo riset lingkungan (Swanson et al. 2016) .

Kanggo peneliti sing nggunakake pasar tenaga kerja microtask (eg, Amazon Mechanical Turk) kanggo proyek komputasi manungsa, Chandler, Paolacci, and Mueller (2013) lan J. Wang, Ipeirotis, and Provost (2015) saran apik babagan desain tugas lan masalah liyane sing gegandhengan. Porter, Verdery, and Gaddis (2016) nyedhiyakake conto lan nasihat sing fokus khusus marang panggunaan pasar laboratorium microtask kanggo apa sing diarani "augmentation data." Baris antarane data augmentation lan pengumpulan data kaya burem. Kanggo luwih akeh ngumpulake lan nggunakake label kanggo sinau learning teks, ndeleng Grimmer and Stewart (2013) .

Para panaliti kasengsem nyiptakake sistem komputer sing dibantu komputer (umpamane, sistem sing migunakake label manungsa kanggo nglatih model pembelajaran mesin) bisa uga kasengsem ing Shamir et al. (2014) (kanggo conto nggunakake audio) lan Cheng and Bernstein (2015) . Uga, model pembelajaran mesin ing proyek kasebut bisa diduweni karo panggilan terbuka, para panaliti nulak kanggo nggawe model pembelajaran mesin kanthi kinerja prediksi sing paling gedhe. Contone, tim Galaxy Zoo mlayu nelpon lan nemokake pendekatan anyar sing ngasilake sing dikembangake ing Banerji et al. (2010) ; waca Dieleman, Willett, and Dambre (2015) kanggo rincian.

• Bukak telpon (bagean 5.3)

Bukak telpon ora anyar. Ing kasunyatane, salah sawijining panggilan mbukak paling kondhang wiwit taun 1714 nalika Parlemen Inggris nggawe Hadiah Bujur kanggo sapa waé sing bisa ngembangake cara kanggo nemtokake bujur kapal ing segara. Masalah iki mbantah akeh ilmuwan paling gedhe ing jaman iki, kalebu Isaac Newton, lan solusi sing menang pungkasane diajukake dening John Harrison, tukang jam saka desa sing nyedhaki masalah sing beda-beda saka para ilmuwan sing fokus ing solusi sing bakal ndherek astronomi ; kanggo informasi luwih lengkap, pirsani Sobel (1996) . Minangka conto iki sing digambarake, salah sijine alasan sing mbukak telpon dianggep bisa dianggo kanthi apik yaiku menehi akses menyang wong kanthi perspektif lan skill sing beda (Boudreau and Lakhani 2013) . Waca Hong and Page (2004) lan Page (2008) kanggo luwih akeh babagan nilai keragaman ing pemecahan masalah.

Saben kasus panggilan sing mbukak ing bab iki mbutuhake panjelasan luwih lanjut kanggo ngapa kasebut ing kategori iki. Kaping pisanan, salah siji cara aku mbedakake antara komputasi manungsa lan proyek panggilan mbukak yaiku apa output iku rata-rata kabeh solusi (komputasi manungsa) utawa solusi sing paling apik (mbukak telpon). Bebungah Netflix rada kuwat amarga iki solusi sing paling apik dadi solusi saben individu sing canggih, pendekatan sing disebut solusi ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Nanging, saka perspektif netflix, kabeh sing kudu dilakoni yaiku pilihan sing paling apik. Kanggo luwih soko Netflix, pirsani Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , lan Feuerverger, He, and Khatri (2012) .

Kapindho, kanthi sawetara definisi komputasi manungsa (umpamane, Ahn (2005) ), Foldit kudu dianggep minangka proyek komputasi manungsa. Nanging, aku milih kanggo nggolongake iku minangka telpon sing mbukak amarga mbutuhake skills khusus (senadyan ora perlu latihan khusus) lan njupuk solusi sing paling apik, tinimbang nggunakake strategi pamisah-aplikasi-gabungan. Kanggo luwih lengkap ing Foldit, Cooper et al. (2010) , Khatib et al. (2011) , Andersen et al. (2012) ; katranganku saka Foldit digambarake nang deskripsi ing Bohannon (2009) , Hand (2010) , lan Nielsen (2012) .

Pungkasan, siji bisa argue yen Peer-to-Patent minangka conto pangumpulan data sing disebarake. Aku milih nyakup minangka telpon sing mbukak amarga nduweni struktur kaya kontes lan mung sumbere paling apik sing digunakake, dene kanthi koleksi data sing disebarake, gagasan sumbangan apik lan ora cetha. Kanggo luwih saka Peer-to-Patent, pirsani Noveck (2006) , Ledford (2007) , Noveck (2009) , lan Bestor and Hamp (2010) .

Ing istilah nggunakake telpon terbuka ing riset sosial, asil padha karo Glaeser et al. (2016) , kacarita ing bab 10 saka Mayer-Schönberger and Cukier (2013) New York City bisa nggunakake modhél prediktif kanggo ngasilake hasil gedhe ing produktivitas inspektur omah. Ing New York City, model-model prediksi kasebut dibangun dening karyawan kutha, nanging ing kasus-kasus liya, bisa mbayangake yèn bisa digawé utawa ditingkatake kanthi mbukak telpon (eg, Glaeser et al. (2016) ). Nanging, siji masalah utama karo model prediksi sing digunakake kanggo nyedhiyakake sumber daya yaiku model-model kasebut duweni potensi kanggo nguatake bias sing ana. Akeh peneliti wis ngerti "sampah, sampah," lan model prediksi bisa "bias, bias metu." Deleng Barocas and Selbst (2016) lan O'Neil (2016) kanggo luwih kuwat model prediktif karo data latihan bias.

Siji masalah sing bisa nyegah pemerintah nggunakake contests terbuka yaiku iki mbutuhake release data, sing bisa nyebabake pelanggaran privasi. Kanggo informasi luwih lengkap babagan privasi lan data ing telpon sing mbukak, deleng Narayanan, Huey, and Felten (2016) lan diskusi ing bab 6.

Kanggo luwih jelas lan beda antarane prediksi lan panjelasan, pirsani Breiman (2001) , Shmueli (2010) , Watts (2014) , lan Kleinberg et al. (2015) . Kanggo luwih saka peran prediksi ing riset sosial, waca Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , lan Yarkoni and Westfall (2017) .

Kanggo paninjauan proyek proyèk mbukak ing biologi, kalebu saran desain, deleng Saez-Rodriguez et al. (2016) .

• Distribusi data sing disedhiyakake (bagean 5.4)

Gambaranku eBird dituduhake babagan deskripsi ing Bhattacharjee (2005) , Robbins (2013) , lan Sullivan et al. (2014) . Kanggo luwih akeh babagan cara peneliti nggunakake model statistik kanggo nganalisa data eBird ndeleng Fink et al. (2010) lan Hurlbert and Liang (2012) . Kanggo luwih ngitung kemampuan peserta eBird, waca Kelling, Johnston, et al. (2015) . Kanggo luwih rinci babagan sajarah èlmu warga ing ornithologi, pirsani Greenwood (2007) .

Kanggo luwih akeh ing Malawi Jurnal Project, pirsani Watkins and Swidler (2009) lan Kaler, Watkins, and Angotti (2015) . Kanggo luwih lengkap babagan proyek sing ana ing Afrika Kidul, pirsani Angotti and Sennott (2015) . Kanggo conto conto riset nggunakake data saka Proyek Jurnal Malawi, pirsani Kaler (2004) lan Angotti et al. (2014) .

• Nggawe dhewe (bagean 5.5)

Pendekatan Pendhaftaran kanggo menehi saran desain wis induktif, adhedhasar conto proyèk kolaborasi massa sukses lan gagal sing aku wis krungu bab. Ana uga wis dadi riset panaliten kanggo ngenani teori psikologi sosial sing luwih umum kanggo ngrancang komunitas online sing cocog karo rancangan proyek kolaborasi massa, umpamane, contone, Kraut et al. (2012) .

Saliyane ngembangake peserta, cukup angel kanggo nemtokake persis kenapa wong-wong mau melu ing proyek kolaborasi massa (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Yen sampeyan rencana kanggo ningkatake peserta kanthi bayaran ing pasar tenaga kerja microtask (eg Amazon Mechanical Turk), Kittur et al. (2013) nawakake saran.

Menehi nyengsemake, kanggo conto liyane panemuan sing ora dikarepake metu saka proyek Zooiverse, ndeleng Marshall, Lintott, and Fletcher (2015) .

Babagan etika, sapérangan perkenalan umum sing apik kanggo masalah sing Gilbert (2015) yaiku Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , lan Zittrain (2008) . Kanggo masalah khusus sing terkait karo masalah hukum karo karyawan, waca Felstiner (2011) . O'Connor (2013) alamat pitakonan babagan pengawasan etika panaliten nalika peran peneliti lan peserta blur. Kanggo masalah sing gegandhengan karo data nalika nglindhungi peserta ing proyek ilmu warga, deleng Bowser et al. (2014) . Loro-lorone Purdam (2014) lan Windt and Humphreys (2016) duwe sawetara diskusi babagan masalah etika ing koleksi data sing disebarake. Akhire, akeh proyek sing ngakoni kontribusi nanging ora menehi kredit marang peserta. Ing Foldit, pemain asring kadhaptar minangka penulis (Cooper et al. 2010; Khatib et al. 2011) . Ing proyèk-proyèk mbukak liyane, kontributor menang bisa uga nulis kertas sing njlèntrèhaké solusi kasebut (eg, Bell, Koren, and Volinsky (2010) lan Dieleman, Willett, and Dambre (2015) ).