ulasan lanjut

Seksyen ini direka untuk digunakan sebagai rujukan, dan bukannya untuk dibaca sebagai cerita.

• Pengenalan (Seksyen 5.1)

Kerjasama Mass menggabungkan idea-idea daripada sains warganegara, crowdsourcing, dan kecerdasan kolektif. Sains warganegara biasanya bermaksud melibatkan "rakyat" (iaitu, bukan saintis) dalam proses saintifik (Crain, Cooper, and Dickinson 2014) . Crowdsourcing biasanya bermaksud mengambil satu masalah biasanya diselesaikan dalam sesebuah organisasi dan sebaliknya penyumberan luar kepada orang ramai (Howe 2009) . Kecerdasan kolektif biasanya bermaksud kumpulan individu yang bertindak secara kolektif dengan cara yang kelihatan pintar (Malone and Bernstein 2015) . Nielsen (2012) adalah indah sepanjang buku, pengenalan ke dalam kuasa kerjasama besar-besaran untuk penyelidikan saintifik.

Terdapat banyak jenis kerjasama besar-besaran yang tidak sesuai dengan kemas ke dalam tiga kategori yang saya mencadangkan, dan saya rasa tiga berhak mendapat perhatian istimewa kerana mereka mungkin berguna dalam penyelidikan sosial pada satu ketika. Salah satu contoh adalah pasaran ramalan, di mana peserta membeli dan kontrak perdagangan yang ditebus berdasarkan kepada hasil yang berlaku di dunia (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Pasaran meramalkan sering digunakan oleh syarikat-syarikat dan kerajaan untuk ramalan, dan pasaran meramalkan juga telah digunakan oleh penyelidik sosial untuk meramalkan replicability kajian yang diterbitkan dalam bidang psikologi (Dreber et al. 2015) .

Contoh kedua yang tidak sesuai dengan baik ke dalam skim pengkategorian saya ialah projek polymath, di mana penyelidik bekerjasama menggunakan blog dan wiki untuk membuktikan teorem matematik baru (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Projek polymath adalah dalam beberapa cara yang sama dengan Hadiah Netflix, tetapi dalam peserta projek polymath lebih aktif dibina di atas penyelesaian sebahagian daripada orang lain.

Satu contoh yang ketiga yang tidak sesuai dengan baik ke dalam skim pengkategorian saya ialah mobilizations bergantung kepada masa seperti Advanced Research Projects Agency Pertahanan (DARPA) Challenge Network (iaitu, Cabaran Red Balloon). Untuk maklumat lanjut mengenai masa ini mobilizations sensitif melihat Pickard et al. (2011) , Tang et al. (2011) , dan Rutherford et al. (2013) .

• Pengiraan Manusia (Bahagian 5.2)

Istilah "pengiraan manusia" keluar dari kerja yang dilakukan oleh ahli-ahli sains komputer dan memahami konteks di sebalik kajian ini akan meningkatkan keupayaan anda untuk memilih masalah yang mungkin bersetuju dengan ia. Untuk tugas-tugas tertentu, komputer begitu kuat dengan keupayaan jauh melebihi manusia walaupun pakar. Sebagai contoh, dalam permainan catur, komputer boleh mengalahkan walaupun yang terbaik tuan besar. Tetapi dan ini adalah kurang dihargai oleh sosial saintis untuk tugas-tugas lain, komputer sebenarnya lebih buruk daripada orang. Dalam erti kata lain, sekarang anda adalah lebih baik daripada yang komputer yang paling canggih pada tugas-tugas tertentu yang melibatkan pemprosesan imej, video, audio, dan teks. Oleh itu-seperti yang digambarkan oleh XKCD indah kartun terdapat tugas yang mudah untuk komputer dan keras untuk rakyat, tetapi ada juga tugas-tugas yang sukar untuk komputer dan mudah bagi orang-orang (Rajah 5.13). saintis komputer bekerja di ini keras-untuk-komputer-mudah-untuk-manusia tugas, oleh itu, menyedari bahawa mereka boleh termasuk manusia dalam proses pengiraan mereka. Berikut adalah cara Luis von Ahn (2005) menyifatkan pengiraan manusia apabila dia mula-mula mencipta istilah dalam disertasi beliau: ". Paradigma untuk menggunakan kuasa pemprosesan manusia untuk menyelesaikan masalah yang komputer tidak boleh lagi menyelesaikan"

Rajah 5.13: Untuk beberapa tugas komputer yang luar biasa, melebihi keupayaan pakar manusia. Tetapi, untuk tugas-tugas lain, manusia biasa boleh mengatasi sistem komputer walaupun canggih. masalah besar-besaran yang melibatkan tugas-tugas yang sukar untuk komputer dan mudah untuk manusia adalah sesuai untuk membuat pengiraan manusia. Digunakan mengikut terma yang dinyatakan di sini: http://xkcd.com/license.html

Dengan definisi ini FoldIt-yang saya sebut dalam bahagian mengenai terbuka panggilan-boleh dianggap sebagai projek pengiraan manusia. Walau bagaimanapun, saya memilih untuk mengkategorikan FoldIt sebagai gesaan terbuka kerana ia memerlukan kemahiran khusus dan ia mengambil penyelesaian terbaik menyumbang daripada menggunakan split-memohon menggabungkan strategi.

Untuk rawatan panjang buku yang sangat baik pengiraan manusia, dalam erti kata yang paling umum istilah, lihat Law and Ahn (2011) . Bab 3 Law and Ahn (2011) mempunyai perbincangan yang menarik untuk menggabungkan langkah yang lebih kompleks daripada yang dalam bab ini.

Istilah "split-memohon menggabungkan" telah digunakan oleh Wickham (2011) untuk menerangkan strategi untuk pengkomputeran statistik, tetapi ia sempurna menangkap proses banyak projek pengiraan manusia. Perpecahan-memohon menggabungkan strategi adalah sama dengan rangka kerja MapReduce yang dibangunkan di Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Dua projek pengiraan manusia bijak yang saya tidak mempunyai ruang untuk dibincangkan ialah Permainan ESP (Ahn and Dabbish 2004) dan reCAPTCHA (Ahn et al. 2008) . Kedua-dua projek mendapati cara-cara kreatif untuk memberi motivasi kepada peserta untuk memberikan label pada imej. Walau bagaimanapun, kedua-dua projek-projek ini juga menimbulkan persoalan etika kerana, tidak seperti Zoo Galaxy, peserta dalam ESP Permainan dan reCAPTCHA tidak tahu bagaimana data mereka telah digunakan (Lung 2012; Zittrain 2008) .

Diilhamkan oleh ESP Permainan, ramai penyelidik telah cuba untuk membangunkan orang lain "permainan dengan tujuan" (Ahn and Dabbish 2008) (iaitu, "Pengiraan berasaskan manusia permainan" (Pe-Than, Goh, and Lee 2015) ) yang boleh menjadi digunakan untuk menyelesaikan pelbagai masalah yang lain. Apa ini "permainan dengan tujuan" mempunyai persamaan adalah bahawa mereka cuba untuk membuat tugas-tugas yang terlibat dalam pengiraan manusia menyeronokkan. Oleh itu, ketika ESP Permainan berkongsi sama berpecah-memohon menggabungkan struktur dengan Zoo Galaxy, ia berbeza dalam bagaimana peserta didorong-fun vs keinginan untuk membantu sains.

Penerangan saya Zoo Galaxy tetaplah Nielsen (2012) , Adams (2012) , Clery (2011) , dan Hand (2010) , dan persembahan saya satu matlamat penyelidikan Zoo Galaxy telah dipermudahkan. Untuk maklumat lanjut mengenai sejarah klasifikasi galaksi dalam bidang astronomi dan bagaimana Galaxy Zoo meneruskan tradisi ini, lihat Masters (2012) dan Marshall, Lintott, and Fletcher (2015) . Bangunan di Zoo Galaxy, penyelidik siap Galaxy Zoo 2 yang mengumpul lebih daripada 60 juta lebih klasifikasi morfologi kompleks daripada sukarelawan (Masters et al. 2011) . Selanjutnya, mereka bercabang keluar ke dalam masalah di luar morfologi galaksi termasuk meneroka permukaan bulan, mencari planet, dan menyalin dokumen-dokumen lama. Pada masa ini, semua projek-projek mereka dikumpulkan di www.zooniverse.org (Cox et al. 2015) . Salah satu daripada projek-Snapshot Serengeti-memberikan bukti bahawa Galaxy Zoo-jenis projek pengelasan imej juga boleh dilakukan untuk penyelidikan alam sekitar (Swanson et al. 2016) .

Bagi penyelidik merancang untuk menggunakan pasaran buruh mikro-tugas (contohnya, Amazon Mekanikal Turk) untuk projek pengiraan manusia, Chandler, Paolacci, and Mueller (2013) dan Wang, Ipeirotis, and Provost (2015) memberikan nasihat yang baik kepada reka bentuk tugas dan isu-isu lain yang berkaitan.

Penyelidik berminat untuk mewujudkan apa yang saya telah dipanggil generasi kedua sistem pengiraan manusia (contohnya, sistem yang menggunakan label manusia untuk melatih model pembelajaran mesin) mungkin berminat dalam Shamir et al. (2014) (untuk contoh menggunakan audio) dan Cheng and Bernstein (2015) . Juga, projek-projek ini boleh dilakukan dengan panggilan terbuka, di mana penyelidik bersaing untuk mencipta model pembelajaran mesin dengan prestasi ramalan yang terbaik. Sebagai contoh, pasukan Zoo Galaxy berlari permohonan terbuka dan mendapati pendekatan baru yang mengatasi prestasi yang dibangunkan di Banerji et al. (2010) ; melihat Dieleman, Willett, and Dambre (2015) untuk maklumat lanjut.

• Panggilan Terbuka (Bahagian 5.3)

panggilan terbuka tidak baru. Malah, salah satu panggilan terbuka yang paling terkenal bermula sejak 1714 apabila Parlimen Britain menciptakan Longitud Hadiah untuk sesiapa sahaja yang boleh membangunkan satu cara untuk menentukan longitud kapal di laut. Masalahnya stumped banyak ahli sains daripada hari-hari, termasuk Isaac Newton, dan penyelesaian yang menang akhirnya dikemukakan oleh tukang jam dari kawasan desa yang mendekati masalah ini berbeza daripada ahli-ahli sains yang telah memberi tumpuan kepada satu penyelesaian yang entah bagaimana akan melibatkan astronomi (Sobel 1996) . Sebagai contoh ini menggambarkan, salah satu sebab bahawa panggilan terbuka dianggap berfungsi dengan baik adalah bahawa mereka menyediakan akses kepada orang yang mempunyai perspektif dan kemahiran yang berbeza (Boudreau and Lakhani 2013) . Lihat Hong and Page (2004) dan Page (2008) untuk lebih lanjut tentang nilai kepelbagaian dalam penyelesaian masalah.

Setiap satu daripada kes-kes panggilan terbuka dalam bab yang memerlukan sedikit penjelasan lanjut mengapa ia tergolong dalam kategori ini. Pertama, salah satu cara yang saya membezakan antara pengiraan manusia dan projek panggilan terbuka adalah sama ada output adalah purata semua penyelesaian (pengiraan manusia) atau penyelesaian yang terbaik (panggilan terbuka). The Netflix Hadiah agak rumit dalam hal ini kerana penyelesaian yang terbaik ternyata menjadi purata canggih penyelesaian individu, yang mendekati dipanggil penyelesaian ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Dari perspektif Netflix, bagaimanapun, semua mereka hanya perlu memilih penyelesaian yang terbaik.

Kedua, dengan beberapa definisi pengiraan manusia (contohnya, Von Ahn (2005) ), FoldIt boleh dianggap sebagai projek pengiraan manusia. Walau bagaimanapun, saya memilih untuk mengkategorikan FoldIt sebagai gesaan terbuka kerana ia memerlukan kemahiran khusus dan ia mengambil penyelesaian terbaik menyumbang, daripada menggunakan perpecahan-memohon menggabungkan strategi.

Akhir sekali, satu boleh berhujah bahawa Peer-to-Paten adalah satu contoh pengumpulan data diedarkan. Saya memilih untuk memasukkannya sebagai gesaan terbuka kerana ia mempunyai struktur pertandingan-suka dan hanya sumbangan terbaik digunakan (sedangkan dengan pengumpulan data diedarkan, idea sumbangan yang baik dan buruk adalah kurang jelas).

Untuk maklumat lanjut mengenai Hadiah Netflix, lihat Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , dan Feuerverger, He, and Khatri (2012) . Untuk maklumat lanjut mengenai FoldIt lihat, Cooper et al. (2010) , Andersen et al. (2012) , dan Khatib et al. (2011) ; penerangan saya FoldIt tetaplah penerangan dalam Nielsen (2012) , Bohannon (2009) , dan Hand (2010) . Untuk maklumat lanjut mengenai Peer-to-Paten, lihat Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , dan Noveck (2009) .

Sama dengan keputusan Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Bab 10 laporan keuntungan besar dalam produktiviti pemeriksa perumahan di New York City apabila pemeriksaan adalah berpandukan model ramalan. Di New York City, model-model ramalan telah dibina oleh pekerja bandar, tetapi dalam kes-kes lain, seseorang itu boleh membayangkan bahawa mereka boleh diwujudkan atau diperbaiki dengan panggilan terbuka (contoh, Glaeser et al. (2016) ). Walau bagaimanapun, salah satu kebimbangan utama dengan model ramalan yang digunakan untuk memperuntukkan sumber-sumber adalah bahawa model mempunyai potensi untuk mengukuhkan berat sebelah yang sedia ada. Ramai penyelidik sudah tahu "sampah masuk, sampah keluar", dan dengan model ramalan ia boleh menjadi "berat sebelah, bias keluar." Lihat Barocas and Selbst (2016) dan O'Neil (2016) untuk lebih lanjut tentang bahaya model ramalan dibina dengan data latihan berat sebelah.

Satu masalah yang mungkin menghalang kerajaan daripada menggunakan pertandingan terbuka adalah bahawa ia memerlukan pelepasan data, yang boleh membawa kepada pelanggaran privasi. Untuk maklumat lanjut mengenai privasi dan pembebasan data dalam panggilan terbuka melihat Narayanan, Huey, and Felten (2016) dan perbincangan dalam Bab 6.

• Pengumpulan data diedarkan (Seksyen 5.4)

Penerangan saya eBird tetaplah penerangan dalam Bhattacharjee (2005) dan Robbins (2013) . Untuk maklumat lanjut mengenai bagaimana penyelidik menggunakan model statistik untuk menganalisis data eBird melihat Hurlbert and Liang (2012) dan Fink et al. (2010) . Untuk maklumat lanjut mengenai sejarah sains warganegara dalam ornothology, lihat Greenwood (2007) .

Untuk maklumat lanjut mengenai Projek Jurnal Malawi, lihat Watkins and Swidler (2009) dan Kaler, Watkins, and Angotti (2015) . Dan untuk lebih lanjut tentang projek berkaitan di Afrika Selatan, lihat Angotti and Sennott (2015) . Untuk lebih banyak contoh penyelidikan menggunakan data dari Projek Malawi Jurnal melihat Kaler (2004) dan Angotti et al. (2014) .

• Mereka bentuk sendiri (Seksyen 5.5) anda

Pendekatan saya untuk menawarkan nasihat reka bentuk adalah induktif, berdasarkan contoh-contoh yang berjaya dan gagal projek kerjasama besar-besaran yang saya telah mendengar tentang. Terdapat juga aliran penyelidikan cuba untuk memohon teori psikologi sosial yang lebih umum untuk mereka bentuk komuniti dalam talian yang berkaitan dengan reka bentuk projek-projek kerjasama besar-besaran, lihat, sebagai contoh, Kraut et al. (2012) .

Mengenai peserta motivasi, ia sebenarnya agak sukar untuk mengetahui dengan tepat mengapa orang mengambil bahagian dalam projek-projek kerjasama besar-besaran (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Jika anda bercadang untuk memberi motivasi kepada peserta dengan pembayaran ke atas pasaran buruh mikro-tugas (contohnya, Amazon Mekanikal Turk) Kittur et al. (2013) menawarkan beberapa nasihat.

Mengenai membolehkan kejutan, untuk lebih banyak contoh-penemuan yang tidak dijangka keluar dari projek Zoouniverse, lihat Marshall, Lintott, and Fletcher (2015) .

Mengenai pengamalan beretika, beberapa pengenalan am yang baik kepada isu-isu yang terlibat adalah Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , dan Zittrain (2008) . Untuk isu khususnya yang berkaitan dengan isu-isu undang-undang dengan pekerja orang ramai, melihat Felstiner (2011) . O'Connor (2013) menangani soalan mengenai etika penyelidikan apabila peranan penyelidik dan peserta kabur. Untuk isu-isu yang berkaitan dengan data perkongsian sambil melindungi participats dalam projek-projek sains warganegara, lihat Bowser et al. (2014) . Kedua-dua Purdam (2014) dan Windt and Humphreys (2016) mempunyai beberapa perbincangan tentang isu-isu etika dalam pengumpulan data diedarkan. Akhirnya, kebanyakan projek mengakui sumbangan tetapi tidak memberi pengakuan penciptaan kepada peserta. Dalam Foldit, pemain Foldit sering disenaraikan sebagai pengarang (Cooper et al. 2010; Khatib et al. 2011) . Dalam projek-projek panggilan terbuka yang lain, penyumbang yang menang selalunya boleh menulis kertas menggambarkan penyelesaian mereka (contohnya, Bell, Koren, and Volinsky (2010) dan Dieleman, Willett, and Dambre (2015) ). Dalam keluarga Zoo Galaxy projek, penyumbang yang sangat aktif dan penting kadang-kadang dijemput untuk menjadi pengarang bersama di atas kertas. Sebagai contoh, Ivan Terentev dan Tim Matorny, dua peserta Radio Galaxy Zoo dari Rusia, adalah pengarang bersama pada salah satu kertas yang timbul daripada projek yang (Banfield et al. 2016; Galaxy Zoo 2016) .