Apa yang perlu dibaca seterusnya

• Pengenalan (bahagian 5.1)

Kerjasama massa menggabungkan idea-idea dari sains warganegara , orang ramai , dan kecerdasan kolektif . Sains sains biasanya bermaksud melibatkan "warganegara" (iaitu, ahli sains) dalam proses saintifik; untuk lebih, lihat Crain, Cooper, and Dickinson (2014) dan Bonney et al. (2014) . Crowdsourcing biasanya bermaksud mengambil masalah yang biasanya diselesaikan dalam organisasi dan sebaliknya mengalih keluarnya kepada orang ramai; untuk lebih, lihat Howe (2009) . Kecerdasan kolektif biasanya bermaksud kumpulan individu yang bertindak secara kolektif dalam cara yang kelihatan pintar; untuk lebih, lihat Malone and Bernstein (2015) . Nielsen (2012) adalah pengenalan buku panjang kepada kuasa kerjasama massa untuk penyelidikan saintifik.

Terdapat banyak jenis kolaborasi jisim yang tidak sesuai dengan kemas dalam tiga kategori yang saya telah mencadangkan, dan saya fikir tiga dari mereka layak mendapat perhatian khusus kerana mereka mungkin berguna dalam penyelidikan sosial. Contohnya ialah pasaran ramalan, di mana para peserta membeli dan berdagang kontrak yang dapat ditebus berdasarkan hasil yang berlaku di dunia. Prediksi pasaran sering digunakan oleh firma dan kerajaan untuk peramalan, dan mereka juga telah digunakan oleh para penyelidik sosial untuk meramalkan (Dreber et al. 2015) kajian diterbitkan dalam psikologi (Dreber et al. 2015) . Untuk gambaran keseluruhan pasaran ramalan, lihat Wolfers and Zitzewitz (2004) dan Arrow et al. (2008) .

Contoh kedua yang tidak sesuai dengan skema kategorisasi saya ialah projek PolyMath, di mana para penyelidik bekerjasama menggunakan blog dan wiki untuk membuktikan teorem matematik baru. Projek PolyMath dalam beberapa cara sama dengan Hadiah Netflix, tetapi dalam peserta projek ini lebih aktif dibina pada penyelesaian separa orang lain. Untuk lebih lanjut mengenai projek PolyMath, lihat Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , dan Kloumann et al. (2016) .

Contoh ketiga yang tidak sesuai dengan skema pengkategorian saya ialah penggambaran masa yang bergantung pada masa seperti Cabaran Jaringan Agensi Projek Penyelidikan Maju Advanced (DARPA) (iaitu, Cabaran Belon Merah). Untuk lebih lanjut mengenai mobilisasi sensitif masa ini, lihat Pickard et al. (2011) , Tang et al. (2011) , dan Rutherford et al. (2013) .

• Pengiraan manusia (bahagian 5.2)

Istilah "pengiraan manusia" keluar dari kerja yang dilakukan oleh saintis komputer, dan memahami konteks di sebalik penyelidikan ini akan meningkatkan keupayaan anda untuk memilih masalah yang mungkin sesuai untuknya. Untuk tugas tertentu, komputer sangat berkuasa, dengan keupayaan yang jauh melebihi manusia pakar. Contohnya, dalam catur, komputer dapat mengalahkan bahkan para datuk terbaik. Tetapi-dan ini kurang dihargai oleh saintis sosial-untuk tugas-tugas lain, komputer sebenarnya jauh lebih buruk daripada orang-orang. Dengan kata lain, sekarang anda lebih baik daripada komputer yang paling canggih pada tugas tertentu yang melibatkan pemprosesan imej, video, audio, dan teks. Para saintis komputer yang bekerja pada tugas-tugas yang sukar untuk komputer-mudah-untuk-manusia itu menyedari bahawa mereka boleh memasukkan manusia dalam proses pengkomputeran mereka. Berikut adalah bagaimana Luis von Ahn (2005) menerangkan perhitungan manusia apabila dia mula-mula mencipta istilah dalam disertasinya: "paradigma untuk menggunakan kuasa pemprosesan manusia untuk menyelesaikan masalah yang belum dapat diselesaikan oleh komputer." Untuk rawatan panjang buku perhitungan manusia, dalam erti terma yang paling umum, lihat Law and Ahn (2011) - Law and Ahn (2011) .

Menurut definisi yang dicadangkan dalam Ahn (2005) Foldit-yang saya nyatakan dalam bahagian panggilan terbuka-boleh dianggap sebagai projek pengiraan manusia. Walau bagaimanapun, saya memilih untuk mengkategorikan Foldit sebagai panggilan terbuka kerana ia memerlukan kemahiran khusus (walaupun tidak semestinya latihan rasmi) dan ia mengambil penyelesaian yang terbaik menyumbang, bukannya menggunakan strategi split-apply-combine.

Istilah "split-apply-combine" digunakan oleh Wickham (2011) untuk menggambarkan strategi untuk pengkomputeran statistik, tetapi ia sempurna menangkap proses banyak projek perhitungan manusia. Strategi split-apply-combine adalah sama dengan rangka kerja MapReduce yang dibangunkan di Google; Untuk lebih lanjut mengenai MapReduce, lihat Dean and Ghemawat (2004) dan Dean and Ghemawat (2008) . Untuk maklumat lanjut mengenai arkitek pengkomputeran yang diedarkan, lihat Vo and Silvia (2016) . Bab 3 Law and Ahn (2011) - Law and Ahn (2011) mempunyai perbincangan mengenai projek-projek dengan langkah gabungan yang lebih rumit daripada yang ada dalam bab ini.

Dalam projek pengiraan manusia yang saya telah dibincangkan dalam bab ini, para peserta menyedari apa yang sedang berlaku. Sesetengah projek lain, bagaimanapun, berusaha untuk menangkap "kerja" yang sudah berlaku (mirip dengan eBird) dan tanpa kesadaran peserta. Lihat, sebagai contoh, Permainan ESP (Ahn and Dabbish 2004) dan reCAPTCHA (Ahn et al. 2008) . Walau bagaimanapun, kedua-dua projek ini juga menimbulkan persoalan etika kerana peserta tidak tahu bagaimana data mereka digunakan (Zittrain 2008; Lung 2012) .

Diilhamkan oleh Permainan ESP, banyak penyelidik telah berusaha untuk mengembangkan "permainan dengan tujuan" yang lain (Ahn and Dabbish 2008) (iaitu "permainan pengiraan berasaskan manusia" (Pe-Than, Goh, and Lee 2015) digunakan untuk menyelesaikan pelbagai masalah lain. Apa yang dimaksudkan dengan "permainan dengan tujuan" ini adalah bahawa mereka cuba membuat tugas-tugas yang terlibat dalam perhitungan manusia yang menyeronokkan. Oleh itu, semasa Permainan ESP berkongsi struktur perpecahan yang sama dengan Gabungan Galaxy Zoo, ia berbeza bagaimana para peserta bermotivasi-menyenangkan berbanding keinginan untuk membantu sains. Untuk lebih banyak permainan dengan tujuan, lihat Ahn and Dabbish (2008) .

Penerangan saya tentang Zoo Galaxy menarik Nielsen (2012) , Adams (2012) , Clery (2011) , dan Hand (2010) , dan persembahan penyelidikan Zoo Galaxy dipermudahkan. Untuk lebih lanjut mengenai sejarah klasifikasi galaksi dalam astronomi dan bagaimana Galaxy Zoo meneruskan tradisi ini, lihat Masters (2012) dan Marshall, Lintott, and Fletcher (2015) . Bangunan di Zoo Galaxy, para penyelidik menyelesaikan Galaxy Zoo 2 yang mengumpulkan lebih daripada 60 juta klasifikasi morfologi yang lebih kompleks daripada sukarelawan (Masters et al. 2011) . Selanjutnya, mereka berkembang menjadi masalah di luar morfologi galaksi, termasuk menerokai permukaan Bulan, mencari planet, dan menyalin dokumen lama. Pada masa ini, semua projek mereka dikumpulkan di laman web Zooniverse (Cox et al. 2015) . Salah satu projek-Snapshot Serengeti-menyediakan bukti bahawa projek pengkelasan imej jenis Zoo Galaxy juga boleh dilakukan untuk penyelidikan alam sekitar (Swanson et al. 2016) .

Bagi penyelidik yang merancang untuk menggunakan pasaran tenaga kerja microtask (contohnya, Amazon Mechanical Turk) untuk projek pengkomputeran manusia, Chandler, Paolacci, and Mueller (2013) dan J. Wang, Ipeirotis, and Provost (2015) menawarkan nasihat yang baik mengenai reka bentuk tugas dan isu berkaitan yang lain. Porter, Verdery, and Gaddis (2016) menawarkan contoh dan nasihat yang difokuskan khusus mengenai penggunaan pasaran buruh microtask untuk apa yang mereka panggil "pembesaran data." Garis antara pengumpulan data dan pengumpulan data agak kabur. Untuk maklumat lanjut mengenai mengumpul dan menggunakan label untuk pembelajaran di bawah seliaan untuk teks, lihat Grimmer and Stewart (2013) .

Penyelidik yang berminat untuk mewujudkan apa yang saya panggil sistem pengiraan manusia yang dibantu komputer (misalnya, sistem yang menggunakan label manusia untuk melatih model pembelajaran mesin) mungkin tertarik dengan Shamir et al. (2014) (untuk contoh menggunakan audio) dan Cheng and Bernstein (2015) . Juga, model pembelajaran mesin dalam projek-projek ini boleh diminta dengan panggilan terbuka, di mana para penyelidik bersaing untuk membuat model pembelajaran mesin dengan prestasi ramalan yang paling besar. Sebagai contoh, pasukan Galaxy Zoo menjalankan panggilan terbuka dan mendapati pendekatan baru yang mengatasi prestasi yang dibangunkan di Banerji et al. (2010) ; lihat Dieleman, Willett, and Dambre (2015) untuk maklumat lanjut.

• Panggilan terbuka (bahagian 5.3)

Panggilan terbuka bukanlah perkara baru. Sebenarnya, salah satu panggilan terbuka paling terkenal bermula pada tahun 1714 apabila Parlimen Britain mencipta The Longitud of the Prize untuk sesiapa sahaja yang dapat mengembangkan cara untuk menentukan bujur kapal di laut. Masalahnya menimbulkan banyak saintis terbesar pada zaman itu, termasuk Isaac Newton, dan penyelesaian pemenang akhirnya diajukan oleh John Harrison, pembuat jam dari desa yang mendekati masalah itu secara berbeza daripada saintis yang berfokus pada penyelesaian yang entah bagaimana melibatkan astronomi ; Untuk maklumat lanjut, lihat Sobel (1996) . Sebagai contoh ini menggambarkan, satu sebab mengapa panggilan terbuka dianggap berfungsi dengan baik adalah bahawa mereka menyediakan akses kepada orang yang mempunyai perspektif dan kemahiran yang berbeza (Boudreau and Lakhani 2013) . Lihat Hong and Page (2004) dan Page (2008) untuk lebih banyak nilai kepelbagaian dalam menyelesaikan masalah.

Setiap kes panggilan terbuka dalam bab memerlukan sedikit penjelasan lanjut mengapa ia tergolong dalam kategori ini. Pertama, satu cara yang saya membezakan antara pengiraan manusia dan projek panggilan terbuka adalah sama ada output adalah purata semua penyelesaian (pengiraan manusia) atau penyelesaian terbaik (panggilan terbuka). Hadiah Netflix agak rumit dalam hal ini kerana penyelesaian terbaik ternyata menjadi penyelesaian individu yang canggih, pendekatan yang disebut penyelesaian ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Dari perspektif Netflix, bagaimanapun, semua yang mereka perlu lakukan ialah memilih penyelesaian terbaik. Untuk maklumat lanjut mengenai Hadiah Netflix, lihat Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , dan Feuerverger, He, and Khatri (2012) .

Kedua, dengan beberapa definisi perhitungan manusia (contohnya, Ahn (2005) ), Foldit harus dianggap sebagai projek perhitungan manusia. Walau bagaimanapun, saya memilih untuk mengkategorikannya sebagai panggilan terbuka kerana ia memerlukan kemahiran khusus (walaupun tidak semestinya latihan khusus) dan ia mengambil penyelesaian yang terbaik, bukannya menggunakan strategi split-apply-combine. Untuk maklumat lanjut mengenai Foldit lihat, Cooper et al. (2010) , Khatib et al. (2011) , dan Andersen et al. (2012) ; Penerangan saya mengenai Foldit menerangkan deskripsi dalam Bohannon (2009) , Hand (2010) , dan Nielsen (2012) .

Akhirnya, seseorang boleh berhujah bahawa Peer-to-Patent adalah contoh pengumpulan data yang diedarkan. Saya memilih untuk menyertakannya sebagai panggilan terbuka kerana ia mempunyai struktur seperti peraduan dan hanya sumbangan terbaik yang digunakan, sedangkan dengan pengumpulan data yang diedarkan, idea sumbangan yang baik dan buruk kurang jelas. Untuk lebih lanjut mengenai Peer-to-Patent, lihat Noveck (2006) , Ledford (2007) , Noveck (2009) , dan Bestor and Hamp (2010) .

Dari segi menggunakan panggilan terbuka dalam penyelidikan sosial, hasil yang serupa dengan Glaeser et al. (2016) , dilaporkan dalam bab 10 Mayer-Schönberger and Cukier (2013) di mana New York City dapat menggunakan pemodelan ramalan untuk menghasilkan keuntungan besar dalam produktiviti pemeriksa perumahan. Di New York City, model ramalan ini dibina oleh pekerja bandar, tetapi dalam kes lain, seseorang dapat membayangkan bahawa ia boleh diwujudkan atau diperbaiki dengan panggilan terbuka (contohnya, Glaeser et al. (2016) ). Walau bagaimanapun, satu kebimbangan utama dengan model ramalan yang digunakan untuk memperuntukkan sumber adalah bahawa model-model ini berpotensi untuk memperkuatkan berat sebelah sedia ada. Ramai penyelidik sudah tahu "sampah dalam, sampah," dan dengan model ramalan ia boleh "bias, bias keluar." Lihat Barocas and Selbst (2016) dan O'Neil (2016) untuk lebih banyak bahaya model ramalan yang dibina dengan data latihan yang berat sebelah.

Satu masalah yang mungkin menghalang kerajaan daripada menggunakan pertandingan terbuka ialah ini memerlukan pembebasan data, yang boleh menyebabkan pelanggaran privasi. Untuk lebih lanjut mengenai privasi dan pembebasan data dalam panggilan terbuka, lihat Narayanan, Huey, and Felten (2016) dan perbincangan dalam bab 6.

Untuk lebih banyak perbezaan dan kesamaan antara ramalan dan penjelasan, lihat Breiman (2001) , Shmueli (2010) , Watts (2014) , dan Kleinberg et al. (2015) . Untuk lebih lanjut mengenai peranan ramalan dalam penyelidikan sosial, lihat Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , dan Yarkoni and Westfall (2017) .

Untuk mengkaji semula projek panggilan terbuka dalam biologi, termasuk nasihat reka bentuk, lihat Saez-Rodriguez et al. (2016) .

• Pengumpulan data yang diagihkan (seksyen 5.4)

Penerangan saya mengenai eBird menarik kepada deskripsi dalam Bhattacharjee (2005) , Robbins (2013) , dan Sullivan et al. (2014) . Untuk lebih lanjut mengenai bagaimana penyelidik menggunakan model statistik untuk menganalisis data eBird lihat Fink et al. (2010) dan Hurlbert and Liang (2012) . Untuk maklumat lanjut mengenai anggaran kemahiran peserta eBird, lihat Kelling, Johnston, et al. (2015) . Untuk lebih lanjut mengenai sejarah sains warganegara dalam ornithology, lihat Greenwood (2007) .

Untuk lebih lanjut mengenai Projek Jurnal Malawi, lihat Watkins and Swidler (2009) dan Kaler, Watkins, and Angotti (2015) . Untuk lebih banyak projek berkaitan di Afrika Selatan, lihat Angotti and Sennott (2015) . Untuk lebih banyak contoh penyelidikan menggunakan data dari Projek Jurnal Malawi lihat Kaler (2004) dan Angotti et al. (2014) .

• Merancang sendiri (bahagian 5.5)

Pendekatan saya untuk menawarkan nasihat reka bentuk adalah induktif, berdasarkan contoh projek kerjasama massa yang berjaya dan gagal yang pernah saya dengar. Terdapat juga aliran percubaan penyelidikan untuk menerapkan teori psikologi sosial yang lebih umum untuk mereka bentuk komuniti dalam talian yang berkaitan dengan reka bentuk projek kerjasama massa, lihat, misalnya, Kraut et al. (2012) .

Mengenai peserta motivasi, sebenarnya agak sukar untuk mengetahui dengan tepat mengapa orang mengambil bahagian dalam projek kerjasama massa (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Sekiranya anda merancang untuk memberi motivasi kepada peserta dengan bayaran pada pasaran buruh microtask (contohnya, Amazon Mechanical Turk), Kittur et al. (2013) menawarkan nasihat.

Berhubung dengan kejutan, untuk lebih banyak contoh penemuan yang tidak dijangka keluar dari projek Zooiverse, lihat Marshall, Lintott, and Fletcher (2015) .

Mengenai etika, beberapa perkenalan umum yang baik terhadap isu-isu yang terlibat adalah Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , dan Zittrain (2008) . Untuk isu yang berkaitan dengan isu undang-undang dengan pekerja ramai, lihat Felstiner (2011) . O'Connor (2013) membahas soalan tentang pengawasan etika penyelidikan apabila peranan penyelidik dan peserta mengaburkan. Untuk isu yang berkaitan dengan perkongsian data sambil melindungi peserta dalam projek sains warganegara, lihat Bowser et al. (2014) . Kedua-dua Purdam (2014) dan Windt and Humphreys (2016) mempunyai beberapa perbincangan mengenai isu-isu etika dalam pengumpulan data yang diedarkan. Akhirnya, kebanyakan projek mengakui sumbangan tetapi tidak memberikan kredit pengarang kepada peserta. Dalam Foldit, pemain sering disenaraikan sebagai pengarang (Cooper et al. 2010; Khatib et al. 2011) . Dalam projek panggilan terbuka yang lain, penyumbang yang menang sering boleh menulis sebuah kertas yang menerangkan penyelesaian mereka (misalnya, Bell, Koren, and Volinsky (2010) dan Dieleman, Willett, and Dambre (2015) ).