Apa yang harus dibaca selanjutnya

• Pendahuluan (bagian 5.1)

Kolaborasi massal memadukan ide-ide dari sains warga , crowdsourcing , dan kecerdasan kolektif . Ilmu pengetahuan masyarakat biasanya berarti melibatkan "warga negara" (yaitu, bukan peramal) dalam proses ilmiah; untuk lebih lanjut, lihat Crain, Cooper, and Dickinson (2014) dan Bonney et al. (2014) . Crowdsourcing biasanya berarti mengambil masalah yang biasanya dipecahkan dalam suatu organisasi dan alih-alih menyerahkannya kepada orang banyak; untuk lebih lanjut, lihat Howe (2009) . Kecerdasan kolektif biasanya berarti kelompok-kelompok individu yang bertindak secara kolektif dengan cara yang tampak cerdas; untuk lebih lanjut, lihat Malone and Bernstein (2015) . Nielsen (2012) adalah pengantar sepanjang buku untuk kekuatan kolaborasi massa untuk penelitian ilmiah.

Ada banyak jenis kolaborasi massa yang tidak cocok dengan tiga kategori yang saya usulkan, dan saya pikir tiga dari ini layak mendapat perhatian khusus karena mereka mungkin berguna dalam penelitian sosial. Salah satu contoh adalah pasar prediksi, di mana peserta membeli dan memperdagangkan kontrak yang dapat ditukarkan berdasarkan hasil yang terjadi di dunia. Memprediksi pasar sering digunakan oleh perusahaan dan pemerintah untuk peramalan, dan mereka juga telah digunakan oleh peneliti sosial untuk memprediksi (Dreber et al. 2015) studi yang diterbitkan dalam psikologi (Dreber et al. 2015) . Untuk ikhtisar pasar prediksi, lihat Wolfers and Zitzewitz (2004) dan Arrow et al. (2008) .

Contoh kedua yang tidak cocok dengan skema kategorisasi saya adalah proyek PolyMath, di mana peneliti berkolaborasi menggunakan blog dan wiki untuk membuktikan teorema matematika baru. Proyek PolyMath dalam beberapa hal mirip dengan Hadiah Netflix, tetapi dalam proyek ini peserta lebih aktif membangun solusi parsial orang lain. Untuk lebih lanjut tentang proyek PolyMath, lihat Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , dan Kloumann et al. (2016) .

Contoh ketiga yang tidak cocok dengan skema kategorisasi saya adalah mobilisasi tergantung waktu seperti Tantangan Jaringan Proyek Penelitian Pertahanan Terdepan (DARPA) Network Challenge (yaitu, Red Balloon Challenge). Untuk lebih lanjut tentang mobilisasi yang peka waktu ini, lihat Pickard et al. (2011) , Tang et al. (2011) , dan Rutherford et al. (2013) .

• Komputasi manusia (bagian 5.2)

Istilah "perhitungan manusia" keluar dari pekerjaan yang dilakukan oleh ilmuwan komputer, dan memahami konteks di balik penelitian ini akan meningkatkan kemampuan Anda untuk memilih masalah yang mungkin cocok untuk itu. Untuk tugas-tugas tertentu, komputer sangat kuat, dengan kemampuan yang jauh melebihi dari bahkan manusia yang ahli. Misalnya, dalam catur, komputer dapat mengalahkan bahkan grandmaster terbaik. Tetapi — dan ini kurang dihargai oleh para ilmuwan sosial — untuk tugas-tugas lain, komputer sebenarnya jauh lebih buruk daripada manusia. Dengan kata lain, saat ini Anda lebih baik daripada komputer paling canggih pada tugas-tugas tertentu yang melibatkan pemrosesan gambar, video, audio, dan teks. Ilmuwan komputer yang mengerjakan tugas-tugas yang sulit untuk komputer-mudah-untuk-manusia ini menyadari bahwa mereka dapat memasukkan manusia dalam proses komputasi mereka. Beginilah cara Luis von Ahn (2005) mendeskripsikan komputasi manusia ketika ia pertama kali menciptakan istilah dalam disertasinya: “paradigma untuk memanfaatkan kekuatan pemrosesan manusia untuk memecahkan masalah yang belum dapat dipecahkan oleh komputer.” Untuk pengobatan komputasi manusia sepanjang buku, di pengertian paling umum dari istilah, lihat Law and Ahn (2011) .

Menurut definisi yang diajukan dalam Ahn (2005) Foldit — yang saya jelaskan di bagian tentang panggilan terbuka — dapat dianggap sebagai proyek komputasi manusia. Namun, saya memilih untuk mengkategorikan Foldit sebagai panggilan terbuka karena memerlukan keahlian khusus (meskipun tidak harus pelatihan formal) dan dibutuhkan solusi terbaik yang disumbangkan, daripada menggunakan strategi split-apply-combine.

Istilah "split-apply-combine" digunakan oleh Wickham (2011) untuk mendeskripsikan strategi untuk komputasi statistik, tetapi dengan sempurna menangkap proses banyak proyek komputasi manusia. Strategi split-apply-combine serupa dengan kerangka MapReduce yang dikembangkan di Google; untuk lebih lanjut tentang MapReduce, lihat Dean and Ghemawat (2004) dan Dean and Ghemawat (2008) . Untuk lebih lanjut tentang arsitektur komputasi terdistribusi lainnya, lihat Vo and Silvia (2016) . Bab 3 Law and Ahn (2011) memiliki diskusi tentang proyek dengan langkah penggabungan yang lebih rumit daripada yang ada dalam bab ini.

Dalam proyek komputasi manusia yang telah saya bahas dalam bab ini, para peserta menyadari apa yang sedang terjadi. Beberapa proyek lain, bagaimanapun, berusaha untuk menangkap "pekerjaan" yang sudah terjadi (mirip dengan eBird) dan tanpa kesadaran peserta. Lihat, misalnya, Permainan ESP (Ahn and Dabbish 2004) dan reCAPTCHA (Ahn et al. 2008) . Namun, kedua proyek ini juga menimbulkan pertanyaan etis karena peserta tidak tahu bagaimana data mereka digunakan (Zittrain 2008; Lung 2012) .

Terinspirasi oleh ESP Game, banyak peneliti telah mencoba untuk mengembangkan "permainan dengan tujuan lain" (Ahn and Dabbish 2008) (mis., "Game komputasi berbasis manusia" (Pe-Than, Goh, and Lee 2015) ) yang dapat digunakan untuk memecahkan berbagai masalah lainnya. Apa kesamaan dari "permainan dengan tujuan" adalah bahwa mereka mencoba membuat tugas yang terlibat dalam komputasi manusia menjadi menyenangkan. Jadi, sementara Permainan ESP berbagi struktur split-apply-combine yang sama dengan Kebun Binatang Galaxy, itu berbeda dalam bagaimana peserta termotivasi — kesenangan versus keinginan untuk membantu sains. Untuk lebih lanjut tentang permainan dengan tujuan, lihat Ahn and Dabbish (2008) .

Gambaran saya tentang Kebun Binatang Galaxy mengacu pada Nielsen (2012) , Adams (2012) , Clery (2011) , dan Hand (2010) , dan presentasi saya tentang tujuan penelitian Kebun Binatang Galaxy disederhanakan. Untuk lebih lanjut tentang sejarah klasifikasi galaksi dalam astronomi dan bagaimana Kebun Binatang Galaxy melanjutkan tradisi ini, lihat Masters (2012) dan Marshall, Lintott, and Fletcher (2015) . Membangun Kebun Binatang Galaxy, para peneliti menyelesaikan Kebun Binatang Galaxy 2 yang mengumpulkan lebih dari 60 juta klasifikasi morfologi yang lebih kompleks dari para sukarelawan (Masters et al. 2011) . Lebih jauh lagi, mereka bercabang menjadi masalah di luar morfologi galaksi, termasuk menjelajahi permukaan Bulan, mencari planet, dan menyalin dokumen lama. Saat ini, semua proyek mereka dikumpulkan di situs web Zooniverse (Cox et al. 2015) . Salah satu proyek — Snapshot Serengeti — memberikan bukti bahwa proyek klasifikasi citra jenis Kebun Binatang Galaxy juga dapat dilakukan untuk penelitian lingkungan (Swanson et al. 2016) .

Bagi para periset yang berencana untuk menggunakan pasar tenaga kerja microtask (misalnya, Amazon Mechanical Turk) untuk proyek perhitungan manusia, Chandler, Paolacci, and Mueller (2013) dan J. Wang, Ipeirotis, and Provost (2015) menawarkan nasihat yang baik tentang desain tugas dan masalah terkait lainnya. Porter, Verdery, and Gaddis (2016) menawarkan contoh dan saran yang difokuskan secara khusus pada penggunaan pasar tenaga kerja mikrotask untuk apa yang mereka sebut "augmentasi data." Garis antara data augmentasi dan pengumpulan data agak kabur. Untuk lebih lanjut tentang mengumpulkan dan menggunakan label untuk pembelajaran yang diawasi untuk teks, lihat Grimmer and Stewart (2013) .

Peneliti tertarik untuk membuat apa yang saya sebut komputer sistem komputasi manusia-dibantu (misalnya, sistem yang menggunakan label manusia untuk melatih model pembelajaran mesin) mungkin tertarik pada Shamir et al. (2014) (untuk contoh menggunakan audio) dan Cheng and Bernstein (2015) . Juga, model pembelajaran mesin dalam proyek-proyek ini dapat diminta dengan panggilan terbuka, di mana peneliti berkompetisi untuk menciptakan model pembelajaran mesin dengan kinerja prediktif terbesar. Sebagai contoh, tim Kebun Binatang Galaxy berlari panggilan terbuka dan menemukan pendekatan baru yang mengungguli salah satu yang dikembangkan di Banerji et al. (2010) ; lihat Dieleman, Willett, and Dambre (2015) untuk detailnya.

• Panggilan terbuka (bagian 5.3)

Panggilan terbuka bukanlah hal baru. Bahkan, salah satu panggilan terbuka yang paling terkenal tanggal kembali ke 1714 ketika Parlemen Inggris menciptakan The Longitude Prize untuk siapa pun yang bisa mengembangkan cara untuk menentukan garis bujur sebuah kapal di laut. Masalahnya membingungkan banyak ilmuwan terbesar di masa itu, termasuk Isaac Newton, dan solusi yang menang akhirnya diserahkan oleh John Harrison, pembuat jam dari pedesaan yang mendekati masalah itu secara berbeda dari para ilmuwan yang fokus pada solusi yang entah bagaimana akan melibatkan astronomi. ; untuk informasi lebih lanjut, lihat Sobel (1996) . Seperti contoh ini mengilustrasikan, salah satu alasan bahwa panggilan terbuka dianggap bekerja dengan baik adalah bahwa mereka menyediakan akses ke orang-orang dengan perspektif dan keterampilan yang berbeda (Boudreau and Lakhani 2013) . Lihat Hong and Page (2004) dan Page (2008) untuk lebih lanjut tentang nilai keragaman dalam pemecahan masalah.

Setiap kasus panggilan terbuka di bab ini membutuhkan sedikit penjelasan lebih lanjut mengapa itu termasuk dalam kategori ini. Pertama, salah satu cara yang saya membedakan antara komputasi manusia dan proyek panggilan terbuka adalah apakah output rata-rata dari semua solusi (perhitungan manusia) atau solusi terbaik (panggilan terbuka). Hadiah Netflix agak rumit dalam hal ini karena solusi terbaik ternyata merupakan solusi rata-rata yang canggih, sebuah pendekatan yang disebut solusi ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Namun, dari perspektif Netflix, yang harus mereka lakukan hanyalah memilih solusi terbaik. Untuk lebih lanjut tentang Hadiah Netflix, lihat Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , dan Feuerverger, He, and Khatri (2012) .

Kedua, oleh beberapa definisi perhitungan manusia (misalnya, Ahn (2005) ), Foldit harus dianggap sebagai proyek komputasi manusia. Namun, saya memilih untuk mengategorikannya sebagai panggilan terbuka karena memerlukan keahlian khusus (meskipun tidak harus pelatihan khusus) dan dibutuhkan solusi terbaik, daripada menggunakan strategi split-apply-combine. Untuk lebih lanjut tentang Foldit see, Cooper et al. (2010) , Khatib et al. (2011) , dan Andersen et al. (2012) ; deskripsi saya tentang Foldit mengacu pada deskripsi di Bohannon (2009) , Hand (2010) , dan Nielsen (2012) .

Akhirnya, seseorang dapat menyatakan bahwa Peer-to-Patent adalah contoh pengumpulan data terdistribusi. Saya memilih untuk memasukkannya sebagai panggilan terbuka karena memiliki struktur seperti kontes dan hanya kontribusi terbaik yang digunakan, sedangkan dengan pengumpulan data terdistribusi, gagasan tentang kontribusi yang baik dan buruk kurang jelas. Untuk lebih lanjut tentang Peer-to-Patent, lihat Noveck (2006) , Ledford (2007) , Noveck (2009) , dan Bestor and Hamp (2010) .

Dalam hal menggunakan panggilan terbuka dalam penelitian sosial, hasilnya mirip dengan Glaeser et al. (2016) , dilaporkan dalam bab 10 Mayer-Schönberger and Cukier (2013) mana New York City dapat menggunakan pemodelan prediktif untuk menghasilkan keuntungan besar dalam produktivitas inspektur perumahan. Di New York City, model prediksi ini dibangun oleh karyawan kota, tetapi dalam kasus lain, orang dapat membayangkan bahwa mereka dapat dibuat atau ditingkatkan dengan panggilan terbuka (misalnya, Glaeser et al. (2016) ). Namun, satu perhatian utama dengan model prediktif yang digunakan untuk mengalokasikan sumber daya adalah bahwa model-model ini memiliki potensi untuk memperkuat bias yang ada. Banyak peneliti sudah tahu "sampah di, sampah keluar," dan dengan model prediksi itu bisa "bias, bias keluar." Lihat Barocas and Selbst (2016) dan O'Neil (2016) untuk lebih lanjut tentang bahaya model prediktif dibangun dengan data pelatihan yang bias.

Satu masalah yang mungkin mencegah pemerintah menggunakan kontes terbuka adalah bahwa ini membutuhkan rilis data, yang dapat menyebabkan pelanggaran privasi. Untuk informasi lebih lanjut tentang privasi dan rilis data dalam panggilan terbuka, lihat Narayanan, Huey, and Felten (2016) dan diskusi dalam bab 6.

Untuk lebih lanjut tentang perbedaan dan persamaan antara prediksi dan penjelasan, lihat Breiman (2001) , Shmueli (2010) , Watts (2014) , dan Kleinberg et al. (2015) . Untuk lebih lanjut tentang peran prediksi dalam penelitian sosial, lihat Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , dan Yarkoni and Westfall (2017) .

Untuk tinjauan proyek panggilan terbuka dalam biologi, termasuk saran desain, lihat Saez-Rodriguez et al. (2016) .

• Pengumpulan data terdistribusi (bagian 5.4)

Deskripsi saya tentang eBird mengacu pada deskripsi dalam Bhattacharjee (2005) , Robbins (2013) , dan Sullivan et al. (2014) . Untuk lebih lanjut tentang bagaimana peneliti menggunakan model statistik untuk menganalisis data eBird lihat Fink et al. (2010) dan Hurlbert and Liang (2012) . Untuk lebih lanjut tentang memperkirakan keterampilan peserta eBird, lihat Kelling, Johnston, et al. (2015) . Untuk lebih lanjut tentang sejarah sains warga dalam ornitologi, lihat Greenwood (2007) .

Untuk lebih lanjut tentang Proyek Jurnal Malawi, lihat Watkins and Swidler (2009) dan Kaler, Watkins, and Angotti (2015) . Untuk informasi lebih lanjut tentang proyek terkait di Afrika Selatan, lihat Angotti and Sennott (2015) . Untuk lebih banyak contoh penelitian yang menggunakan data dari Proyek Jurnal Malawi, lihat Kaler (2004) dan Angotti et al. (2014) .

• Merancang sendiri (bagian 5.5)

Pendekatan saya untuk menawarkan saran desain bersifat induktif, berdasarkan contoh proyek kolaborasi massa yang sukses dan gagal yang pernah saya dengar. Ada juga aliran upaya penelitian untuk menerapkan teori psikologi sosial yang lebih umum untuk merancang komunitas online yang relevan dengan desain proyek kolaborasi massal, lihat, misalnya, Kraut et al. (2012) .

Mengenai memotivasi peserta, sebenarnya cukup sulit untuk mencari tahu persis mengapa orang berpartisipasi dalam proyek kolaborasi massal (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Jika Anda berencana untuk memotivasi peserta dengan pembayaran pada pasar tenaga kerja microtask (misalnya, Amazon Mechanical Turk), Kittur et al. (2013) menawarkan beberapa saran.

Mengenai kemungkinan kejutan, untuk lebih banyak contoh penemuan tak terduga yang keluar dari proyek Zooiverse, lihat Marshall, Lintott, and Fletcher (2015) .

Mengenai menjadi etis, beberapa pengantar umum yang baik untuk isu-isu yang terlibat adalah Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , dan Zittrain (2008) . Untuk masalah yang secara khusus terkait dengan masalah hukum dengan karyawan kerumunan, lihat Felstiner (2011) . O'Connor (2013) membahas pertanyaan tentang pengawasan etis dari penelitian ketika peran peneliti dan peserta blur. Untuk masalah yang terkait dengan berbagi data sambil melindungi peserta dalam proyek sains warga, lihat Bowser et al. (2014) . Baik Purdam (2014) dan Windt and Humphreys (2016) memiliki beberapa diskusi tentang masalah etika dalam pengumpulan data terdistribusi. Akhirnya, sebagian besar proyek mengakui kontribusi tetapi tidak memberikan kredit kepenulisan kepada peserta. Dalam Foldit, para pemain sering terdaftar sebagai penulis (Cooper et al. 2010; Khatib et al. 2011) . Dalam proyek panggilan terbuka lainnya, kontributor yang menang sering dapat menulis makalah yang menjelaskan solusi mereka (misalnya, Bell, Koren, and Volinsky (2010) dan Dieleman, Willett, and Dambre (2015) ).