5.2.2 Crowd-coding dari manifesto politik

Coding manifesto politik, sesuatu yang biasanya dilakukan oleh para ahli, dapat dilakukan oleh proyek perhitungan manusia menghasilkan reproduksi yang lebih besar dan fleksibilitas.

Mirip dengan Galaxy Zoo, ada banyak situasi di mana peneliti sosial ingin kode, mengklasifikasikan, atau label gambar atau bagian teks. Contoh dari jenis penelitian ini adalah coding dari manifesto politik. Selama pemilu, partai politik menghasilkan manifesto menggambarkan posisi kebijakan mereka dan membimbing filsafat. Misalnya, inilah sepotong manifesto Partai Buruh di Inggris dari 2010:

"Jutaan orang yang bekerja di pelayanan publik kami mewujudkan nilai-nilai terbaik dari Inggris, membantu memberdayakan orang untuk membuat sebagian besar hidup mereka sendiri sekaligus melindungi mereka dari risiko yang mereka tidak harus menanggung sendiri. Sama seperti kita harus berani tentang peran pemerintah dalam membuat pasar bekerja cukup, kita juga harus reformis berani pemerintah. "

manifesto ini berisi data berharga bagi para ilmuwan politik, khususnya yang pemilihan belajar dan dinamika perdebatan kebijakan. Dalam rangka untuk secara sistematis mengekstrak informasi dari manifesto tersebut, peneliti menciptakan The Manifesto Project , yang diselenggarakan ilmuwan politik untuk kode 4.000 manifesto dari hampir 1.000 pihak di 50 negara. Setiap kalimat dalam setiap manifesto telah dikodekan oleh seorang ahli menggunakan skema 56-kategori. Hasil dari upaya kolaboratif ini adalah dataset besar meringkas informasi tertanam dalam manifesto ini, dan dataset ini telah digunakan di lebih dari 200 karya ilmiah.

Kenneth Benoit dan rekan (2015) memutuskan untuk mengambil manifesto coding tugas yang sebelumnya telah dilakukan oleh para ahli dan mengubahnya menjadi sebuah proyek perhitungan manusia. Akibatnya, mereka menciptakan sebuah proses coding yang lebih direproduksi dan lebih fleksibel, belum lagi lebih murah dan lebih cepat.

Bekerja dengan 18 manifesto yang dihasilkan selama enam pemilu baru-baru ini di Inggris, Benoit dan koleganya menggunakan split-menerapkan-menggabungkan strategi dengan pekerja dari pasar tenaga kerja mikro-tugas (Amazon Mechanical Turk dan CrowdFlower adalah contoh dari pasar tenaga kerja mikro-tugas; lebih pada pasar tenaga kerja mikro-tugas, lihat Bab 4). Para peneliti mengambil masing-masing manifesto dan membaginya menjadi kalimat. Selanjutnya, wisatawan manusia diaplikasikan setiap kalimat. Secara khusus, jika kalimat yang terlibat pernyataan kebijakan, itu kode dua dimensi: ekonomi (dari sangat kiri ke kanan sangat) dan sosial (dari liberal konservatif) (Gambar 5.5). Setiap kalimat diberi kode oleh sekitar 5 orang yang berbeda. Akhirnya, peringkat tersebut digabungkan dengan menggunakan model statistik yang dicatat baik efek penilai individual dan kesulitan efek kalimat. Dalam semua, Benoit dan rekan mengumpulkan 200.000 penilaian dari sekitar 1.500 pekerja.

Gambar 5.5: Coding skema dari Benoit et al. (2015) (Gambar 1).

Dalam rangka untuk menilai kualitas coding kerumunan, Benoit dan rekan juga memiliki sekitar 10 ahli-profesor dan mahasiswa pascasarjana Ilmu Politik-tingkat manifesto yang sama menggunakan prosedur yang sama. Meskipun peringkat dari anggota kerumunan yang lebih bervariasi daripada peringkat dari para ahli, konsensus Peringkat kerumunan memiliki kesepakatan yang luar biasa dengan ahli konsensus rating (Gambar 5.6). Perbandingan ini menunjukkan bahwa, seperti dengan Galaxy Zoo, proyek perhitungan manusia dapat menghasilkan hasil yang berkualitas tinggi.

Gambar 5.6: Perkiraan Expert (x-axis) dan estimasi kerumunan (y-axis) dalam perjanjian luar biasa ketika coding 18 manifesto partai dari Britania Raya (Benoit et al. 2015) . Manifesto kode berasal dari tiga partai politik (Konservatif, Partai Buruh, Liberal Demokrat) dan enam pemilu (1987, 1992, 1997, 2001, 2005, 2010).

Membangun hasil ini, Benoit dan koleganya menggunakan sistem crowd-coding mereka untuk melakukan penelitian yang tidak mungkin dengan Proyek Manifesto. Misalnya, proyek Manifesto tidak kode manifesto pada topik imigrasi karena itu bukan topik yang menonjol ketika skema coding dikembangkan pada pertengahan 1980-an. Dan, pada titik ini, itu adalah logistik tidak layak untuk Proyek Manifesto untuk kembali dan re-kode manifesto mereka untuk menangkap informasi ini. Oleh karena itu, akan terlihat bahwa peneliti tertarik untuk mempelajari politik imigrasi beruntung. Namun, Benoit dan rekan mampu untuk menggunakan sistem perhitungan manusia mereka untuk melakukan coding-disesuaikan ini untuk penelitian mereka pertanyaan-cepat dan mudah.

Dalam rangka untuk mempelajari kebijakan imigrasi, mereka kode manifesto untuk delapan partai di pemilu 2010 di Britania Raya. Setiap kalimat dalam setiap manifesto diberi kode, apakah itu terkait dengan imigrasi, dan jika demikian, apakah itu pro-imigrasi, netral, atau anti-imigrasi. Dalam waktu 5 jam meluncurkan proyek mereka, hasilnya di. Mereka telah mengumpulkan lebih dari 22.000 respon dengan total biaya sebesar $ 360. Selanjutnya, perkiraan dari kerumunan menunjukkan kesepakatan yang luar biasa dengan survei sebelumnya ahli. Kemudian, sebagai ujian terakhir, dua bulan kemudian, para peneliti direproduksi mereka kerumunan-coding. Dalam beberapa jam, mereka telah menciptakan sebuah dataset kerumunan-kode baru yang erat cocok asli mereka kerumunan-kode set data. Dengan kata lain, perhitungan manusia memungkinkan mereka untuk menghasilkan coding teks politik yang setuju dengan evaluasi ahli dan direproduksi. Selanjutnya, karena perhitungan manusia cepat dan murah, itu mudah bagi mereka untuk menyesuaikan pengumpulan data mereka untuk pertanyaan penelitian yang spesifik mereka tentang imigrasi.