5.2.2 Crowd-coding dari manifesto politik

Coding manifesto politik, sesuatu yang biasanya dilakukan oleh para ahli, dapat dilakukan oleh proyek perhitungan manusia menghasilkan reproduksi yang lebih besar dan fleksibilitas.

Mirip dengan Kebun Binatang Galaxy, ada banyak situasi di mana peneliti sosial ingin mengkodekan, mengklasifikasikan, atau melabeli gambar atau potongan teks. Contoh dari jenis penelitian ini adalah pengkodean manifesto politik. Selama pemilihan, partai politik menghasilkan manifesto yang menggambarkan posisi kebijakan mereka dan memandu filosofi. Sebagai contoh, inilah bagian dari manifesto Partai Buruh di Inggris dari 2010:

"Jutaan orang yang bekerja di pelayanan publik kami mewujudkan nilai-nilai terbaik dari Inggris, membantu memberdayakan orang untuk membuat sebagian besar hidup mereka sendiri sekaligus melindungi mereka dari risiko yang mereka tidak harus menanggung sendiri. Sama seperti kita harus berani tentang peran pemerintah dalam membuat pasar bekerja cukup, kita juga harus reformis berani pemerintah. "

Manifesto ini berisi data berharga bagi para ilmuwan politik, terutama mereka yang mempelajari pemilu dan dinamika perdebatan kebijakan. Untuk secara sistematis mengekstrak informasi dari manifesto ini, para peneliti menciptakan The Manifesto Project, yang mengumpulkan 4.000 manifesto dari hampir 1.000 partai di 50 negara dan kemudian mengorganisasikan para ilmuwan politik untuk secara sistematis mengkodekan mereka. Setiap kalimat dalam setiap manifesto dikodekan oleh seorang ahli menggunakan skema 56-kategori. Hasil dari upaya kolaboratif ini adalah kumpulan data masif yang merangkum informasi yang disematkan dalam manifesto ini, dan kumpulan data ini telah digunakan di lebih dari 200 makalah ilmiah.

Kenneth Benoit dan rekan (2016) memutuskan untuk mengambil tugas manifes coding yang sebelumnya telah dilakukan oleh para ahli dan mengubahnya menjadi proyek komputasi manusia. Akibatnya, mereka menciptakan proses pengkodean yang lebih dapat direproduksi dan lebih fleksibel, belum lagi lebih murah dan lebih cepat.

Bekerja dengan 18 manifesto yang dihasilkan selama enam pemilu baru-baru ini di Inggris, Benoit dan rekannya menggunakan strategi split-apply-combine dengan para pekerja dari pasar tenaga kerja microtask (Amazon Mechanical Turk dan CrowdFlower adalah contoh pasar tenaga kerja mikrotask; untuk lebih lanjut tentang pasar semacam itu , lihat Bab 4). Para peneliti mengambil setiap manifesto dan membaginya menjadi kalimat. Selanjutnya, seseorang menerapkan skema pengkodean untuk setiap kalimat. Secara khusus, pembaca diminta untuk mengklasifikasikan setiap kalimat sebagai mengacu pada kebijakan ekonomi (kiri atau kanan), kebijakan sosial (liberal atau konservatif), atau tidak (Gambar 5.5). Setiap kalimat dikodekan oleh sekitar lima orang yang berbeda. Akhirnya, peringkat ini digabungkan menggunakan model statistik yang memperhitungkan efek individu-penilai dan efek kesulitan-kalimat. Secara keseluruhan, Benoit dan rekan mengumpulkan 200.000 peringkat dari sekitar 1.500 orang.

Gambar 5.5: Skema pengkodean dari Benoit et al. (2016) . Pembaca diminta untuk mengklasifikasikan setiap kalimat sebagai mengacu pada kebijakan ekonomi (kiri atau kanan), kebijakan sosial (liberal atau konservatif), atau keduanya. Diadaptasi dari Benoit et al. (2016) , gambar 1.

Untuk menilai kualitas pengkodean kerumunan, Benoit dan rekan juga memiliki sekitar 10 ahli — para profesor dan mahasiswa pascasarjana dalam ilmu politik — menilai manifesto yang sama dengan menggunakan prosedur yang serupa. Meskipun peringkat dari anggota kerumunan lebih bervariasi daripada peringkat dari para ahli, peringkat kerumunan penonton memiliki kesepakatan yang luar biasa dengan peringkat ahli konsensus (gambar 5.6). Perbandingan ini menunjukkan bahwa, seperti Kebun Binatang Galaxy, proyek komputasi manusia dapat menghasilkan hasil berkualitas tinggi.

Gambar 5.6: Perkiraan ahli ( \(x\) -axis) dan perkiraan kerumunan ( \(y\) -axis) berada dalam perjanjian yang luar biasa ketika mengkode 18 manifesto pihak dari Inggris (Benoit et al. 2016) . Manifesto yang dikodekan berasal dari tiga partai politik (Konservatif, Partai Buruh, dan Demokrat Liberal) dan enam pemilu (1987, 1992, 1997, 2001, 2005, dan 2010). Diadaptasi dari Benoit et al. (2016) , gambar 3.

Berdasarkan hasil ini, Benoit dan rekan menggunakan sistem crowd-coding mereka untuk melakukan penelitian yang tidak mungkin dengan sistem pengkodean yang dijalankan oleh ahli yang digunakan oleh Proyek Manifesto. Sebagai contoh, Proyek Manifes tidak mengkode manifesto pada topik imigrasi karena itu bukan topik yang menonjol ketika skema pengkodean dikembangkan pada pertengahan 1980-an. Dan, pada titik ini, secara logistik tidak layak bagi Proyek Manifesto untuk kembali dan menyusun ulang manifesto mereka untuk menangkap informasi ini. Oleh karena itu, tampaknya para peneliti yang tertarik untuk mempelajari politik imigrasi tidak beruntung. Namun, Benoit dan rekannya dapat menggunakan sistem komputasi manusia mereka untuk melakukan pengkodean ini — disesuaikan dengan pertanyaan riset mereka — dengan cepat dan mudah.

Untuk mempelajari kebijakan imigrasi, mereka mengkodekan manifesto untuk delapan partai dalam pemilihan umum 2010 di Inggris. Setiap kalimat dalam setiap manifesto diberi kode apakah terkait dengan imigrasi, dan jika demikian, apakah itu pro-imigrasi, netral, atau anti-imigrasi. Dalam waktu 5 jam sejak peluncuran proyek, hasilnya masuk. Mereka telah mengumpulkan lebih dari 22.000 tanggapan dengan total biaya $ 360. Lebih lanjut, perkiraan dari kerumunan menunjukkan kesepakatan yang luar biasa dengan survei para ahli sebelumnya. Kemudian, sebagai ujian akhir, dua bulan kemudian, para peneliti mereproduksi kerumunan pengkodean mereka. Dalam beberapa jam, mereka telah membuat kumpulan data berkode kerumunan baru yang sangat cocok dengan kumpulan data asli mereka. Dengan kata lain, komputasi manusia memungkinkan mereka menghasilkan koding teks-teks politik yang sesuai dengan evaluasi ahli dan dapat direproduksi. Lebih lanjut, karena perhitungan manusia cepat dan murah, mudah bagi mereka untuk menyesuaikan pengumpulan data mereka dengan pertanyaan penelitian khusus mereka tentang imigrasi.