5.2.2 siyasi manifestolar Crowd-kodlama

Siyasi manifestolar, tipik uzmanlar tarafından yapılan bir şey Kodlama, daha fazla tekrarlanabilirlik ve esneklik ile sonuçlanan bir insan hesaplama projesi ile yapılabilir.

Galaxy Hayvanat Bahçesi'ne benzer şekilde, sosyal araştırmacıların bir görüntü veya metin parçasını kodlamak, sınıflandırmak veya etiketlemek istedikleri birçok durum vardır. Bu tür bir araştırmanın örneği, politik manifestoların kodlanmasıdır. Seçimler sırasında siyasi partiler politika konumlarını ve rehberlik felsefelerini anlatan manifestolar üretirler. Örneğin, 2010'da Birleşik Krallık'ta İşçi Partisinin manifestosunun bir parçası:

"Bizim kamu hizmetlerinde çalışan milyonlarca insan kendi başlarına katlanmak zorunda olmamalıdır risklerden onları koruyarak kendi hayatlarını en iyi şekilde insanlara güçlendirmek yardımcı İngiltere'nin en iyi değerleri taşıyan. Biz piyasaların adil iş yapma hükümetin rolü hakkında daha cesur olması gerektiği gibi, biz de hükümetin cesur reformcuları olması gerekir. "

Bu manifestolar, siyaset bilimcileri için, özellikle seçimleri okuyanlar ve politika tartışmalarının dinamikleri için değerli veriler içermektedir. Bu manifestolardan elde edilen bilgileri sistematik olarak ayıklamak için araştırmacılar, 50 ülkede yaklaşık 1.000 partiden 4.000 manifesto toplayan Manifesto Projesi'ni oluşturdular ve daha sonra bunları sistematik olarak kodlamak için siyaset bilimcileri örgütlediler. Her manifestodaki her bir cümle, 56 kategorili bir şema kullanılarak bir uzman tarafından kodlanmıştır. Bu işbirlikçi çabanın sonucu, bu manifestolarda yer alan bilgileri özetleyen büyük bir veri kümesidir ve bu veri kümesi 200'den fazla bilimsel makalede kullanılmıştır.

Kenneth Benoit ve meslektaşları (2016) , daha önce uzmanlar tarafından yapılmış olan manifesto kodlama görevini almaya ve bir insan hesaplama projesine dönüştürmeye karar verdiler. Sonuç olarak, daha tekrarlanabilir ve daha esnek olan, daha ucuz ve daha hızlı bahsetmeyen bir kodlama süreci yarattılar.

İngiltere'deki son altı seçimde ortaya çıkan 18 manifesto ile çalışan Benoit ve meslektaşları, bölünmüş uygulamalı-birleştirme stratejisini bir mikro-iş gücü piyasasından işçilerle birlikte kullanmışlardır (Amazon Mechanical Turk ve CrowdFlower, bu tür piyasalar için daha çok, mikro-işgücü piyasasının örnekleridir). bkz. Bölüm 4). Araştırmacılar her manifestoyu aldı ve cümlelere ayırdı . Ardından, bir kişi her cümle için kodlama şemasını uyguladı . Özellikle, okuyuculardan her bir cümleyi ekonomik politikaya (sol ya da sağ), sosyal politikaya (liberal ya da muhafazakar) ya da hiçbirine (ya da 5) atıfta bulunmalarını istemek istenmiştir (şekil 5.5). Her bir cümle yaklaşık beş farklı kişi tarafından kodlanmıştır. Son olarak, bu derecelendirmeler hem bireysel değerlendirici etkiler hem de cümle kuramının zorluklarını hesaba katan istatistiksel bir model kullanılarak birleştirilmiştir . Sonuçta, Benoit ve meslektaşları yaklaşık 1.500 kişiden 200.000 puan topladı.

Şekil 5.5: Benoit et al. (2016) kodlama şeması Benoit et al. (2016) . Okuyuculardan her bir cümleyi, ekonomi politikasına (sol veya sağ), sosyal politikaya (liberal veya muhafazakar) veya her ikisine de gönderme yapmaları istenmiştir. Benoit et al. (2016) , şekil 1.

Kalabalık kodlamanın kalitesini değerlendirmek için, Benoit ve meslektaşlarının da yaklaşık 10 uzmanı vardı: profesörler ve siyaset bilimindeki lisansüstü öğrenciler benzer bir prosedürü kullanarak aynı manifestosunu değerlendiriyorlar. Kalabalık mensuplarının derecelendirmelerinin uzmanlardan gelen derecelendirmelerden daha değişken olmasına rağmen, oy birliği notunun oy birliği ile oy birliği uzmanlığı arasında önemli bir anlaşmaya vardı (Şekil 5.6). Bu karşılaştırma, Galaxy Hayvanat Bahçesi'nde olduğu gibi, insan hesaplama projelerinin yüksek kaliteli sonuçlar üretebileceğini göstermektedir.

Şekil 5.6: Uzman tahminler ( \(x\) -axis) ve kalabalık tahminleri ( \(y\) -axis), İngiltere'den 18 parti manifestolarını kodlarken dikkate değer bir anlaşmaya vardı (Benoit et al. 2016) . Kodlanan manifestolar üç siyasi partiden (Muhafazakar, Emek ve Liberal Demokratlar) ve altı seçimlerden (1987, 1992, 1997, 2001, 2005 ve 2010) alındı. Benoit et al. (2016) , şekil 3.

Bu sonuca dayanarak, Benoit ve meslektaşları Manifesto Projesi tarafından kullanılan uzman kodlama sistemi ile imkansız olan araştırma yapmak için kalabalık kodlama sistemlerini kullandılar. Örneğin, Manifesto Projesi, göç konusundaki manifestoları kodlamadı, çünkü bu kodlama şeması 1980'lerin ortalarında geliştirildiğinde göze çarpan bir konu değildi. Ve bu noktada, Manifesto Projesi'nin geri dönüp bu bilgileri yakalamak için manifestosunu geri alması lojistik açıdan mümkün değildir. Bu nedenle, göç politikalarını araştırmak isteyen araştırmacıların şans dışı olduğu ortaya çıkacaktır. Bununla birlikte, Benoit ve meslektaşları, insan hesaplama sistemlerini bu kodlamayı, araştırma sorularına göre özelleştirilmiş olarak, hızlı ve kolay bir şekilde yapabildiler.

Göç politikasını incelemek için, Birleşik Krallık'taki 2010 genel seçimlerinde sekiz parti için manifestolar kodladılar. Her manifestodaki her bir cümle, göç ile ilgili olup olmadığı, eğer öyleyse göçmenlik, tarafsızlık veya göçmenlik karşıtı olup olmadığı konusunda kodlanmıştır. Projelerini başlattıktan sonraki 5 saat içinde sonuçlar alındı. Toplamda 360 dolarlık bir maliyetle 22.000'den fazla yanıt topladılar. Ayrıca, kalabalığın tahminleri daha önceki bir uzman araştırmasıyla dikkate değer bir anlaşma gösterdi. Daha sonra, son bir test olarak, iki ay sonra araştırmacılar kalabalık kodlamalarını yeniden üretti. Birkaç saat içinde, orijinal kalabalık kodlu veri kümelerini yakından eşleşen yeni bir kalabalık kodlu veri kümesi oluşturmuşlardı. Diğer bir deyişle, insan hesaplaması, uzman değerlendirmeleriyle kararlaştırılan ve tekrarlanabilir olan siyasi metinlerin kodlanmasını sağladı. Ayrıca, insan hesaplaması hızlı ve ucuz olduğu için, veri toplamalarını göç ile ilgili özel araştırma sorularına göre özelleştirmeleri kolaydı.