5.2.2 Crowd-Codierung von politischen Manifeste

Coding politische Manifeste, etwas typisch von Experten durchgeführt, kann von einem menschlichen Berechnung Projekt durchgeführt werden , was zu einer größeren Reproduzierbarkeit und Flexibilität.

Ähnlich wie bei Galaxy Zoo gibt es viele Situationen, in denen soziale Forscher Code wollen, zu klassifizieren oder ein Bild oder ein Stück Text beschriften. Ein Beispiel für diese Art von Forschung ist die Codierung der politischen Manifeste. Während Wahlen produzieren politischen Parteien Manifeste Beschreibung ihrer politischen Positionen und Führungsphilosophien. Zum Beispiel, hier ist ein Stück des Manifest der Arbeiterpartei in Großbritannien aus dem Jahr 2010:

"Millionen von Menschen in unserer öffentlichen Dienste arbeiten verkörpern die besten Werte von Großbritannien, Menschen zu helfen, ermächtigen, die den größten Teil ihres eigenen Lebens zu machen, während sie von den Risiken zu schützen, sollten sie müssen nicht auf ihre eigenen tragen. So wie wir über die Rolle der Regierung zu sein kühner müssen sich die Märkte recht arbeiten, müssen wir auch mutige Reformer der Regierung zu sein. "

Diese Manifeste enthalten wertvolle Daten für Politologen, insbesondere solche, studieren Wahlen und die Dynamik der politischen Debatten. Um Informationen aus diesen Manifesten systematisch extrahieren, erstellt Forscher das Manifest Projekt , die Politologen organisiert 4000 Manifeste zu kodieren von fast 1.000 Parteien in 50 Ländern. Jeder Satz in jedem Manifest wurde von einem Experten codiert wurden eine 56-Kategorie Schema verwendet. Das Ergebnis dieser gemeinsamen Anstrengung ist eine massive Daten-Set die Informationen zusammengefasst in diesen Manifesten eingebettet und dieser Datensatz hat in mehr als 200 wissenschaftliche Arbeiten verwendet.

Kenneth Benoit und Kollegen (2015) beschlossen , das Manifest Codierung Aufgabe zu übernehmen , die zuvor von Experten durchgeführt worden war und es in einem menschlichen Berechnung Projekt. Als Ergebnis haben sie eine Codierungsprozess, reproduzierbarer und flexibler ist, nicht billiger und schneller zu erwähnen.

Arbeiten mit 18 Manifeste, die während sechs jüngsten Wahlen in Großbritannien, Benoit und Kollegen nutzten die Split-apply-kombinieren Strategie mit den Arbeitnehmern von einer Mikro Aufgabe Arbeitsmarkt (Amazon Mechanical Turk und CrowdFlower sind Beispiele für Mikro Aufgabe Arbeitsmärkte, für mehr Arbeitsmärkte auf Mikro Aufgabe finden Sie in Kapitel 4). Die Forscher nahmen jedes Manifest und spaltete es in Sätzen. Als nächstes wurde die menschliche Bewertung zu jedem Satz angewendet. Insbesondere dann, wenn der Satz eine politische Erklärung beteiligt, wurde es in zwei Dimensionen codiert: Wirtschafts (von ganz links nach ganz rechts) und sozialen (von liberal bis konservativ) (Abbildung 5.5). Jeder Satz wurde um etwa 5 verschiedene Menschen codiert. Schließlich wurden diese Ratings mit Hilfe eines statistischen Modells kombiniert, die sowohl für einzelne rater Effekte und die Schwierigkeit der Satz Effekte berücksichtigt. Insgesamt Benoit und Kollegen gesammelt 200.000 Bewertungen von etwa 1.500 Arbeiter.

Abbildung 5.5: Kodierungsschema von Benoit et al. (2015) (Bild 1).

Um die Qualität der Menge Codierung, Benoit und Kollegen hatten auch die gleichen Manifeste der Politikwissenschaft-Rate etwa 10 Experten-Professoren und Doktoranden zu beurteilen, ein ähnliches Verfahren. Obwohl die Bewertungen von Mitgliedern der Masse als die Ratings von den Experten variabler waren, hatte der Konsens Menge Bewertung bemerkenswerte Übereinstimmung mit dem Konsens Expertenrating (Abbildung 5.6). Dieser Vergleich zeigt, dass, wie bei Galaxy Zoo können menschliche Berechnung Projekte qualitativ hochwertige Ergebnisse zu erzielen.

Abbildung 5.6: Expertenschätzungen (x-Achse) und Masse Schätzungen (y-Achse) wurden in bemerkenswerter Übereinstimmung als 18 Parteiprogramme von der Großbritannien - Codierung (Benoit et al. 2015) . . Die Manifeste codiert waren von drei politischen Parteien (Konservative, Labour, Liberaldemokraten) und sechs Wahlen (1987, 1992, 1997, 2001, 2005, 2010).

Aufbauend auf diesem Ergebnis, Benoit und Kollegen nutzten ihre Crowd Codiersystem Forschung zu tun, die mit dem Manifest-Projekt nicht möglich war. Zum Beispiel codieren die Manifest-Projekt nicht die Manifeste zum Thema Einwanderung, weil das nicht ein herausragendes Thema war, wenn das Codierungsschema in der Mitte der 1980er Jahre entwickelt wurde. Und an diesem Punkt ist es logistisch nicht machbar für das Manifest Projekt zurück zu gehen und erneut Code ihre Manifeste, diese Informationen zu erfassen. Daher scheint es, dass die Forscher daran interessiert, die Politik der Einwanderung Studium kein Glück. Doch Benoit und Kollegen waren in der Lage, ihre menschliche Berechnungssystem verwenden, um diese Codierung angepasste zu tun, um ihre Forschungsfrage schnell und einfach.

Um die Einwanderungspolitik zu studieren, sie codiert die Manifeste für acht Parteien in der Wahl 2010 in Großbritannien. Jeder Satz in jedem Manifest wurde codiert, ob es im Zusammenhang mit Einwanderung, und wenn ja, ob es sich um Pro-Einwanderung, neutral oder Anti-Einwanderung. Innerhalb von 5 Stunden ihres Projekts starten, in die Ergebnisse waren. Hatten sie gesammelt mehr als 22.000 Antworten zu einem Gesamtpreis von 360 $. die Schätzungen aus der Menge zeigte bemerkenswerte Übereinstimmung mit einer früheren Befragung von Experten weiter. Dann wurde als Abschlusstest, zwei Monate später, reproduziert die Forscher ihre Masse-Codierung. Innerhalb weniger Stunden hatten sie ein neues Publikum codierte Daten-Set erstellt, die eng ihrer ursprünglichen Masse codiert abgestimmt Datensatz. Mit anderen Worten ermöglicht die menschliche Berechnung sie Codierung von politischen Texten zu erzeugen, die mit Expertenevaluierungen vereinbart und war reproduzierbar. Da ferner die menschliche Berechnung schnell und billig war, war es leicht für sie, auf ihre spezifischen Forschungsfrage über die Einwanderung ihre Datenerfassung anzupassen.