5.2.2 Crowd-Codierung von politischen Manifeste
Coding politische Manifeste, etwas typisch von Experten durchgeführt, kann von einem menschlichen Berechnung Projekt durchgeführt werden , was zu einer größeren Reproduzierbarkeit und Flexibilität.
Ähnlich wie bei Galaxy Zoo gibt es viele Situationen, in denen Sozialforscher ein Bild oder ein Stück Text kodieren, klassifizieren oder beschriften wollen. Ein Beispiel für diese Art von Forschung ist die Kodierung politischer Manifeste. Während der Wahlen erstellen die politischen Parteien Manifeste, in denen ihre politischen Positionen und Leitphilosophien beschrieben werden. Zum Beispiel, hier ist ein Teil des Manifestes der Labour Party im Vereinigten Königreich von 2010:
"Millionen von Menschen in unserer öffentlichen Dienste arbeiten verkörpern die besten Werte von Großbritannien, Menschen zu helfen, ermächtigen, die den größten Teil ihres eigenen Lebens zu machen, während sie von den Risiken zu schützen, sollten sie müssen nicht auf ihre eigenen tragen. So wie wir über die Rolle der Regierung zu sein kühner müssen sich die Märkte recht arbeiten, müssen wir auch mutige Reformer der Regierung zu sein. "
Diese Manifeste enthalten wertvolle Daten für Politikwissenschaftler, insbesondere für diejenigen, die sich mit Wahlen und der Dynamik politischer Debatten befassen. Um systematisch Informationen aus diesen Manifesten zu extrahieren, erstellten die Forscher das Manifest-Projekt, das 4.000 Manifeste von fast 1.000 Parteien in 50 Ländern sammelte und dann Politologen organisierte, um sie systematisch zu kodieren. Jeder Satz in jedem Manifest wurde von einem Experten mit einem 56-Kategorie-Schema codiert. Das Ergebnis dieser Zusammenarbeit ist ein umfangreicher Datensatz, der die in diesen Manifesten enthaltenen Informationen zusammenfasst. Dieser Datensatz wurde in mehr als 200 wissenschaftlichen Arbeiten verwendet.
Kenneth Benoit und seine Kollegen (2016) beschlossen, die bisher von Experten durchgeführte Manifest-Coding-Aufgabe in ein menschliches Berechnungsprojekt umzuwandeln. Als Ergebnis haben sie einen Codierungsprozess geschaffen, der reproduzierbarer und flexibler ist, ganz zu schweigen davon, dass er billiger und schneller ist.
Mit Hilfe von 18 Manifesten, die während der letzten sechs Wahlen im Vereinigten Königreich generiert wurden, nutzten Benoit und Kollegen die Split-Apply-Combine-Strategie mit Arbeitern aus einem Mikrotask-Arbeitsmarkt (Amazon Mechanical Turk und CrowdFlower sind Beispiele für Mikrotask-Arbeitsmärkte; mehr zu solchen Märkten) , siehe Kapitel 4). Die Forscher nahmen jedes Manifest und spalteten es in Sätze auf. Als nächstes hat eine Person das Codierungsschema auf jeden Satz angewendet . Insbesondere wurden die Leser gebeten, jeden Satz als einen Bezug zur Wirtschaftspolitik (links oder rechts), zur Sozialpolitik (liberal oder konservativ) oder zu keinem von beiden zu klassifizieren (Abbildung 5.5). Jeder Satz wurde von ungefähr fünf verschiedenen Personen kodiert. Schließlich wurden diese Ratings mit einem statistischen Modell kombiniert , das sowohl individuelle Rater-Effekte als auch Satz-Schwierigkeiten-Effekte berücksichtigt. Insgesamt sammelten Benoit und Kollegen 200.000 Bewertungen von etwa 1.500 Menschen.
Abbildung 5.5: Codierungsschema von Benoit et al. (2016) . Die Leser wurden gebeten, jeden Satz als einen Bezug zur Wirtschaftspolitik (links oder rechts), zur Sozialpolitik (liberal oder konservativ) oder zu keinem von beiden zu klassifizieren. Nach Benoit et al. (2016) , Abbildung 1.
Um die Qualität der Crowd-Codierung zu beurteilen, haben Benoit und seine Kollegen auch etwa 10 Experten - Professoren und Doktoranden in Politikwissenschaften - die gleichen Manifeste nach einem ähnlichen Verfahren bewerten lassen. Obwohl die Ratings von Mitgliedern der Crowd variabler waren als die Ratings der Experten, hatte das Konsens-Crowd-Rating bemerkenswerte Übereinstimmung mit dem Konsens-Experten-Rating (Abbildung 5.6). Dieser Vergleich zeigt, dass, wie bei Galaxy Zoo, menschliche Berechnungsprojekte qualitativ hochwertige Ergebnisse liefern können.
Abbildung 5.6: Expertenschätzungen ( \(x\) -Achse) und Crowd-Schätzungen ( \(y\) -Achse) waren bei der Kodierung von 18 Parteimanifesten aus dem Vereinigten Königreich in bemerkenswerter Übereinstimmung (Benoit et al. 2016) . Die kodifizierten Manifeste stammten von drei politischen Parteien (Konservative, Labour und Liberaldemokraten) und sechs Wahlen (1987, 1992, 1997, 2001, 2005 und 2010). Nach Benoit et al. (2016) , Abbildung 3.
Aufbauend auf diesem Ergebnis nutzten Benoit und Kollegen ihr Crowd-Coding-System, um Forschungen durchzuführen, die mit dem vom Manifest-Projekt verwendeten Experten-basierten Codierungssystem nicht möglich waren. Zum Beispiel hat das Manifest-Projekt die Manifeste zum Thema Einwanderung nicht programmiert, weil dies kein herausragendes Thema war, als das Kodierungsschema Mitte der 1980er Jahre entwickelt wurde. Und zu diesem Zeitpunkt ist es logistisch unmöglich, dass das Manifest-Projekt zurückgeht und seine Manifeste rekodiert, um diese Informationen zu erfassen. Daher scheint es, dass Forscher, die daran interessiert sind, die Politik der Einwanderung zu studieren, kein Glück haben. Benoit und Kollegen waren jedoch in der Lage, ihr menschliches Rechensystem zu verwenden, um diese Codierung - angepasst an ihre Forschungsfrage - schnell und einfach durchzuführen.
Um die Einwanderungspolitik zu studieren, kodierten sie die Manifeste für acht Parteien bei den allgemeinen Wahlen 2010 im Vereinigten Königreich. Jeder Satz in jedem Manifest wurde codiert, ob es mit der Einwanderung zusammenhing, und wenn ja, ob es Einwanderungs-, Neutral- oder Einwanderungsgegner war. Innerhalb von 5 Stunden nach dem Start ihres Projekts waren die Ergebnisse in. Sie hatten mehr als 22.000 Antworten zu einem Gesamtpreis von 360 Dollar gesammelt. Außerdem zeigten die Schätzungen der Menge eine bemerkenswerte Übereinstimmung mit einer früheren Expertenbefragung. Dann, als letzter Test, zwei Monate später, reproduzierten die Forscher ihre Crowd-Codierung. Innerhalb weniger Stunden hatten sie ein neues crowd-codiertes Dataset erstellt, das dem ursprünglichen crowd-codierten Datensatz sehr nahe kam. Mit anderen Worten, die menschliche Berechnung ermöglichte ihnen die Kodierung von politischen Texten, die mit Expertenbewertungen übereinstimmten und reproduzierbar waren. Da die menschliche Berechnung schnell und billig war, war es für sie einfach, ihre Datensammlung an ihre spezifische Forschungsfrage zur Einwanderung anzupassen.
