5.2.2 Crowd-kodowanie manifestów politycznych

Kodowanie programy polityczne, co zwykle wykonywane przez specjalistów, mogą być wykonywane przez człowieka projektem obliczeniowym, co zwiększa powtarzalność i elastyczności.

Podobnie jak w przypadku Galaxy Zoo, istnieje wiele sytuacji, w których badacze społeczni chcą kodować, klasyfikować lub oznaczać obraz lub fragment tekstu. Przykładem tego rodzaju badań jest kodowanie manifestów politycznych. Podczas wyborów partie polityczne tworzą manifesty opisujące ich stanowiska polityczne i kierujące filozofiami. Na przykład, oto fragment manifestu Partii Pracy w Wielkiej Brytanii z 2010 roku:

"Miliony ludzi pracujących w naszych usługach publicznych ucieleśnieniem najlepszych wartości Brytanii, pomagając dawać ludziom możliwość pełnego wykorzystania ich własnym życiu, jednocześnie chroniąc je przed ryzykiem, że nie powinni ponosić we własnym zakresie. Tak jak musimy być odważniejsze o roli rządu w tworzeniu rynków pracy rzetelnie, musimy także być śmiały reformatorzy rządu. "

Manifesty te zawierają cenne dane dla politologów, zwłaszcza tych badających wybory i dynamikę debat politycznych. Aby systematycznie pozyskiwać informacje z tych manifestów, naukowcy stworzyli projekt Manifesto, który zebrał 4000 manifestów z blisko 1000 partii w 50 krajach, a następnie zorganizował politologów, aby systematycznie je kodować. Każde zdanie w każdym manifeście było kodowane przez eksperta przy użyciu schematu o 56 kategoriach. Rezultatem tego wspólnego wysiłku jest ogromny zbiór danych podsumowujący informacje zawarte w tych manifestach, a ten zbiór danych został wykorzystany w ponad 200 pracach naukowych.

Kenneth Benoit i współpracownicy (2016) postanowili wykonać zadanie kodowania manifestu, które zostało wcześniej wykonane przez ekspertów i przekształcić je w ludzki projekt obliczeniowy. W rezultacie stworzyli proces kodowania, który jest bardziej powtarzalny i bardziej elastyczny, nie wspominając o tańszych i szybszych.

Współpracując z 18 manifestami wygenerowanymi podczas sześciu ostatnich wyborów w Zjednoczonym Królestwie, Benoit i współpracownicy wykorzystali strategię split-apply-merger z pracownikami z rynku pracy mikrotasków (Amazon Mechanical Turk i CrowdFlower są przykładami mikropaskowych rynków pracy, więcej na takich rynkach patrz rozdział 4). Badacze wzięli każdy manifest i podzielili go na zdania. Następnie osoba zastosowała schemat kodowania do każdego zdania. W szczególności czytelnicy zostali poproszeni o sklasyfikowanie każdego zdania jako odnoszącego się do polityki gospodarczej (lewej lub prawej), do polityki społecznej (liberalnej lub konserwatywnej) lub do żadnej z nich (rys. 5.5). Każde zdanie było kodowane przez około pięciu różnych ludzi. Ostatecznie te oceny połączono za pomocą modelu statystycznego, który uwzględniał zarówno efekty indywidualne-raterowe, jak i efekty trudności w zdaniu. W sumie Benoit i współpracownicy zgromadzili 200 000 ocen od około 1 500 osób.

Rysunek 5.5: Schemat kodowania z Benoit et al. (2016) . Czytelnicy zostali poproszeni o sklasyfikowanie każdego zdania jako odnoszącego się do polityki gospodarczej (lewej lub prawej), do polityki społecznej (liberalnej lub konserwatywnej) lub do żadnej z nich. Przystosowane z Benoit et al. (2016) , rysunek 1.

Aby ocenić jakość kodowania tłumu, Benoit i jego współpracownicy mieli również około 10 ekspertów - profesorów i absolwentów kierunków politycznych - oceniają te same manifesty, stosując podobną procedurę. Chociaż oceny od członków tłumu były bardziej zmienne niż oceny ekspertów, konsensusowa ocena tłumu miała niezwykłą zgodność z oceną ekspertów konsensusu (rysunek 5.6). Porównanie to pokazuje, że podobnie jak w przypadku Galaxy Zoo, ludzkie projekty obliczeniowe mogą generować wysokiej jakości wyniki.

Rysunek 5.6: Szacunki eksperta ( \(x\) -axis) i szacunki tłumu ( \(y\) -axis) były w znakomitej zgodzie podczas kodowania 18 manifestów partyjnych z Wielkiej Brytanii (Benoit et al. 2016) . Manifestowane kody pochodziły z trzech partii politycznych (konserwatywnych, labourzystów i liberalnych demokratów) i sześciu wyborów (1987, 1992, 1997, 2001, 2005 i 2010). Przystosowane z Benoit et al. (2016) , rysunek 3.

Opierając się na tym wyniku, Benoit i współpracownicy wykorzystali swój system kodowania tłumów do przeprowadzenia badań, które były niemożliwe przy użyciu systemu kodowania używanego przez ekspertów, używanego w Manifesto Project. Na przykład Manifesto Project nie zakodował manifestów na temat imigracji, ponieważ nie był to istotny temat, kiedy schemat kodowania został opracowany w połowie lat osiemdziesiątych. W tym momencie jest logistycznie niewykonalne, aby Manifesto Project mógł wrócić i przekodować swoje manifesty, aby przechwycić te informacje. Dlatego wydaje się, że badacze zainteresowani studiowaniem polityki imigracyjnej mają pecha. Jednak Benoit i współpracownicy byli w stanie wykorzystać swój system obliczeń ludzkich, aby szybko i łatwo wykonać to kodowanie dostosowane do ich pytań badawczych.

Aby zbadać politykę imigracyjną, zakodowali oni manifesty dla ośmiu partii w wyborach powszechnych w 2010 roku w Wielkiej Brytanii. Każde zdanie w każdym manifeście było zakodowane, czy ma ono związek z imigracją, a jeśli tak, to czy było proimigracyjne, neutralne czy antyimigracyjne. W ciągu 5 godzin od uruchomienia projektu uzyskano wyniki. Zebrali ponad 22 000 odpowiedzi, a ich całkowity koszt wyniósł 360 USD. Ponadto szacunki z tłumu wykazały niezwykłą zgodność z wcześniejszym badaniem ekspertów. Następnie, jako test końcowy, dwa miesiące później, naukowcy powtórzyli kodowanie tłumu. W ciągu kilku godzin stworzyli nowy zestaw danych, który był ściśle dopasowany do ich oryginalnego zestawu danych. Innymi słowy, ludzkie obliczenia umożliwiły im generowanie kodowania tekstów politycznych, które zgadzały się z ocenami ekspertów i były powtarzalne. Co więcej, ponieważ ludzkie obliczenia były szybkie i tanie, łatwo było dostosować gromadzenie danych do swoich konkretnych pytań badawczych dotyczących imigracji.