5.2.2 Crowd-kodowanie manifestów politycznych

Kodowanie programy polityczne, co zwykle wykonywane przez specjalistów, mogą być wykonywane przez człowieka projektem obliczeniowym, co zwiększa powtarzalność i elastyczności.

Podobnie jak w Galaxy Zoo, istnieje wiele sytuacji, w których badacze społeczni chcą kodu klasyfikacji lub etykietą obraz lub fragment tekstu. Przykładem tego rodzaju badań jest kodowanie manifestów politycznych. Podczas wyborów, partie polityczne manifesty opisujące produkują swoje stanowiska polityczne i przewodnie filozofii. Na przykład, oto fragment manifestu Partii Pracy w Wielkiej Brytanii od 2010 roku:

"Miliony ludzi pracujących w naszych usługach publicznych ucieleśnieniem najlepszych wartości Brytanii, pomagając dawać ludziom możliwość pełnego wykorzystania ich własnym życiu, jednocześnie chroniąc je przed ryzykiem, że nie powinni ponosić we własnym zakresie. Tak jak musimy być odważniejsze o roli rządu w tworzeniu rynków pracy rzetelnie, musimy także być śmiały reformatorzy rządu. "

Te manifesty zawierają cenne dane dla politologów, zwłaszcza te wybory studiowania i dynamikę debat politycznych. W celu systematycznego wydobyć informacje z tych manifestów, naukowcy stworzyli manifest projekt , który organizowany politologów do kodu 4000 manifesty z prawie 1000 osób w 50 krajach. Każde zdanie każdego manifestu został zakodowany przez specjalistę z użyciem systemu 56-kategorii. Wynikiem tej wspólnej wysiłku masywny zestaw danych podsumowujący informacje zapisane w tych manifestów, a ten zestaw danych jest stosowany w ponad 200 publikacji naukowych.

Kenneth Benoit i jego współpracownicy (2015) zdecydował się manifest kodowania zadanie, które wcześniej były wykonywane przez ekspertów i przekształcić go w ludzkiej projektu obliczeniowego. W wyniku tego, utworzony jest sposób kodowania, który jest bardziej powtarzalne i bardziej elastyczne, nie wspominając taniej i szybciej.

Praca z 18 manifestów powstających podczas sześciu ostatnich wyborów w Wielkiej Brytanii, Benoit i współpracownicy wykorzystali split-apply-łączą strategię z pracownikami mikro-zadaniowej rynku pracy (Amazon Mechanical Turk i CrowdFlower są przykładami mikro-zadaniowych rynków pracy; więcej na mikro-zadaniowych rynków pracy, patrz rozdział 4). Naukowcy wzięli każdy manifest i podzielić go na zdania. Następnie ludzka ocena została zastosowana do każdego zdania. W szczególności, jeśli zdanie zaangażowane oświadczenie polityczne, została zakodowana wzdłuż dwóch wymiarach: ekonomicznym (od lewej do bardzo bardzo prawej) i społecznych (z liberalnego na konserwatywny) (Rysunek 5.5). Każde zdanie zostało oznaczonych przez około 5 różnych ludzi. Wreszcie, te wskaźniki zostały połączone za pomocą modelu statystycznego, które stanowiły zarówno dla poszczególnych efektów Rater i trudności efektów zdanie. W sumie, Benoit i wsp zebrano 200.000 ocen od około 1500 pracowników.

Rysunek 5.5: schemat kodowania z Benoit et al. (2015) (rys 1).

Aby ocenić jakość kodowania tłum, Benoit i jego współpracownicy mieli również około 10 ekspertów-profesorowie i studenci Absolwent Politologii kursu tych samych manifestów stosując podobną procedurę. Chociaż wskaźniki z członków tłumu były bardziej zmienne niż oceny od ekspertów, konsensus ocenił tłum miał niezwykłą umowę z rankingu ekspertów konsensus (rysunek 5.6). To porównanie pokazuje, że, podobnie jak w Galaxy Zoo, projekty obliczeniowe człowieka mogą produkować wysokiej jakości wyników.

Rysunek 5.6: Szacunki ekspertów (oś X) i szacunki tłum (oś Y) były niezwykłe porozumienie podczas kodowania 18 manifesty firm z Wielkiej Brytanii (Benoit et al. 2015) . Manifesty były zakodowane z trzech partii politycznych (konserwatywny, Pracy, Liberalni Demokraci) i sześciu wyborach (1987, 1992, 1997, 2001, 2005, 2010).

Opierając się na tym efekcie Benoit i jego współpracownicy używali systemu tłum kodowania zrobić badania, które było niemożliwe z manifestu Project. Na przykład Manifest Projektu nie kodować manifesty na temat imigracji, ponieważ nie było to najistotniejsze wątek, gdy schemat kodowania został opracowany w połowie 1980 roku. I w tym momencie, to logistycznie niewykonalne dla Manifest Projektu wrócić i ponownie kod swoje manifesty, aby uchwycić te informacje. Dlatego wydaje się, że naukowcy zainteresowani studiowaniem politykę imigracji pecha. Jednak Benoit i jego współpracownicy byli w stanie wykorzystać swoją ludzką systemu obliczeń do wykonania tej coding-dostosowanego do ich badań zapytania szybko i łatwo.

W celu zbadania polityki imigracyjnej one kodowane manifesty ośmiu partii w wyborach w 2010 roku w Wielkiej Brytanii. Każde zdanie każdego manifestu został zakodowany, czy to związane z imigracją, a jeśli tak, to czy był pro-imigracji, neutralne, lub anty-imigracyjne. W ciągu 5 godzin od rozpoczęcia ich projekt, wyniki były w. Mieli zebrano ponad 22.000 odpowiedzi na całkowity koszt $ 360. Ponadto szacunki z tłumu pokazał niezwykłą umowę z wcześniejszym badaniu ekspertów. Następnie, jako ostatecznego testu, dwa miesiące później, naukowcy powielana ich tłum kodowania. W ciągu kilku godzin, oni stworzyli nową tłum kodowane zestawu danych, które ściśle odpowiadają ich oryginalnego zestawu danych tłum kodowane. Innymi słowy, ludzkie obliczenia pozwoliły im generować kodowanie tekstów politycznych, uzgodnionych z oceny ekspertów i była powtarzalna. Ponadto, ponieważ ludzki obliczeń było szybkie i tanie, łatwo było je dostosować ich gromadzenie danych na ich specyficzny badawczego pytanie o imigracji.