5.2.2 толпы кодирование политических манифестов

Кодирование политических манифестов, что - то , как правило , делается экспертами, могут быть выполнены с помощью человеческого проекта вычислений , что приводит к большей воспроизводимости и гибкости.

Подобно Galaxy Zoo, существует множество ситуаций, когда социальные исследователи хотят кодировать, классифицировать или наклеивать изображение или текст. Примером такого рода исследований является кодирование политических манифестов. Во время выборов политические партии производят манифесты, описывающие свои политические позиции и руководящие принципы. Например, вот часть манифеста Лейбористской партии в Соединенном Королевстве с 2010 года:

"Миллионы людей, работающих в наших общественных услуг, воплощают лучшие значения Великобритании, помогая дать людям возможность сделать большую часть своей собственной жизни, защищая их от рисков, которые они не должны нести на своих собственных. Подобно тому, как мы должны быть смелыми о роли правительства в заставить рынки работать честно, мы также должны быть смелые реформаторы правительства ".

Эти манифесты содержат ценные данные для политологов, особенно тех, кто изучает выборы и динамику политических дискуссий. Чтобы систематически извлекать информацию из этих манифестов, исследователи создали проект «Манифест», в котором собрано 4000 манифестов из почти 1000 партий в 50 странах, а затем организованы политологи для систематического их кодирования. Каждое предложение в каждом манифесте было закодировано экспертом с использованием схемы из 56 категорий. Результатом этих совместных усилий является массивный набор данных, обобщающий информацию, встроенную в эти манифесты, и этот набор данных использовался в более чем 200 научных статьях.

Кеннет Бенуа и его коллеги (2016) решили взять задачу кодирования манифеста, которая ранее была выполнена экспертами, и превратить ее в проект человеческих вычислений. В результате они создали процесс кодирования, который является более воспроизводимым и более гибким, не говоря уже о более дешевой и быстрой работе.

Работая с 18 манифестом, сформированными в ходе шести недавних выборов в Соединенном Королевстве, Бенуа и его коллеги использовали стратегию сплит-аппликаций с рабочими с рынка труда на микротоках (Amazon Mechanical Turk и CrowdFlower являются примерами рынков труда на микрозадачах; больше на таких рынках , см. главу 4). Исследователи взяли каждый манифест и разделили его на предложения. Затем человек применял схему кодирования к каждому предложению. В частности, читателям было предложено классифицировать каждое предложение как относящееся к экономической политике (слева или справа), к социальной политике (либеральной или консервативной) или к ни тем, ни другим (рисунок 5.5). Каждое предложение было закодировано примерно пятью разными людьми. Наконец, эти рейтинги были объединены с использованием статистической модели, которая учитывала как индивидуальные эффекты, так и эффекты эффекта предложения. В целом, Бенуа и его коллеги собрали 200 000 оценок от примерно 1500 человек.

Рисунок 5.5: Схема кодирования Benoit et al. (2016) . Читателям было предложено классифицировать каждое предложение как относящееся к экономической политике (слева или справа), к социальной политике (либеральной или консервативной), или к ни тем, ни другим. Адаптировано из Benoit et al. (2016) , рис. 1.

Чтобы оценить качество кодирования толпы, Бенуа и его коллеги также имели около 10 экспертов-профессоров и аспирантов по политическим наукам - одни и те же манифесты, используя аналогичную процедуру. Несмотря на то, что рейтинги от членов толпы были более переменными, чем рейтинги экспертов, рейтинг голосов среди единомышленников имел замечательное согласие с консенсусным экспертным рейтингом (рисунок 5.6). Это сравнение показывает, что, как и в Galaxy Zoo, проекты человеческих вычислений могут давать качественные результаты.

Рисунок 5.6: Экспертные оценки ( \(x\) -аксис) и оценки толпы ( \(y\) -аксис) были в замечательном согласии при кодировании 18 партийных манифестов из Соединенного Королевства (Benoit et al. 2016) . Закодированные манифесты были из трех политических партий (консервативных, лейбористских и либеральных демократов) и шести выборов (1987, 1992, 1997, 2001, 2005 и 2010 гг.). Адаптировано из Benoit et al. (2016) , рис. 3.

Основываясь на этом результате, Бенуа и его коллеги использовали свою систему кодирования толпы для проведения исследований, которые были бы невозможны с помощью опытной системы кодирования, используемой в проекте Manifesto Project. Например, проект Манифеста не кодировал манифесты по теме иммиграции, потому что это не было важной темой, когда схема кодирования была разработана в середине 1980-х годов. И, на данный момент, для Манифест-проекта логично невозможно вернуться и перекодировать свои манифесты для захвата этой информации. Поэтому, похоже, исследователи, заинтересованные в изучении политики иммиграции, не повезло. Тем не менее, Бенуа и его коллеги смогли использовать свою систему человеческих вычислений, чтобы быстро и легко выполнить эту кодировку, адаптированную под свой исследовательский вопрос.

Чтобы изучить иммиграционную политику, они закодировали манифесты для восьми партий на всеобщих выборах 2010 года в Соединенном Королевстве. Каждое предложение в каждом манифесте было закодировано относительно того, связано ли оно с иммиграцией, и если да, то было ли это иммиграция, нейтральная или антииммиграция. В течение 5 часов после запуска их проекта были получены результаты. Они собрали более 22 000 ответов на общую сумму 360 долларов США. Кроме того, оценки толпы показали замечательное согласие с более ранним обзором экспертов. Затем, как заключительный тест, два месяца спустя, исследователи воспроизвели их толкование. В течение нескольких часов они создали новый набор данных, закодированный в толпе, который точно соответствовал их оригинальному набору данных с толпой. Другими словами, человеческие вычисления позволили им генерировать кодирование политических текстов, которые согласуются с экспертными оценками и воспроизводимы. Кроме того, поскольку человеческие вычисления были быстрыми и дешевыми, им было легко настроить их сбор данных на их конкретный исследовательский вопрос об иммиграции.