5.2.2 натовпу кодування політичних маніфестів

Кодування політичних маніфестів, що - то , як правило , робиться експертами, можуть бути виконані з допомогою людського проекту обчислень , що призводить до більшої продуктивності і гнучкості.

Подібно до галактичного зоопарку, існує багато ситуацій, коли соціальні дослідники хочуть кодувати, класифікувати або позначати зображення чи фрагмент тексту. Прикладом такого роду досліджень є кодування політичних маніфестів. Під час виборів політичні партії виробляють маніфестиви, що описують свої політичні позиції та керівні філософії. Наприклад, ось фрагмент маніфесту Лейбористської партії у Сполученому Королівстві з 2010 року:

"Мільйони людей, що працюють в наших громадських послуг, втілюють кращі значення Великобританії, допомагаючи дати людям можливість зробити більшу частину свого власного життя, захищаючи їх від ризиків, які вони не повинні нести на своїх власних. Подібно до того, як ми повинні бути сміливими про роль уряду в змусити ринки працювати чесно, ми також повинні бути сміливі реформатори уряду ".

Ці маніфести містять цінні дані для політологів, зокрема тих, хто вивчає вибори та динаміку політичних дебатів. Для того, щоб систематично отримувати інформацію з цих маніфестів, дослідники створили проект "Маніфест", який зібрав 4 000 маніфестів з майже 1000 партій у 50 країнах, а потім організував політологів для їх систематичного кодування. Кожне речення в кожному маніфесті було закодовано експертом із використанням схеми 56 категорій. Результатом цих спільних зусиль є масивний набір даних, узагальнюючий інформацію, вбудовану в ці маніфести, і цей набір даних був використаний у більш ніж 200 наукових працях.

Кеннет Бенуа та його колеги (2016) вирішили взяти на себе завдання кодування маніфесту, яке раніше виконували експерти, і перетворити його в проект обчислення людей. У результаті вони створили процес кодування, який є більш відтворюваним і більш гнучким, не кажучи вже про дешевше і швидше.

Працюючи з 18 маніфестами, створеними під час шести нещодавніх виборів у Сполученому Королівстві, Бенуа та його колеги використовували стратегію "Спільно застосовувати комбінат" з працівниками ринку мікропроцесорів (Amazon Mechanical Turk і CrowdFlower - це приклади мікропрограмних робочих ринків; більше на таких ринках , див. главу 4). Дослідники взяли кожен маніфест і розділили його на речення. Далі людина застосував схему кодування до кожного речення. Зокрема, читачам пропонувалося класифікувати кожне речення як посилання на економічну політику (ліворуч або праворуч), на соціальну політику (ліберальну чи консервативну) чи ні (рис 5.5). Кожне речення кодувалося приблизно п'ятьма різними людьми. Нарешті, ці рейтинги були об'єднані за допомогою статистичної моделі, яка пояснювала як ефекти індивідуального оцінювання, так і ефекти складності пропозиції. Усього Бенуа та його колеги зібрали 200 000 оцінок від приблизно 1500 чоловік.

Малюнок 5.5: Схема кодування від Benoit et al. (2016) . Benoit et al. (2016) . Читачам пропонувалося класифікувати кожне речення як посилання на економічну політику (ліворуч або праворуч), на соціальну політику (ліберальну чи консервативну) чи ні. Адаптовано з Benoit et al. (2016) , Рис. 1.

Для того, щоб оцінити якість кодування натовпу, Бенуа та його колеги також мали близько 10 експертів-професорів та аспірантів з політології такими ж маніфестами, що використовують аналогічну процедуру. Хоча рейтинги від учасників натовпу були більш різноманітними, ніж рейтинги експертів, консенсусний рейтинг туристів мав чудовий дозвіл з оцінкою консенсусу експертів (рис 5.6). Це порівняння показує, що, як і в Galaxy Zoo, обчислювальні проекти можуть приносити високоякісні результати.

Малюнок 5.6: Експертні оцінки ( \(x\) -ось) та оцінки натовпу ( \(y\) -оси) були помітними угодами при кодуванні 18 партійних маніфестів з Сполученого Королівства (Benoit et al. 2016) . Кодировані маніфестиви складалися з трьох політичних партій (консерваторів, трудових і ліберальних демократів) та шести виборів (1987, 1992, 1997, 2001, 2005 та 2010). Адаптовано з Benoit et al. (2016) , Малюнок 3.

Грунтуючись на цьому результаті, Бенуа та його колеги використовували свою систему натовпу кодування для проведення досліджень, що було неможливо з експертною системою кодування, що використовується в проекті "Маніфест". Наприклад, проект "Маніфест" не кодував маніфести з теми імміграції, оскільки це не було вирішальною темою, коли схема кодування була розроблена в середині 1980-х років. І, на даний момент, з матеріально-технічної точки зору неможливо, щоб проект "Маніфест" повернувся і перекодирував свої маніфести, щоб захоплювати цю інформацію. Тому, здається, дослідники, зацікавлені у вивченні політики імміграції, не в змозі. Проте Бенуа та його колеги змогли швидко і легко використовувати свою людську систему обчислень, щоб зробити це кодування, пристосоване до їх дослідницького питання.

Для вивчення імміграційної політики вони кодували маніфести на восьми партіях на загальних виборах 2010 року у Сполученому Королівстві. Кожне речення в кожному маніфесті було закодовано щодо того, чи це пов'язано з імміграцією, і якщо так, то це було проіміграція, нейтральність чи антиімміграція. Протягом 5 годин після запуску проекту результати отримали. Вони зібрали понад 22 000 відповідей загальною вартістю 360 дол. США. Крім того, оцінки з натовпу показали чудову угоду з попереднім опитуванням експертів. Потім, як остаточний тест, через два місяці дослідники відтворювали їх натовп-кодування. Протягом кількох годин вони створили новий набір, кодований набору даних, який тісно співпав з їхніми наборами даних, кодованими за натовпом. Іншими словами, обчислення людини дозволило їм генерувати кодування політичних текстів, які узгоджуються з експертними оцінками і є відтворюваними. Крім того, оскільки людські обчислення були швидкими та дешевими, їм було легко встановити збір даних для конкретного питання дослідження щодо імміграції.