5.2.2 натоўпу кадаваньне палітычных маніфэстаў

Кадаваньне палітычных маніфэстаў, што - то , як правіла , робіцца экспертамі, могуць быць выкананы з дапамогай чалавечага праекта вылічэнняў , што прыводзіць да большай узнаўляльнасці і гнуткасці.

Падобна Galaxy Zoo, ёсць шмат сітуацый, калі сацыяльныя даследчыкі маюць намер кода, класіфікаваць або этыкетку малюнак або фрагмент тэксту. Прыкладам такога роду даследаванняў з'яўляецца кадаваньне палітычных маніфэстаў. Падчас выбараў, палітычныя партыі вырабляюць маніфесты, якія апісваюць свае пазіцыі палітыкі і кіруючых філасофій. Напрыклад, вось частка маніфеста Лейбарысцкай партыі ў Вялікабрытаніі з 2010 года:

"Мільёны людзей, якія працуюць у нашых грамадскіх паслуг, ўвасабляюць лепшыя значэння Вялікабрытаніі, дапамагаючы даць людзям магчымасць зрабіць вялікую частку сваёй уласнай жыцця, абараняючы іх ад рызык, якія яны не павінны несці на сваіх уласных. Падобна таму, як мы павінны быць смелымі пра ролю ўрада ў прымусіць рынкі працаваць сумленна, мы таксама павінны быць смелыя рэфарматары ўрада ".

Гэтыя маніфесты ўтрымліваюць каштоўныя дадзеныя для палітолагаў, асабліва тыя, якія вывучаюць выбары і дынаміку палітычных дыскусій. Для таго , каб сістэматычна здабываць інфармацыю з гэтых маніфэстаў, даследчыкі стварылі маніфесту праект , які арганізаваў палітолагі кадзіраваць 4000 маніфэстаў з амаль 1000 партый у 50 краінах свету. Кожнае прапанову ў кожным маніфесту быў закадаваны экспертам па схеме 56-катэгорыі. Вынікам гэтай сумеснай дзейнасці з'яўляецца масавы набор дадзеных абагульнення інфармацыі, убудаванай у гэтых маніфэстаў, і гэты набор дадзеных быў выкарыстаны ў больш чым 200 навуковых прац.

Кэнэт Бенуа і яго калегі (2015) вырашыў узяць задачу кадавання маніфест , якія раней былі выкананы спецыялістамі і ператварыць яго ў праект вылічэнні чалавека. У выніку, яны стварылі працэс кадавання, які з'яўляецца больш прайграваных і больш гнуткім, не кажучы ўжо пра танней і хутчэй.

Праца з 18 маніфэстаў, генераваных на працягу шасці апошніх выбараў у Вялікабрытаніі, Benoit і яго калегі выкарысталі раскол прымяніць-спалучаць стратэгію з працоўнымі з рынку працы мікра-задачы (Amazon Mechanical Turk і CrowdFlower з'яўляюцца прыкладамі рынкаў працы мікра-задач, для больш на рынках працы мікра-задач см главу 4). Даследнікі ўзялі кожны маніфест і падзяліць яго на прапановы. Затым чалавечы рэйтынг быў ужыты да кожнага прапанове. У прыватнасці, калі прапанова ўдзельнічаць заяву аб палітыцы, ён быў закадаваны па двух напрамках: эканамічныя (ад вельмі злева вельмі справа) і сацыяльны (ад ліберальных да кансерватыўнай) (мал 5.5). Кожнае прапанова была закадавана каля 5 розных людзей. Нарэшце, гэтыя рэйтынгі былі аб'яднаны з выкарыстаннем статыстычнай мадэлі , якая ўлічваецца як індывідуальных эфектаў Рэйтэр і цяжкасці пакарання эфектаў. У цэлым, Benoit і яго калегі сабралі 200000 рэйтынгі ад каля 1500 рабочых.

Малюнак 5.5: Схема кадавання ад Benoit et al. (2015) і Benoit et al. (2015) (мал 1).

Для таго каб ацаніць якасць кадавання натоўпу, Benoit і яго калегі таксама мелі каля 10 спецыялістаў-прафесараў і аспірантаў у галіне палітычных навук-курса тыя ж маніфесты, выкарыстоўваючы аналагічную працэдуру. Хоць рэйтынгі ад членаў натоўпу былі больш зменлівымі, чым рэйтынгі ад экспертаў, кансенсус рэйтынгу натоўп выдатнае згоду з рэйтынгам кансенсус экспертаў (мал 5.6). Гэта параўнанне паказвае, што, як і Galaxy Zoo, праекты вылічэнняў чалавека могуць вырабляць высакаякасныя вынікі.

Малюнак 5.6: экспертныя ацэнкі (вось х) і ацэнкі натоўпу (вось у) былі ў выдатным згодзе пры кадаванні 18 партый маніфэстаў з Вялікабрытаніі (Benoit et al. 2015) і (Benoit et al. 2015) . Маніфесты кадаваныя былі ад трох палітычных партый (Кансэрватыўная, працоўных, ліберал-дэмакраты) і шасці выбарах (1987, 1992-м, 1997 г., 2001 года, 2005 года, 2010).

Абапіраючыся на гэты вынік, Benoit і яго калегі выкарыстоўвалі іх натоўпу кадавання сістэмы для правядзення даследаванняў, што было немагчыма з праектам маніфесту. Напрыклад, праект маніфеста ня кадзіраваць маніфэстаў на тэму іміграцыі, таму што не было характэрнай тэмай, калі схема кадавання была распрацавана ў сярэдзіне 1980-х гадоў. І ў гэты момант, гэта лагістычных немагчымым для праекта маніфесту, каб вярнуцца і перакадыроўкі іх маніфесты, каб захапіць гэтую інфармацыю. Таму, здавалася б, што даследчыкі, зацікаўленыя ў вывучэнні палітыкі іміграцыі не повезло. Тым не менш, Бенуа і яго калегі змаглі выкарыстаць сваю чалавечую сістэму вылічэнняў, каб зрабіць гэта кадаванне да індывідуальным патрабаванням заказчыка для сваіх даследаванняў пытанне-хутка і лёгка.

Для вывучэння іміграцыйнай палітыкі, яны закадзіравалі маніфэстаў для васьмі партый у выбарах 2010 года ў Вялікабрытаніі. Кожнае прапанову ў кожным маніфесту быў закадаваны, каб звязаныя ён да іміграцыі, і калі так, то ці было гэта проиммиграционно, нейтральнае або Антииммиграционные. У працягу 5 гадзін запуску свайго праекта, вынікі былі. Яны сабралі больш за 22000 адказаў на агульную суму ў $ 360. Акрамя таго, ацэнкі з натоўпу паказалі выдатнае згоду з раней апытання экспертаў. Затым, у якасці фінальнага тэсту, праз два месяцы, даследчыкі прайграны іх натоўпу кадаваньне. На працягу некалькіх гадзін яны стварылі новы натоўп кадоўкай набору дадзеных, якія блізка адпавядалі іх першапачатковай натоўпу кадоўкай набору дадзеных. Іншымі словамі, чалавек вылічэнне дазволіла ім вырабіць кадаваньне палітычных тэкстаў, якія пагадзіліся з ацэнкамі экспертаў і прайграваных. Акрамя таго, паколькі чалавек вылічэнне было хутка і танна, гэта было лёгка для іх, каб наладзіць іх збор дадзеных для іх канкрэтнага пытання даследаванні аб іміграцыі.