5.2.2 натоўпу кадаваньне палітычных маніфэстаў

Кадаваньне палітычных маніфэстаў, што - то , як правіла , робіцца экспертамі, могуць быць выкананы з дапамогай чалавечага праекта вылічэнняў , што прыводзіць да большай узнаўляльнасці і гнуткасці.

Падобна Galaxy Zoo, ёсць шмат сітуацый, калі сацыяльныя даследчыкі маюць намер код, класіфікаваць або маркіруюць малюнак або фрагмент тэксту. Прыклад такога роду даследаванняў з'яўляецца кадаваннем палітычных маніфэстаў. Падчас выбараў, палітычныя партыі вырабляюць маніфесты, якія апісваюць свае пазіцыі палітыкі і кіруючыя філасофіі. Напрыклад, вось частка маніфеста Лейбарысцкай партыі ў Злучаным Каралеўстве з 2010 года:

"Мільёны людзей, якія працуюць у нашых грамадскіх паслуг, ўвасабляюць лепшыя значэння Вялікабрытаніі, дапамагаючы даць людзям магчымасць зрабіць вялікую частку сваёй уласнай жыцця, абараняючы іх ад рызык, якія яны не павінны несці на сваіх уласных. Падобна таму, як мы павінны быць смелымі пра ролю ўрада ў прымусіць рынкі працаваць сумленна, мы таксама павінны быць смелыя рэфарматары ўрада ".

Гэтыя маніфесты ўтрымліваюць каштоўныя дадзеныя для палітолагаў, у прыватнасці, тых, хто вывучае выбараў і дынамікі палітычных дыскусій. Для таго, каб сістэматычна здабываць інфармацыю з гэтых маніфэстаў, даследчыкі стварылі праект маніфеста, у якім сабраны 4000 маніфэстаў з амаль 1000 партый у 50 краінах свету, а затым арганізаваныя палітолаг сістэматычна закадаваць іх. Кожнае прапанову ў кожным маніфесце было закадавана экспертам, выкарыстоўваючы схему 56-катэгорыі. Вынік гэтай сумеснай дзейнасці з'яўляецца масавым наборам дадзеных абагульнення інфармацыі, укаранёнай у гэтых маніфест, і гэты набор дадзеныя былі выкарыстаны ў больш чым 200 навуковых працах.

Kenneth Benoit і яго калегі (2016) вырашылі ўзяць задачу кадавання маніфесту, раней якія выконваюцца спецыялістамі і ператварыць яго ў праект вылічэнні чалавека. У выніку, яны стварылі працэс кадавання, які з'яўляецца больш прайграваных і больш гнуткім, не кажучы ўжо танней і хутчэй.

Праца з 18 маніфестамі, атрыманых на працягу шасці апошніх выбараў у Злучаным Каралеўстве, Benoit і яго калегі выкарысталі спліт-прымяняць, спалучаць стратэгію з працоўнымі з рынку microtask працы (Amazon Mechanical Turk і CrowdFlower з'яўляюцца прыкладамі рынкаў microtask працы, больш на такіх рынках глядзіце главу 4). Даследнікі ўзялі кожны маніфесту і падзяліць яго на прапановы. Далей, чалавек ужыў схему кадавання для кожнага прапановы. У прыватнасці, чытачы прасілі класіфікаваць кожнае прапанову як якія адносяцца да эканамічнай палітыкі (налева або направа), сацыяльнай палітыцы (ліберальнай ці кансерватыўнай), альбо да ні (малюнку 5.5). Кожнае прапанова была закадавана прыкладна пяць розных людзей. Нарэшце, гэтыя ацэнкі былі аб'яднаны з выкарыстаннем статыстычнай мадэлі , якая ўлічваецца як эфекты індывідуальна-ацэншчыка і цяжкасці ў сказе , эфекты. У цэлым, Benoit і яго калегі сабралі 200000 рэйтынгаў каля 1500 людзей.

Малюнак 5.5: схема кадавання з Benoit et al. (2016) і Benoit et al. (2016) . Чытачы прасілі класіфікаваць кожнае прапанову як якія адносяцца да эканамічнай палітыкі (налева або направа), сацыяльнай палітыцы (ліберальнай ці кансерватыўнай), або ні. Адаптавана з Benoit et al. (2016) і Benoit et al. (2016) , малюнак 1.

Для таго, каб ацаніць якасць кадавання натоўпу, Benoit і яго калегі таксама мелі каля 10 спецыялістаў-прафесараў і аспіранты ў паліталагічным-курсе тыя ж маніфесты, выкарыстоўваючы аналагічную працэдуру. Хоць рэйтынгі ад членаў натоўпу былі больш зменлівымі, чым рэйтынгі ад экспертаў, кансенсус ацэнкі натоўпу была выдатнае згоду з рэйтынгам кансенсусу экспертаў (малюнак 5.6). Гэта параўнанне паказвае, што, як і Galaxy Zoo, праекты вылічэнняў чалавека могуць вырабляць высакаякасныя вынікі.

Малюнак 5.6: Экспертныя ацэнкі ( \(x\) Оу) і ацэнка натоўпу ( \(y\) восі х) быў у выдатным згодзе пры кадаванні 18 партый маніфэстаў са Злучанага Каралеўства (Benoit et al. 2016) і (Benoit et al. 2016) . Маніфесты Кадаваць былі ад трох палітычных партый (кансерватыўнага, працоўнай і ліберал-дэмакраты) і шэсць выбараў (1987, 1992 г., 1997 г., 2001 года, 2005 i 2010). Адаптавана з Benoit et al. (2016) і Benoit et al. (2016) , малюнак 3.

Абапіраючыся на гэты вынік, Benoit і яго калегі выкарыстоўвалі іх натоўпу-сістэмы кадавання, каб зрабіць даследаванне, што было немагчыма з сістэмай кадавання эксперт перспектыве, якая выкарыстоўваецца Праектам маніфесту. Напрыклад, праект маніфеста ня закадаваць маніфэстаў на тэму іміграцыі, таму што не было характэрнай тэмай, калі схема кадавання была распрацавана ў сярэдзіне 1980-х гадоў. І ў гэты момант, гэта лагістычны немагчымае для праекта маніфесту, каб вярнуцца назад і перакадзіраваць іх маніфесты, каб захапіць гэтую інфармацыю. Таму, здавалася б, што даследчыкі, зацікаўленыя ў вывучэнні палітыкі іміграцыі з шанцавання. Тым не менш, Benoit і яго калегі змаглі выкарыстаць сваю чалавечую сістэму вылічэнняў, каб зрабіць гэта кадаваньне-наладжанае для сваіх даследаванняў пытання-хутка і лёгка.

Для вывучэння іміграцыйнай палітыкі, яны закадзіравалі маніфесты для васьмі партыяў у 2010 годзе усеагульных выбараў у Злучаным Каралеўстве. Кожнае прапанову ў кожным маніфесту быў закадаваны, каб звязаныя Ці іміграцыі, і калі так, то ці быў ён пра-іміграцыя, нейтральны ці анты-іміграцыі. У працягу 5 гадзін запуску свайго праекта, вынікі былі. Яны сабралі больш за 22000 адказаў на агульную суму $ 360. Акрамя таго, ацэнкі з натоўпу паказалі выдатнае згоду з раней апытання экспертаў. Затым, у якасці фінальнага тэсту, праз два месяцы, даследчыкі прайграныя іх натоўп кадаваньне. На працягу некалькіх гадзін яны стварылі новы натоўп кадоўкі набору дадзеных, якія адпавядалі іх зыходнага натоўпе кадоўкі набору дадзеных. Іншымі словамі, чалавек вылічэнне дазволіла ім сфармаваць кадаваньне палітычных тэкстаў, якія пагадзіліся з ацэнкамі экспертаў і прайграваных. Акрамя таго, паколькі чалавек вылічэнні хутка і танна, гэта было лёгка для іх, каб наладзіць іх збор дадзеных для іх канкрэтных даследаванняў пытання аб іміграцыі.