5.2.2 публиката кодирање на политички манифести
Кодирање политички манифести, нешто што обично се прави од страна на експерти, може да се врши од страна на пресметување на проектот за човекови резултира во поголема повторливост и флексибилност.
Слично на Галакси зоолошката градина, постојат многу ситуации каде што социјалните истражувачи сакаат да кодираат, класифицираат или обележат слика или текст. Пример за овој вид на истражување е кодирањето на политичките манифести. За време на изборите, политичките партии произведуваат манифести кои ги опишуваат нивните политички позиции и водечки филозофии. На пример, тука е дел од манифестот на Лабуристичката партија во Обединетото Кралство од 2010 година:
"Милиони луѓе кои работат во јавните услуги отелотворуваат најдобрите вредности на Велика Британија, помагајќи да ги поттикне луѓето да се направи поголемиот дел од својот живот додека ги заштитува од ризиците што не треба да се носи на своите. Исто како што ние треба да бидеме похрабри за улогата на владата за пазарите да работат правично, ние исто така треба да бидат храбри реформатори на владата. "
Овие манифестации содржат вредни податоци за политичките научници, особено за оние кои ги проучуваат изборите и динамиката на политичките дебати. Со цел систематски да ги извлечат информациите од овие манифести, истражувачите го создадоа проектот Манифест, кој собра 4.000 манифестации од речиси 1.000 партии во 50 земји, а потоа организираше политички научници систематски да ги кодираат. Секоја реченица во секој манифест беше кодирана од експерт користејќи шема од 56 категории. Резултатот од овој заеднички напор е масивен назив на податоци сумирајќи ги информациите вградени во овие манифести, а овој назив на податоци се користи во повеќе од 200 научни трудови.
Кенет Бенојт и колегите (2016) одлучија да ја преземат манифестата кодирање задача која претходно беше изведена од страна на експерти и да го претвори во човечки пресметка проект. Како резултат на тоа, тие создадоа процес на кодирање кој е повеќе репродуцибилен и пофлексибилен, а да не зборуваме поевтино и побрзо.
Работејќи со 18 манифестации генерирани за време на шестте неодамнешни избори во Обединетото Кралство, Беноит и неговите колеги ја искористија стратегијата за сплит-примена-комбинација со работници од пазарот за труд на микро-тата (Амазон Механички Турк и CrowdFlower се примери на пазари за труд на микро трудови, за повеќе на такви пазари , видете Поглавје 4). Истражувачите го зедоа секој манифест и го разделија на реченици. Следно, едно лице ја примени шемата за кодирање на секоја реченица. Особено, читателите беа замолени да ја класифицираат секоја реченица како да се однесуваат на економската политика (лево или десно), на социјалната политика (либерална или конзервативна) или на ниту една (слика 5.5). Секоја реченица беше кодирана од околу пет различни луѓе. Конечно, овие рејтинзи беа комбинирани со користење на статистички модел којшто ги зема предвид ефектите на индивидуално-рајтер и ефектите на потешкотии на пресудата. Во сите, Бенојт и колегите собраа 200.000 рејтинг од околу 1.500 луѓе.
Слика 5.5: Кодирање шема од Benoit et al. (2016) . Од читателите беше побарано да ја класифицираат секоја реченица како да се однесуваат на економската политика (лево или десно), на социјалната политика (либерална или конзервативна) или на ниту една. Прилагоден од Benoit et al. (2016) , слика 1.
Со цел да се оцени квалитетот на шифрирањето на толпата, Беноит и неговите колеги, исто така, имаа околу 10 експерти-професори и дипломирани студенти по политички науки - ги оценуваат истите манифести со слична процедура. Иако рејтингот од членовите на толпата беше променлив од рејтингот на експертите, рејтингот на толпата на консензус имаше извонреден договор со експертскиот рејтинг на консензус (слика 5.6). Оваа споредба покажува дека, како и со зоолошката градина Галакси, проектите за човечки пресметки можат да произведат квалитетни резултати.
Слика 5.6: Експертските проценки ( \(x\) -axis) и проценките на толпата ( \(y\) -axis) беа во извонреден договор кога кодираа 18 партиски манифести од Обединетото Кралство (Benoit et al. 2016) . Манифестите беа кодирани од три политички партии (конзервативци, труд и либералдемократи) и шест избори (1987, 1992, 1997, 2001, 2005 и 2010). Прилагоден од Benoit et al. (2016) , слика 3.
Врз основа на овој резултат, Бенуа и неговите колеги го користеа својот систем за кодирање на толпи за да го направат истражувањето што беше невозможно со експертскиот систем за кодирање што го користеше Проектот Манифест. На пример, проектот Манифест не ги кодира манифестите на темата за имиграција, бидејќи тоа не беше истакната тема кога шемата за кодирање беше развиена во средината на 1980-тите. И, во овој момент, логистички е невозможно за Проектот Манифест да се врати и да ги повтори своите манифести за да ги фати овие информации. Затоа, се чини дека истражувачите заинтересирани за проучување на политиката на имиграција се надвор од среќа. Сепак, Бенојт и неговите колеги успеаја да го искористат својот човечки пресметковен систем за да го направат ова кодирање - прилагодено на своето истражувачко прашање - брзо и лесно.
Со цел да ја проучат имиграционата политика, ги кодираа манифестите за осум партии на општите избори во 2010 година во Обединетото Кралство. Секоја реченица во секој манифест беше кодирана за тоа дали се работи за имиграција, и ако е така, дали е про-имиграција, неутрална или анти-имиграција. Во рок од 5 часа по започнувањето на нивниот проект, резултатите беа внатре. Тие собраа повеќе од 22.000 одговори со вкупна цена од 360 долари. Понатаму, проценките од толпата покажаа извонреден договор со претходно истражување на експерти. Потоа, како последен тест, два месеци подоцна, истражувачите го репродуцираа нивното толкување. Во рок од неколку часа, тие создадоа нов назив на податоци со шифрирана ширина на податоци, кој точно се совпадна со нивниот оригинален кодиран збир на податоци. Со други зборови, човечкото пресметување им овозможило да генерираат кодирање на политички текстови кои се согласиле со експертски проценки и биле репродуцирани. Понатаму, бидејќи човековата пресметка беше брза и ефтина, лесно им беше да го прилагодат собирањето на нивните податоци до нивното специфично истражувачко прашање за имиграцијата.
