5.2.2 Crowd-кодиране на политически манифести
Кодиране на политически манифести, нещо обикновено се извършва от експерти, може да се извърши чрез изчисляване проект човешко води до по-голяма възпроизводимост и гъвкавост.
Подобно на Galaxy Zoo, има много ситуации, в които социалните изследователи искат да кодират, класифицират или маркират изображение или част от текста. Пример за такъв вид изследване е кодирането на политически манифести. По време на избори политическите партии изготвят манифести, описващи техните политически позиции и водещи философии. Например, тук е част от манифеста на Лейбъристката партия в Обединеното кралство от 2010 г.:
"Милиони хора, които работят в нашите обществени услуги въплъщават най-добрите стойности на Великобритания, за да помогнете позволяват на хората да се възползват максимално от живота си, докато ги предпазва от рисковете, те не следва да понасят сами по себе си. Точно както ние трябва да бъдем по-смели за ролята на правителството при вземането на пазарите да работят честно, ние също трябва да бъдат смели реформатори на правителството. "
Тези манифести съдържат ценни данни за политолозите, особено тези, които изучават изборите, и динамиката на политическите дебати. За да извлекат систематично информация от тези манифести, изследователите създадоха Манифестния проект, който събра 4000 манифеста от близо 1000 партии в 50 страни и след това организира политолози, за да ги систематизира. Всяко изречение във всеки манифест беше кодирано от експерт, използващ схема от 56 категории. Резултатът от това съвместно усилие е масивен набор от данни, обобщаващ информацията, вградена в тези манифести, и този набор от данни е използван в над 200 научни статии.
Кенет Бенойт и колегите (2016) решават да вземат манифестационната кодираща задача, която преди това е била извършена от експерти, и да я превърнат в проект за човешки изчисления. В резултат на това те създадоха кодиращ процес, който е по-възпроизводим и по-гъвкав, да не говорим по-евтино и по-бързо.
Работейки с 18 манифеста, генерирани по време на шестте скорошни избори в Обединеното кралство, Бенот и колегите използваха стратегия за разделяне на кандидатите с работници от пазара на труда на микротаски (Amazon Mechanical Turk и CrowdFlower са примери за пазари на труда на микротаски, , вж. Глава 4). Изследователите взеха всеки манифест и го разделиха на изречения. След това човек прилага схемата за кодиране на всяко изречение. По-специално, от читателите се изисква да класифицират всяко изречение като отнасящо се до икономическата политика (ляво или дясно), социална политика (либерална или консервативна), нито на нито една (фигура 5.5). Всяко изречение беше кодирано от около пет различни хора. Накрая, тези рейтинги бяха комбинирани, като се използва статистически модел, който отчита както ефектите на индивидуалните коефициенти, така и ефектите от трудността на изречението. Като цяло, Беноа и колегите са събрали 200 000 рейтинга от около 1500 души.
Фигура 5.5: Схема на кодиране от Benoit et al. (2016) . Читателите бяха помолени да класифицират всяко изречение като отнасящо се до икономическата политика (ляво или дясно), към социалната политика (либерална или консервативна), нито към нито една. Адаптирано от Benoit et al. (2016) , фигура 1.
За да се оцени качеството на кодирането на тълпата, Бенойт и колегите му също имаха около 10 експерти-професори и завършили студенти по политология - оценяват едни и същи манифести, като използват подобна процедура. Въпреки че рейтингите на членовете на тълпата бяха по-променливи от оценките от експертите, рейтингът на консенсусната тълпа имаше забележително съгласие с експертния рейтинг на консенсуса (фигура 5.6). Това сравнение показва, че както при Galaxy Zoo, човешките изчислителни проекти могат да доведат до висококачествени резултати.
Фигура 5.6: Експертните оценки ( \(x\) -аксис) и оценките на тълпата ( \(y\) -аксис) бяха в забележително съгласие при кодирането на 18 партийни манифеста от Обединеното кралство (Benoit et al. 2016) . Манифестните манифести бяха от три политически партии (консерватори, трудови и либерални демократи) и шест избори (1987, 1992, 1997, 2001, 2005 и 2010 г.). Адаптирано от Benoit et al. (2016) , фигура 3.
Въз основа на този резултат Benoit и колегите използваха своята система за кодиране на тълпата, за да направят научни изследвания, които бяха невъзможни при експерименталната кодираща система, използвана от Manifesto Project. Например, проектът "Манифест" не кодира манифестите по темата "Имиграция", защото това не беше важна тема, когато кодиращата схема беше разработена в средата на 80-те години. И в този момент е логично невъзможно за Манифестния проект да се върне и да прекодира своите манифести, за да заснеме тази информация. Следователно изглежда, че изследователи, които се интересуват от изучаване на имиграционната политика, нямат късмет. Въпреки това, Бенот и колегите им успяха да използват своята система за изчисляване на човешките ресурси, за да направят това кодиране - съобразено с техния изследователски въпрос - бързо и лесно.
За да проучат имиграционната политика, те кодираха манифеста за осем партии по време на общите избори през 2010 г. в Обединеното кралство. Всяко изречение във всеки манифест беше кодирано дали е свързано с имиграцията и дали е било промиграция, неутралност или антиимиграция. В рамките на 5 часа от стартирането на проекта им бяха постигнати резултати. Те събраха повече от 22 000 отговора на обща стойност от 360 щ.д. Освен това оценките от тълпата показаха забележително съгласие с по-ранно проучване на експерти. След това, като последен тест, два месеца по-късно, изследователите възпроизведоха кодирането на тълпата. След няколко часа те създадоха нов набор от данни, кодирани от тълпата, които съвпаднаха с оригиналния набор от данни, кодирани от тълпата. С други думи, човешките изчисления им позволиха да генерират кодиране на политически текстове, съгласувани с експертни оценки и възпроизводими. Освен това, тъй като човешките изчисления бяха бързи и евтини, беше лесно за тях да адаптират събирането на данни към специфичния си изследователски въпрос за имиграцията.
