5.2.2 Crowd-кодиране на политически манифести

Кодиране на политически манифести, нещо обикновено се извършва от експерти, може да се извърши чрез изчисляване проект човешко води до по-голяма възпроизводимост и гъвкавост.

Подобно на Galaxy Zoo, има много ситуации, в които социалните изследователи искат да код, класифицират, или етикета на изображение или част от текст. Един пример за този вид изследвания е кодирането на политически манифести. По време на избори, политически партии произвеждат манифести, описващи техните политически позиции и водещите философии. Например, ето една част от манифеста на Лейбъристката партия във Великобритания от 2010 г.:

"Милиони хора, които работят в нашите обществени услуги въплъщават най-добрите стойности на Великобритания, за да помогнете позволяват на хората да се възползват максимално от живота си, докато ги предпазва от рисковете, те не следва да понасят сами по себе си. Точно както ние трябва да бъдем по-смели за ролята на правителството при вземането на пазарите да работят честно, ние също трябва да бъдат смели реформатори на правителството. "

Тези манифести съдържат ценни данни за политолози, специално тези, които учат избори и динамиката на политическите дебати. С цел да се системно извличане на информация от тези манифести, изследователи създадоха Проектът Манифест , който организира политолози да код 4000 манифести от близо 1000 лица в 50 страни. Всяка присъда във всеки манифест е бил кодиран от експерт при използване на схема за 56-категория. В резултат на тази съвместна работа е огромен масив от данни, обобщаващ информацията, вградени в тези манифести, и този набор от данни се използва в повече от 200 научни статии.

Кенет Benoit и колеги (2015) решиха да предприемат кодиране задача на манифест, който преди това е бил извършен от експерти и да го превърне в изчисление проект човек. В резултат, те създават процес на кодиране, която е по-възпроизводими и по-гъвкави, да не говорим за по-евтино и по-бързо.

Работа с 18 манифести, генерирани по време на шест последните избори във Великобритания, Benoit и колеги използват с раздвоен прилагат-комбинират стратегия с работници от пазара на труда микро-задача (Amazon Mechanical Turk и CrowdFlower са примери на микро-задача пазари на труда; за повече на микро-задача на пазарите на труда, виж глава 4). Изследователите взели всеки манифест и да го разделят на изречения. На следващо място, човешки рейтинг се прилага към всяко изречение. По-специално, ако присъдата участва изявление политика, тя е кодирана в две насоки: икономическа (от много ляво на много прав) и социална (от либерална към консервативна) (Фигура 5.5). Всяка присъда е кодиран от около 5 различни хора. И накрая, тези оценки се обединяват с помощта на статистически модел, който отчита както на отделните при оценка на ефекти и трудност на изречение ефекти. Във всички, Benoit и колеги, събрани 200,000 оценки от около 1500 работници.

Фигура 5.5: схемата за кодиране от Benoit et al. (2015) (фиг 1).

За да се оцени качеството на кодиране на тълпата, Benoit и колеги също са имали около 10 експерти-преподаватели и докторанти по политология ставка същите манифести, използвайки подобна процедура. Въпреки, че оценките от членове на тълпата са по-променливи от оценките на експертите, тълпа Оценката на консенсус имаше забележителна споразумение с консенсус експерт Оценката (Фигура 5.6). Това сравнение показва, че, както с Galaxy Zoo, проекти човешките изчислителни могат да произвеждат висококачествени резултати.

Фигура 5.6: Експертни оценки (X-ос) и оценки на тълпата (Y-ос) са в забележително споразумение при кодиране 18 партийни манифести от Великобритания (Benoit et al. 2015) . На манифести кодирани са от три политически партии (консервативен, труда, либералдемократите) и шест избори (1987 г., 1992 г., 1997 г., 2001 г., 2005 г., 2010 г.).

Въз основа на този резултат, Benoit и колеги използват тяхната тълпа-система за кодиране, за да се правят изследвания, че е невъзможно с Проекта манифест. Например, проектът Манифест не кодират манифести по темата за имиграцията, защото това не беше изтъкната тема, когато схемата за кодиране е разработен в средата на 1980-те. И в този момент, това е логистично невъзможно за проекта манифест да се върна и отново кодови техните манифести да улови тази информация. Ето защо, може да се окаже, че изследователите, заинтересовани в изучаването на политиката на имиграция са изложени на късмет. Въпреки това, Benoit и колеги са били в състояние да използва своето човешко система изчисляване да се направи това кодиране-персонализирани, за да им изследвания въпрос-бързо и лесно.

С цел да се проучи имиграционна политика, те кодирани на манифести за осем партии в избори през 2010 г. във Великобритания. Всяка присъда във всеки манифест е кодиран за това дали то е свързано с имиграцията, и ако е така, дали е про-имиграция, неутрално, или анти-имиграция. В рамките на 5 часа на стартиране на проекта им, резултатите бяха в. Те са събрани повече от 22,000 отговори на обща стойност от $ 360. Освен това, оценките от публиката показаха забележително споразумение с по-ранна проучване на експерти. След това, като последен тест, два месеца по-късно, учените възпроизведени им тълпа-кодиране. В рамките на няколко часа, те са създали нова тълпа кодирани данните, които съвпадат напълно оригиналния им тълпа кодирани набор от данни. С други думи, човешкото изчисление им дава възможност за генериране на кодиране на политически текстове, които се съгласиха с експертни оценки и е възпроизводим. Освен това, тъй като човешкото изчислението е бърз и евтин, че е лесно за тях да персонализирате тяхното събиране на данни за тяхната конкретна изследователска въпрос за имиграцията.