5.2.2 množice, kodiranje političnih manifestih

Kodiranje politične manifeste, kaj običajno opravili strokovnjaki, se lahko izvede projekt človeško računanja za posledico večjo ponovljivost in prilagodljivost.

Podobno kot pri Galeriji Zoo, obstaja veliko situacij, ko socialni raziskovalci želijo kodirati, razvrstiti ali označiti sliko ali del besedila. Primer takšne raziskave je kodiranje političnih manifestov. Med volitvami politične stranke proizvajajo manifestove, ki opisujejo svoja politična stališča in vodijo filozofije. Na primer, tukaj je del manifesta delovne skupine v Združenem kraljestvu od leta 2010:

"Milijoni ljudi, ki delajo v naših javnih storitev uteleša najboljše vrednosti Britanije, pomagati usposobiti ljudi, da večina njihovih življenj, medtem ko jih ščitijo pred tveganji, ki jih ne bi bilo treba nositi sami. Tako kot moramo biti drznejši o vlogi države pri spodbujanju trgov deluje precej, prav tako je treba krepko reformatorji vlade. "

Ti manifesti vsebujejo dragocene podatke za politologe, zlasti tiste, ki preučujejo volitve in dinamiko političnih razprav. Za sistematično pridobivanje informacij iz teh manifestov so raziskovalci ustvarili projekt Manifesto, ki je zbral 4000 manifestov iz skoraj 1.000 strank v 50 državah in nato organiziral politične znanstvenike, ki so jih sistematično kodirali. Vsak stavek v vsakem manifestu je kodiral strokovnjak z uporabo sheme 56 kategorij. Rezultat tega sodelovanja je ogromen podatkovni niz, ki povzema informacije, vdelane v te manifeste, in ta podatkovni niz je bil uporabljen v več kot 200 znanstvenih dokumentih.

Kenneth Benoit in sodelavci (2016) odločili, da bodo opravili nalogo kodiranja manifesta, ki so jo predhodno izvedli strokovnjaki in ga preoblikovali v projekt človeškega izračuna. Kot rezultat, so ustvarili proces kodiranja, ki je bolj ponovljiv in bolj prilagodljiv, da ne omenjamo cenejšega in hitrejšega.

Benoit in sodelavci, ki so sodelovali z 18 manifestoi na šestih nedavnih volitvah v Združenem kraljestvu, so uporabili strategijo split-apply-combine z delavci iz trga dela z mikrotobami (Amazon Mechanical Turk in CrowdFlower so primeri trge delovne sile z mikrotobami, več na teh trgih , glej poglavje 4). Raziskovalci so vzeli vsak manifest in ga razdelili v stavke. Nato je oseba uporabila kodirno shemo za vsak stavek. Bralci so bili zlasti naprošeni, da vsako stavko razvrstijo tako, da se nanašajo na ekonomsko politiko (levo ali desno), na socialno politiko (liberalno ali konservativno) ali na nobeno (slika 5.5). Vsak stavek je kodiral približno pet različnih ljudi. Nenazadnje so bile te ocene združene z uporabo statističnega modela, ki je upošteval učinke posameznika in rdečih učinkov ter težave s stresom. V celoti, Benoit in kolegi zbirali 200.000 ocen s približno 1.500 ljudi.

Slika 5.5: Shema kodiranja iz Benoit et al. (2016) . Bralce je bilo naprošeno, da vsako stavko razvrstijo tako, da se nanašajo na ekonomsko politiko (levo ali desno), na socialno politiko (liberalno ali konzervativno) ali na nobeno. Prilagojeno od Benoit et al. (2016) , slika 1.

Za oceno kakovosti kodiranja množice so Benoit in sodelavci imeli tudi približno 10 strokovnjakov-profesorjev in diplomantov iz politoloških znanosti, ki uporabljajo podobne postopke s podobnim postopkom. Čeprav so bile ocene članov množice bolj spremenljive od ocen strokovnjakov, je bila ocena soglasja množice izjemno dogovorjena s strokovno oceno s konsenzom (slika 5.6). Ta primerjava kaže, da lahko, kot pri Galaxy Zoo, projekti človeškega izračuna omogočajo kakovostne rezultate.

Slika 5.6: Ocene strokovnjakov ( \(x\) -axis) in ocene množice ( \(y\) -axis) so bile v izjemnem soglasju pri kodiranju 18 stranskih manifestov iz Združenega kraljestva (Benoit et al. 2016) . Manifeste so kodirali trije politične stranke (konzervativni, delovni in liberalni demokrati) in šest volitev (1987, 1992, 1997, 2001, 2005 in 2010). Prilagojeno od Benoit et al. (2016) , slika 3.

Na osnovi tega rezultata so Benoit in njegovi kolegi uporabili svoj sistem za kodiranje množic, da bi raziskovali, kar je bilo nemogoče pri strokovnem vodenju kodirnega sistema, ki ga uporablja projekt Manifesto. Projekt Manifesto na primer ni kodiral manifestov na temo priseljevanja, ker to ni bila glavna tema, ko je bila shema šifriranja razvita sredi osemdesetih let prejšnjega stoletja. In na tej točki je logistično neizvedljivo, da se Project Manifesto vrne in ponovi svoje manifeste, da bi zajeli te podatke. Zato se zdi, da raziskovalci, ki se zanimajo za preučevanje politike priseljevanja, niso srečni. Toda Benoit in njegovi sodelavci so lahko uporabili svoj človeški računski sistem, da bi to kodiranje prilagodili svojemu raziskovalnemu vprašanju - hitro in enostavno.

Da bi preučili politiko priseljevanja, so na splošnih volitvah leta 2010 v Združenem kraljestvu kodirali manifeste za osem strank. Vsak stavek v vsakem manifestu je bil kodiran glede tega, ali se je nanašal na priseljevanje, in če je bilo, ali je to priseljevanje, nevtralnost ali priseljevanje. V petih urah po začetku njihovega projekta so bili rezultati doseženi. Zbrali so več kot 22.000 odgovorov s skupnimi stroški 360 dolarjev. Nadalje so ocene množice pokazale izjemen dogovor s prejšnjo raziskavo strokovnjakov. Potem, kot zadnji test, dva meseca kasneje, raziskovalci ponovili svoje kodiranje množice. V nekaj urah so ustvarili nov niz podatkov, ki so bili označeni z množico, ki so bili v skladu z njihovim prvotnim množičnim kodiranjem podatkov. Z drugimi besedami, človeški račun jim je omogočil ustvarjanje kodiranja političnih besedil, ki so se strinjale s strokovnimi ocenami in so bile ponovljive. Poleg tega, ker je bilo človeško računanje hitro in poceni, jim je bilo enostavno prilagoditi zbiranje podatkov na svoje specifično raziskovalno vprašanje o priseljevanju.