5.2.2 Dav-kódovanie politické manifesty

Kódovanie politické manifesty, čo zvyčajne vykonáva odborníkmi, môže byť vykonaná pomocou ľudského výpočtového projektu vedie k väčšej reprodukovateľnosť a flexibilitu.

Podobne ako v Galaxy Zoo, existuje veľa situácií, keď sociálni výskumníci chcú kódovať, klasifikovať alebo označovať obrázok alebo text. Príkladom tohto výskumu je kódovanie politických manifestov. Počas volieb politické strany produkujú manifesty popisujúce svoje politické pozície a smerujúce filozofie. Napríklad tu je časť manifestu Labouristickej strany v Spojenom kráľovstve od roku 2010:

"Milióny ľudí, ktorí pracujú v našich verejných služieb stelesňujú najlepších hodnôt Británia, pomáha posilňovať ľuďom, aby čo najviac z ich vlastných životov a zároveň ich chráni pred rizikami, nemali by niesť samy. Rovnako ako musíme byť odvážnejší o úlohe vlády v fungovania trhov spravodlivo, musíme tiež byť odvážne reformátori vlády. "

Tieto manifesty obsahujú cenné údaje pre politológov, najmä tých, ktorí študujú vo voľbách, a dynamiku politických diskusií. S cieľom systematického získavania informácií z týchto manifestov vytvorili vedci projekt Manifest, ktorý zhromaždil 4 000 manifestov z takmer 1000 strán v 50 krajinách a potom organizoval politických vedcov, aby ich systematicky kódovali. Každá veta v každom manifestu bola kódovaná odborníkom pomocou schémy 56 kategórií. Výsledkom tohto kolaboratívneho úsilia je masívny súbor údajov, ktorý sumarizuje informácie obsiahnuté v týchto manifestoch a tento súbor údajov bol použitý vo viac ako 200 vedeckých prácach.

Kenneth Benoit a kolegovia (2016) rozhodli vziať úlohu kódovania manifestu, ktorú predtým vykonali odborníci, a premenili ju na ľudský výpočtový projekt. V dôsledku toho vytvorili proces kódovania, ktorý je viac reprodukovateľný a pružnejší, nehovoriac o tom, že je lacnejší a rýchlejší.

Práca s 18 manifestmi, ktoré vznikli počas šiestich nedávnych volieb v Spojenom kráľovstve, Benoit a kolegovia použili stratégiu split-apply-combine s pracovníkmi z trhu práce microtask (Amazon Mechanical Turk a CrowdFlower sú príkladmi trhov s pracovnými skúsenosťami v oblasti microtasku; , pozri kapitolu 4). Výskumníci vzali každý manifest a rozdelili ho na vety. Ďalej osoba použila kódovací systém na každú vetu. Najmä čitatelia boli požiadaní, aby klasifikovali každú vetu ako odkazujúcu na hospodársku politiku (ľavú alebo pravú), na sociálnu politiku (liberálnu alebo konzervatívnu), ani na ani (obrázok 5.5). Každá veta bola kódovaná asi piatimi rôznymi ľuďmi. Nakoniec boli tieto hodnotenia kombinované s použitím štatistického modelu, ktorý zohľadňoval účinky individual-rater aj efekty ťažkostí. Všetci Benoit a kolegovia zhromaždili 200 000 hodnotení od približne 1 500 ľudí.

Obrázok 5.5: Schéma kódovania od Benoit et al. (2016) . Čitatelia boli vyzvaní, aby klasifikovali každú vetu ako odkazujúcu na hospodársku politiku (ľavú alebo pravú), na sociálnu politiku (liberálnu alebo konzervatívnu), alebo na žiadnu z nich. Adaptované od Benoit et al. (2016) , obrázok 1.

S cieľom posúdiť kvalitu kódovania davu, Benoit a kolegovia takisto mali asi desať odborníkov - profesorov a postgraduálnych študentov v politických vedách - hodnotili rovnaké manifesty pomocou podobného postupu. Aj keď ratingy členov davu boli premenlivejšie ako hodnotenia od odborníkov, hodnotenie davov konsenzu malo pozoruhodnú zhodu s odborným hodnotením konsenzu (obrázok 5.6). Toto porovnanie ukazuje, že rovnako ako v Galaxy Zoo, ľudské výpočtové projekty môžu priniesť vysoko kvalitné výsledky.

Obrázok 5.6: Experimentálne odhady ( \(x\) -axis) a odhady davu ( \(y\) -axis) zaznamenali pozoruhodnú dohodu pri kódovaní 18 stranických manifestov zo Spojeného kráľovstva (Benoit et al. 2016) . Manipulované manifesty boli od troch politických strán (konzervatívni, labouristi a liberálni demokrati) a šesť volieb (1987, 1992, 1997, 2001, 2005 a 2010). Adaptované od Benoit et al. (2016) , obrázok 3.

Vychádzajúc z tohto výsledku Benoit a jeho kolegovia používali svoj systém kódovania davov, aby vykonali výskum, ktorý nebol možný pri experimentoch spustenom kódovacom systéme, ktorý používa Manifest Project. Manifestský projekt napríklad nezapisoval manifesty na tému prisťahovalectva, pretože to nebolo hlavnou témou, keď bol program kódovania vyvinutý v polovici 80-tych rokov. A v tomto bode je logisticky nemožné, aby sa Manifestský projekt vrátil a rekodifikoval svoje manifesty na zachytenie týchto informácií. Preto sa zdá, že výskumníci, ktorí majú záujem študovať politiku prisťahovalectva, nemajú šťastie. Avšak Benoit a jeho kolegovia boli schopní rýchlo a ľahko využiť svoj ľudský výpočtový systém, aby toto kódovanie prispôsobili výskumnej otázke.

Na účely štúdia prisťahovaleckej politiky kódexovali manifesty pre osem strán vo všeobecných voľbách v roku 2010 v Spojenom kráľovstve. Každá veta v každom manifestu bola kódovaná tak, či súvisí s prisťahovalectvom, a ak áno, či ide o proimigračné, neutrálne alebo proti imigrácii. Do piatich hodín od spustenia svojho projektu boli výsledky. Zozbierali viac ako 22 000 odpovedí za celkovú cenu 360 USD. Ďalej odhady od davu ukázali pozoruhodnú dohodu s predchádzajúcim prieskumom expertov. Potom, ako posledný test, o dva mesiace neskôr, výskumníci reprodukovali svoje davové kódovanie. Počas niekoľkých hodín vytvorili nový dátový súbor kódovaný davom, ktorý sa veľmi zhodoval s ich pôvodným dátovým súborom kódovaným pre dav. Inými slovami, ľudský výpočet im umožnil generovať kódovanie politických textov, ktoré súhlasili s odbornými hodnoteniami a boli reprodukovateľné. Ďalej, pretože ľudské výpočty boli rýchle a lacné, bolo pre nich jednoduché prispôsobiť ich zber údajov konkrétnej výskumnej otázke o prisťahovalectve.