5.2.2 Dav-kódování politické manifesty

Kódování politické manifesty, co obvykle provádí odborníky, může být provedena pomocí lidského výpočetního projektu vede k větší reprodukovatelnost a flexibilitu.

Podobně jako u Galaxy Zoo existuje řada situací, kdy sociální vědci chtějí kódovat, klasifikovat nebo označovat obrázek nebo kus textu. Příkladem tohoto druhu výzkumu je kódování politických manifestací. Během voleb politické strany produkují manifesty popisující své politické postoje a vedoucí filozofie. Zde je například část manifestu labouristické strany ve Spojeném království od roku 2010:

"Miliony lidí, kteří pracují v našich veřejných služeb ztělesňují nejlepších hodnot Británie, pomáhá posilovat lidem, aby co nejvíce z jejich vlastních životů a zároveň je chrání před riziky, neměly by nést samy. Stejně jako musíme být odvážnější o roli vlády v fungování trhů spravedlivě, musíme také být odvážné reformátoři vlády. "

Tyto manifesty obsahují cenné údaje pro politology, zejména pro studium voleb a dynamiku politických debat. Za účelem systematického získávání informací z těchto manifestů vytvořili vědci projekt Manifest, který shromáždil 4 000 manifestů z téměř 1000 stran v 50 zemích a poté organizoval politické vědce, aby je systematicky kódoval. Každá věta v každém manifestu byla kódována odborníkem pomocí schématu 56 kategorií. Výsledkem tohoto společného úsilí je rozsáhlý soubor dat, který shrnuje informace obsažené v těchto manifestostech a tento soubor dat byl použit ve více než 200 vědeckých pracích.

Kenneth Benoit a kolegové (2016) rozhodli přijmout úlohu kódování manifestu, která byla předtím provedena odborníky, a přeměnit ji na lidský výpočetní projekt. V důsledku toho vytvořili proces kódování, který je více reprodukovatelný a flexibilnější, nemluvě o tom, že je levnější a rychlejší.

Práce s 18 manifestacemi generovanými během šesti nedávných volbách ve Spojeném království používali Benoit a kolegové strategii split-apply-combine s pracovníky z trhu práce microtask (Amazon Mechanical Turk a CrowdFlower jsou příklady trhů práce na microtasku; , viz kapitola 4). Výzkumníci vzali každý manifest a rozdělili jej na věty. Dále osoba aplikovala kódovací schéma na každou větu. Zejména byli čtenáři požádáni, aby klasifikovali každou větu jako odkaz na ekonomickou politiku (vlevo nebo vpravo), na sociální politiku (liberální nebo konzervativní), ani na žádný (obrázek 5.5). Každá věta byla kódována asi pěti různými lidmi. Konečně byly tyto hodnocení kombinovány za použití statistického modelu, který se týkal jak efektů individuálního rátače, tak efektů obtížnosti vět. Celkem Benoit a kolegové shromáždili 200 000 hodnocení od asi 1 500 lidí.

Obrázek 5.5: Schéma kódování od Benoit et al. (2016) . Čtenáři byli požádáni, aby klasifikovali každou větu jako odkaz na hospodářskou politiku (vlevo nebo vpravo), na sociální politiku (liberální nebo konzervativní) nebo na žádnou z nich. Adaptace od Benoit et al. (2016) , obrázek 1.

Aby bylo možné posoudit kvalitu kódování davu, Benoit a kolegové měli kolem deseti odborníků - profesorů a postgraduálních studentů v politické vědě - stejnou podobu pomocí stejného postupu. Přestože ratingy členů davu byly mnohem variabilnější než hodnocení odborníků, hodnocení konsenzuálního davu mělo pozoruhodnou shodu se shodným odborným ratingem (obrázek 5.6). Toto srovnání ukazuje, že stejně jako u Galaxy Zoo mohou lidské výpočetní projekty produkovat vysoce kvalitní výsledky.

Obr. 5.6: Expertní odhady ( \(x\) -axis) a odhady davu ( \(y\) -axis) zaznamenaly pozoruhodnou shodu při kódování 18 stranických manifestů ze Spojeného království (Benoit et al. 2016) . Manipulační manifesty byly od tří politických stran (konzervativní, labouristické a liberální demokraté) a šest voleb (1987, 1992, 1997, 2001, 2005 a 2010). Adaptace od Benoit et al. (2016) , obrázek 3.

Na základě tohoto výsledku použili Benoit a kolegové svůj systém kódování davů, aby provedli výzkum, který nebyl možný s kódovým systémem pracujícím odborně používaným Manifestovým projektem. Projekt Manifest například nezapisoval manifesty na téma přistěhovalectví, protože to nebylo hlavním tématem, když byl program kódování vytvořen v polovině osmdesátých let. A v tomto okamžiku je pro projekt Manifestu logisticky nemožné vrátit se a rekodifikovat své manifesty za účelem získání těchto informací. Zdá se tedy, že výzkumní pracovníci, kteří mají zájem o studium přistěhovalecké politiky, nemají štěstí. Nicméně, Benoit a kolegové byli schopni používat svůj lidský výpočetní systém, aby toto kódování - přizpůsobené jejich výzkumné otázce - rychle a snadno.

Aby studovali přistěhovaleckou politiku, zakódovali manifesty pro osm stran ve všeobecných volbách v roce 2010 ve Spojeném království. Každá věta v každém manifestu byla kódována, zda jde o přistěhovalectví, a pokud ano, zda jde o proimigraci, neutrální nebo proti imigraci. Během 5 hodin od zahájení svého projektu byly výsledky. Byly shromážděny více než 22 000 odpovědí za celkové náklady 360 $. Dále odhady od davu ukázaly pozoruhodnou shodu s dřívějším průzkumem odborníků. Pak, jako závěrečný test, o dva měsíce později, výzkumníci reprodukovali své davové kódování. Během několika hodin vytvořili novou datovou množinu kódovanou davu, která přesně odpovídala jejich původnímu datovému souboru kódovanému davu. Jinými slovy lidský výpočet jim umožnil vytvářet kódování politických textů, které souhlasily s odbornými hodnoceními a byly reprodukovatelné. Dále, protože lidské výpočty byly rychlé a levné, bylo pro ně snadné přizpůsobit shromažďování údajů specifické výzkumné otázce týkající se přistěhovalectví.