5.2.2 Crowd-codering van politieke manifesten

Codering politieke manifesten, iets typisch gedaan door deskundigen, kan worden uitgevoerd door een menselijke berekening project resulteert in een grotere reproduceerbaarheid en flexibiliteit.

Net als bij Galaxy Zoo zijn er veel situaties waarin sociale onderzoekers een afbeelding of stuk tekst willen coderen, classificeren of labelen. Een voorbeeld van dit soort onderzoek is de codering van politieke manifesten. Tijdens verkiezingen produceren politieke partijen manifesten die hun beleidsstandpunten en leidende filosofieën beschrijven. Hier is bijvoorbeeld een stukje van het manifest van de Labour Party in het Verenigd Koninkrijk vanaf 2010:

"Miljoenen mensen die werkzaam zijn in onze openbare diensten belichamen de beste waarden van Groot-Brittannië, het helpen van mensen in staat om de meeste van hun eigen leven te maken, terwijl ze te beschermen tegen de risico's die zij niet zouden moeten dragen op hun eigen. Net zoals we nodig hebben om bolder over de rol van de overheid in markten laten werken vrij te zijn, moeten we ook gedurfde hervormers van de overheid zijn. "

Deze manifesten bevatten waardevolle gegevens voor politieke wetenschappers, met name die welke verkiezingen bestuderen en de dynamiek van beleidsdebatten. Om systematisch informatie uit deze manifesten te halen, creëerden onderzoekers het Manifest-project, dat 4.000 manifesten verzamelde van bijna 1.000 partijen in 50 landen en vervolgens politieke wetenschappers organiseerde om ze systematisch te coderen. Elke zin in elk manifest werd gecodeerd door een expert met een schema van 56 categorieën. Het resultaat van deze samenwerking is een enorme dataset met een samenvatting van de informatie die is ingebed in deze manifesten, en deze dataset is gebruikt in meer dan 200 wetenschappelijke artikelen.

Kenneth Benoit en collega's (2016) besloten om de manifestcoderingstaak die eerder door experts was uitgevoerd, om te zetten in een menselijk rekenproject. Als gevolg daarvan creëerden ze een codeerproces dat reproduceerbaarder en flexibeler is, om nog te zwijgen van goedkoper en sneller.

Tijdens het werken met 18 manifestaties gegenereerd tijdens zes recente verkiezingen in het Verenigd Koninkrijk, gebruikten Benoit en collega's de split-apply-combinatiestrategie met werknemers van een microtask arbeidsmarkt (Amazon Mechanical Turk en CrowdFlower zijn voorbeelden van microtask arbeidsmarkten, voor meer informatie over dergelijke markten , zie hoofdstuk 4). De onderzoekers namen elk manifest en splitsten het in zinnen. Vervolgens paste iemand het coderingsschema toe op elke zin. In het bijzonder werd de lezers gevraagd om elke zin te classificeren als verwijzend naar economisch beleid (links of rechts), naar sociaal beleid (liberaal of conservatief), of naar geen van beide (figuur 5.5). Elke zin was gecodeerd door ongeveer vijf verschillende mensen. Ten slotte werden deze beoordelingen gecombineerd met behulp van een statistisch model dat rekening hield met zowel individuele rater-effecten als de moeilijkheidsgraad van de zin. In totaal hebben Benoit en collega's 200.000 beoordelingen verzameld van ongeveer 1.500 mensen.

Figuur 5.5: Coderingsschema van Benoit et al. (2016) . Lezers werd gevraagd om elke zin te classificeren als verwijzend naar economisch beleid (links of rechts), naar sociaal beleid (liberaal of conservatief), of naar geen van beide. Aangepast door Benoit et al. (2016) , figuur 1.

Om de kwaliteit van de crowd-codering te beoordelen, hadden Benoit en zijn collega's ook ongeveer 10 experts-professoren en afgestudeerde studenten in de politicologie-beoordelen dezelfde manifesten met behulp van een vergelijkbare procedure. Hoewel de beoordelingen van leden van de menigte variabeler waren dan de beoordelingen van de experts, was de consensus-massarating opmerkelijk in overeenstemming met de consensusdeskundigenbeoordeling (figuur 5.6). Deze vergelijking laat zien dat menselijke rekenprojecten, net als bij Galaxy Zoo, resultaten van hoge kwaliteit kunnen produceren.

Figuur 5.6: Schattingen van experts ( \(x\) as) en schattingen van de menigte ( \(y\) as) waren in opvallende overeenstemming toen 18 partypresentaties uit het Verenigd Koninkrijk werden gecodeerd (Benoit et al. 2016) . De gecodeerde manifesten waren afkomstig van drie politieke partijen (conservatieven, arbeiders en liberaal-democraten) en zes verkiezingen (1987, 1992, 1997, 2001, 2005 en 2010). Aangepast door Benoit et al. (2016) , figuur 3.

Voortbouwend op dit resultaat gebruikten Benoit en zijn collega's hun crowd-coding-systeem om onderzoek te doen dat onmogelijk was met het door experts beheerde coderingssysteem dat door het Manifest-project werd gebruikt. Het Manifesto Project heeft bijvoorbeeld de manifesten over het onderwerp immigratie niet gecodeerd, omdat dat geen opvallend onderwerp was toen het codeerschema halverwege de jaren tachtig werd ontwikkeld. En op dit moment is het logistiek gezien onhaalbaar voor het Manifest Project om terug te gaan en hun manifesten te hercoderen om deze informatie vast te leggen. Daarom lijkt het erop dat onderzoekers die geïnteresseerd zijn in het bestuderen van de immigratiepolitiek geen succes hebben. Benoit en collega's waren echter in staat om hun menselijk computersysteem te gebruiken om deze codering - aangepast aan hun onderzoeksvraag - snel en gemakkelijk te doen.

Om het immigratiebeleid te bestuderen, codeerden ze de manifesten voor acht partijen bij de algemene verkiezingen in 2010 in het Verenigd Koninkrijk. Elke zin in elk manifest was gecodeerd met betrekking tot de vraag of het verband hield met immigratie en, zo ja, of het pro-immigratie, neutraal of anti-immigratie was. Binnen 5 uur na de lancering van hun project waren de resultaten binnen. Ze hadden meer dan 22.000 reacties verzameld voor een totale kostprijs van $ 360. Verder toonden de schattingen van de menigte opmerkelijke overeenstemming met een eerder onderzoek onder experts. Vervolgens, als een laatste test, twee maanden later, reproduceerden de onderzoekers hun crowd-codering. Binnen een paar uur hadden ze een nieuwe publiekscoderingsgegevensset gemaakt die nauw aansluit bij hun oorspronkelijke gegevensset met crowdcodes. Met andere woorden, door menselijke berekening konden ze codering van politieke teksten genereren die overeenstemden met evaluaties door experts en die reproduceerbaar waren. Verder, omdat de menselijke berekening snel en goedkoop was, was het gemakkelijk voor hen om hun gegevensverzameling aan te passen aan hun specifieke onderzoeksvraag over immigratie.