5.2.2 Crowd-codering van politieke manifesten
Codering politieke manifesten, iets typisch gedaan door deskundigen, kan worden uitgevoerd door een menselijke berekening project resulteert in een grotere reproduceerbaarheid en flexibiliteit.
Net als bij de Galaxy Zoo, zijn er veel situaties waar de sociale onderzoekers willen code, classificeren, of het etiket een afbeelding of een stuk tekst. Een voorbeeld van dit soort onderzoek is de codering van politieke manifesten. Tijdens de verkiezingen, politieke partijen produceren manifesten beschrijven van hun politieke standpunten en het begeleiden van filosofieën. Bijvoorbeeld, hier is een stukje van het manifest van de Partij van de Arbeid in Groot-Brittannië uit 2010:
"Miljoenen mensen die werkzaam zijn in onze openbare diensten belichamen de beste waarden van Groot-Brittannië, het helpen van mensen in staat om de meeste van hun eigen leven te maken, terwijl ze te beschermen tegen de risico's die zij niet zouden moeten dragen op hun eigen. Net zoals we nodig hebben om bolder over de rol van de overheid in markten laten werken vrij te zijn, moeten we ook gedurfde hervormers van de overheid zijn. "
Deze manifesten bevatten waardevolle gegevens voor politicologen, met name die het bestuderen van de verkiezingen en de dynamiek van het politieke debat. Om systematisch informatie halen uit deze manifesten, onderzoekers creëerde The Manifesto Project , dat politicologen georganiseerd om 4.000 manifesten coderen van bijna 1000 partijen in 50 landen. Elke zin in elk manifest is gecodeerd door een deskundige met behulp van een 56-categorie regeling. Het resultaat van deze gezamenlijke inspanning is een enorme dataset samenvatting van de ingebedde informatie in deze manifesten en deze dataset is gebruikt in meer dan 200 wetenschappelijke artikelen.
Kenneth Benoit en collega's (2015) besloten om het manifest codering taak die eerder was uitgevoerd door deskundigen te nemen en zet hem in een menselijke berekening project. Daardoor creëerden ze een codeerproces dat meer reproduceerbaar en flexibeler, niet goedkoper en sneller te noemen.
Werken met 18 manifesten die tijdens zes recente verkiezingen in het Verenigd Koninkrijk, Benoit en collega's gebruikt de split-toepassing-combineren strategie met werknemers uit een micro-taak arbeidsmarkt (Amazon Mechanical Turk en CrowdFlower zijn voorbeelden van micro-task arbeidsmarkten; voor meer op micro-taak arbeidsmarkten, zie hoofdstuk 4). De onderzoekers namen elk manifest en splitsen in zinnen. Vervolgens werd de menselijke waardering toegepast op elke zin. Met name wanneer de straf betrof een beleidsverklaring werd gecodeerd langs twee dimensies: economische (van uiterst links tot uiterst rechts) en sociale (van liberale conservatief) (Figuur 5.5). Elke zin werd gecodeerd door ongeveer 5 verschillende mensen. Ten slotte werden deze ratings gecombineerd met behulp van een statistisch model dat goed voor zowel individuele beoordelaar effecten en de moeilijkheidsgraad van de straf effecten. In alle, Benoit en collega's verzamelde 200.000 ratings van ongeveer 1.500 werknemers.
Figuur 5.5: Codeerschema van Benoit et al. (2015) (figuur 1).
Met het oog op de kwaliteit van de menigte codering te beoordelen, Benoit en collega's hadden ook ongeveer 10 experts-professoren en studenten in de Politieke Wetenschappen-tarief dezelfde manifesten met behulp van een soortgelijke procedure. Hoewel de ratings van de leden van de menigte meer variabel dan de beoordelingen van de deskundigen waren de consensus menigte cijfer had opmerkelijke overeenkomst met de consensus van deskundigen rating (Figuur 5.6). Uit deze vergelijking blijkt dat, net als bij de Galaxy Zoo, kunnen menselijke berekening projecten resultaten van hoge kwaliteit te produceren.
Figuur 5.6: Expert schattingen (x-as) en de menigte schattingen (y-as) waren in opmerkelijke overeenkomst bij het coderen van 18 partijprogramma van het Groot-Brittannië (Benoit et al. 2015) . De manifesten gecodeerde waren afkomstig van drie politieke partijen (Conservative, Labour, Liberal Democrats) en zes verkiezingen (1987, 1992, 1997, 2001, 2005, 2010).
Voortbouwend op dit resultaat, Benoit en zijn collega's gebruikten hun crowd-codering systeem om onderzoek dat onmogelijk was met het Manifest Project doen. Zo heeft het Manifest Project niet de manifesten code op het onderwerp van immigratie, want dat was geen opvallende onderwerp toen de codeerschema werd ontwikkeld in het midden van de jaren 1980. En, op dit moment, is het logistiek onhaalbaar voor de Manifesto Project om terug te gaan en re-code hun manifesten om deze informatie vast te leggen. Daarom lijkt het erop dat onderzoekers die geïnteresseerd zijn in het bestuderen van de politiek van de immigratie zijn pech. Echter, Benoit en zijn collega's waren in staat om hun menselijke berekening systeem te gebruiken om deze-codering aangepast aan hun onderzoeksvraag-snel en gemakkelijk te doen.
Met het oog op het immigratiebeleid te studeren, gecodeerd ze de manifesten voor acht partijen in de verkiezingen van 2010 in Groot-Brittannië. Elke zin in elk manifest werd gecodeerd als de vraag of het met betrekking tot immigratie, en zo ja, of het pro-immigratie, neutraal, of anti-immigratie. Binnen 5 uur na de lancering van hun project, de resultaten waren in. Ze hadden meer dan 22.000 reacties op een totale kostprijs van $ 360 verzameld. Verder, de ramingen van de menigte toonde opmerkelijke overeenkomst met een eerder onderzoek van deskundigen. Dan, als een laatste test, twee maanden later, de onderzoekers gereproduceerd hun crowd-codering. Binnen een paar uur, hadden ze een nieuwe menigte gecodeerde dataset die hun oorspronkelijke-crowd gecodeerde data set nauw bij elkaar gemaakt. Met andere woorden, de menselijke berekening konden ze codering van politieke teksten die met deskundige evaluaties overeengekomen en was reproduceerbaar te genereren. Verder, omdat de menselijke berekening was snel en goedkoop, was het gemakkelijk voor hen om hun het verzamelen van gegevens aan te passen aan hun specifieke vraagstelling over immigratie.
