5.2.2 Crowd-kodning av politiska manifest

Kodande politiska manifest, något typiskt gjort av experter, kan utföras av en mänsklig beräkningsprojekt resulterar i större reproducerbarhet och flexibilitet.

I likhet med Galaxy Zoo finns det många situationer där sociala forskare vill koda, klassificera eller mäta en bild eller textstycke. Ett exempel på denna typ av forskning är kodningen av politiska manifestor. Under valet producerar politiska partier manifest som beskriver sina politiska positioner och vägledande filosofier. Till exempel är här en del av Arbetarpartiets manifest i Storbritannien från och med 2010:

"Miljontals människor som arbetar i våra offentliga tjänster förkroppsligar de bästa värdena i Storbritannien, hjälper ge människor möjlighet att göra det mesta av sina egna liv och samtidigt skydda dem från de risker de ska inte behöva bära på egen hand. Precis som vi måste vara djärvare om statens roll i att marknaderna fungerar rättvist, måste vi också vara djärva reformatorer av regeringen. "

Dessa manifest innehåller värdefulla uppgifter för politiska forskare, särskilt de som studerar val och dynamiken i politiska debatter. För att systematiskt extrahera information från dessa manifestos skapade forskare The Manifesto Project, som samlade 4000 manifest från nästan 1 000 partier i 50 länder och sedan organiserade politiska forskare för att systematiskt koda dem. Varje mening i varje manifest kodades av en expert som använde ett 56-kategorinsschema. Resultatet av denna samarbetsinsats är en massiv dataset som sammanfattar informationen inbäddad i dessa manifestor, och denna dataset har använts i mer än 200 vetenskapliga artiklar.

Kenneth Benoit och kollegor (2016) bestämde sig för att ta den manifestkodningsuppgift som tidigare utförts av experter och omvandla den till ett mänskligt beräkningsarbete. Som ett resultat skapade de en kodningsprocess som är mer reproducerbar och flexibel, för att inte tala om billigare och snabbare.

Benoit och kollegor arbetade med 18 manifest som genererades under sex senaste val i Storbritannien, och använde den splittrade tillämpningsstrategin med arbetstagare från en mikrotask-arbetsmarknad (Amazon Mechanical Turk och CrowdFlower är exempel på mikrotask-arbetsmarknader, för mer på sådana marknader , se kapitel 4). Forskarna tog varje manifest och splittrade det i meningar. Därefter tillämpade en person kodningssystemet för varje mening. I synnerhet var läsare ombedd att klassificera varje mening som hänvisning till ekonomisk politik (vänster eller höger), till socialpolitik (liberal eller konservativ), eller varken (figur 5.5). Varje mening kodades av ungefär fem olika personer. Slutligen kombinerades dessa värderingar med en statistisk modell som stod för både individuella effekter och svårighetsgrad. Sammantaget samlade Benoit och kollegor 200 000 betyg från cirka 1500 personer.

Figur 5.5: Kodningsschema från Benoit et al. (2016) . Läsare blev ombedda att klassificera varje mening som hänvisar till ekonomisk politik (vänster eller höger), till socialpolitik (liberal eller konservativ), eller inte heller. Anpassad från Benoit et al. (2016) , figur 1.

För att bedöma kvaliteten på folkkodningen hade Benoit och kollegor också ca 10 experter-professorer och doktorander i statsvetenskap-betyg samma manifest med en liknande procedur. Trots att betyget från medlemmarna av publiken var mer varierande än värderingarna från experterna, hade konsensusmängderingen anmärkningsvärt överens med konsensusexpertbedömningen (figur 5.6). Denna jämförelse visar att, som hos Galaxy Zoo, kan mänskliga beräkningsprojekt producera högkvalitativa resultat.

Figur 5.6: Expertuppskattningar ( \(x\) -axis) och folkmängdsuppskattningar ( \(y\) -axis) var i anmärkningsvärt överenskommelse vid kodning av 18 partifestationer från Förenade kungariket (Benoit et al. 2016) . De manifester som kodades var från tre politiska partier (konservativa, arbetande och liberala demokrater) och sex val (1987, 1992, 1997, 2001, 2005 och 2010). Anpassad från Benoit et al. (2016) , figur 3.

På grundval av detta resultat använde Benoit och kollegor sitt folkkodningssystem för att göra forskning som var omöjligt med det expertkodade kodningssystemet som användes av Manifest Project. Manifestprojektet kodade exempelvis inte manifesten om invandringsämnet eftersom det inte var ett framträdande ämne när kodningssystemet utvecklades i mitten av 1980-talet. Och vid det här tillfället är det logistiskt oförståeligt för Manifestprojektet att gå tillbaka och omkoda sina manifest för att fånga denna information. Därför verkar det som att forskare som är intresserade av att studera invandringspolitik är oturliga. Men, Benoit och kollegor kunde använda sitt mänskliga beräkningssystem för att göra detta kodande - anpassat till sin forskningsfråga - snabbt och enkelt.

För att studera invandringspolitiken kodade de manifesterna för åtta parter vid 2010 års allmänna val i Storbritannien. Varje mening i varje manifest var kodad för huruvida den var relaterad till invandring, och i så fall, om det var invandring, neutral eller invandring. Inom 5 timmar efter lanseringen av projektet var resultaten in. De hade samlat in mer än 22 000 svar till en total kostnad av 360 dollar. Vidare visade uppskattningarna från publiken anmärkningsvärt överenskommelse med en tidigare undersökning av experter. Sedan, som ett slutprov, två månader senare, reproducerade forskarna sin folkkodning. Inom några timmar hade de skapat en ny publikkodad dataset som nära matchade sin ursprungliga publikkodade dataset. Med andra ord gjorde mänsklig beräkning dem möjlighet att generera kodning av politiska texter som kom överens med expertutvärderingar och var reproducerbara. Dessutom, eftersom den mänskliga beräkningen var snabb och billig, var det lätt för dem att anpassa sin datainsamling till sin specifika forskningsfråga om invandring.