5.2.2 Crowd-kodning af politiske programerklæringer

Kodende politiske programerklæringer, noget typisk ved eksperter, kan udføres af en menneskelig beregning projekt resulterer i større reproducerbarhed og fleksibilitet.

I lighed med Galaxy Zoo er der mange situationer, hvor sociale forskere vil kode, klassificere eller mærke et billede eller et stykke tekst. Et eksempel på denne type forskning er kodningen af ​​politiske manifester. Under valg fremlægger politiske partier manifester, der beskriver deres politiske holdninger og styrer filosofier. For eksempel er her et stykke af Arbejdspartiets manifest i Det Forenede Kongerige fra 2010:

"Millioner af mennesker, der arbejder i vores offentlige tjenester legemliggøre de bedste værdier i Storbritannien, hjælpe sætte folk til at få mest ud af deres eget liv og samtidig beskytte dem mod de risici, de bør ikke skal afholde på egen hånd. Ligesom vi skal være dristigere om regeringens rolle i at gøre markederne til at fungere nogenlunde, vi skal også være fed reformatorer i regeringen. "

Disse manifest indeholder værdifulde data for politiske forskere, især dem, der studerer valg og dynamikken i politiske debatter. For at systematisk udtrække informationer fra disse manifester oprettede forskere The Manifesto Project, som samlede 4000 manifest fra næsten 1.000 parter i 50 lande og derefter organiserede politiske forskere til systematisk at kode dem. Hver sætning i hvert manifest blev kodet af en ekspert ved hjælp af en 56-korts ordning. Resultatet af denne samarbejdsindsats er et massivt datasæt, der opsummerer informationen indlejret i disse manifester, og dette datasæt er blevet brugt i mere end 200 videnskabelige artikler.

Kenneth Benoit og kolleger (2016) besluttede at tage manifestkodningsopgaven, som tidligere var blevet udført af eksperter og gøre det til et menneskeligt beregningsprojekt. Som følge heraf skabte de en kodingsproces, som er mere reproducerbar og mere fleksibel, for ikke at nævne billigere og hurtigere.

Benoit og kolleger arbejdede med 18 manifester, der blev genereret under seks seneste valg i Det Forenede Kongerige, og brugte kollektive strategier med arbejdstagere fra et mikrotask arbejdsmarked (Amazon Mechanical Turk og CrowdFlower er eksempler på mikrotask arbejdsmarkeder, for mere på sådanne markeder , se kapitel 4). Forskerne tog hvert manifest og splittede det i sætninger. Dernæst har en person anvendt kodningssystemet til hver sætning. Især blev læsere bedt om at klassificere hver sætning som henvisning til økonomisk politik (venstre eller højre), socialpolitik (liberal eller konservativ), eller hverken (figur 5.5). Hver sætning blev kodet af omkring fem forskellige mennesker. Endelig blev disse vurderinger kombineret ved hjælp af en statistisk model, der tegnede sig for både individual-rater-effekter og sværhedsfaktorer. I alt samlede Benoit og kolleger 200.000 vurderinger fra omkring 1.500 mennesker.

Figur 5.5: Kodningssystem fra Benoit et al. (2016) . Læsere blev bedt om at klassificere hver sætning som henvisning til økonomisk politik (venstre eller højre), til socialpolitik (liberal eller konservativ), eller til hverken. Tilpasset fra Benoit et al. (2016) , figur 1.

For at vurdere kvaliteten af ​​crowd-kodningen havde Benoit og kolleger også ca. 10 eksperter-professorer og kandidatstuderende i statsvidenskab - bedøm de samme manifestationer ved hjælp af en lignende procedure. Selvom vurderingerne fra medlemmerne af publikum var mere variable end vurderingerne fra eksperterne, havde konsensus-crowd rating en bemærkelsesværdig aftale med konsensus ekspertvurderingen (figur 5.6). Denne sammenligning viser, at som med Galaxy Zoo kan menneskelige beregningsprojekter producere resultater af høj kvalitet.

Figur 5.6: Ekspert estimater ( \(x\) -axis) og mængdestimater ( \(y\) -axis) var i bemærkelsesværdig enighed, da man kodede 18 partidemonstremer fra Det Forenede Kongerige (Benoit et al. 2016) . Manifestet kodet var fra tre politiske partier (konservative, arbejdskraft og liberale demokrater) og seks valg (1987, 1992, 1997, 2001, 2005 og 2010). Tilpasset fra Benoit et al. (2016) , figur 3.

På baggrund af dette resultat brugte Benoit og kolleger deres crowd-coding system til at lave forskning, der var umuligt med det ekspert-kørende kodningssystem, der blev brugt af Manifesto Project. Manifestprojektet har f.eks. Ikke kodet manifesterne om emnet immigration, fordi det ikke var et fremtrædende emne, da kodningssystemet blev udviklet i midten af ​​1980'erne. Og på dette tidspunkt er det logistisk uudviklet for Manifesto Project at gå tilbage og omkode deres manifest for at indfange disse oplysninger. Derfor ser det ud til, at forskere, der er interesserede i at studere indvandringspolitik, er ude af lykke. Imidlertid kunne Benoit og kolleger bruge deres menneskelige beregningssystem til at gøre dette kodende - tilpasset deres forskningsspørgsmål - hurtigt og nemt.

For at studere indvandringspolitikken kodede de manifesterne for otte parter i 2010-valget i Det Forenede Kongerige. Hver sætning i hvert manifest var kodet for, om det var relateret til indvandring, og i bekræftende fald, om det var indvandring, neutral eller anti-indvandring. Inden for 5 timer efter lanceringen af ​​deres projekt var resultaterne ind. De havde samlet mere end 22.000 svar til en samlet pris på $ 360. Desuden viste estimaterne fra mængden en bemærkelsesværdig aftale med en tidligere undersøgelse af eksperter. Så, som en sidste test, to måneder senere, reproducerede forskerne deres crowd-kodning. Inden for et par timer havde de oprettet et nyt crowd-coded datasæt, der nøje matchede deres oprindelige crowd-kodede datasæt. Med andre ord gjorde menneskelig beregning dem i stand til at generere kodning af politiske tekster, der var aftalt med ekspertvurderinger og var reproducerbare. Da den menneskelige beregning var hurtig og billig, var det også nemt for dem at tilpasse deres dataindsamling til deres specifikke forskningsspørgsmål om indvandring.