5.2.2 Crowd-kodning af politiske programerklæringer

Kodende politiske programerklæringer, noget typisk ved eksperter, kan udføres af en menneskelig beregning projekt resulterer i større reproducerbarhed og fleksibilitet.

Svarende til Galaxy Zoo, er der mange situationer, hvor sociale forskere ønsker at kode, klassificerer, eller etiket et billede eller et stykke tekst. Et eksempel på denne form for forskning er kodningen af ​​politiske programerklæringer. Under valg, politiske partier producerer manifester beskriver deres politiske holdninger og vejledende filosofier. For eksempel, her er et stykke af manifest af Arbejderpartiet i Storbritannien fra 2010:

"Millioner af mennesker, der arbejder i vores offentlige tjenester legemliggøre de bedste værdier i Storbritannien, hjælpe sætte folk til at få mest ud af deres eget liv og samtidig beskytte dem mod de risici, de bør ikke skal afholde på egen hånd. Ligesom vi skal være dristigere om regeringens rolle i at gøre markederne til at fungere nogenlunde, vi skal også være fed reformatorer i regeringen. "

Disse manifester indeholder værdifulde data for politologer, især studerer valg og dynamikken i politiske debatter. For systematisk at udtrække oplysninger fra disse manifester, skabte forskerne Manifestet Project , som organiserede politologer at kode 4.000 manifester fra næsten 1.000 partier i 50 lande. Hver sætning i hvert manifest er blevet kodet af en ekspert ved hjælp af en 56-kategori-ordningen. Resultatet af denne fælles indsats er en massiv datasæt sammenfatning af oplysningerne indlejret i disse manifester, og dette datasæt er blevet anvendt i mere end 200 videnskabelige artikler.

Kenneth Benoit og kolleger (2015) besluttede at tage det manifest kodning opgave, som tidligere var blevet udført af eksperter og gøre det til en menneskelig beregning projekt. Som et resultat, de skabte en kodende proces, der er mere reproducerbar og mere fleksibel, for ikke at nævne billigere og hurtigere.

Arbejde med 18 manifester genereret under seks seneste valg i Storbritannien, Benoit og kolleger brugte split-gælder-kombinere strategi med arbejdstagere fra en mikro-opgave arbejdsmarked (Amazon Mechanical Turk og CrowdFlower er eksempler på mikro-task arbejdsmarkeder mere på mikro-opgave arbejdsmarkeder, se kapitel 4). Forskerne tog hver manifest og dele det op i sætninger. Dernæst blev menneskelig vurdering anvendes på hver sætning. Især hvis sætningen er involveret en politisk erklæring, blev det kodet sammen to dimensioner: økonomisk (fra meget venstre til meget højre) og social (fra liberal til konservativ) (Figur 5.5). Hver sætning blev kodet af ca. 5 forskellige mennesker. Endelig blev disse vurderinger kombineret ved hjælp af en statistisk model, der tegnede sig for både individuelle rater effekter og vanskeligheden ved punktum effekter. I alt Benoit og kolleger indsamlede 200.000 vurderinger fra omkring 1.500 medarbejdere.

Figur 5.5: Kodning ordningen fra Benoit et al. (2015) (figur 1).

For at vurdere kvaliteten af ​​crowd kodning, Benoit og kolleger havde også omkring 10 eksperter-professorer og studerende i statskundskab-rate samme manifester ved hjælp af en lignende procedure. Selvom ratings fra medlemmer af publikum var mere variable end de ratings fra eksperterne, konsensus crowd bedømmelse havde bemærkelsesværdig aftale med konsensus ekspertbedømmelse (Figur 5.6). Denne sammenligning viser, at som med Galaxy Zoo, kan menneskelige beregningsmetoder projekter producere resultater af høj kvalitet.

Figur 5.6: Ekspert skøn (x-aksen) og crowd skøn (y-akse) var i bemærkelsesværdig aftale, når kodning 18 partiprogrammer fra Storbritannien (Benoit et al. 2015) . De manifester kodede var fra tre politiske partier (Konservative, Labour, Liberal Demokrater) og seks valg (1987, 1992, 1997, 2001, 2005, 2010).

Med udgangspunkt i dette resultat, Benoit og kolleger brugte deres crowd-kodning system til at gøre forskning, der var umuligt med manifestet Project. For eksempel vidste Manifestet Project ikke indkode manifester om emnet indvandring, fordi der ikke var en fremtrædende emne, når kodningen blev udviklet i midten af ​​1980'erne. Og på dette tidspunkt er logistisk umuligt for Manifestet Project at gå tilbage og re-kode deres manifester til at indfange disse oplysninger. Derfor ser det ud til, at forskere er interesserede i at studere politik indvandring er ude af lykke. Men Benoit og kolleger var i stand til at bruge deres menneskelige beregning system til at gøre denne kodning-tilpasset deres forskning spørgsmål-hurtigt og nemt.

For at studere indvandringspolitikken, de kodede de manifester for otte partier i 2010 valget i Storbritannien. Hver sætning i hvert manifest blev kodet om, hvorvidt det i relation til indvandring, og i så fald, om det var pro-indvandring, neutral, eller anti-indvandring. Inden for 5 timer lancere deres projekt, var resultaterne i. De havde samlet mere end 22.000 besvarelser til en samlet pris på 360 $. Endvidere skønnene fra mængden viste bemærkelsesværdige aftale med en tidligere undersøgelse af eksperter. Så, som en sidste test, to måneder senere, forskerne gengivet deres crowd-kodning. Inden for et par timer, havde skabt et nyt crowd-kodet datasæt, der nøje matchede deres oprindelige crowd-kodede datasæt. Med andre ord, menneskelig beregning satte dem i stand til at generere kodning af politiske tekster, som er aftalt med ekspertvurderinger og var reproducerbare. Endvidere fordi den menneskelige beregning var hurtig og billig, var det let for dem at tilpasse deres dataindsamling til deres specifikke forskning spørgsmål om indvandring.