5.2.2 Crowd-koding av politiske manifester

Coding politiske manifester, noe vanligvis gjort av eksperter, kan utføres av en menneskelig beregning prosjekt som resulterer i større reproduserbarhet og fleksibilitet.

I likhet med Galaxy Zoo, det er mange situasjoner der sosiale forskere ønsker å kode, klassifisere eller merke et bilde eller en tekst. Et eksempel på denne typen forskning er kodingen av politiske manifester. Under valg, politiske partier produsere manifester som beskriver sine politiske posisjoner og guiding filosofier. For eksempel, her er en del av manifestet av Ap i Storbritannia fra 2010:

"Millioner av mennesker som jobber i våre offentlige tjenester legemliggjøre de beste verdiene i Storbritannia, bidrar hjelpe mennesker til å få mest mulig ut av sitt eget liv mens beskytte dem mot farer de ikke bør ha for å bære på egen hånd. Akkurat som vi trenger å være dristigere om statens rolle i å gjøre markedene fungerer ganske, trenger vi også å være dristige reformatorer av regjeringen. "

Disse manifester inneholder verdifulle data for statsvitere, spesielt de som studerer valg og dynamikken i politiske debatter. For å systematisk hente ut informasjon fra disse manifester, forskere skapt Manifestet prosjektet , som organiserte statsvitere å kode 4000 manifester fra nesten 1000 parter i 50 land. Hver setning i hvert manifest er blitt kodet av en ekspert ved hjelp av en 56-kategori ordningen. Resultatet av dette samarbeidsprosjekt er en massiv datasett oppsummerer informasjon innebygd i disse manifester, og dette datasettet har vært brukt i mer enn 200 vitenskapelige artikler.

Kenneth Benoit og kollegaer (2015) bestemte seg for å ta manifestet koding oppgave som tidligere hadde blitt utført av eksperter og slå den inn i en menneskelig beregning prosjekt. Som et resultat av de opprettet en kodingsprosess som er mer reproduserbar og mer fleksible, og ikke minst billigere og raskere.

Arbeide med 18 manifester som genereres under seks siste valgene i Storbritannia, Benoit og kolleger brukte split-Apply-kombinere strategi med arbeidere fra en mikro-oppgave arbeidsmarkedet (Amazon Mechanical Turk og CrowdFlower er eksempler på mikro-oppgave arbeidsmarkeder, for mer på mikro-oppgave arbeidsmarkeder, se kapittel 4). Forskerne tok hver manifest og dele den inn i setninger. Deretter ble menneske som brukes på hver setning. Særlig hvis setningen involverte en policy statement, ble det kodet langs to dimensjoner: økonomisk (fra veldig venstre til svært høyre) og sosial (fra liberale til konservative) (figur 5.5). Hver setning ble kodet av ca 5 forskjellige mennesker. Til slutt ble disse range kombinert bruk av en statistisk modell som stod for både individuelle rater effekter og vanskelighetene med setningseffekter. I det hele tatt, Benoit og kolleger samlet 200.000 rating fra ca 1500 arbeidere.

Figur 5.5: Coding ordningen fra Benoit et al. (2015) (figur 1).

For å vurdere kvaliteten på mengden koding, Benoit og kolleger hadde også ca 10 eksperter-professorer og studenter i statsvitenskap-rate de samme manifester ved hjelp av en lignende fremgangsmåte. Selv rangeringer fra medlemmer av publikum var mer variabel enn karakterer fra ekspertene, konsensus publikum vurdering hadde bemerkelsesverdig avtale med konsensus ekspert rating (figur 5.6). Denne sammenligningen viser at, som med Galaxy Zoo, kan menneskelige beregnings prosjekter produsere resultater av høy kvalitet.

Figur 5.6: ekspertestimater (x-aksen) og publikumsanslag (y-akse) var i bemerkelsesverdig enighet når koding 18 partiprogrammer fra Great Britain (Benoit et al. 2015) . Den manifester kodede var fra tre politiske partier (Konservative, Labour, Liberaldemokratene) og seks valgene (1987, 1992, 1997, 2001, 2005, 2010).

Bygge på dette resultatet, Benoit og kolleger brukte deres crowd-kodesystem for å gjøre forskning som var umulig med Manifesto Project. For eksempel visste manifestet prosjektet ikke innkoding av manifester på temaet innvandring fordi det ikke var et fremtredende tema når kodingen ordningen ble utviklet på midten av 1980-tallet. Og på dette punktet, er det logistisk umulig for Manifesto Project til å gå tilbake og re-kode sine manifester for å fange opp denne informasjonen. Derfor ser det ut til at forskere som er interessert i å studere politikk innvandring er ute av lykken. Men Benoit og kolleger var i stand til å bruke sine menneskelige beregning system for å gjøre dette koding-tilpasset deres problemstilling-raskt og enkelt.

For å studere innvandringspolitikk, kodes de de manifester for åtte partier i 2010 valget i Storbritannia. Hver setning i hvert manifest ble kodet med hensyn til om det er relatert til innvandring, og i så fall om det var pro-innvandring, nøytral, eller anti-innvandring. Innen 5 timer med å lansere sitt prosjekt, resultatene var i. De hadde samlet mer enn 22.000 svar til en samlet pris av $ 360. Videre estimatene fra publikum viste bemerkelsesverdig avtale med en tidligere undersøkelse av eksperter. Så, som en siste test, to måneder senere, forskerne gjengitt deres crowd-koding. I løpet av noen timer hadde de opprettet en ny folkemengde kodet datasett som tett matchet sin opprinnelige mengden kodet datasett. Med andre ord, menneskelig beregning gjorde dem i stand til å generere koding av politiske tekster som er avtalt med ekspertvurderinger og var reproduserbar. Videre, fordi den menneskelige beregningen var rask og billig, var det lett for dem å tilpasse sin datainnsamling til deres spesifikke problemstilling om innvandring.