5.2.2 Crowd-kodning av politiska manifest
Kodande politiska manifest, något typiskt gjort av experter, kan utföras av en mänsklig beräkningsprojekt resulterar i större reproducerbarhet och flexibilitet.
I likhet med Galaxy Zoo, det finns många situationer där sociala forskare vill kod, klassificerar, eller märka en bild eller textstycke. Ett exempel på denna typ av forskning är kodningen av politiska manifest. Under val, politiska partier producera manifest beskriver sina politiska positioner och vägledande filosofier. Till exempel, här är en bit av manifest Arbeiderpartiet i Storbritannien från 2010:
"Miljontals människor som arbetar i våra offentliga tjänster förkroppsligar de bästa värdena i Storbritannien, hjälper ge människor möjlighet att göra det mesta av sina egna liv och samtidigt skydda dem från de risker de ska inte behöva bära på egen hand. Precis som vi måste vara djärvare om statens roll i att marknaderna fungerar rättvist, måste vi också vara djärva reformatorer av regeringen. "
Dessa manifest innehåller värdefulla data för statsvetare, särskilt de som studerar val och dynamiken i politiska debatter. För att systematiskt extrahera information från dessa manifest, forskare skapat Manifestet Project , som organiserade statsvetare att koda 4000 manifest från nästan 1000 parter i 50 länder. Varje mening i varje manifest har kodats av en expert med hjälp av en 56-kategori system. Resultatet av detta samarbetsprojekt är en massiv datamängd som sammanfattar information inbäddad i dessa manifest, och denna dataset har använts i mer än 200 vetenskapliga artiklar.
Kenneth Benoit och kollegor (2015) beslutat att ta manifest kodning uppgift som tidigare utförts av experter och förvandla det till en mänsklig beräkning projekt. Som ett resultat, skapade de en kodningsprocess som är mer reproducerbara och mer flexibel, för att inte nämna billigare och snabbare.
Arbeta med 18 manifest som genererats under sex senaste valen i Storbritannien, används Benoit och kollegor split-apply-kombinera strategi med arbetare från en mikro-task arbetsmarknaden (Amazon Mechanical Turk och CrowdFlower är exempel på arbetsmarknaderna mikro uppgift, för mer på arbetsmarknaderna mikro-uppgift, se kapitel 4). Forskarna tog varje manifest och dela upp den i meningar. Därefter mänsklig bedömning tillämpas på varje mening. I synnerhet om meningen innebar en policyförklaring, var det kodade längs två dimensioner: ekonomisk (från mycket vänster till mycket höger) och social (från liberala till konservativt) (Figur 5.5). Varje mening kodades med cirka fem olika personer. Slutligen, var dessa betyg kombineras med användning av en statistisk modell som stod för både enskilda rater effekter och svårigheten att meningen effekter. I alla, Benoit och kollegor samlat 200.000 betyg från ca 1500 arbetare.
Figur 5.5: kodningsschema från Benoit et al. (2015) (fig 1).
För att bedöma kvaliteten på publiken kodning, Benoit och hans kollegor hade också cirka 10 experter-professorer och doktorander i statsvetenskap ränta samma manifest med hjälp av en liknande procedur. Även om betyg från medlemmar av folkmassan var mer varierande än betyg från experterna konsensus publiken rating hade anmärkningsvärt avtal med konsensus Recensioner (Figur 5.6). Denna jämförelse visar att, som med Galaxy Zoo, kan humana beräkningsprojekt producera högkvalitativa resultat.
Figur 5.6: Expert beräkningar (x-axeln) och publikberäkning (y-axeln) var anmärkningsvärt överenskommelse vid kodning 18 parti manifest från Storbritannien (Benoit et al. 2015) . Manifest kodade var från tre partier (konservativa, Labour, liberaldemokraterna) och sex val (1987, 1992, 1997, 2001, 2005, 2010).
Med utgångspunkt i detta resultat, Benoit och kollegor använde sin publikkodningssystem för att göra forskning som var omöjligt med Manifestet Project. Till exempel gjorde Manifestet Project inte koda manifest på temat invandring eftersom det var inte en framträdande ämne när kodningsschema utvecklades i mitten av 1980-talet. Och, vid denna punkt, är det logistiskt omöjligt för manifest Project för att gå tillbaka och re-kod sina manifest för att fånga denna information. Därför förefaller det som forskare som är intresserade av att studera politik invandring är av lycka. Men Benoit och kollegor kunde använda sina mänskliga beräkningssystem för att göra denna kodning anpassade till sin forskning på frågor snabbt och enkelt.
För att studera invandringspolitik, kodade de manifest för åtta partier i valet 2010 i Storbritannien. Varje mening i varje manifest kodades om huruvida det relaterade till invandring, och i så fall om det var pro-invandring, neutral, eller anti-invandring. Inom 5 timmar lansera sitt projekt, var resultaten i. De hade samlat mer än 22.000 svar på en total kostnad av $ 360. Vidare uppskattningar från publiken visade anmärkningsvärd överenskommelse med en tidigare undersökning av experter. Då, som en sista test, två månader senare, forskarna återges sin publik kodning. Inom några timmar hade de skapat en ny publik kodade dataset som nära matchade deras ursprungliga publiken kodade datauppsättning. Med andra ord, mänsklig beräkning möjligt för dem att generera kodning av politiska texter som överenskommits med expertutvärderingar och var reproducerbar. Vidare, eftersom den mänskliga beräkning var snabb och billig, var det lätt för dem att anpassa sin datainsamling till deras specifika frågeställningen om invandring.
