5.2.2 Crowd-taalkodearjen fan politike manifesten
Coding politike manifesten, wat meastal dien troch saakkundigen, kinne wurde útfierd troch in minsklike computation projekt as gefolch in gruttere reproducibility en fleksibiliteit.
Similar foar Galaxy Zoo, binne der in protte situaasjes dêr't sosjale ûndersikers wolle koade, klassifisearjen, of label in ôfbylding of stik tekst. In foarbyld fan dit soarte fan ûndersyk is it taalkodearjen fan politike manifesten. By ferkiezings, politike partijen produsearje manifesten beskriuwe harren belied posysjes en begelieden fan filosofyen. Bygelyks, hjir is in stik fan it manifest fan de PvdA yn Grut-Brittanje út 2010:
"Miljoenen minsken wurkje yn ús publike tsjinsten stal jouwe it bêste wearden fan Brittanje, helpe mûglik minsken om it measte fan har eigen libben wylst beskermjen se út 'e risiko se moatte net te dragen op harren eigen. Krekt sa't wy moatte wurde Bolder oer de rol fan de oerheid yn it meitsjen fan merken wurkje frij, wy ek moatte wurde fet herfoarmen fan de oerheid. "
Dy manifesten befetsje weardefolle gegevens foar politike wittenskippers, benammen dy stúdzje ferkiezings en de dynamyk fan belied debatten. Om systematysk extract ynformaasje fan dizze manifesten, ûndersikers makke De manifest Project , dat organisearre politike wittenskippers te Code 4000 manifesten fan hast 1000 partijen yn 50 lannen. Elke sin yn eltse manifesto is ynmekoar setten troch in saakkundige mei help fan in 56-kategory skema. It resultaat fan dizze gearwurkingsaktiviteiten ynset is in massale dataset gearfetsjend de ynformaasje ynbêde yn dizze manifesten, en dizze dataset is brûkt yn mear as 200 wittenskiplike papieren.
Kenneth Benoit en kollega (2015) besletten om it manifest taalkodearjen opjefte dat hie earder al útfierd troch saakkundigen en keare it yn in minsklike computation projekt. As gefolch, hja makke in taalkodearjen yn proses dat is mear reprodusearber en mear fleksibel, net te ferjitten goedkeaper en flugger.
Wurkje mei 18 manifesten generated by seis resinte ferkiezings yn it Feriene Keninkryk, Benoit en kollega brûkt de split-jilde-kombinearje strategy mei arbeiders út in mikro-taak arbeidsmerk (Amazon Mechanical Turk en CrowdFlower binne foarbylden fan mikro-taak arbeidsmerken want mear op mikro-taak arbeidsmerken, sjoch haadstik 4). De ûndersikers namen elk manifesto en splitst yn sentences. Folgjende, minsklike wurdearring waard tapast nei eltse sin. Yn it bysûnder, as de sin mei in belied statement, waard ynmekoar setten lâns twa diminsjes: ekonomysk (fan tige lofts oant tige rjochts) en maatskiplike (fan liberale oant konservative) (Figure 5.5). Elke sin wie ynmekoar setten troch likernôch 5 ferskillende minsken. Ta beslút, dy wurdearrings waarden kombinearre mei help fan in statistyske model dy't rekkene foar sawol yndividuele rater effekten en muoite fan sin effekten. Yn alles, Benoit en kollega sammele 200.000 wurdearrings út likernôch 1.500 arbeiders.
Figuer 5.5: Koade skriuwe skema út Benoit et al. (2015) (Fig 1).
Om te beoardieljen fan de kwaliteit fan 'e taskôgers taalkodearjen, Benoit en kollega ek hie sa'n 10 saakkundigen-heechleararen en ôfstudearre studinten yn politikology-taryf itselde manifesten mei help fan in fergelykbere proseduere. Hoewol't it wurdearrings út leden fan it publyk wiene mear fariabele as it wurdearrings út 'e saakkundigen, de konsensus publyk wurdearring hie opmerklike oerienkomst mei de konsensus ekspert rating (Figure 5.6). Dy ferliking lit sjen dat, sa as mei Galaxy Zoo, minsklike computation projekten kinne produsearje hege kwaliteit resultaten.
Figuer 5.6: Expert rûzings (x-as) en publyk skattingen (y-as) wienen in opmerklike oerienkomst doe't taalkodearjen 18 partij manifesten fan de Grut-Brittanje (Benoit et al. 2015) . De manifesten ynmekoar setten wienen út trije politike partijen (Conservative, Arbeid, liberale demokraten) en seis ferkiezings (1987, 1992, 1997, 2001, 2005, 2010).
Bouwe op dit resultaat, Benoit en kollega brûkt harren publyk-taalkodearjen systeem te dwaan ûndersyk dat wie ûnmooglik mei it manifest Project. Bygelyks, it manifest Projekt net koade de manifesten op it ûnderwerp fan ymmigraasje want dat wie net in salient ûnderwerp as it taalkodearjen yn skema waard ûntwikkele yn 'e healwei-1980er jierren. En, op dit stuit, is it logistically infeasible foar it manifest Project te gean werom en opnij-koade harren manifesten te feroverjen dizze ynformaasje. Dêrom, it soe ferskine dat ûndersikers ynteressearre yn stúdzje de polityk fan ymmigraasje binne út fan gelok. Mar, Benoit en kollega koenen om harren minsklike computation systeem te dwaan dizze taalkodearjen-oanpast oan harren ûndersyk fraach-fluch en maklik.
Om te studearjen ymmigraasje belied, se ynmekoar setten de manifesten foar acht partijen yn de 2010 ferkiezing yn Grut-Brittanje. Elke sin yn eltse manifesto waard ynmekoar setten as oan oft it yn ferbân mei ymmigraasje, en as sa, oft it wie pro-ymmigraasje, neutraal, of anti-ymmigraasje. Binnen 5 oeren fan launching harren projekt, de resultaten wiene yn. Se hie sammele mear as 22.000 reaksjes op in totale kosten fan $ 360. Fierder, de rûzings fan it publyk liet opmerklike oerienkomst mei in earder ûndersyk fan saakkundigen. Doe, as lêste test, twa moanne letter, de ûndersikers opnommen harren publyk-taalkodearjen yn. Binnen in pear oeren, hja hie soarge foar in nij publyk-ynmekoar setten dataset dy't nau matched harren oarspronklike mannichte-ynmekoar setten gegevens set. Yn oare wurden, minsklike computation ynskeakele se te generearjen taalkodearjen fan politike teksten dy't ôfpraat mei saakkundige evaluaasjes en wie reprodusearber. Fierder, omdat it minsklik computation wie fluch en goedkeape, wie it maklik foar harren te oanpasse harren gegevens samling oan harren spesifike ûndersyk fraach oer ymmigraasje.
