5.2.2 Crowd-taalkodearjen fan politike manifesten
Coding politike manifesten, wat meastal dien troch saakkundigen, kinne wurde útfierd troch in minsklike computation projekt as gefolch in gruttere reproducibility en fleksibiliteit.
As likegoed mei Galaxy Zoo binne der in protte situaasjes wêr't sosjale ûndersikers in koade of in stikje tekst tekenje, klassifisearje, of meitsje. In foarbyld fan dizze soarte ûndersyk is it kodearjen fan politike manifestos. Yn 'e ferkiezings produsearje politike partijen manifestos dy't harren beliedsposysjes beskriuwe en filosofearen liede. Sa is bygelyks in stik fan it manifest fan 'e PvdA yn it Feriene Keninkryk fan 2010:
"Miljoenen minsken wurkje yn ús publike tsjinsten stal jouwe it bêste wearden fan Brittanje, helpe mûglik minsken om it measte fan har eigen libben wylst beskermjen se út 'e risiko se moatte net te dragen op harren eigen. Krekt sa't wy moatte wurde Bolder oer de rol fan de oerheid yn it meitsjen fan merken wurkje frij, wy ek moatte wurde fet herfoarmen fan de oerheid. "
Dizze manifestos befetsje weardefolle gegevens foar politike wittenskippers, benammen dy ferkiezings fan 'e ferkiezingen en de dynamyk fan beliedsfraksjes. Om sykheljen fan ynformaasje út dizze manifestos te sammeljen, ûntwerpen ûndersyks it Manifesto-projekt, dy't 4.000 manifestos fan hast 1,000 partijen yn 50 lannen sammele en dêrnei politike wittenskippers organisearre hawwe om se systematysk te kodzjen. Eltse sin yn elk manifesto waard codearre troch in saakkundige mei in 56-kategory skema. It gefolch fan dizze gearwurkjende ynspanning is in massyf datasjeteel dat de ynformaasje opnommen is yn dizze manifestos ynboud en dizze dataset is brûkt yn mear as 200 wittenskiplike papieren.
Kenneth Benoit en kollega's (2016) besletten de manifestaasje foar kodearring te meitsjen dy't earder útfierd waarden troch ekspertizers en it meitsjen fan it yn in humorreitsprojekt. As gefolch hawwe se in kodearingsproses makke dy't mear reproduksibel en fleksibel is, net te beteljen en faker.
Yn 'e mande mei 18 manifestaasjes dy't yn' e seis resinte ferkiezings yn it Feriene Keninkryk generearre wurde, brûkte Benoit en kollega's de splitsing-kombinearingsstrategy mei arbeiders fan in mikrotasker arbeidsmerk (Amazon Mechanical Turk en CrowdFlower binne foarbylden fan mikrotaskyske arbeidsmerken, foar mear op sokke merken , sjoch Haadstik 4). De ûndersikers namen elke manifestaasje en splitde it yn sinnen. Folgjende, ien persoan tapast it taalkodearjen yn skema foar eltse sin. Benammen de lêzers waarden frege om elke sin te klassifisearjen as it referearjen fan it ekonomysk belied (lofts of rjochts), foar sosjale belied (liberaal of konservatyf) of net (figuer 5.5). Eltse sin waard codearre troch likernôch fiif ferskillende minsken. Uteinlik waarden dizze wurdearrings kombinearre mei in statistysk model dat rekkene is foar yndividuele-rater-effekten en effekten-spraak-effekten. Yn alle gefallen sammele Benoit en kollega's 200.000 beoordelingen fan likernôch 1.500 minsken.
Ofbylding 5.5: kodearingssysteem fan Benoit et al. (2016) . Lêzers waarden frege om elke sin te klassifisearjen as it referearjen fan it ekonomysk belied (lofts of rjochts), foar sosjale belied (liberaal of konservatyf), of net. Adaptearre fan Benoit et al. (2016) , figuer 1.
Om de kwaliteit fan 'e minsken fan' e klasse te beoardieljen, hat Benoit en kollega's ek sa'n 10 eksperts-professoren en graduale studinten yn 'e politike wittenskip tastien dat deselde manifestos mei in ferlykbere proseduere. Hoewol de wurdearrings fan leden fan it publyk wierskynliker waarden as de wurdearrings fan de saakkundigen, hie de konsensus-klasse-rating in remarkable oerienkomst mei de konsensus-ekspertitel (figuer 5.6). Dizze fergeliking lit sjen dat, lykas by Galaxy Zoo, humorreitsje-projektprojekten mei heechweardige resultaten produsearje kinne.
Figure 5.6: Expert estimates ( \(x\) -axis) en mânske skatten ( \(y\) -aks) wienen yn opmerklike oeriening by it kodearjen fan 18 partij manifestos fan it Feriene Keninkryk (Benoit et al. 2016) . De manifestos kodearre wiene út trije politike partijen (konservative, laboratoarium en liberale demokraten) en seis ferkiezings (1987, 1992, 1997, 2001, 2005, en 2010). Adaptearre fan Benoit et al. (2016) , figuer 3.
Bouwen op dit resultaat brûkte Benoit en kollega's har folk-kodearingssysteem om ûndersyk te dwaan dat ûnmooglik wie mei it ekspertist-kodearringsysteem dat it Manifesto Project brûkt. Bygelyks it Manifesto-projekt koe de manifestos net op it ûnderwerp fan ymmigraasje kodearje, om't dat net in wichtich ûnderwerp wie doe't it kodearingsprogramma yn 'e midden fan' e jierren '80 ûntwikkele waard. En op dat stuit is it logistysk ûnmisber foar it Manifesto-projekt om werom te gean en har manifesto's werom te wizen om dizze ynformaasje te fangen. Dêrom soe it ferskine dat ûndersikers ynteressearre binne om te studearjen fan 'e polityk fan ymmigraasje binne út' e gelok. Benoit en kollega's koene har minsklike rekommesysteem brûke om dizze kodearring te meitsjen dy't oan har ûndersyksfraach oanpast - fluch en maklik.
Om it ymmigraasjebelied te studearjen, kodden se de manifestos foar acht partijen yn 'e universele ferkiezing fan 2010 yn it Feriene Keninkryk. Eltse sin yn elk manifest waard kodearre as oft it relatearre nei ymmigraasje, en as dat, oft it pro-ymmigraasje, neutraal, of anti-ymmigraasje wie. Binnen 5 oeren fan it útfieren fan har projekt wiene de resultaten yn. Se hawwe mear as 22.000 reaksjes op in totale kosten fan $ 360 sammele. Fierder hawwe de skattingen út 'e minsken in remarkabel oerienkomst mei in eardere ûndersyk fan eksperts. Doe, as ein lêste test, twa moanne letter, fertsjinnen de ûndersikers har crowd-kodearring. Binnen in pear oeren hawwe se in nije lûd-kodearre dataset makke, dy't nau oan har orizjineel crowd-coded data set passe. Mei oare wurden, de minsklike kultuer koe har kodearring fan politike teksten generearje dy't ôfspraken mei ekspert evaluaasjes en waard reproduksibel. Fierder, om't de minske-rekkûpsje flugge en goedkeap wie, wie it maklik foar har om har sammeljen fan har gegevens oan har spesifike fragen oer ymmigraasje oan te passen.
