5.2.2 Crowd-koodausta poliittisten manifesteja

Coding poliittisia manifestit, jotain yleensä asiantuntijoiden tekemän, voidaan suorittaa ihmisen laskennan projekti mikä lisää toistettavuus ja joustavuutta.

Samoin kuin Galaxy Zoo, on monia tilanteita, joissa sosiaaliset tutkijat haluavat koodata, luokitella tai merkitä kuvan tai tekstin. Esimerkkinä tällaisesta tutkimuksesta on poliittisten manifojen koodaus. Vaaleissa poliittiset puolueet tuottavat manifesteja, joissa kuvataan heidän poliittisia asemiaan ja ohjaavat filosofioita. Esimerkiksi Yhdistyneen kuningaskunnan työväenpuolueen manifestista vuodelta 2010:

"Miljoonat ihmiset työskentelevät julkiset palvelumme ilmentävät parhaita arvoja Britannian auttaen ihmisille mahdollisuuden hyödyntää omaa elämäänsä ja välttämään riskejä niiden ei pitäisi joutua vastaamaan yksin. Aivan kuten meidän on oltava rohkeampia roolista hallituksen markkinoiden toimintaa tasapuolisesti, meidän on myös oltava rohkeita uudistajia hallitus. "

Nämä manifesteet sisältävät arvokasta tietoa poliittisille tutkijoille, erityisesti vaaleja tutkiville ja poliittisten keskustelujen dynamiikalle. Jotta tiedot saadaan järjestelmällisesti näistä manifesteista, tutkijat loivat Manifesto-projektin, joka keräsi 4000 manifesteja lähes tuhannesta osapuolesta 50 maassa ja järjesti sitten poliittiset tiedemiehet koodaamaan niitä systemaattisesti. Jokainen lauseen kussakin lausunnossa oli koodattu asiantuntija, joka käytti 56-luokan mallia. Yhteistyön tulos on massiivinen datasarja, joka tiivistää näihin manifesteihin upotetut tiedot, ja tätä tietokokonaisuutta on käytetty yli 200 tieteellisessä artikkelissa.

Kenneth Benoit ja hänen kollegansa (2016) päättivät ottaa asiantuntijoiden aiemmin suorittaneen manifesti-koodaustyön ja muuttaa sen ihmisen laskentaprojekseen. Tämän seurauksena he loivat koodausprosessin, joka on toistettavissa ja joustavampi, puhumattakaan halvemmasta ja nopeammasta.

Benoit ja työtoverit käyttivät yhdessä Yhdistyneessä kuningaskunnassa kuuden viimeisimmän vaalin aikana syntyneiden 18 manifestin kanssa Benoit ja hänen kollegansa käyttäneet split-apply-combine -strategiaa mikrotietokoneiden työmarkkinoilla toimivien työntekijöiden kanssa (Amazon Mechanical Turk ja CrowdFlower ovat esimerkkejä työpistemarkkinoista, katso luku 4). Tutkijat ottivat jokaisen manifestin ja jakoivat sen lauseiksi. Seuraavaksi henkilö sovelsi koodausjärjestelmää jokaiseen lauseeseen. Erityisesti lukijoita pyydettiin luokittelemaan jokainen lause talouspolitiikasta (vasemmalta tai oikealta), sosiaalipolitiikkaan (liberaali tai konservatiivinen) tai kenellekään (kuva 5.5). Jokainen lause koodasi noin viisi ihmistä. Lopuksi nämä luokitukset yhdistettiin tilastollisella mallilla, joka sisälsi sekä yksittäisiä reititysvaikutuksia että lause-vaikutuksia. Kaiken kaikkiaan Benoit ja kollegat keräsivät 200 000 arviota noin 1500 ihmisestä.

Kuva 5.5: Benoit et al. (2016) . Lukijoita pyydettiin luokittelemaan jokainen lause viittaamalla talouspolitiikkaan (vasemmalle tai oikealle), sosiaalipolitiikkaan (liberaali tai konservatiivinen) tai kumpaankaan. Mukautettu Benoit et al. (2016) , kuvio 1.

Benoit ja hänen kollegansa olivat noin 10 asiantuntija-opettajaa ja jatko-opiskelijaa poliittisen tiedekunnan arvioimisessa, jotta he arvioisivat väkijoukkojen koodauksen laatua. Vaikka väkijoukon jäsenten arvosanat olivat muuttuvampia kuin asiantuntijoiden arviot, konsensusjoukon luokitus oli huomattavan samaa mieltä konsensusasiantuntijan kanssa (kuva 5.6). Tämä vertailu osoittaa, että kuten Galaxy Zoo, ihmisen laskentaprojektit voivat tuottaa laadukkaita tuloksia.

Kuva 5.6: Asiantuntija-arvioita ( \(x\) -aksia) ja väkijoukon arvioita ( \(y\) -aksia) olivat huomattavan sopusoinnussa, kun koodattiin 18 puolueen manifesteja Yhdistyneestä kuningaskunnasta (Benoit et al. 2016) . Mallit on koodattu kolmesta poliittisesta puolueesta (konservatiivinen, työväenpuolue ja liberaalidemokraatit) ja kuusi vaalia (1987, 1992, 1997, 2001, 2005 ja 2010). Mukautettu Benoit et al. (2016) , kuvio 3.

Tämän tuloksen pohjalta Benoit ja kollegat käyttivät väkijoukon koodausjärjestelmää tekemään tutkimusta, joka oli mahdotonta Manifesto-projektin käyttämien asiantuntijoiden suorittaman koodausjärjestelmän avulla. Esimerkiksi Manifesto-projekti ei koodannut maahanmuuttokysymyksiin liittyviä manifesteja, koska se ei ollut tärkeä aihe, kun koodausjärjestelmä kehitettiin 1980-luvun puolivälissä. Ja tässä vaiheessa ei ole logistisesti mahdollista, että Manifesto-projekti palaa ja jäljentää manifesteitään saadakseen nämä tiedot. Siksi näyttää siltä, ​​että maahanmuuttopolitiikan tutkimiseen kiinnostuneet tutkijat eivät ole onnellisia. Benoit ja työtoverit kykenivät kuitenkin käyttämään ihmisen laskentajärjestelmää tekemään koodauksen, joka on räätälöity tutkimuskohteisiinsa nopeasti ja helposti.

Maahanmuuttopolitiikan tutkimiseksi he koodasivat kahdeksan osapuolen manifestiä vuoden 2010 yleisten vaalien osalta Yhdistyneessä kuningaskunnassa. Kunkin ilmoituksen jokainen lause oli koodattu sen suhteen, liittyykö maahanmuuttoon, ja jos on, onko se maahanmuuttaja, neutraali vai maahanmuuton vastainen. 5 tunnin kuluessa projektin käynnistämisestä tuloksia oli. He keräsivät yli 22 000 vastausta kokonaiskustannuksina 360 dollaria. Lisäksi väkijoukon arvioinnit osoittivat suurta suhtautumista aikaisempaan asiantuntijoiden kyselyyn. Sitten lopullinen testi, kaksi kuukautta myöhemmin, tutkijat toistivat väkijoukon koodauksen. Muutamassa tunnissa he olivat luoneet uuden väkijoukon koodatun datasarjan, joka vastasi tarkasti alkuperäistä joukko-koodattua tietojoukkoa. Toisin sanoen ihmisen laskenta mahdollisti niiden muodostamisen poliittisiin teksteihin, jotka sopivat asiantuntijalausuntojen kanssa ja olivat toistettavissa. Lisäksi, koska ihmisen laskenta oli nopeaa ja halpaa, oli helppoa muokata tietojenkeruuta maahanmuuttoa koskevaan erityiseen tutkimusongelmaansa.