5.2.2 Crowd-kodiranje političkih manifesta

Kodiranje političke manifeste, nešto uobičajeno obavljaju stručnjaci, može biti izvedena od strane ljudskog proračunom projekta rezultira većom pouzdanosti i fleksibilnosti.

Slično kao i Galaxy Zoo, postoji mnogo situacija u kojima socijalni istraživači žele kodirati, klasificirati ili označiti sliku ili komad teksta. Primjer takvog istraživanja je kodiranje političkih manifesta. Tijekom izbora, političke stranke proizvode manifeste koji opisuju svoje političke pozicije i vodeće filozofije. Na primjer, ovdje je dio manifesta Laburističke stranke u Ujedinjenom Kraljevstvu od 2010. godine:

"Milijuni ljudi koji rade u našim javnim službama utjelovljuju najbolje vrijednosti Britaniji, pomaže osnažiti ljude da iskoristite svoje vlastite živote dok ih štiti od rizika oni ne bi trebali snositi sami. Baš kao što moramo biti hrabriji o ulozi vlade u izradi tržišta rada prilično, također je potrebno da bude bold obnovitelji vlade ".

Ovi manifesti sadrže vrijedne podatke za političke znanstvenike, posebno one koji proučavaju izbore i dinamiku rasprava o politikama. Kako bi sustavno izvukli informacije iz ovih manifesta, istraživači su stvorili Projekt Manifesta koji je prikupio 4.000 manifesta iz gotovo 1.000 stranaka u 50 zemalja, a zatim je organiziralo političke znanstvenike da ih sustavno šifriraju. Svaku rečenicu u svakom manifestu kodirala je stručnjak pomoću sheme 56 kategorije. Rezultat ovog suradničkog napora je masivan skup podataka koji sažima informacije ugrađene u ove manifeste, a ovaj je skup podataka korišten u više od 200 znanstvenih radova.

Kenneth Benoit i njegovi kolege (2016) odlučili su se za označavanje zadatka koji su prethodno bili obavljeni od strane stručnjaka i pretvorili ga u računalni projekt ljudskog djelovanja. Kao rezultat toga, stvorili su proces kodiranja koji je više reproducibilan i fleksibilniji, da ne spominjemo jeftiniju i bržu.

Rad s 18 manifesta koji su nastali tijekom šest nedavnih izbora u Ujedinjenom Kraljevstvu, Benoit i njegovi kolege koriste strategiju split-apply-combine s radnicima iz mikrotaskog tržišta rada (Amazon Mechanical Turk i CrowdFlower primjeri su mikro tržišta rada; , vidi poglavlje 4). Istraživači su uzeli svaki manifest i podijelili ga u rečenice. Zatim, osoba je primijenila shemu kodiranja na svaku rečenicu. Posebno, čitatelji su bili zamoljeni da klasificiraju svaku rečenicu kao da se odnose na ekonomsku politiku (lijevo ili desno), na socijalnu politiku (liberalni ili konzervativni) ili na ni jednu (slika 5.5). Svaka je rečenica kodirala oko pet različitih ljudi. Naposljetku, te su ocjene kombinirane pomoću statističkog modela koji je imao učinke pojedinih raterova i učinaka poteškoća rečenice. Sve u svemu, Benoit i njegovi kolege prikupili su 200.000 ocjene od oko 1.500 ljudi.

Slika 5.5: Shema kodiranja iz Benoit et al. (2016) . Od čitatelja je zatraženo da klasificiraju svaku rečenicu kao da se odnose na ekonomsku politiku (lijevo ili desno), na socijalnu politiku (liberalnu ili konzervativnu) ili na nijednu. Prilagođen od Benoit et al. (2016) , slika 1.

Kako bi se procijenila kvaliteta šifriranja mnoštva, Benoit i njegovi kolege imali su oko 10 stručnjaka-profesora i diplomiranih studenata političkih znanosti - procjenjuju iste manifeste koristeći sličan postupak. Iako su ocjene članova mnoštva bile više varijabilne od ocjene stručnjaka, konsenzualna ocjena publike imala je izuzetan dogovor s konsenzusom stručnjaka (slika 5.6). Ova usporedba pokazuje da, kao kod Galaxy Zoo, ljudski računski projekti mogu proizvesti visoke kvalitete rezultata.

Slika 5.6: Stručna procjena ( \(x\) -axis) i procjene publike ( \(y\) -axis) bili su izvanredni u dogovoru kod kodiranja 18 stranačkih manifesta iz Velike Britanije (Benoit et al. 2016) . Obrasci su označeni iz tri političke stranke (Konzervativni, laburisti i liberalni demokrati) i šest izbora (1987., 1992., 1997., 2001., 2005. i 2010.). Prilagođen od Benoit et al. (2016) , slika 3.

Na temelju ovog rezultata, Benoit i njegovi kolege koriste svoje sustave za kodiranje mnoštva kako bi učinili istraživanje koje je bilo nemoguće s ekspertnim sustavom kodiranja koji koristi Projekt Manifesta. Na primjer, projekt Manifesta nije kodirao manifeste na temu useljavanja jer to nije bila glavna tema kada se shema kodiranja razvila sredinom osamdesetih godina. I, u ovom trenutku, logistički nije moguće pokrenuti projekt manifestacije i recodirati svoje manifeste za snimanje tih informacija. Stoga se čini da istraživači zainteresirani za proučavanje politike useljavanja izostaju od sreće. Međutim, Benoit i njegovi kolege uspjeli su upotrijebiti svoj ljudski računalni sustav kako bi to učinili kodiranjem - prilagođeni njihovom istraživačkom pitanju - brzo i jednostavno.

Da bi proučili imigracijsku politiku, oni su kodirani za osam stranaka na općim izborima 2010. godine u Ujedinjenom Kraljevstvu. Svaka je rečenica u svakom manifestu bila kodirana o tome je li riječ o imigraciji, i ako jest, bilo da je riječ o imigraciji, neutralnosti ili protiv imigracije. U roku od 5 sati od pokretanja projekta, rezultati su bili u. Oni su prikupili više od 22.000 odgovora s ukupnim troškom od 360 dolara. Nadalje, procjene publike pokazale su izniman dogovor s ranijim istraživanjem stručnjaka. Zatim, kao konačni test, dva mjeseca kasnije, istraživači su reproducirali svoje kodiranje. U roku od nekoliko sati, stvorili su novi skup podataka s kodiranim brojevima koji su se usko povezali s njihovim izvornim skupom podataka. Drugim riječima, ljudsko računanje im je omogućilo generiranje kodiranja političkih tekstova koji su se složili s stručnim procjenama i bili su reproducibilni. Nadalje, budući da je ljudsko računanje bilo brzo i jeftino, bilo je jednostavno za njih prilagoditi svoju zbirku podataka na svoje specifično istraživanje o imigraciji.