5.2.2 Crowd-kodiranje političkog manifesta

Coding političke manifeste, nešto obično rade stručnjaci, može se obavljati projekta ljudskog proračun rezultira većom reproduktivnost i fleksibilnost.

Slično Galaxy Zoo-u, postoji mnogo situacija u kojima socijalni istraživači žele da kodiraju, klasifikuju ili označavaju sliku ili tekst. Primer takvog istraživanja je kodiranje političkih manifesta. Tokom izbora, političke partije proizvode manifestove koji opisuju svoje političke stavove i vodeće filozofije. Na primjer, ovdje je dio manifesta Laburističke partije u Ujedinjenom Kraljevstvu od 2010. godine:

"Milioni ljudi koji rade u našim javnim službama utjelovljuju najbolje vrijednosti Britanije, pomažući da se osnažiti ljude da iskoristite svoje živote dok ih štiti od rizika koje ne bi trebalo da snose sami. Baš kao što moramo biti hrabriji o ulozi vlade u donošenju tržištima rade pošteno, također moramo biti hrabri reformatori vlade. "

Ovi manifesti sadrže vrijedne podatke za političare, posebno one koji proučavaju izbore i dinamiku političkih rasprava. Da bi sistematično izvadili informacije iz ovih manifestova, istraživači su stvorili Projekat Manifest, koji je prikupio 4.000 manifesta od skoro 1.000 partija u 50 zemalja, a potom organizovao političare da ih sistematski kode. Svaku rečenicu u svakom manifestu šifrirao je stručnjak koji koristi shemu od 56 kategorija. Rezultat ovog zajedničkog napora je masivan skup podataka koji sumira informacije ugrađene u ove manifeste, a ovaj skup podataka koristi se u više od 200 naučnih radova.

Kenneth Benoit i kolege (2016) odlučili su da preuzmu zadatak kodiranja kod manifesta koji su prethodno izvršili stručnjaci i pretvorili u projekat ljudskog izračunavanja. Kao rezultat toga, stvorili su postupak kodiranja koji je ponovljiviji i fleksibilniji, a da ne pominjemo jeftinije i brže.

Rad sa 18 manifestova nastalih tokom šest nedavnih izbora u Velikoj Britaniji, Benoit i njegove kolege su koristili strategiju split-apply-combine sa radnicima sa tržišta rada sa mikrotaskama (Amazon Mechanical Turk i CrowdFlower su primeri tržišta rada na mikrotaskama, a više na takvim tržištima , pogledajte Poglavlje 4). Istraživači su uzeli svaki manifesto i podelili ih na rečenice. Zatim je osoba primenila šemu kodiranja za svaku rečenicu. Posebno, od čitalaca je traženo da klasifikuju svaku rečenicu kao ekonomsku politiku (levo ili desno), socijalnu politiku (liberalnu ili konzervativnu) ili ni na jednu (slika 5.5). Svaku rečenicu šifrirali su oko pet različitih ljudi. Konačno, ovi rejtingi su kombinovani korišćenjem statističkog modela koji je objedinio pojedinačne efekte i efekte teškoće. Sve u svemu, Benoit i kolege prikupili su 200.000 rejtinga sa oko 1.500 ljudi.

Slika 5.5: Shema kodiranja iz Benoit et al. (2016) . Čitaoci su zamoljeni da svaku rečenicu klasifikuju kao ekonomsku politiku (levo ili desno), socijalnu politiku (liberalnu ili konzervativnu) ili nijednom. Adaptirano od Benoit et al. (2016) , slika 1.

Da bi se procenio kvalitet kodiranja kod publike, Benoit i kolege takođe su imali oko 10 stručnjaka-profesora i diplomiranih studenata političkih nauka - koriste istu manifestaciju koristeći sličnu proceduru. Iako su ocene od članova publike bile varijabilne od ocijenjenih od stručnjaka, ocjena konsenzusa za mnoge bila je izuzetno saglasna sa stručnom ocjenom konsenzusa (slika 5.6). Ovo poređenje pokazuje da, kao i kod Zoo galaksije, projekti za izračunavanje ljudskih potencijala mogu proizvesti kvalitetne rezultate.

Slika 5.6: Procene stručnjaka ( \(x\) -axis) i procene gužve ( \(y\) -axis) bili su u izuzetnom saglasnosti kod kodiranja 18 stranačkih manifestova iz Velike Britanije (Benoit et al. 2016) . Manifestacije šifrirane su bile od tri političke stranke (konzervativni, radnički i liberalni demokrati) i šest izbora (1987, 1992, 1997, 2001, 2005 i 2010). Adaptirano od Benoit et al. (2016) , slika 3.

Izgradjujući ovaj rezultat, Benoit i njegovi kolege su koristili svoj sistem za kodiranje publike radi istraživanja koji je bio nemoguće kod eksperimentalnog sistema kodiranja koji je koristio Projekat Manifesto. Na primer, Projekat Manifesto nije kodirao manifestove na temu imigracije, jer to nije bila najvažnija tema kada je shema šifriranja razvijena sredinom osamdesetih. I, u ovom trenutku, logistički neizvodljivo je da se Projekat Manifesto vrati i reciklira svoje manifeste kako bi zarobio ove informacije. Prema tome, čini se da su istraživači zainteresovani za proučavanje politike imigracije bez sreće. Međutim, Benoit i njegovi kolege su mogli da koriste svoj sistem ljudskih računanja da bi se ovo kodiranje prilagođavalo njihovom istraživačkom pitanju - brzo i lako.

Da bi proučili imigracionu politiku, šifrirali su manifestove za osam stranaka na opštim izborima u 2010. godini u Ujedinjenom Kraljevstvu. Svaka rečenica u svakom manifestu bila je šifrovana da li se odnosi na imigraciju, i ako jeste, da li je to bila pro-imigracija, neutralna ili antiimigracija. U roku od 5 sati od pokretanja njihovog projekta, rezultati su bili. Prikupili su više od 22.000 odgovora ukupne troškove od 360 dolara. Nadalje, procene iz publike su pokazale izuzetan dogovor sa ranijim istraživanjem stručnjaka. Zatim, kao poslednji test, dva meseca kasnije, istraživači su reprodukovali svoje kodiranje. U roku od nekoliko sati napravili su novi skup podataka koji su kodirani sa gomilom podataka koji su se usko poređali sa njihovim prvobitnim skupom podataka. Drugim riječima, ljudska računanja omogućila im je da generišu kodiranje političkih tekstova koji su se složili sa stručnim ocjenama i bio je ponovljiv. Dalje, pošto su ljudska računanja bila brza i jeftina, bilo je lako prilagoditi svoje prikupljanje podataka njihovom specifičnom istraživačkom pitanju o imigraciji.