5.2.2 Crowd-kodiranje političkog manifesta

Coding političke manifeste, nešto obično rade stručnjaci, može se obavljati projekta ljudskog proračun rezultira većom reproduktivnost i fleksibilnost.

Slično Galaxy Zoo, postoje mnoge situacije u kojima socijalne istraživači žele da kod, klasificirati, ili etiketu sliku ili dio teksta. Jedan primjer ove vrste istraživanja je kodiranje političkog manifesta. Tokom izbora, političke stranke proizvode manifesti opisuje svoje političke stavove i vođenje filozofije. Na primjer, evo komad manifesta Stranke rada u Velikoj Britaniji od 2010. godine:

"Milioni ljudi koji rade u našim javnim službama utjelovljuju najbolje vrijednosti Britanije, pomažući da se osnažiti ljude da iskoristite svoje živote dok ih štiti od rizika koje ne bi trebalo da snose sami. Baš kao što moramo biti hrabriji o ulozi vlade u donošenju tržištima rade pošteno, također moramo biti hrabri reformatori vlade. "

Ove manifesti sadrže vrijedne podatke za politikologe, posebno onih koji studiraju izbora i dinamiku političke debate. Kako bi se sistematski izvuku informacije iz ovih manifesta, istraživači su stvorili Manifest projekta , koja je organizovala politologa da kodira 4.000 manifesti od skoro 1.000 stranaka u 50 zemalja. Svaka rečenica u svakoj manifestu je kodiran od strane stručnog koristeći 56-kategoriji shema. Rezultat ove zajedničkih napora je masovni skup rezimira informacije ugrađene u ovim manifestima, i ovaj skup se koristi u više od 200 znanstvenih radova.

Kenneth Benoit i kolege (2015) odlučio da kodiranja zadatak manifest koji je prethodno izvršeno od strane stručnjaka i pretvoriti ga u projekt ljudskog proračun. Kao rezultat toga, oni su stvorili proces kodiranja koji je više ponovljive i fleksibilniji, da ne spominjemo jeftinije i brže.

Rad sa 18 manifesti stvara tokom šest nedavnim izborima u Velikoj Britaniji, Benoit i kolege koristili split-apply-kombinuju strategije sa radnicima iz tržišta rada mikro-zadatak (Amazon Mechanical Turk i CrowdFlower su primjeri mikro-zadatak tržišta rada; za više na mikro-zadatak tržišta rada, pogledajte Poglavlje 4). Istraživači su svaki manifest i podijeliti ga u rečenice. Dalje, ljudski rejting je primijeniti na svaku rečenicu. Konkretno, ako je kazna uključeni izjavu politiku, to je kodirana po dvije dimenzije: ekonomska (od vrlo lijeva na vrlo desno) i socijalne (od liberalne do konzervativne) (Slika 5.5). Svaka rečenica je kodiran za oko 5 različitih ljudi. Konačno, ove ocjene su u kombinaciji koristeći statistički model koji čine individualne efekte rater i teškoće kazne efekata. Sve u svemu, Benoit i kolege prikupili ocjene 200.000 od oko 1.500 radnika.

Slika 5.5: shema kodiranja od Benoit et al. (2015) (Slika 1).

Kako bi se procijeniti kvalitetu gomile kodiranja, Benoit i kolege su imali oko 10 stručnjaka-profesora i diplomiranih studenata političkih nauka-stopa ista manifesta koristeći sličan postupak. Iako gledanost od članova publika je više varijabla od ocjena iz stručnjaka, konsenzus publika rejting imao izvanredan dogovor sa stručnim konsenzusom ocjenu (Slika 5.6). Ovo poređenje pokazuje da je, kao i kod Galaxy Zoo, projekti ljudskih proračun može proizvesti visoko kvalitetne rezultate.

Slika 5.6: Expert procjene (x-osi) i procjene publiku (y-osa) su u izuzetnom sporazum kada kodiranje 18 partija manifesti iz Velike Britanije (Benoit et al. 2015) . U manifesti kodirani su iz tri političke stranke (Konzervativna, rada, Liberalni demokrati) i šest izborima (1987, 1992, 1997, 2001, 2005, 2010).

Nadovezujući se na ovaj rezultat, Benoit i kolege koriste njihov sistem publika-kodiranja da to istraživanje koje je nemoguće sa Manifest projekta. Na primjer, Manifest projekta nije kodiraju manifesta na temu imigracije, jer to nije bila istaknuta tema kada je shema kodiranja razvijen u sredinom 1980-ih. I, u ovom trenutku, to je logistički neizvodivo za Manifest projekta da se vrati i ponovo kod svoje manifeste za snimanje ove informacije. Stoga, čini se da su istraživači zainteresirani za proučavanje politike imigracije su od sreće. Međutim, Benoit i kolege su bili u mogućnosti da koriste svoj sistem ljudskih računanja da to kodiranje-prilagoditi svoje istraživačko pitanje-brzo i jednostavno.

Kako bi se studira imigracione politike, one kodirane su manifesti za osam stranaka na izborima 2010. godine u Velikoj Britaniji. Svaka rečenica u svakoj manifest je kodiran da li se odnosi na imigracije, i ako je tako, da li je pro-imigracije, neutralne, ili anti-imigracije. U roku od 5 sati od lansiranja njihovog projekta, rezultati su bili u. Oni su prikupili više od 22.000 odgovora na ukupne troškove od $ 360. Nadalje, procjene iz mase pokazala izuzetnu sporazum sa ranije istraživanje stručnjaka. Zatim, kao završni test, dva mjeseca kasnije, istraživači reproducirati njihove publici-kodiranje. U roku od nekoliko sati, koju su stvorili novu publiku-kodiranih skup koji blisko podudara prvobitne publici-kodirane skupa podataka. Drugim riječima, ljudska proračun im je omogućilo da stvori kodiranje političkih tekstova koji se složio sa vještačenja i bio ponovljive. Nadalje, zbog toga što je ljudski proračun je brzo i jeftino, to je lako za njih da prilagode svoje prikupljanje podataka na njihove specifične istraživačko pitanje o imigraciji.