5.2.2 Crowd-kodēšana politiskiem manifestiem

Kodēšana politiskos manifestus, ko parasti veic eksperti, var veikt ar cilvēka skaitļošanas projekta rezultātā lielāku atkārtojamību un elastību.

Līdzīgi kā Galaxy Zoo, ir daudzas situācijas, kurās sociālie pētnieki vēlas kodēt, klasificēt vai marķēt attēlu vai teksta daļu. Šāda veida pētījumu piemērs ir politisko manifestu kodēšana. Politiskās partijas vēlēšanu laikā izstrādā manifestus, kuros aprakstītas viņu politiskās nostājas un vadošās filozofijas. Piemēram, šeit ir 2010. gada Apvienotās Karalistes Darba partijas manifesta fragments:

"Miljoniem cilvēku, kas strādā mūsu sabiedrisko pakalpojumu iemieso labākās vērtības Lielbritānijā, palīdzot dot iespēju cilvēkiem, lai padarītu lielāko daļu savu dzīvi, vienlaikus aizsargājot tos no riskiem, kas viņiem nebūtu jāsedz par to pašu. Tāpat kā mums ir drosmīgāki par lomu valdības padarīt tirgi strādā godīgi, mums arī jābūt treknrakstā reformatori valdību. "

Šie manifestējumi satur vērtīgus datus politikas zinātniekiem, jo ​​īpaši tiem, kuri mācās par vēlēšanām un politisko debašu dinamiku. Lai sistemātiski iegūtu informāciju no šīm manifestām, pētnieki izveidoja Manifesta projektu, kurā tika apkopoti 4000 manifesti no gandrīz 1000 partijām 50 valstīs un pēc tam organizēti politikas zinātnieki, lai tos sistemātiski kodētu. Katru manifesta katru teikumu kodē eksperts, kas izmanto 56 kategoriju shēmu. Šo sadarbības pasākumu rezultāts ir liels datu kopums, kurā apkopota informācija, kas ir iekļauta šajos manifestos, un šī datu kopuma izmantošana vairāk nekā 200 zinātniskos dokumentos.

Kenneth Benoit un kolēģi (2016) nolēma pieņemt manifesta kodēšanas uzdevumu, kuru iepriekš ir veikuši eksperti, un pārvērst to par cilvēka aprēķināšanas projektu. Tā rezultātā viņi izveidoja kodēšanas procesu, kas ir vairāk reproducējams un elastīgāks, nemaz nerunājot par lētāku un ātrāku.

Strādājot ar 18 manifestām, kas tika radītas sešās nesenās Apvienotās Karalistes vēlēšanās, Benoit un viņa kolēģi izmantoja dalītas pieejas kombinācijas stratēģiju ar darba ņēmējiem no mikrouzdevumu darba tirgus (Amazon Mechanical Turk un CrowdFlower ir piemēri mikrouzdevumu darba tirgum; vairāk par šādiem tirgiem , skat. 4. nodaļu). Pētnieki paņēma katru manifestu un sadalīja to teikumos. Pēc tam persona katram teikumam piemēroja kodēšanas shēmu. Jo īpaši lasītājiem lūdza klasificēt katru teikumu kā atsauci uz ekonomikas politiku (pa kreisi vai pa labi), sociālajai politikai (liberālajam vai konservatīvajam) vai nē (5.5. Attēls). Katru teikumu kodē aptuveni pieci dažādi cilvēki. Visbeidzot, šie reitingi tika apvienoti, izmantojot statistisko modeli, kas veidoja gan individuālo rādītāju efektus, gan sarežģītības efektu. Kopumā Benoit un viņa kolēģi apkopoja 200 000 vērtējumus no apmēram 1500 cilvēkiem.

5.5. Attēls: kodēšanas shēma no Benoit et al. (2016) . Lasītājiem lūdza klasificēt katru teikumu kā atsauci uz ekonomikas politiku (pa kreisi vai pa labi), sociālajai politikai (liberālajai vai konservatīvajai) vai nedz uz to. Pielāgots no Benoit et al. (2016) , 1. attēls.

Lai novērtētu pūļa kodēšanas kvalitāti, Benoit un viņa kolēģiem bija arī apmēram desmit ekspertu - profesoru un maģistrantu - politoloģijas kursu - tie paši manifesti, izmantojot līdzīgu procedūru. Lai gan pūļa dalībnieku vērtējumi bija daudz mainīgāki nekā ekspertu vērtējumi, konsensa populācijas vērtējums bija ievērojams nolīgums ar konsensa ekspertu vērtējumu (5.6. Attēls). Šis salīdzinājums liecina, ka, tāpat kā Galaxy Zoo, cilvēku aprēķinu projekti var radīt kvalitatīvus rezultātus.

5.6. Attēls. Ekspertu aplēses ( \(x\) -axis) un pūļa aprēķini ( \(y\) -axis) bija izcilā vienošanās, kodējot 18 partijas manifestus no Apvienotās Karalistes (Benoit et al. 2016) . Manifesti tika kodēti no trim politiskajām partijām (konservatīvais, darba un liberāldemokrāti) un sešām vēlēšanām (1987, 1992, 1997, 2001, 2005 un 2010). Pielāgots no Benoit et al. (2016) , 3. attēls.

Balstoties uz šo rezultātu, Benoit un viņa kolēģi izmantoja savu pūļa kodēšanas sistēmu, lai veiktu pētījumus, kas nebija iespējami ar ekspertīzes kodēšanas sistēmu, kuru izmanto Manifesta projekts. Piemēram, Manifestas projekts nedefinēja manifestus par imigrācijas tēmu, jo tas nebija būtisks jautājums, kad kodēšanas shēma tika izstrādāta 1980. gadu vidū. Un šajā brīdī Logistic Project ir loģiski neiespējami atgriezties un pārkvalificēt savus manifesti, lai uztvertu šo informāciju. Tāpēc šķiet, ka pētniekiem, kas interesējas par imigrācijas politikas izpēti, ir neveiksme. Tomēr Benoit un viņa kolēģi varēja ātri un vienkārši izmantot savu cilvēku aprēķinu sistēmu, lai veiktu šo kodēšanu, kas pielāgots viņu pētījumu jautājumam.

Lai izpētītu imigrācijas politiku, viņi kodē manifestus astoņām partijām 2010. gada vispārējās vēlēšanās Apvienotajā Karalistē. Katrā manifestā katrs teikums tika kodēts attiecībā uz to, vai tas saistīts ar imigrāciju, un, ja tā, vai tas bija imigrācija, neitrāla vai pret imigrāciju. Pēc 5 stundu laikā pēc projekta uzsākšanas tika iegūti rezultāti. Viņi bija savākuši vairāk nekā 22 000 atbildes, kuru kopējās izmaksas bija 360 ASV dolāri. Turklāt pūļa aplēses parādīja ievērojamu vienošanos ar agrāku ekspertu aptauju. Tad, divus mēnešus vēlāk, kā pēdējais tests, pētnieki atkārtoja viņu pūļa kodēšanu. Dažu stundu laikā viņi ir izveidojuši jaunu pūļa kodētu datu kopu, kas cieši saskaņo viņu sākotnējo pūļa kodēto datu kopu. Citiem vārdiem sakot, cilvēku aprēķins viņiem ļāva ģenerēt politisko tekstu kodēšanu, kas bija saskaņots ar ekspertu vērtējumu, un bija atveidojams. Turklāt, tā kā cilvēka aprēķins bija ātrs un lēts, viņiem bija viegli pielāgot viņu datu vākšanu uz viņu konkrēto pētījumu jautājumu par imigrāciju.