5.2.2 Crowd-coding ng pampulitikang manifestos

Coding pampulitika manifestos, isang bagay kadalasang ginagawa ng mga eksperto, maaaring isagawa sa pamamagitan ng isang tao na proyekto computation nagreresulta sa mas higit reproducibility at flexibility.

Katulad ng Galaxy Zoo, mayroong maraming mga sitwasyon kung saan nais ng mga social na magsaliksik, pag-uri-uriin, o pag-label ng isang imahe o piraso ng teksto. Ang isang halimbawa ng ganitong uri ng pananaliksik ay ang coding ng mga pampublikong manifestos. Sa panahon ng halalan, ang mga partidong pampulitika ay gumagawa ng mga manifestos na naglalarawan sa kanilang mga posisyon sa patakaran at paggiya ng mga pilosopiya. Halimbawa, ito ay isang piraso ng manifesto ng Labor Party sa United Kingdom mula 2010:

"Milyun-milyong mga tao na nagtatrabaho sa aming mga pampublikong serbisyo isama ang pinakamahusay na mga halaga ng Britain, na tumutulong magbigay ng kapangyarihan sa mga tao upang gawin ang karamihan ng kanilang mga sariling buhay habang pagprotekta sa mga ito mula sa panganib na hindi sila dapat magkaroon upang pasanin sa kanilang sarili. Tulad ng kailangan natin upang maging mas agresibong tungkol sa papel na ginagampanan ng pamahalaan sa paggawa ng mga merkado gumana medyo, kami din kailangan upang maging bold reformers ng pamahalaan. "

Ang mga manifestos na ito ay naglalaman ng mahalagang data para sa mga siyentipikong pampulitika, lalo na sa mga nag-aaral ng mga halalan at dinamika ng mga debate sa patakaran. Para sa sistematikong pagkuha ng impormasyon mula sa mga manifestos na ito, nilikha ng mga mananaliksik ang Proyekto ng Manipesto, na nagtipon ng 4,000 manifestos mula sa halos 1,000 na partido sa 50 bansa at pagkatapos ay inorganisa ang mga siyentipikong pampolitika upang sistematikong i-code ang mga ito. Ang bawat pangungusap sa bawat manifesto ay naka-code sa pamamagitan ng isang dalubhasa gamit ang isang 56-kategorya na pamamaraan. Ang resulta ng collaborative na pagsisikap na ito ay isang napakalaking dataset na nagbubuod ng impormasyon na naka-embed sa mga manifestos na ito, at ang dataset na ito ay ginagamit sa higit sa 200 mga pang-agham na papeles.

Si Kenneth Benoit at mga kasamahan (2016) nagpasya na kunin ang manipesto na coding na gawain na dati ay ginaganap ng mga eksperto at ibaling ito sa isang proyekto sa pag-compute ng tao. Bilang isang resulta, lumikha sila ng isang proseso ng coding na mas maaaring maipapalakas at mas nababaluktot, at hindi sa mas mura at mas mabilis.

Paggawa gamit ang 18 manifestos na binuo sa loob ng anim na kamakailang halalan sa United Kingdom, ginamit ng Benoit at mga kasamahan ang diskarte ng split-apply-combine na may mga manggagawa mula sa isang market labor microtask (Amazon Mechanical Turk at CrowdFlower ay mga halimbawa ng microtask labor markets; , tingnan ang Kabanata 4). Kinuha ng mga mananaliksik ang bawat manifesto at hinati ito sa mga pangungusap. Susunod, inilapat ng isang tao ang coding scheme sa bawat pangungusap. Sa partikular, ang mga mambabasa ay hiniling na i-classify ang bawat pangungusap na tumutukoy sa patakaran sa ekonomiya (kaliwa o kanan), patakaran sa lipunan (liberal o konserbatibo), o hindi (figure 5.5). Ang bawat pangungusap ay naka-code sa pamamagitan ng tungkol sa limang iba't ibang mga tao. Sa wakas, ang mga rating na ito ay pinagsama gamit ang istatistika ng istatistika na isinasaalang-alang para sa parehong mga indibidwal na rater effect at kahirapan-ng-mga epekto ng pangungusap. Sa lahat, nakuha ng Benoit at mga kasamahan ang 200,000 rating mula sa halos 1,500 katao.

Figure 5.5: Coding scheme mula sa Benoit et al. (2016) . Ang mga mambabasa ay hiniling na i-classify ang bawat pangungusap bilang pagtukoy sa patakaran sa ekonomiya (kaliwa o kanan), patakaran sa lipunan (liberal o konserbatibo), o hindi. Inangkop mula sa Benoit et al. (2016) , tayahin 1.

Upang masuri ang kalidad ng karamihan ng mga tao, ang Benoit at mga kasamahan ay mayroon ding mga 10 eksperto-propesor at nagtapos na mga mag-aaral sa agham pampolitika-rate ang parehong manifestos gamit ang isang katulad na pamamaraan. Kahit na ang mga rating mula sa mga miyembro ng karamihan ay higit na mabago kumpara sa mga rating mula sa mga eksperto, ang konsensus crowd rating ay kahanga-hangang kasunduan sa konsensus rating ng dalubhasa (figure 5.6). Ang paghahambing na ito ay nagpapakita na, tulad ng sa Galaxy Zoo, ang mga proyekto sa pag-compute ng tao ay maaaring makabuo ng mataas na kalidad na mga resulta.

Figure 5.6: Expert estimates ( \(x\) -axis) at karamihan sa mga estima ( \(y\) -axis) ay kapansin-pansin na kasunduan kapag binabanggit ang 18 party manifestos mula sa United Kingdom (Benoit et al. 2016) . Ang mga code ng manifestos ay mula sa tatlong partidong pampulitika (Conservative, Labour, at Liberal Democrats) at anim na halalan (1987, 1992, 1997, 2001, 2005, at 2010). Inangkop mula sa Benoit et al. (2016) , tayahin 3.

Sa pagbuo sa ganitong resulta, ginamit ni Benoit at mga kasamahan ang kanilang sistema ng maraming tao sa pag-aaral upang magawa ang pananaliksik na imposible sa sistema ng pag-coding ng expert na ginagamit ng Proyekto ng Manipesto. Halimbawa, hindi na-code ng Manipesto Project ang mga manifestos sa paksa ng imigrasyon dahil hindi ito isang kapansin-pansin na paksa kapag ang coding scheme ay binuo sa kalagitnaan ng dekada 1980. At, sa puntong ito, logistically hindi maiiwasan para sa Proyekto ng Manipesto upang bumalik at muling ipanukala ang kanilang mga manifestos upang makuha ang impormasyong ito. Samakatuwid, ang mga mananaliksik na interesado sa pag-aaral ng pulitika ng imigrasyon ay wala sa luck. Gayunpaman, ginamit ng Benoit at mga kasamahan ang kanilang sistemang pag-compute ng tao upang gawin ang coding na ito-na-customize sa kanilang pananaliksik na tanong-mabilis at madali.

Upang pag-aralan ang patakaran ng imigrasyon, isinama nila ang mga manifesto para sa walong partido sa pangkalahatang halalan ng 2010 sa United Kingdom. Ang bawat pangungusap sa bawat manifesto ay naka-code kung ito ay may kaugnayan sa imigrasyon, at kung gayon, maging pro-imigrasyon, neutral, o anti-imigrasyon. Sa loob ng 5 oras ng paglulunsad ng kanilang proyekto, ang mga resulta ay nasa. Nakolekta nila ang higit sa 22,000 mga tugon sa kabuuang halaga na $ 360. Dagdag dito, ang mga pagtatantya mula sa karamihan ng tao ay nagpakita ng kapansin-pansin na kasunduan sa isang naunang survey ng mga eksperto. Pagkatapos, bilang isang pangwakas na pagsubok, pagkalipas ng dalawang buwan, muling ginawa ng mga mananaliksik ang kanilang karamihan ng tao-ang coding. Sa loob ng ilang oras, nakalikha sila ng isang bagong dataset ng karamihan ng tao na malapit na naitugma sa orihinal na hanay ng data ng karamihan ng tao. Sa ibang salita, ang pag-compute ng tao ay nagpahintulot sa kanila na makabuo ng mga coding ng mga pampulitikang teksto na sumang-ayon sa mga ekspertong pagsusuri at maaaring muling maisagawa. Bukod pa rito, dahil mabilis at mura ang pag-compute ng tao, madali para sa kanila na i-customize ang kanilang koleksyon ng data sa kanilang partikular na tanong sa pananaliksik tungkol sa imigrasyon.