5.2.2 Mulțime de codificare a-politice manifestelor

De codificare politică, manifestele ceva de obicei făcut de experți, poate fi realizată printr - un proiect de calcul uman ca rezultat o mai mare flexibilitate și de reproductibilitate.

Similar cu Galaxy Zoo, există multe situații în care cercetătorii sociali doresc să codifice, să clasifice sau să eticheteze o imagine sau o bucată de text. Un exemplu de acest tip de cercetare este codificarea manifestărilor politice. În timpul alegerilor, partidele politice produc manifestări care descriu pozițiile lor politice și călăuză filozofiile. De exemplu, iată o parte a manifestului Partidului Laburist din Regatul Unit din 2010:

"Milioane de oameni care lucrează în serviciile noastre publice întruchipează cele mai bune valori ale Marii Britanii, ajutând permite oamenilor să profite la maximum de propriile lor vieți în același timp să le protejeze de riscurile pe care le nu ar trebui să le suporte pe cont propriu. La fel cum trebuie să fim mai îndrăzneață cu privire la rolul guvernului în a face ca piețele să funcționeze corect, avem de asemenea, trebuie să fie reformatori îndrăznețe de guvernare. "

Aceste manifestări conțin date valoroase pentru oamenii de știință politică, în special cei care studiază alegerile și dinamica dezbaterilor politice. Pentru a extrage în mod sistematic informații din aceste manifestări, cercetătorii au creat Proiectul Manifestului, care a colectat 4.000 de manifestări din aproape 1.000 de partide din 50 de țări și apoi a organizat oameni de știință politică pentru a le codifica în mod sistematic. Fiecare propoziție din fiecare manifest a fost codificată de un expert care folosește o schemă de 56 de categorii. Rezultatul acestui efort de colaborare este un set de date masiv care rezumă informațiile incluse în aceste manifestări, iar acest set de date a fost utilizat în mai mult de 200 de lucrări științifice.

Kenneth Benoit și colegii săi (2016) decis să preia sarcina de codificare a manifestării, care fusese efectuată anterior de experți, transformându-l într-un proiect de calcul uman. Ca rezultat, au creat un proces de codificare mai reproductibil și mai flexibil, fără a menționa mai ieftin și mai rapid.

Lucrand cu 18 manifestari generate in ultimele sase alegeri din Marea Britanie, Benoit si colegii sai au folosit strategia split-apply-combine cu muncitorii de pe piata muncii microtask (Amazon Mechanical Turk si CrowdFlower sunt exemple ale pietelor muncii microtask; , vezi capitolul 4). Cercetătorii au luat fiecare manifest și l-au împărțit în propoziții. Apoi, o persoană a aplicat schema de codare pentru fiecare teză. În special, cititorii au fost rugați să clasifice fiecare propoziție ca referindu-se la politica economică (la stânga sau la dreapta), la politica socială (liberală sau conservatoare) sau nici la (figura 5.5). Fiecare propoziție a fost codificată de aproximativ cinci persoane diferite. În cele din urmă, aceste ratinguri au fost combinate folosind un model statistic care a reprezentat atât efectele individual-rater, cât și efectele dificultății de frază. În total, Benoit și colegii săi au colectat 200.000 de ratinguri de la aproximativ 1.500 de persoane.

Figura 5.5: Schema de codificare de la Benoit et al. (2016) . Cititorilor i sa cerut să clasifice fiecare propoziție ca referindu-se la politica economică (stânga sau la dreapta), la politica socială (liberală sau conservatoare) sau la nici una. Adaptat de la Benoit et al. (2016) , figura 1.

Pentru a evalua calitatea codificării mulțimii, Benoit și colegii au avut, de asemenea, aproximativ 10 experți-profesori și absolvenți de studii științifice politice - aceleași manifestări folosind o procedură similară. Deși ratingurile membrilor mulțimii au fost mai variabile decât cele ale experților, evaluarea mulțimii consensuale a avut un acord remarcabil cu ratingul consensului expert (figura 5.6). Această comparație arată că, la fel ca la Galaxy Zoo, proiectele de calcul uman pot produce rezultate de înaltă calitate.

Figura 5.6: Estimările experților ( \(x\) -axis) și estimările mulțimii ( \(y\) -axis) au fost într-un acord remarcabil atunci când s-au codificat 18 manifeste de partid din Regatul Unit (Benoit et al. 2016) . Manifestările codificate au fost de la trei partide politice (conservatori, muncitori și liberali-democrați) și șase alegeri (1987, 1992, 1997, 2001, 2005 și 2010). Adaptat de la Benoit et al. (2016) , figura 3.

Bazându-se pe acest rezultat, Benoit și colegii și-au folosit sistemul de codificare a mulțimii pentru a face cercetări care au fost imposibile în cadrul sistemului de codificare folosit de Proiectul Manifest. De exemplu, Proiectul Manifest nu a codificat manifestările pe tema imigrației, deoarece nu a fost un subiect important atunci când schema de codificare a fost dezvoltată la mijlocul anilor 1980. Și, în acest moment, este imposibil din punct de vedere logistic ca Proiectul Manifest să se întoarcă și să își recodeze manifestările pentru a surprinde aceste informații. Prin urmare, se pare că cercetătorii interesați de studierea politicii de imigrare nu au noroc. Cu toate acestea, Benoit și colegii au reușit să utilizeze sistemul lor de calcul uman pentru a face această codificare - personalizată pentru întrebarea lor de cercetare - rapid și ușor.

Pentru a studia politica de imigrare, au codificat manifestările pentru opt partide în alegerile generale din 2010 din Regatul Unit. Fiecare propoziție din fiecare manifestare a fost codificată dacă aceasta se referea la imigrație și, dacă da, dacă aceasta era proimigrație, neutră sau anti-imigrație. În termen de 5 ore de la lansarea proiectului, rezultatele au fost. Au colectat peste 22.000 de răspunsuri la un cost total de 360 ​​$. Mai mult, estimările din partea mulțimii au arătat un acord remarcabil cu un sondaj anterior al experților. Apoi, ca un test final, două luni mai târziu, cercetătorii și-au reprodus codificarea mulțimii. În câteva ore, au creat un nou set de date cu coduri de mulțimea care se potriveau strâns setului lor original de coduri cu mulțime. Cu alte cuvinte, calculele umane le-au permis să genereze codificarea textelor politice care au fost de acord cu evaluările experților și au fost reproductibile. Mai mult, deoarece calculul uman a fost rapid și ieftin, le-a fost ușor să-și personalizeze colectarea datelor către întrebarea lor specifică privind imigrația.