5.2.2 Mulțime de codificare a-politice manifestelor
De codificare politică, manifestele ceva de obicei făcut de experți, poate fi realizată printr - un proiect de calcul uman ca rezultat o mai mare flexibilitate și de reproductibilitate.
Similar cu Galaxy Zoo, există multe situații în care cercetătorii sociali doresc să cod, clasificare sau eticheta o imagine sau un fragment de text. Un exemplu de acest tip de cercetare este codificarea manifestele politice. În timpul alegerilor, partidele politice produc manifestele care descriu pozițiile lor de politică și de ghidare filozofii. De exemplu, iată o bucată din Manifestul Partidului Muncii din Marea Britanie din 2010:
"Milioane de oameni care lucrează în serviciile noastre publice întruchipează cele mai bune valori ale Marii Britanii, ajutând permite oamenilor să profite la maximum de propriile lor vieți în același timp să le protejeze de riscurile pe care le nu ar trebui să le suporte pe cont propriu. La fel cum trebuie să fim mai îndrăzneață cu privire la rolul guvernului în a face ca piețele să funcționeze corect, avem de asemenea, trebuie să fie reformatori îndrăznețe de guvernare. "
Aceste date conțin manifestele valoroase pentru oamenii de știință politică, special acele alegeri care studiază și dinamica dezbaterilor politice. În scopul de a extrage sistematic informații din aceste manifestele, cercetatorii au creat Proiectul Manifest , care a organizat oamenii de știință politică la cod 4000 manifestele de la aproape 1.000 de partide în 50 de țări. Fiecare propoziție din fiecare manifest a fost codificat de către un expert utilizând un sistem de 56 de categorii. Rezultatul acestui efort de colaborare este un set de date masiv care rezumă informațiile încorporate în aceste manifestele, iar acest set de date a fost utilizat în mai mult de 200 de lucrări științifice.
Kenneth Benoit și colegii (2015) a decis să ia sarcina de codificare manifest , care au fost efectuate anterior de experți și de al transforma într - un proiect de calcul uman. Ca rezultat, ei au creat un proces de codificare, care este mai reproductibilă și mai flexibilă, să nu mai vorbim mai ieftin și mai rapid.
De lucru cu 18 manifestele generate în timpul șase alegerilor recente din Marea Britanie, Benoit si colegii sai au folosit split-aplica-combina strategia cu muncitorii de la o piață a forței de muncă micro-sarcină (Amazon Mechanical Turk și CrowdFlower sunt exemple de piețe ale muncii micro-sarcină, pentru mai multe pe piețele forței de muncă micro-sarcină, a se vedea capitolul 4). Cercetatorii au luat fiecare manifest si divizat - l în propoziții. În continuare, evaluare umană a fost aplicată la fiecare propoziție. În special, în cazul în care sentința implicată o declarație politică, acesta a fost codificat pe două dimensiuni: economice (de la stânga la foarte foarte dreapta) și social (de la liberal la conservator) (Figura 5.5). Fiecare propoziție a fost codificată de aproximativ 5 persoane diferite. În cele din urmă, aceste evaluări au fost combinate cu ajutorul unui model statistic care a reprezentat atât efectele Evaluatorul individuale și dificultatea efectelor propoziții. In concluzie, Benoit si colegii sai au colectat 200.000 evaluări de la aproximativ 1.500 de muncitori.
Figura 5.5: Schema de codare de Benoit et al. (2015) (figura 1).
În scopul de a evalua calitatea codificării mulțimii, Benoit si colegii sai, de asemenea, a avut aproximativ 10 experți-profesori și studenți absolvenți în științe politice rate aceleași manifestele folosind o procedură similară. Cu toate evaluările de la membrii ai mulțimii au fost mai variabile decât rating de experți, rating mulțimea de consens a avut un acord remarcabil cu rating-ul de experți consens (Figura 5.6). Această comparație arată că, la fel ca Galaxy Zoo, proiecte de calcul uman poate produce rezultate de înaltă calitate.
Figura 5.6: Estimările Expert (axa x) și estimări ale mulțimii (axa y) au fost în acord remarcabil atunci când codifică 18 manifestele partid din Marea Britanie (Benoit et al. 2015) . Manifestele codificate au fost din cele trei partide politice (Conservator, Muncii, liberal-Democrat) și șase alegeri (1987, 1992, 1997, 2001, 2005, 2010).
Pe baza acestui rezultat, Benoit si colegii sai au folosit sistemul de codificare prin mulțimea de a face cercetare, care a fost imposibil cu Proiectul Manifestul. De exemplu, Proiectul Manifestul nu a codifica manifestele pe tema imigrației, pentru că nu a fost un subiect atunci când schema proeminentă de codificare a fost dezvoltat la mijlocul anilor 1980. Și, în acest moment, este logistic pentru irealizabil Proiectului Manifestul pentru a merge înapoi și re-cod de manifestele pentru a capta aceste informații. Prin urmare, se pare că cercetătorii interesați în studierea politica imigrației sunt de noroc. Cu toate acestea, Benoit si colegii sai au fost capabili să folosească sistemul lor de calcul uman pentru a face acest lucru de codificare-personalizate pentru cercetarea lor întrebări rapid și ușor.
În scopul de a studia politica în domeniul imigrației, au codificat manifestele pentru opt partide în alegerile 2010, în Marea Britanie. Fiecare propoziție din fiecare manifest a fost codificat pentru a verifica legate de imigrația, și în caz afirmativ, dacă era pro-imigrație, neutre, sau anti-imigrație. În termen de 5 ore de la lansare a proiectului lor, rezultatele au fost. Ei au adunat mai mult de 22.000 de răspunsuri la un cost total de $ 360. În plus, estimările din mulțime au arătat un acord remarcabil cu un sondaj anterior de experți. Apoi, ca un test final, două luni mai târziu, cercetatorii au reprodus lor mulțimea codare. În termen de câteva ore, ei au creat un nou set de date cu coduri de mulțimea care corespund îndeaproape setul lor de date cu coduri de mulțimea originală. Cu alte cuvinte, calcul uman le-a permis să genereze codificarea textelor politice care au fost de acord cu evaluările experților și a fost reproductibil. În plus, deoarece calculul uman a fost rapid și ieftin, a fost ușor pentru a personaliza lor de colectare a datelor la întrebarea lor de cercetare specifice cu privire la imigrație.
