5.2.2 Multitud-codificació dels manifestos polítics

Codificació manifestos polítics, alguna cosa que sol fer pels experts, pot ser realitzada per un projecte de computació humana que resulta en una major reproductibilitat i flexibilitat.

Igual que en Galaxy Zoo, hi ha moltes situacions en què els investigadors socials volen codi, classificar, o etiqueta una imatge o una peça de text. Un exemple d'aquest tipus d'investigació és la codificació dels manifestos polítics. Durant les eleccions, els partits polítics produeixen manifestos que descriuen les seves posicions polítiques i filosofies de guia. Per exemple, aquí hi ha un tros del manifest del Partit Laborista a la Gran Bretanya a partir del 2010:

"Milions de persones que treballen en els nostres serveis públics encarnen els millors valors de la Gran Bretanya, ajudant a capacitar les persones per treure el màxim profit de la seva pròpia vida, mentre que els protegeix dels riscos als quals no s'hauria de fer front per si sols. De la mateixa manera que hem de ser més audaç sobre el paper del govern en la qual els mercats funcionin de manera justa, també hem de ser audaços reformadors de govern ".

Aquests manifestos contenen dades valuoses per als científics polítics, en particular aquells que estudien les eleccions i la dinàmica dels debats de política. Per tal d'extreure informació de forma sistemàtica a partir d'aquests manifestos, els investigadors van crear el Projecte Manifest , que va organitzar politòlegs per codificar 4.000 manifestos de gairebé 1.000 partits en 50 països. Cada frase en cada manifest ha estat codificat per un expert usant un esquema de 56 categories. El resultat d'aquest esforç de col·laboració és una enorme quantitat de dades que resumeix la informació incrustada en aquests manifestos, i aquest conjunt de dades s'ha utilitzat en més de 200 articles científics.

Kenneth Benoit i els seus col·legues (2015) van decidir prendre la tasca de codificació de manifest en el qual prèviament s'havia realitzat per experts i convertir-lo en un projecte de computació humana. Com a resultat, es va crear un procediment de codificació que és més reproduïble i més flexible, per no esmentar més barat i més ràpid.

Treballant amb 18 manifestos generats durant sis eleccions recents al Regne Unit, Benoit i els seus col·legues van utilitzar l'escissió-apply-combinar l'estratègia amb els treballadors d'un mercat de treball de micro-tasca (Amazon Mechanical Turk i CrowdFlower són exemples dels mercats de treball de micro-tasques, per a més en els mercats de treball de micro-tasques, vegeu el capítol 4). Els investigadors van prendre cadascun manifest i es van separar en frases. A continuació, Puntuació humà es va aplicar a cada frase. En particular, si la sentència implicava una declaració de política, que va ser codificada en dues dimensions: econòmica (d'esquerra a molt molt dreta) i social (de liberal a conservador) (Figura 5.5). Cada frase va ser codificat per prop de 5 persones diferents. Finalment, aquestes classificacions es van combinar mitjançant un model estadístic que va representar ambdós efectes avaluadors individuals i dificultat dels efectes d'oracions. En total, Benoit i els seus col·legues van recol·lectar 200.000 classificacions de prop de 1.500 treballadors.

Figura 5.5: Esquema de codificació de Benoit et al. (2015) (fig 1).

Per tal d'avaluar la qualitat de la codificació multitud, Benoit i els seus col·legues també tenien al voltant de 10 experts-professors i estudiants graduats en Ciències Polítiques de taxa els mateixos manifestos utilitzant un procediment similar. Tot i que les qualificacions dels membres de la multitud van ser més variables que les qualificacions dels experts, la qualificació de multitud de consens va tenir notable acord amb la classificació de consens d'experts (Figura 5.6). Aquesta comparació mostra que, igual que amb Galaxy Zoo, projectes de càlcul humans poden produir resultats d'alta qualitat.

Figura 5.6: estimacions dels experts (eix x) i estimacions de multituds (eix i) estaven en acord notable quan es codifiquen els 18 programes dels partits de la Gran Bretanya (Benoit et al. 2015) . Els manifestos codificats eren de tres partits polítics (conservadors, laboristes, liberals demòcrates) i sis eleccions (1987, 1992, 1997, 2001, 2005, 2010).

A partir d'aquest resultat, Benoit i els seus col·legues van utilitzar el seu sistema públic de codificació per fer la investigació que era impossible amb el Projecte de Manifest. Per exemple, el Projecte de Manifest no ho ha codificat els manifestos sobre el tema de la immigració, ja que no era un tema rellevant quan l'esquema de codificació va ser desenvolupat a mitjans de la dècada de 1980. I, en aquest punt, és logísticament inviable per al Projecte de Manifest per retrocedir i tornar a codificar els seus manifestos per capturar aquesta informació. Per tant, semblaria que els investigadors interessats en l'estudi de la política d'immigració no estan de sort. No obstant això, Benoit i els seus col·legues van ser capaços d'utilitzar el seu sistema de computació humana per fer això-codificació personalitzada per les seves investigacions pregunta ràpida i fàcilment.

Per tal d'estudiar la política d'immigració, que codifiquen els manifestos per als vuit partits en les eleccions de 2010 a Gran Bretanya. Cada frase en cada manifest va ser codificat pel que fa a si es referia a la immigració, i si és així, si era favorable a la immigració, neutra, o anti-immigració. D'aquí a 5 hores de posar en marxa el seu projecte, els resultats eren. S'havien recollit més de 22.000 respostes a un cost total de 360 ​​$. A més, les estimacions de la multitud van mostrar notable acord amb una enquesta anterior d'experts. Llavors, com a prova final, dos mesos més tard, els investigadors van reproduir el seu públic-codificació. A les poques hores, havien creat un nou conjunt de dades codificades multitud que feia joc de prop el seu conjunt de dades codificades originals multitud. En altres paraules, la computació humana els va permetre generar la codificació dels textos polítics que estaven d'acord amb les avaluacions d'experts i és reproduïble. A més, com la computació humana era ràpid i barat, era fàcil perquè els permet personalitzar la recopilació de dades a la seva pregunta de recerca específica sobre la immigració.