5.2.2 Multitud-codificació dels manifestos polítics

Codificació manifestos polítics, alguna cosa que sol fer pels experts, pot ser realitzada per un projecte de computació humana que resulta en una major reproductibilitat i flexibilitat.

Similar al Galaxy Zoo, hi ha moltes situacions on els investigadors socials volen codificar, classificar o etiquetar una imatge o text. Un exemple d'aquest tipus d'investigació és la codificació dels manifestos polítics. Durant les eleccions, els partits polítics produeixen manifestos que descriuen les seves posicions polítiques i les filosofies orientadores. Per exemple, aquí teniu una part del manifest del Partit Laborista al Regne Unit a partir de 2010:

"Milions de persones que treballen en els nostres serveis públics encarnen els millors valors de la Gran Bretanya, ajudant a capacitar les persones per treure el màxim profit de la seva pròpia vida, mentre que els protegeix dels riscos als quals no s'hauria de fer front per si sols. De la mateixa manera que hem de ser més audaç sobre el paper del govern en la qual els mercats funcionin de manera justa, també hem de ser audaços reformadors de govern ".

Aquests manifestos contenen dades valuoses per als científics polítics, especialment aquells que estudien les eleccions i la dinàmica dels debats polítics. Per tal d'extreure sistemàticament la informació d'aquests manifestos, els investigadors van crear el Projecte Manifest, que va recollir 4.000 manifestos de prop de 1.000 partits en 50 països i després va organitzar científics polítics per codificar-los sistemàticament. Cada frase de cada manifest va ser codificada per un expert amb un esquema de 56 categories. El resultat d'aquest esforç de col·laboració és un conjunt de dades massiu que resumeix la informació incrustada en aquests manifestos, i aquest conjunt de dades s'ha utilitzat en més de 200 articles científics.

Kenneth Benoit i els seus col·legues (2016) decidir fer la tasca de codificació del manifest que anteriorment havien realitzat experts i convertir-la en un projecte de computació humana. Com a resultat, van crear un procés de codificació més reproduïble i flexible, per no parlar més barat i més ràpid.

Treballant amb 18 manifests generats durant sis eleccions recents al Regne Unit, Benoit i els seus col·legues van utilitzar l'estratègia de combinació dividida amb treballadors d'un mercat laboral de microcompàs (Amazon Mechanical Turk i CrowdFlower són exemples de mercat laboral de microempresa, per a més en aquests mercats , vegeu el capítol 4). Els investigadors van prendre cada manifest i el van dividir en oracions. A continuació, una persona va aplicar el esquema de codificació a cada frase. En particular, es va demanar als lectors que classifiquen cada frase com a referent a la política econòmica (esquerra o dreta), a la política social (liberal o conservadora), o cap a cap (figura 5.5). Cada frase va ser codificada per cinc persones diferents. Finalment, aquestes qualificacions es van combinar amb un model estadístic que representava tant efectes individuals com efectes de dificultat d'oració. En total, Benoit i els seus col·legues van recollir 200.000 classificacions d'aproximadament 1.500 persones.

Figura 5.5: esquema de codificació de Benoit et al. (2016) . Es va demanar als lectors que classifiquen cada frase com a referent a la política econòmica (esquerra o dreta), a la política social (liberal o conservadora), oa cap de les dues. Adaptada de Benoit et al. (2016) , figura 1.

Per avaluar la qualitat de la codificació de la multitud, Benoit i els seus col·legues també tenien uns 10 experts-professors i estudiants de postgrau en ciència política-valoren els mateixos manifestos utilitzant un procediment similar. Tot i que les qualificacions dels membres de la multitud eren més variables que les valoracions dels experts, la qualificació de consens va tenir notable acord amb la qualificació de consens (figura 5.6). Aquesta comparació mostra que, com en el Galaxy Zoo, els projectes de computació humana poden produir resultats d'alta qualitat.

Figura 5.6: Les estimacions d'experts ( \(x\) -axis) i les estimacions de la multitud ( \(y\) -axis) van ser notablement coincidents en codificar 18 manifestos del partit del Regne Unit (Benoit et al. 2016) . Els manifestos codificats van ser de tres partits polítics (conservadors, laborals i demòcrates liberals) i sis eleccions (1987, 1992, 1997, 2001, 2005 i 2010). Adaptada de Benoit et al. (2016) , figura 3.

Basant-se en aquest resultat, Benoit i els seus col·legues van utilitzar el seu sistema de codificació multimèdia per investigar que era impossible amb el sistema de codificació d'experts utilitzat pel Projecte Manifest. Per exemple, el Projecte Manifest no va codificar els manifestos sobre el tema de la immigració, ja que aquest no era un tema destacable quan es va desenvolupar el pla de codificació a mitjan anys vuitanta. I, en aquest punt, és logísticament infeigible que el Projecte Manifest retrocedeixi i recopili els seus manifestos per capturar aquesta informació. Per tant, sembla que els investigadors interessats en estudiar la política de la immigració estan fora de sort. Tanmateix, Benoit i els seus col·legues van poder utilitzar el seu sistema de computació humana per fer-ho de forma ràpida i senzilla codificant personalment a la seva pregunta de recerca.

Per estudiar la política d'immigració, van codificar els manifestos per a vuit partits a les eleccions generals del 2010 al Regne Unit. Cada frase de cada manifest es va codificar pel que fa a la immigració i, en cas afirmatiu, si es tractava d'immigració pro-immigrant, o d'immigració. A menys de 5 hores de llançar el seu projecte, els resultats van ser. Han recollit més de 22.000 respostes amb un cost total de $ 360. A més, les estimacions de la multitud van mostrar un notable acord amb una enquesta prèvia d'experts. Després, com a prova final, dos mesos més tard, els investigadors van reproduir la seva codificació multitudinària. En poques hores, havien creat un nou conjunt de dades codificats per multituds que combinava de prop els seus conjunts originals de dades multidimensionals. En altres paraules, la computació humana els va permetre generar codificació de textos polítics que coincidien amb avaluacions expertes i era reproduïble. A més, perquè la computació humana era ràpida i barata, era fàcil que personalitzessin la seva recollida de dades a la seva pregunta de recerca específica sobre la immigració.