5.2.2 Multitud-codificación de los manifiestos políticos
Codificación manifiestos políticos, algo que suele hacer por los expertos, puede ser realizada por un proyecto de computación humana que resulta en una mayor reproducibilidad y flexibilidad.
Al igual que Galaxy Zoo, hay muchas situaciones en las que los investigadores sociales quieren codificar, clasificar o etiquetar una imagen o una pieza de texto. Un ejemplo de este tipo de investigación es la codificación de manifiestos políticos. Durante las elecciones, los partidos políticos producen manifiestos que describen sus posiciones políticas y filosofías rectores. Por ejemplo, aquí hay una parte del manifiesto del Partido Laborista en el Reino Unido a partir de 2010:
"Millones de personas que trabajan en nuestros servicios públicos encarnan los mejores valores de la Gran Bretaña, ayudando a capacitar a las personas para sacar el máximo provecho de su propia vida, mientras que los protege de los riesgos a los que no se debería hacer frente por sí solos. Del mismo modo que tenemos que ser más audaz sobre el papel del gobierno en la que los mercados funcionen de manera justa, también tenemos que ser audaces reformadores de gobierno ".
Estos manifiestos contienen datos valiosos para los científicos políticos, en particular los que estudian las elecciones y la dinámica de los debates sobre políticas. A fin de extraer sistemáticamente información de estos manifiestos, los investigadores crearon The Manifesto Project, que recolectó 4.000 manifiestos de casi 1.000 partidos en 50 países y luego organizó a científicos políticos para que los codificaran sistemáticamente. Cada frase en cada manifiesto fue codificada por un experto usando un esquema de 56 categorías. El resultado de este esfuerzo de colaboración es un conjunto de datos masivos que resume la información incluida en estos manifiestos, y este conjunto de datos se ha utilizado en más de 200 artículos científicos.
Kenneth Benoit y sus colegas (2016) decidieron tomar la tarea de codificación de manifiesto que previamente había sido realizada por expertos y convertirla en un proyecto de computación humana. Como resultado, crearon un proceso de codificación que es más reproducible y más flexible, por no mencionar más económico y más rápido.
Trabajando con 18 manifiestos generados durante seis recientes elecciones en el Reino Unido, Benoit y sus colegas utilizaron la estrategia de combinación de aplicación dividida con trabajadores de un mercado laboral de microtask (Amazon Mechanical Turk y CrowdFlower son ejemplos de mercados de trabajo de Microtak; para obtener más información sobre dichos mercados). , ver el Capítulo 4). Los investigadores tomaron cada manifiesto y lo dividieron en oraciones. Luego, una persona aplicó el esquema de codificación a cada oración. En particular, se pidió a los lectores que clasificaran cada oración como una referencia a la política económica (izquierda o derecha), a la política social (liberal o conservadora), oa ninguna de las dos (figura 5.5). Cada oración fue codificada por unas cinco personas diferentes. Finalmente, estas clasificaciones se combinaron usando un modelo estadístico que tuvo en cuenta tanto los efectos del evaluador individual como los efectos de dificultad de la oración. En total, Benoit y sus colegas obtuvieron 200,000 calificaciones de aproximadamente 1,500 personas.
Figura 5.5: esquema de codificación de Benoit et al. (2016) . Se pidió a los lectores que clasificaran cada oración como una referencia a la política económica (izquierda o derecha), a la política social (liberal o conservadora), o a ninguna de las dos. Adaptado de Benoit et al. (2016) , figura 1.
Para evaluar la calidad de la codificación colectiva, Benoit y sus colegas también tenían alrededor de 10 expertos, profesores y estudiantes de posgrado en ciencias políticas, que evaluaban los mismos manifiestos utilizando un procedimiento similar. Aunque las calificaciones de los miembros de la multitud fueron más variables que las calificaciones de los expertos, la clasificación de público por consenso tuvo un acuerdo notable con la calificación de expertos de consenso (figura 5.6). Esta comparación muestra que, al igual que con Galaxy Zoo, los proyectos de computación humana pueden producir resultados de alta calidad.
Figura 5.6: Las estimaciones de expertos ( \(x\) -eje) y las estimaciones de multitudes ( \(y\) ) estuvieron notablemente de acuerdo al codificar 18 manifiestos de partido del Reino Unido (Benoit et al. 2016) . Los manifiestos codificados provenían de tres partidos políticos (conservadores, laboristas y demócratas liberales) y seis elecciones (1987, 1992, 1997, 2001, 2005 y 2010). Adaptado de Benoit et al. (2016) , figura 3.
Sobre la base de este resultado, Benoit y sus colegas utilizaron su sistema de codificación colectiva para realizar una investigación que era imposible con el sistema de codificación experto utilizado por el Proyecto Manifiesto. Por ejemplo, el Proyecto Manifiesto no codificó los manifiestos sobre el tema de la inmigración porque ese no era un tema destacado cuando el esquema de codificación se desarrolló a mediados de la década de 1980. Y, en este punto, es logísticamente inviable que el Proyecto del Manifiesto regrese y recodifique sus manifiestos para capturar esta información. Por lo tanto, parece que los investigadores interesados en estudiar la política de la inmigración no tienen suerte. Sin embargo, Benoit y sus colegas pudieron usar su sistema de computación humana para hacer esta codificación, personalizada a su pregunta de investigación, rápida y fácilmente.
Para estudiar la política de inmigración, codificaron los manifiestos de ocho partidos en las elecciones generales de 2010 en el Reino Unido. Cada oración en cada manifiesto estaba codificada en cuanto a si se relacionaba con la inmigración y, de ser así, si era proinmigrante, neutral o antiinmigrante. En un plazo de 5 horas desde el lanzamiento de su proyecto, se obtuvieron los resultados. Se obtuvieron más de 22,000 respuestas con un costo total de $ 360. Además, las estimaciones de la multitud mostraron un notable acuerdo con una encuesta anterior de expertos. Luego, como prueba final, dos meses después, los investigadores reprodujeron su codificación colectiva. En unas pocas horas, crearon un nuevo conjunto de datos codificado por multitud que coincidía estrechamente con su conjunto original de datos codificados por multitud. En otras palabras, el cálculo humano les permitió generar códigos de textos políticos que coincidían con las evaluaciones de expertos y eran reproducibles. Además, debido a que el cálculo humano fue rápido y barato, les fue fácil personalizar su colección de datos a su pregunta de investigación específica sobre inmigración.
