5.2.2 Multitud-codificación de los manifiestos políticos

Codificación manifiestos políticos, algo que suele hacer por los expertos, puede ser realizada por un proyecto de computación humana que resulta en una mayor reproducibilidad y flexibilidad.

Al igual que en Galaxy Zoo, hay muchas situaciones en las que los investigadores sociales quieren código, clasificar, o etiqueta una imagen o una pieza de texto. Un ejemplo de este tipo de investigación es la codificación de los manifiestos políticos. Durante las elecciones, los partidos políticos producen manifiestos que describen sus posiciones políticas y filosofías de guía. Por ejemplo, aquí hay un trozo del manifiesto del Partido Laborista en Gran Bretaña a partir de 2010:

"Millones de personas que trabajan en nuestros servicios públicos encarnan los mejores valores de la Gran Bretaña, ayudando a capacitar a las personas para sacar el máximo provecho de su propia vida, mientras que los protege de los riesgos a los que no se debería hacer frente por sí solos. Del mismo modo que tenemos que ser más audaz sobre el papel del gobierno en la que los mercados funcionen de manera justa, también tenemos que ser audaces reformadores de gobierno ".

Estos manifiestos contienen datos valiosos para los científicos políticos, en particular aquellos que estudian las elecciones y la dinámica de los debates de política. Con el fin de extraer información de forma sistemática a partir de estos manifiestos, los investigadores crearon el Proyecto Manifiesto , que organizó politólogos para codificar 4.000 manifiestos de casi 1.000 partidos en 50 países. Cada frase en cada manifiesto ha sido codificado por un experto usando un esquema de 56 categorías. El resultado de este esfuerzo de colaboración es una enorme cantidad de datos que resume la información incrustada en estos manifiestos, y este conjunto de datos se ha utilizado en más de 200 artículos científicos.

Kenneth Benoit y sus colegas (2015) decidieron tomar la tarea de codificación de manifiesto en el que previamente se había realizado por expertos y convertirlo en un proyecto de computación humana. Como resultado, se creó un procedimiento de codificación que es más reproducible y más flexible, por no mencionar más barato y más rápido.

Trabajando con 18 manifiestos generados durante seis elecciones recientes en el Reino Unido, Benoit y sus colegas utilizaron la escisión-apply-combinar la estrategia con los trabajadores de un mercado de trabajo de micro-tarea (Amazon Mechanical Turk y CrowdFlower son ejemplos de los mercados de trabajo de micro-tareas, para más en los mercados de trabajo de micro-tareas, véase el capítulo 4). Los investigadores tomaron cada uno manifiesto y se separaron en frases. A continuación, Puntuación humano se aplicó a cada frase. En particular, si la sentencia implicaba una declaración de política, que fue codificada en dos dimensiones: económica (de izquierda a muy muy derecha) y social (de liberal a conservador) (Figura 5.5). Cada frase fue codificado por cerca de 5 personas diferentes. Por último, estas clasificaciones se combinaron mediante un modelo estadístico que representó ambos efectos evaluadores individuales y dificultad de los efectos de oraciones. En total, Benoit y sus colegas recolectaron 200.000 clasificaciones de cerca de 1.500 trabajadores.

Figura 5.5: Esquema de codificación de Benoit et al. (2015) (Fig 1).

Con el fin de evaluar la calidad de la codificación multitud, Benoit y sus colegas también tenían alrededor de 10 expertos-profesores y estudiantes graduados en Ciencias Políticas de tasa los mismos manifiestos utilizando un procedimiento similar. Aunque las calificaciones de los miembros de la multitud fueron más variables que las calificaciones de los expertos, la calificación de multitud de consenso tuvo notable acuerdo con la clasificación de consenso de expertos (Figura 5.6). Esta comparación muestra que, al igual que con Galaxy Zoo, proyectos de cálculo humanos pueden producir resultados de alta calidad.

Figura 5.6: estimaciones de los expertos (eje x) y estimaciones de multitudes (eje y) estaban en acuerdo notable cuando se codifican los 18 programas de los partidos de la Gran Bretaña (Benoit et al. 2015) . Los manifiestos codificados eran de tres partidos políticos (conservadores, laboristas, liberales demócratas) y seis elecciones (1987, 1992, 1997, 2001, 2005, 2010).

A partir de este resultado, Benoit y sus colegas utilizaron su sistema público de codificación para hacer la investigación que era imposible con el Proyecto de Manifiesto. Por ejemplo, el Proyecto de Manifiesto no lo ha codificado los manifiestos sobre el tema de la inmigración, ya que no era un tema relevante cuando el esquema de codificación fue desarrollado a mediados de la década de 1980. Y, en este punto, es logísticamente inviable para el Proyecto de Manifiesto para retroceder y volver a codificar sus manifiestos para capturar esta información. Por lo tanto, parecería que los investigadores interesados ​​en el estudio de la política de inmigración no están de suerte. Sin embargo, Benoit y sus colegas fueron capaces de utilizar su sistema de computación humana para hacer esto-codificación personalizada para sus investigaciones pregunta rápida y fácilmente.

Con el fin de estudiar la política de inmigración, que codifican los manifiestos para los ocho partidos en las elecciones de 2010 en Gran Bretaña. Cada frase en cada manifiesto fue codificado en cuanto a si se refería a la inmigración, y si es así, si era favorable a la inmigración, neutra, o anti-inmigración. Dentro de 5 horas de poner en marcha su proyecto, los resultados estaban. Se habían recogido más de 22.000 respuestas a un costo total de $ 360. Además, las estimaciones de la multitud mostraron notable acuerdo con una encuesta anterior de expertos. Entonces, como prueba final, dos meses más tarde, los investigadores reprodujeron su público-codificación. A las pocas horas, habían creado un nuevo conjunto de datos codificados multitud que hacía juego de cerca su conjunto de datos codificados originales multitud. En otras palabras, la computación humana les permitió generar la codificación de los textos políticos que estaban de acuerdo con las evaluaciones de expertos y es reproducible. Además, como la computación humana era rápido y barato, era fácil para que les permite personalizar la recopilación de datos a su pregunta de investigación específica sobre la inmigración.