5.2.2 Crowd-codificación dos manifestos políticos
Codificación manifestos políticos, algo tipicamente realizada por expertos, pode ser realizada por un proxecto de computación humana obtendo maior reproducibilidade e flexibilidade.
Semellante ao Galaxy Zoo, hai moitas situacións nas que os investigadores sociais queren código, clasificar ou etiquetar unha imaxe ou unha peza de texto. Un exemplo deste tipo de investigación é a codificación dos manifestos políticos. Durante as eleccións, os partidos políticos producir manifestos describindo as súas posicións políticas e orientadores filosofías. Por exemplo, aquí está unha peza do manifesto do Partido Laborista en Gran Bretaña desde 2010:
"Millóns de persoas que traballan nos nosos servizos públicos incorporan os mellores valores de Gran Bretaña, axudando capacitar as persoas para facer o máximo das súas propias vidas, protexendo os contra os riscos que non deberían ter que soportar por conta propia. Así como necesitamos ser máis ousado sobre o papel do goberno en facer os mercados funcionan axeitadamente, necesitamos ser reformadores ousadas do goberno. "
Estes manifestos conteñen datos valiosos para os científicos políticos, nomeadamente as eleccións que estudan e as dinámicas de debates políticos. Para extraer sistematicamente información a partir destes manifestos, investigadores crearon o Proxecto Manifesto , que organizou os científicos políticos para codificar 4.000 manifestos de preto de 1.000 partes en 50 países. Cada frase en cada manifesto codificado por un experto usando un esquema de 56-categoría. O resultado deste esforzo colaborativo é un conxunto macizo de datos que resume a información almacenada nestes manifestos, e este conxunto de datos foi utilizado en máis de 200 artigos científicos.
Kenneth Benoit e os seus colegas (2015) decidiu tomar a tarefa de codificación manifesto que anteriormente fora realizada por expertos e transformalo en un proxecto de computación humana. Como resultado, crearon un proceso de codificación que é máis reproduzível e máis flexible, para non mencionar máis barata e máis rápida.
Traballando con 18 manifestos xerados durante seis eleccións recentes no, Benoit e os seus colegas usaron a escisión aplícanse combinar a estratexia cos traballadores dun mercado de traballo micro-tarefa (Amazon Mechanical Turk e CrowdFlower son exemplos de mercados de traballo micro-tarefa, por máis nos mercados de traballo micro-tarefas, consulte o Capítulo 4). Os investigadores tomaron cada manifesto e división lo en frases. Logo clasificación humano foi aplicado a cada período. En particular, se a sentenza implica unha declaración de política, foi codificado en dúas dimensións: económica (de moi esquerda a dereita) e social (de liberal para conservador) (Figura 5.5). Cada frase codificado por preto de 5 diferentes persoas. Finalmente, estas clasificacións foron combinados usando un modelo estatístico que representaron os dous efectos avaliadores individuais e dificultade de efectos de sentenza. En total, Benoit e compañeiros recadaron 200.000 clasificacións de preto de 1.500 traballadores.
Figura 5.5: Esquema de codificación de Benoit et al. (2015) (Figura 1).
Co fin de avaliar a calidade da codificación multitude, Benoit e os seus colegas tamén tiña uns 10 especialistas-profesores e estudantes de posgrao en Ciencia Política da taxa os mesmos manifestos utilizando un procedemento semellante. Aínda que as clasificacións de membros da multitude eran máis variable que as avaliacións dos expertos, a clasificación multitude consenso tivo notable segundo a clasificación de Consenso de Expertos (Figura 5.6). Esta comparación mostra que, como Galaxy Zoo, proxectos de computación humana pode producir resultados de alta calidade.
Figura 5.6: estimacións de expertos (eixo-x) e estimacións da multitude (eixe y) estaban de acordo notable cando codificación de 18 manifestos partidarios de Gran Bretaña (Benoit et al. 2015) . Os manifestos codificadas eran de tres partidos políticos (conservadores, laborais, liberais demócratas) e seis eleccións (1987, 1992, 1997, 2001, 2005, 2010).
Con base neste resultado, Benoit e os seus colegas usaron o sistema de codificación de multitude para facer a investigación que era imposible co Proxecto Manifesto. Por exemplo, o Proxecto Manifesto non codificar os manifestos sobre o tema da inmigración, porque iso non foi un tema saínte cando o sistema de codificación foi desenvolvido a mediados dos anos 1980. E, neste punto, é loxística inviábel para o Proxecto Manifesto para volver e re-código seus manifestos para capturar esta información. Polo tanto, parece que os investigadores interesados en estudar a política de inmigración está fóra de sorte. Con todo, Benoit e os seus compañeiros foron capaces de usar o seu sistema de computación humana para facelo codificación-customizado para as súas investigacións de preguntas rapidamente e facilmente.
Co fin de estudar a política de inmigración, eles codificados os manifestos durante oito partidos nas eleccións 2010 en Gran Bretaña. Cada frase en cada manifesto codificado canto a saber se relacionada coa inmigración, e en caso afirmativo, se era pro-inmigración, neutro ou anti-inmigración. Dentro de 5 horas de lanzar o seu proxecto, os resultados foron. Eles habían traído máis de 22.000 respostas a un custo total de US $ 360. Ademais, as estimacións da multitude mostrou notable segundo unha investigación anterior de expertos. Entón, como unha proba final, dous meses despois, os investigadores reproduciu seu público codificación. Dentro dalgunhas horas, eles crearan un novo conxunto de datos con código de multitude que correspondeu de preto a súa orixe conxunto de datos con código de multitude. Noutras palabras, computación humana lles permitiu xerar codificación de textos políticos que coincidiron as avaliacións de expertos e foi reprodutível. Ademais, porque a computación humana foi rápido e barato, foi fácil para eles para personalizar a súa recollida de datos para a súa pregunta de investigación específica sobre a inmigración.
