5.2.2 Crowd-codificação dos manifestos políticos
Codificação manifestos políticos, algo tipicamente realizado por especialistas, pode ser realizada por um projecto de computação humana resultando em maior reprodutibilidade e flexibilidade.
Semelhante ao Galaxy Zoo, há muitas situações em que os pesquisadores sociais querem código, classificar ou rotular uma imagem ou um pedaço de texto. Um exemplo deste tipo de pesquisa é a codificação dos manifestos políticos. Durante as eleições, os partidos políticos produzir manifestos descrevendo suas posições políticas e orientadores filosofias. Por exemplo, aqui está um pedaço do manifesto do Partido Trabalhista na Grã-Bretanha a partir de 2010:
"Milhões de pessoas que trabalham em nossos serviços públicos incorporam os melhores valores da Grã-Bretanha, ajudando capacitar as pessoas para fazer o máximo de suas próprias vidas, protegendo-os contra os riscos que não deveriam ter de suportar por conta própria. Assim como precisamos ser mais ousado sobre o papel do governo em fazer os mercados funcionarem adequadamente, precisamos também ser reformadores ousadas do governo. "
Esses manifestos contêm dados valiosos para os cientistas políticos, nomeadamente as eleições que estudam e as dinâmicas de debates políticos. Para extrair sistematicamente informações a partir desses manifestos, pesquisadores criaram o Projeto Manifesto , que organizou os cientistas políticos para codificar 4.000 manifestos de cerca de 1.000 partes em 50 países. Cada frase em cada manifesto foi codificado por um perito usando um esquema de 56-categoria. O resultado deste esforço colaborativo é um conjunto maciço de dados que resume as informações armazenadas nesses manifestos, e este conjunto de dados foi utilizado em mais de 200 artigos científicos.
Kenneth Benoit e seus colegas (2015) decidiu tomar a tarefa de codificação manifesto que anteriormente tinha sido realizada por especialistas e transformá-lo em um projeto de computação humana. Como resultado, criaram um processo de codificação que é mais reproduzível e mais flexível, para não mencionar mais barata e mais rápida.
Trabalhando com 18 manifestos gerados durante seis eleições recentes no Reino Unido, Benoit e seus colegas usaram a cisão aplicam-combinar a estratégia com os trabalhadores de um mercado de trabalho micro-tarefa (Amazon Mechanical Turk e CrowdFlower são exemplos de mercados de trabalho micro-tarefa, por mais nos mercados de trabalho micro-tarefas, consulte o Capítulo 4). Os pesquisadores tomaram cada manifesto e dividi-lo em frases. Em seguida, classificação humano foi aplicado a cada período. Em particular, se a sentença envolveu uma declaração de política, ele foi codificado em duas dimensões: econômica (de muito esquerda para a direito) e social (de liberal para conservador) (Figura 5.5). Cada frase foi codificado por cerca de 5 diferentes pessoas. Finalmente, estas classificações foram combinados usando um modelo estatístico que representaram ambos os efeitos avaliadores individuais e dificuldade de efeitos de sentença. Ao todo, Benoit e colegas coletaram 200.000 classificações de cerca de 1.500 trabalhadores.
Figura 5.5: Esquema de codificação de Benoit et al. (2015) (Figura 1).
A fim de avaliar a qualidade da codificação multidão, Benoit e seus colegas também tinha cerca de 10 especialistas-professores e estudantes de pós-graduação em Ciência Política da taxa os mesmos manifestos utilizando um procedimento semelhante. Embora as classificações de membros da multidão eram mais variável do que as avaliações dos peritos, a classificação multidão consenso teve notável acordo com a classificação de Consenso de Peritos (Figura 5.6). Esta comparação mostra que, como Galaxy Zoo, projetos de computação humana pode produzir resultados de alta qualidade.
Figura 5.6: estimativas de especialistas (eixo-x) e estimativas da multidão (eixo y) estavam de acordo notável quando codificação de 18 manifestos partidários da Grã-Bretanha (Benoit et al. 2015) . Os manifestos codificadas eram de três partidos políticos (conservadores, trabalhistas, liberais democratas) e seis eleições (1987, 1992, 1997, 2001, 2005, 2010).
Com base neste resultado, Benoit e seus colegas usaram o seu sistema de codificação de multidão para fazer a pesquisa que era impossível com o Projeto Manifesto. Por exemplo, o Projeto Manifesto não codificar os manifestos sobre o tema da imigração, porque isso não foi um tema saliente quando o esquema de codificação foi desenvolvido em meados dos anos 1980. E, neste ponto, é logisticamente inviável para o Projeto Manifesto para voltar e re-código seus manifestos para capturar essas informações. Portanto, parece que os pesquisadores interessados em estudar a política de imigração está fora de sorte. No entanto, Benoit e seus colegas foram capazes de usar seu sistema de computação humana para fazer isso codificação-customizado para suas pesquisas de perguntas rapidamente e facilmente.
A fim de estudar a política de imigração, eles codificados os manifestos durante oito partidos nas eleições de 2010 na Grã-Bretanha. Cada frase em cada manifesto foi codificado quanto a saber se relacionada com a imigração, e em caso afirmativo, se era pró-imigração, neutro ou anti-imigração. Dentro de 5 horas de lançar o seu projecto, os resultados foram. Eles haviam coletado mais de 22.000 respostas a um custo total de US $ 360. Além disso, as estimativas da multidão mostrou notável acordo com uma pesquisa anterior de especialistas. Então, como um teste final, dois meses depois, os pesquisadores reproduziu seu público-codificação. Dentro de algumas horas, eles tinham criado um novo conjunto de dados com código de multidão que correspondeu de perto a sua origem conjunto de dados com código de multidão. Em outras palavras, computação humana lhes permitiu gerar codificação de textos políticos que concordaram com as avaliações de especialistas e foi reprodutível. Além disso, porque a computação humana foi rápido e barato, foi fácil para eles para personalizar a sua coleta de dados para a sua questão de pesquisa específica sobre a imigração.
