5.2.2 Crowd-codificação dos manifestos políticos
Codificação manifestos políticos, algo tipicamente realizado por especialistas, pode ser realizada por um projecto de computação humana resultando em maior reprodutibilidade e flexibilidade.
Semelhante ao Galaxy Zoo, há muitas situações em que os pesquisadores sociais querem codificar, classificar ou rotular uma imagem ou texto. Um exemplo desse tipo de pesquisa é a codificação de manifestos políticos. Durante as eleições, os partidos políticos produzem manifestos descrevendo suas posições políticas e orientando filosofias. Por exemplo, aqui está uma parte do manifesto do Partido Trabalhista no Reino Unido a partir de 2010:
"Milhões de pessoas que trabalham em nossos serviços públicos incorporam os melhores valores da Grã-Bretanha, ajudando capacitar as pessoas para fazer o máximo de suas próprias vidas, protegendo-os contra os riscos que não deveriam ter de suportar por conta própria. Assim como precisamos ser mais ousado sobre o papel do governo em fazer os mercados funcionarem adequadamente, precisamos também ser reformadores ousadas do governo. "
Esses manifestos contêm dados valiosos para cientistas políticos, especialmente aqueles que estudam eleições e a dinâmica dos debates sobre políticas. A fim de extrair sistematicamente informações desses manifestos, os pesquisadores criaram o The Manifesto Project, que coletou 4.000 manifestos de quase 1.000 partidos em 50 países e depois organizou cientistas políticos para codificá-los sistematicamente. Cada sentença em cada manifesto foi codificada por um especialista usando um esquema de 56 categorias. O resultado desse esforço colaborativo é um enorme conjunto de dados que resume as informações incorporadas nesses manifestos, e esse conjunto de dados foi usado em mais de 200 artigos científicos.
Kenneth Benoit e colegas (2016) decidiram assumir a tarefa de codificação do manifesto que anteriormente havia sido realizada por especialistas e transformá-lo em um projeto de computação humana. Como resultado, eles criaram um processo de codificação que é mais reprodutível e mais flexível, para não mencionar mais barato e mais rápido.
Trabalhando com 18 manifestos gerados durante seis recentes eleições no Reino Unido, Benoit e seus colegas usaram a estratégia de dividir e aplicar com trabalhadores de um mercado de trabalho de microtarefas (Amazon Mechanical Turk e CrowdFlower são exemplos de mercados de trabalho microtransportados; , veja o Capítulo 4). Os pesquisadores pegaram cada manifesto e dividiram em frases. Em seguida, uma pessoa aplicou o esquema de codificação a cada sentença. Em particular, pedia-se aos leitores que classificassem cada frase como referindo-se à política econômica (esquerda ou direita), à política social (liberal ou conservadora) ou a nenhuma (figura 5.5). Cada frase foi codificada por cerca de cinco pessoas diferentes. Por fim, essas classificações foram combinadas usando um modelo estatístico que explicava tanto os efeitos individuais quanto os efeitos de dificuldade da sentença. Ao todo, Benoit e seus colegas coletaram 200.000 avaliações de cerca de 1.500 pessoas.
Figura 5.5: Esquema de codificação de Benoit et al. (2016) . Pediu-se aos leitores que classificassem cada sentença como referindo-se à política econômica (esquerda ou direita), à política social (liberal ou conservadora) ou a nenhuma delas. Adaptado de Benoit et al. (2016) , figura 1.
A fim de avaliar a qualidade da codificação da multidão, Benoit e seus colegas também tinham cerca de 10 especialistas - professores e estudantes de pós-graduação em ciência política - classificam os mesmos manifestos usando um procedimento similar. Embora as classificações dos membros da multidão fossem mais variáveis do que as classificações dos especialistas, a classificação de consenso entre as pessoas teve uma concordância notável com a classificação de consenso dos especialistas (figura 5.6). Essa comparação mostra que, assim como no Galaxy Zoo, os projetos de computação humana podem produzir resultados de alta qualidade.
Figura 5.6: Estimativas de especialistas ( \(x\) -axis) e estimativas de multidão ( \(y\) -axis) estavam em concordância notável ao codificar 18 manifestos partidários do Reino Unido (Benoit et al. 2016) . Os manifestos codificados eram de três partidos políticos (conservadores, trabalhistas e liberais-democratas) e seis eleições (1987, 1992, 1997, 2001, 2005 e 2010). Adaptado de Benoit et al. (2016) , figura 3.
Com base nesse resultado, Benoit e seus colegas usaram seu sistema de codificação de multidões para fazer pesquisas que eram impossíveis com o sistema de codificação usado pelo Projeto Manifesto. Por exemplo, o Manifesto Project não codificou os manifestos sobre o tema da imigração porque esse não era um tópico relevante quando o esquema de codificação foi desenvolvido em meados dos anos 80. E, neste ponto, é logicamente inviável para o Projeto Manifesto voltar e recodificar seus manifestos para capturar essa informação. Portanto, parece que os pesquisadores interessados em estudar as políticas de imigração estão sem sorte. No entanto, Benoit e seus colegas puderam usar seu sistema de computação humano para fazer essa codificação - personalizada para sua pergunta de pesquisa - com rapidez e facilidade.
A fim de estudar a política de imigração, eles codificaram os manifestos de oito partidos nas eleições gerais de 2010 no Reino Unido. Cada sentença em cada manifesto foi codificada para se relacionar com a imigração e, em caso afirmativo, se era pró-imigração, neutra ou anti-imigração. Dentro de 5 horas do lançamento do projeto, os resultados estavam dentro. Eles coletaram mais de 22.000 respostas a um custo total de US $ 360. Além disso, as estimativas da multidão mostraram concordância notável com uma pesquisa anterior de especialistas. Então, como teste final, dois meses depois, os pesquisadores reproduziram sua codificação de multidões. Em poucas horas, eles criaram um novo conjunto de dados codificados por público que correspondia de perto ao conjunto de dados original codificado por público. Em outras palavras, a computação humana permitiu que eles gerassem a codificação de textos políticos que concordavam com avaliações de especialistas e eram reproduzíveis. Além disso, como a computação humana era rápida e barata, era fácil para eles personalizar sua coleta de dados para sua pergunta de pesquisa específica sobre imigração.
