5.2.2 정치적 성명서의 군중 코딩

정치적 성명서, 일반적으로 전문가에 의해 수행 뭔가를 코딩, 더 큰 재현성과 유연성의 결과로 인간 계산 프로젝트에 의해 수행 될 수있다.

Galaxy Zoo와 마찬가지로 사회 연구원이 이미지 나 텍스트를 코드화, 분류 또는 라벨링하려는 경우가 많습니다. 이런 종류의 연구의 한 예가 정치적 선언문의 코딩이다. 선거 중에 정당은 정책 입지와 지침 철학을 설명하는 선언문을 발표합니다. 예를 들어, 여기 2010 년부터 영국 노동당 선언문이 있습니다.

"우리의 공공 서비스에서 일하는 수백만 명의 사람들은 스스로 부담 할 필요가 없습니다 위험으로부터 그들을 보호하면서 자신의 삶을 최대한 활용하는 사람들을 강화할 수 있도록, 영국의 최고의 가치를 구현. 우리는 시장이 공정하게 일을 만드는 정부의 역할에 대한 대담 할 필요 하듯이, 우리는 또한 정부의 대담한 개혁 할 필요가있다. "

이 선언문에는 정치 과학자, 특히 선거와 정책 토론의 역 동을 연구하는 데 유용한 자료가 포함되어 있습니다. 연구원들은이 선언문에서 정보를 체계적으로 추출하기 위해 50 개국의 약 1,000여 개국에서 4,000 개의 선언문을 수집 한 다음 정치 과학자를 조직하여 체계적으로 코드화하는 The Manifesto Project를 작성했습니다. 각 선언문의 각 문장은 56 가지 범주 체계를 사용하는 전문가가 코딩했습니다. 이러한 공동 노력의 결과는 이러한 선언문에 포함 된 정보를 요약하는 방대한 데이터 세트이며이 데이터 세트는 200 개가 넘는 과학 논문에서 사용되었습니다.

Kenneth Benoit과 동료 (2016) 는 이전에 전문가가 수행 한 선언 작업을 인간의 계산 프로젝트로 전환하기로 결정했습니다. 결과적으로 더 저렴하고 빠른 것은 말할 것도없고 더 재현성 있고 유연한 코딩 프로세스를 만들었습니다.

영국의 최근 6 번의 선거에서 생성 된 18 개의 선언문을 사용하여 Benoit과 동료는 마이크로 타스크 노동 시장의 근로자와 분할 적용 조합 전략을 사용했습니다 (Amazon Mechanical Turk와 CrowdFlower는 마이크로 작업 시장의 예이며 그러한 시장에 대한 자세한 내용은 , 4 장 참조). 연구자들은 각 선언을 받아이를 문장으로 나눴다 . 다음으로, 사람이 각 문장에 코딩 체계를 적용 했습니다. 특히 독자들은 경제 정책 (좌파 또는 우파), 사회 정책 (자유주의 또는 보수), 또는 어느쪽에도 각 문장을 분류하도록 요청 받았다 (그림 5.5). 각 문장은 약 5 명의 다른 사람들에 의해 코딩되었습니다. 마지막으로, 이러한 평가는 개별 평가자 효과와 문장 난이도 영향 모두를 설명하는 통계 모델을 사용하여 결합 되었습니다. Benoit과 동료들은 약 1,500 명의 사람들로부터 200,000 개의 평가를 수집했습니다.

그림 5.5 : Benoit et al. (2016) . 독자들은 각 문장을 경제 정책 (좌파 또는 우파), 사회 정책 (자유주의 또는 보수), 또는 어느 것에 대해서도 분류하도록 요구했다. Benoit et al. (2016) , 그림 1을 참조하십시오.

Benoit과 동료들은 군중 코딩의 질을 평가하기 위해 정치학 교수와 대학원생 약 10 명의 전문가도 비슷한 절차를 사용하여 동일한 선언문을 평가했습니다. 군중들의 평점은 전문가의 평점보다 가변적 이었지만 합의 점수는 합의 전문가 등급 (그림 5.6)과 뚜렷한 일치를 보였다. 이 비교는 Galaxy Zoo와 마찬가지로 인간의 계산 프로젝트가 고품질 결과를 생성 할 수 있음을 보여줍니다.

그림 5.6 : 전문가 견적 ( \(x\) 축)과 군중 견적 ( \(y\) 축)은 영국의 18 개 당사국 선언문을 코딩 할 때 현저한 일치를 보였다 (Benoit et al. 2016) . 선언 된 선언문은 보수당, 노동당, 자유 민주당 세 개의 정당과 여섯 개의 선거 (1987, 1992, 1997, 2001, 2005 및 2010)에서 나왔습니다. Benoit et al. (2016) , 그림 3.

이 결과를 바탕으로 Benoit과 동료들은 군중 코딩 시스템을 사용하여 Manifesto Project에서 사용하는 전문 실행 코딩 시스템으로는 불가능했던 연구를 수행했습니다. 예를 들어, 선언문 프로젝트는 코딩 계획이 1980 년대 중반에 개발되었을 때 중요한 주제가 아니기 때문에 이민 주제에 관한 선언문을 코딩하지 않았습니다. 그리고이 시점에서, Manifesto Project가 돌아가서 이러한 정보를 포착하기위한 선언문을 다시 코딩하는 것은 논리적으로 불가능합니다. 따라서 이민 정치를 연구하는 데 관심이있는 연구자는 운이 좋지 않은 것처럼 보입니다. 그러나 Benoit과 동료들은 인간의 계산 시스템을 사용하여이 코딩을 연구 질문에 맞게 사용자 정의하고 신속하고 쉽게 수행 할 수있었습니다.

이민 정책을 연구하기 위해 영국의 2010 년 총선에서 8 개 정당에 대한 선언문을 작성했습니다. 각 성명서의 각 문장은 이민과 관련이 있는지 여부, 그리고 그렇다면 이민, 중립 또는 반 이민 중 어느 것이 었는지에 관한 정보가 포함되어 있습니다. 프로젝트를 시작한 후 5 시간 만에 결과가 나왔습니다. 총 비용은 360,000 달러였으며 22,000 개가 넘는 응답을 수집했습니다. 또한, 군중으로부터의 견적은 전문가의 이전 조사와 현저한 합의를 보였다. 그런 다음 최종 시험으로 2 개월 후 연구원은 군중 코딩을 재현했습니다. 몇 시간 만에 원래 크라우드 코드 데이터 세트와 거의 일치하는 새로운 군중 코딩 데이터 세트를 만들었습니다. 즉, 인간의 계산은 전문가 평가에 동의하고 재현 할 수있는 정치적 텍스트의 코딩을 생성 할 수있었습니다. 또한 인간의 계산이 빠르고 저렴하기 때문에 이민에 관한 특정 연구 질문에 대한 데이터 수집을 쉽게 사용자 지정할 수있었습니다.