5.2.2 정치적 성명서의 군중 코딩

정치적 성명서, 일반적으로 전문가에 의해 수행 뭔가를 코딩, 더 큰 재현성과 유연성의 결과로 인간 계산 프로젝트에 의해 수행 될 수있다.

갤럭시 동물원과 마찬가지로, 사회 연구원, 코드에 원하는 분류, 또는 이미지 또는 텍스트의 조각을 라벨 많은 경우가 있습니다. 이런 종류의 연구의 예는 정치 성명서의 코딩이다. 선거 기간 동안 정당은 성명서 자신의 정책에 대한 입장을 설명하고 철학을 유도을 생산하고 있습니다. 예를 들어, 다음은 2010 년 영국의 노동당의 선언의 일부입니다 :

"우리의 공공 서비스에서 일하는 수백만 명의 사람들은 스스로 부담 할 필요가 없습니다 위험으로부터 그들을 보호하면서 자신의 삶을 최대한 활용하는 사람들을 강화할 수 있도록, 영국의 최고의 가치를 구현. 우리는 시장이 공정하게 일을 만드는 정부의 역할에 대한 대담 할 필요 하듯이, 우리는 또한 정부의 대담한 개혁 할 필요가있다. "

이 성명서는 정치 학자에 대한 중요한 데이터, 특히 그 공부 선거 및 정책 토론의 역학을 포함한다. 체계적으로이 성명서에서 정보를 추출하기 위해, 연구자들은 생성 선언문 프로젝트 50 개국에서 약 1,000 자에서 4,000 성명서를 코딩하는 정치 학자를 조직. 각 선언 각 문장은 56 종류의 방식을 이용하여 전문가에 의해 부호화되고있다. 이 공동의 노력의 결과는이 선언문에 포함 된 정보를 요약하는 거대한 데이터 세트이며,이 데이터 세트는 200 개 이상의 과학 논문에 사용되어왔다.

케네스 벤와와 그의 동료 (2015) 이전에 전문가에 의해 수행되었던 선언문 코딩 작업을하고 인간 계산 프로젝트로 설정하기로 결정했다. 그 결과, 저렴하고 빠른 언급하지 재현성보다 유연한 부호화 처리를 만들었다.

영국에서 여섯 최근 선거시 발생 18 일 성명서 작업, Benoit 씨와 동료들은 사용되는 분할 - 조합 한 적용 마이크로 작업 노동 시장에서 근로자와 전략 (아마존 기계 터크와 CrowdFlower 마이크로 작업 노동 시장의 예는, 이상 마이크로 작업 노동 시장에서) 제 4 장을 참조하십시오. 연구진은 각 선언했다 문장으로 분할. 다음으로, 인간의 평가는 각 문장에 적용 하였다. 문장이 정책 문을 포함하는 경우 특히,이 두 가지 차원에 따라 구분 하였다 : 경제 (매우에서 왼쪽 매우 오른쪽)과 (그림 5.5) (보수적으로 자유주의에서) 사회. 각 문장은 약 5 개의 다른 사람들에 의해 코딩되었다. 마지막으로, 이러한 점은 개별 레이터 효과 문장 효과 어려움 모두 차지 통계 모델을 사용하여 결합시켰다. 모두에서 벤와와 그의 동료들은 약 1,500 근로자에​​서 20 만 등급을 모았다.

그림 5.5에서 코딩 방식 Benoit et al. (2015) (도 1).

군중 코딩의 품질을 평가하기 위해, 벤와와 그의 동료들은 또한 정치 과학 요금에 유사한 절차를 사용하여 동일한 성명서를 약 10 전문가-교수와 대학원생을했다. 군중의 구성원의 평가는 전문가의 평가보다 더 많은 변수했지만, 합의 군중 등급은 합의 전문가 평가 (그림 5.6)와 놀라운 계약을했다. 이 비교는 은하 동물원에서와 같이 인간의 연산 프로젝트는 높은 품질 결과를 얻을 수 있음을 보여준다.

그림 5.6 : 위대한 영국에서 18 자 성명서를 코딩 할 때 전문가 예상치 (x 축)과 군중 추정치 (y 축)의 놀라운 일치 하였다 (Benoit et al. 2015) . 코딩 된 성명서는 세 정당 (보수당, 노동당, 자유 민주당) 여섯 선거 (1987, 1992, 1997, 2001, 2005, 2010)에서 있었다.

이 결과에 구축, Benoit 씨와 동료들은 선언 프로젝트에 불가능했던 연구를 할 자신의 군중 코딩 시스템을 사용했다. 코딩 방식이 1980 년대 중반에 개발 된 때이 두드러진 주제 없었기 때문에 예를 들어, 선언 프로젝트는 이민의 주제에 대한 성명서를 코딩하지 않았다. 선언문 프로젝트 돌아가서이 정보를 캡처하는 그들의 성명서 코드를 다시하도록하고,이 시점에서, 그것은 논리적으로 불가능하다. 따라서 이민의 정치를 공부에 관심이 연구자들은 운 것으로 나타납니다. 그러나 벤와와 그의 동료들은이 코딩 맞춤형 질문-빠르고 쉽게 자신의 연구를 수행 할 인적 계산 시스템을 사용 할 수 있었다.

이민 정책을 연구하기 위해, 그들은 영국에서 2010 년 선거에서 여덟 자에 대한 성명서를 코딩. 각 선언문의 각 문장은 이민 관련 여부에 코딩되었다 그렇다면, 그것은 친 이민, 중립, 또는 반 이민 여부. 자신의 프로젝트를 시작 5 시간 내에 결과에 있었다. 그들은 $ 360 총 비용 이상 22,000 응답을 수집했다. 또한, 대중의 평가는 전문가의 이전 조사와 놀라운 계약을 보여 주었다. 그 후, 최종 테스트로, 두 달 후, 연구자들은 군중 코딩을 재현. 몇 시간 안에, 그들은 밀접하게 원래의 군중 코딩 된 데이터 세트를 일치하는 새로운 군중 코딩 된 데이터 집합을 만들었다. 즉, 인간의 연산 전문 평가에 동의하고 재현성이었다 정치 텍스트의 코드를 생성하도록 할 수 있었다. 인간의 계산이 빠르고 저렴했기 때문에 그들이 이민에 대한 특정 연구 질문에 자신의 데이터 수집을 사용자 정의 할 또한, 그것은 쉬웠다.