5.2.2政治的マニフェストの群集コーディング

政治マニフェスト、典型的には、専門家によって行わ何かをコーディング、より高い再現性と柔軟性をもたらし、人間の計算プロジェクトによって行うことができます。

Galaxy Zooと同様に、社会の研究者が画像やテキストをコード、分類、ラベル付けすることが多い状況があります。この種の研究の一例は、政治的マニフェストのコーディングです。選挙では、政党は政策立案と哲学の指導を行うマニフェストを制作する。たとえば、2010年から英国の労働党のマニフェストの一部がここにあります：

「私たちの公共サービスで働く数百万の人々は、彼らが自分自身で負担する必要はありませんリスクからそれらを保護しながら、自分の生活を最大限に活用するために、人々に力を与える助け、英国の最高の値を具現化。我々は、市場はかなり仕事作りにおける政府の役割について大胆であることが必要があるのと同様に、我々はまた、政府の大胆な改革する必要があります。」

これらのマニフェストには、政治学者、とりわけ選挙や政策論議のダイナミックスを研究する人々にとって貴重なデータが含まれています。研究者は、これらのマニフェストから情報を体系的に抽出するために、50カ国の約1,000の当事者からの4000のマニフェストを収集し、政治学者を組織して体系的にコード化するThe Manifesto Projectを作成しました。各マニフェスト内の各センテンスは、56カテゴリスキームを使用してエキスパートによってコーディングされました。この共同作業の成果は、これらのマニフェストに埋め込まれた情報を要約する大規模なデータセットであり、このデータセットは200以上の科学論文に使用されています。

Kenneth Benoitとその同僚(2016)は、以前は専門家によって実行されたマニフェストコーディングタスクを行い、それを人間の計算プロジェクトに転換することに決めました。その結果、より安価で高速なことは言うまでもなく、再現性と柔軟性の高いコーディングプロセスが作成されました。

Benoitらは、最近の6回の英国選挙で生成された18のマニフェストを使って、マイクロタスク労働市場の労働者とスプリット・アプライ・コンバインド戦略を使用しました（アマゾン・メカニカル・タークとCrowdFlowerはマイクロタスク労働市場の例です;第4章を参照）。研究者はそれぞれのマニフェストをとり、それを文に分割した。次に、ある人が各文にコーディングスキームを適用しました。特に、読者は、各方針を経済政策（左か右か）、社会政策（自由主義か保守的か）、どちらにも分類しないように頼んだ（図5.5）。それぞれの文章は約5人の異なる人々によってコード化されています。最後に、これらの格付けは、個別評価者効果と文章難易度効果の両方を考慮した統計モデルを用いて結合された 。 Benoitらは、約1,500人から200,000件の評価を収集しました。

図5.5： Benoit et al. (2016)符号化方式Benoit et al. (2016) 。読者は、各方針を経済政策（左か右か）、社会政策（リベラルか保守的か）、あるいはどちらにも分類しないように頼んだ。 Benoit et al. (2016) 、図1を参照されたい。

Benoitらは、群集コーディングの質を評価するために、政治学の教授や大学院生約10名が同様の手順で同じマニフェストを実施しています。群衆の構成員の格付けは専門家の格付けよりも変わったが、コンセンサスの集団格付けはコンセンサスの専門格付けと著しく一致した（図5.6）。この比較から、Galaxy Zooの場合と同様に、人間の計算プロジェクトでは高品質の結果が得られることがわかります。

図5.6英国からの18党のマニフェストをコーディングする際には、専門家の推定値（ \(x\)軸）と群集の推定値（ \(y\)軸）は顕著な一致を示した(Benoit et al. 2016) 。マニフェストは3つの政党（保守党、労働党、自民党）と6つの選挙（1987年、1992年、1997年、2001年、2005年、2010年）からのものであった。 Benoit et al. (2016) 、図3を参照されたい。

この結果を踏まえ、Benoitらは群集コーディングシステムを使用して、マニフェストプロジェクトで使用されているエキスパートランニングコーディングシステムでは不可能だった研究を行いました。例えば、マニフェスト計画では、移民問題に関するマニフェストをコード化しなかった。なぜなら、それはコーディングスキームが1980年代半ばに開発されたときに重要な話題ではなかったからである。そして、現時点では、マニフェスト・プロジェクトがこれらの情報を取り込むためにマニフェストに戻って記録することは、ロジスティックには実行不可能である。したがって、移民の政治を研究することに興味がある研究者は不運であると思われる。しかし、Benoitらは、人間の計算システムを使用して、この問題を研究課題に合わせて素早く簡単にカスタマイズすることができました。

移民政策を研究するために、彼らは英国の2010年の総選挙で8つの政党のマニフェストを作成した。各マニフェストの各文章は、移民に関連しているかどうか、もしそうであれば、それがプロ移民、中立、または移民であったかどうかについてコード化されています。彼らのプロジェクトを開始してから5時間以内に結果が得られました。総費用は360ドルで、22,000件以上の回答を集めました。さらに、群衆からの推定は、以前の専門家の調査と著しい一致を示した。そして2ヵ月後、最終テストとして、群集コーディングを再現しました。数時間のうちに、彼らはオリジナルの群集コード化されたデータセットと密接に一致する新しい群集コード化データセットを作成しました。言い換えれば、人間の計算は、専門家の評価に同意し再現可能な政治的テキストのコーディングを生成することを可能にした。さらに、人間の計算が迅速かつ安価であったため、データ収集を移民に関する特定の研究課題に合わせてカスタマイズすることは容易でした。