5.2.2政治的マニフェストの群集コーディング

政治マニフェスト、典型的には、専門家によって行わ何かをコーディング、より高い再現性と柔軟性をもたらし、人間の計算プロジェクトによって行うことができます。

銀河動物園と同様に、社会的な研究者は、コードにしたい分類、または画像やテキストの一部にラベルを付ける多くの状況があります。このような研究の例は、政治的マニフェストの符号化です。選挙期間中、政党がマニフェスト彼らの政策位置を説明し、哲学をガイドを生成します。例えば、ここで2010年からイギリス労働党のマニフェストの一部は次のとおりです。

「私たちの公共サービスで働く数百万の人々は、彼らが自分自身で負担する必要はありませんリスクからそれらを保護しながら、自分の生活を最大限に活用するために、人々に力を与える助け、英国の最高の値を具現化。我々は、市場はかなり仕事作りにおける政府の役割について大胆であることが必要があるのと同様に、我々はまた、政府の大胆な改革する必要があります。」

これらのマニフェストは、政治学者のための貴重なデータ、選挙や政策論争のダイナミクスを研究する特定のものが含まれています。体系的にこれらのマニフェストから情報を抽出するために、研究者が作成したマニフェストプロジェクト 50カ国に約1,000パーティから4,000マニフェストをコーディングする政治学者を組織し、。各マニフェスト内の各文章は、56カテゴリのスキームを使用して専門家によって符号化されています。この共同努力の結果は、これらのマニフェストに埋め込まれた情報をまとめた大規模なデータセットであり、このデータセットは、200以上の科学論文で使用されています。

ケネス・ブノワと同僚ら(2015) 、以前に専門家によって行われていたマニフェストのコーディング作業を取ると人間の計算プロジェクトにそれを回すことにしました。その結果、彼らは安く、速くもちろんのこと、より再現性と、より柔軟性があり、符号化プロセスを作成しました。

18英国で6最近の選挙の際に生成されたマニフェスト、ブノワや同僚と仕事（アマゾンメカニカルタークとCrowdFlowerは、マイクロタスク労働市場の一例であるマイクロタスクの労働市場からの労働者とのスプリット適用-組み合わせる戦略を使用し、より多くのためにマイクロタスクの労働市場に、）第4章を参照してください。研究者は、各マニフェストを取り、文章に分割しました 。次に、人間の評価はそれぞれの文に適用されました。 （非常に非常に左から右へ）経済・社会（リベラルから保守まで）（図5.5）：文がポリシーステートメントを含んだ場合は特に、それが2次元に沿ってコーディングされていました。それぞれの文は、約5つの異なる人々によってコード化されました。最後に、これらの評価は、個々の評価者の効果と文の効果の難しさの両方を占めた統計モデルを用いて混合しました。すべてでは、ブノワらは、約1,500の労働者20万評価を集めました。

図5.5：から符号化方式Benoit et al. (2015)図1）。

群衆コーディングの品質を評価するために、ブノワらはまた、政治学、料金に同様の手順を使用して同じマニフェストを約10の専門家、教授や大学院生を持っていました。群衆のメンバーからの評価は、専門家からの評価よりも多くの変数であったが、コンセンサス観客の評価は、コンセンサス専門家の評価（図5.6）との顕著な契約を持っていました。この比較は、銀河動物園のように、人間の計算のプロジェクトは、高品質の結果を生成することができ、ことを示しています。

図5.6：イギリスからの18党マニフェストを符号化する際に専門家の推定値（x軸）と群衆の見積もり（y軸）が顕著一致した(Benoit et al. 2015)コー​​ド化されたマニフェストは、3政党（保守党、労働党、自由民主党）と6選挙（1987、1992、1997、2001、2005、2010）からのものでした。

この結果を踏まえ、ブノワらはマニフェストプロジェクトでは不可能であった研究を行うために彼らの群衆コーディングシステムを使用していました。符号化方式は、1980年代半ばに開発されたときにそれが顕著な話題はなかったので、たとえば、マニフェストプロジェクトは、移民のトピックに関するマニフェストをコーディングしていませんでした。マニフェストプロジェクトが戻ってこの情報をキャプチャするために彼らのマニフェスト・コードを再すると、この時点で、それはロジスティック実行不可能です。したがって、移民の政治の研究に興味を持って研究者が運の尽きているように思われます。しかし、ブノワと同僚は彼らの研究の質問に迅速かつ簡単に、このコーディングがカスタマイズを行うには、その人間の計算システムを使用することができました。

移民政策を研究するために、彼らは英国で2010年の選挙で8政党のためのマニフェストをコード化されました。もしそうであれば、各マニフェスト内の各文は、それがプロ移民、中立的、または反移民であったかどうか、それは移民に関連するか否かのコード化された、としました。彼らのプロジェクトを立ち上げるの5時間以内に、結果がでました。彼らは$ 360の総コストに複数22,000応答を収集していました。また、観客からの推定値は、専門家の以前の調査で注目すべき一致を示しました。そして、最終的なテストとして、2ヵ月後、研究者は観客コーディングを再現しました。数時間以内に、彼らは密接に元の群衆符号化されたデータセットにマッチした新しい群集コード化されたデータセットを作成していました。言い換えれば、人間の計算は専門家の評価に同意し、再現性があった政治的な文章のコーディングを生成するためにそれらを可能にしました。人間の計算が迅速かつ安価だったので、彼らは移民についての彼らの特定の研究の質問へのデータ収集をカスタマイズするためにさらに、それは簡単でした。