さらに解説
このセクションでは、物語のように読まれるべきではなく、参照として使用されるように設計されています。
- はじめに（5.1節）
マスコラボレーションは、 市民科学 、 クラウドソーシング 、および集合知からアイデアをブレンド。市民の科学は、通常、科学的過程で「市民」（すなわち、非科学者）が関与する意味(Crain, Cooper, and Dickinson 2014)クラウドソーシングは、通常は、通常、組織内で解決される問題を取り、代わりに群衆にそれをアウトソーシング意味(Howe 2009)集合知は通常、インテリジェントなように見える方法で一括して働く個人のグループを意味する(Malone and Bernstein 2015) Nielsen (2012) 、科学研究のためのマスコラボレーションのパワーに素晴らしい本の長さの紹介です。
私が提案した三つのカテゴリーにきちんとフィットする、と私は、彼らはいくつかの点で社会的な研究に有用であるかもしれないので、3つの特別な注目に値するとは思わないマスコラボレーションの多くの種類があります。一つの例は、参加者が購入する予測市場、世界で発生する成果に基づいて償還取引契約である(Wolfers and Zitzewitz 2004; Arrow et al. 2008)予測市場は、多くの場合、予測のための企業や政府機関によって使用され、予測市場も心理学の研究発表の複製能を予測するために社会的な研究者によって使用されている(Dreber et al. 2015)
私の分類体系にうまく適合しない第2の例では、研究者が新しい数学の定理を証明するためにブログやウィキを使用して、コラボレーション博学のプロジェクトです(Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016)博学プロジェクトは、Netflixの賞に似たいくつかの点であるが、博学のプロジェクト参加者に、より積極的に他の部分的なソリューションを構築しました。
よく私の分類体系に適合しない第三の例は、米国防総省の国防高等研究計画庁（DARPA）ネットワークチャレンジ（すなわち、レッドバルーンチャレンジ）などの時間依存動員です。これらの時間の詳細については敏感な動員を参照Pickard et al. (2011) 、 Tang et al. (2011)およびRutherford et al. (2013)
- 人間の計算（5.2節）
用語「ヒト計算は、「コンピュータ科学者が行った作業から出てくると、この研究の背後にあるコンテキストを理解することは、それに従うかもしれない問題を選ぶためにあなたの能力を向上させます。特定のタスクのために、コンピュータが遠くても、専門家の人間を超える機能を備えた非常に強力です。たとえば、チェスでは、コンピュータがあっても最高の壮大なマスターを倒すことができます。しかし-と、これはあまり社会的には理解されている科学者-のために他のタスクは、コンピュータが実際に人よりもはるかに悪化しています。つまり、今のあなたは、画像、ビデオ、オーディオ、およびテキストの処理を伴う特定のタスクでも、最も洗練されたコンピュータより優れています。素晴らしいXKCD漫画-存在によって示されたこのよう-として人々のためのコンピュータのための簡単かつ困難なタスクがありますが、コンピュータのためのハードと人々（図5.13）のための簡単なタスクもあります。これらのハードのため--やすいコンピュータ用の人間の作業に取り組んでコンピュータ科学者は、したがって、彼らは計算の過程で人間を含めることができることに気づきました。ここではルイス・フォン・アン方法です(2005) 、彼が最初に彼の論文で用語を造語するとき、人間の計算を説明した： "。コンピュータはまだ解決できない問題を解決するための人間の処理能力を利用するためのパラダイムを"
図5.13：いくつかのタスクのコンピュータの場合は、人間の専門家の能力を超えて、驚くべきものです。しかし、他のタスクのために、普通の人間は、高度なコンピュータシステムをアウトパフォームすることができます。コンピュータ用のハードと人間のための簡単なタスクを伴う大規模な問題は、人間の計算のためによく適しています。ここに記載の条件に従って使用：http://xkcd.com/license.html
この定義によるとFoldIt-私はオープンの項に記載のヒト計算プロジェクトとみなすことが呼び出しは、可能性があります。しかし、それは専門的なスキルを必要とするので、私はオープン呼び出しとしてFoldItを分類することを選択し、それが最善の解決策は、スプリット適用-組み合わせる戦略を使用するのではなく、貢献かかります。
人間の計算の優秀な本の長さの治療のために、用語の最も一般的な意味では、参照Law and Ahn (2011)第3章Law and Ahn (2011) 、この章ではなく、より複雑な組み合わせのステップの興味深い議論があります。
用語「分割-適用組み合わせる」によって使用されたWickham (2011)統計計算のための戦略を説明するが、それは完全に多くのヒト計算プロジェクトのプロセスをキャプチャします。スプリット-適用組み合わせる戦略は、Googleで開発されたのMapReduceフレームワークに似ている(Dean and Ghemawat 2004; Dean and Ghemawat 2008)
私は議論するためにスペースを持っていなかった二つの巧妙な人間の計算のプロジェクトは、ESPゲームです(Ahn and Dabbish 2004)とreCAPTCHAの(Ahn et al. 2008)これらのプロジェクトはいずれも、画像のラベルを提供するために、参加者をやる気にさせるための創造的な方法を見つけました。銀河動物園とは異なり、ESPゲームとreCAPTCHAの中で参加者は自分のデータが使用されていたか知らなかった、しかし、これらのプロジェクトの両方はまた、倫理的な問題を提起した(Lung 2012; Zittrain 2008)
ESPゲームに触発され、多くの研究者が「目的にゲーム「他人を開発しようとしました(Ahn and Dabbish 2008)すなわち、「人間ベースの計算ゲーム」 (Pe-Than, Goh, and Lee 2015)することができます）他のさまざまな問題を解決するために使用。どのようなこれらの「目的としたゲームは「共通しているのは、彼らが人間の計算に必要な作業は楽しいものにしようということです。 ESPゲームは銀河動物園と同じ分割適用-結合構造を共有しつつ、それは科学を助けたいという願望対参加者がされている方法を動機付け、楽しみに異なります。
銀河動物園の私の説明は上の描画Nielsen (2012) Adams (2012) Clery (2011)およびHand (2010)および銀河動物園の研究目標の私のプレゼンテーションが簡素化されました。天文学における銀河の分類の歴史とどのように銀河動物園は、この伝統を継続方法の詳細については、 Masters (2012)とMarshall, Lintott, and Fletcher (2015)ギャラクシーZooの建物は、研究者はボランティアから6000万以上のより複雑な形態学的分類を集め銀河動物園2完了(Masters et al. 2011)さらに、彼らは、月の表面を探索する惑星を探索し、古い文書を転写を含む銀河の形態の外側の問題に分岐し。現在、すべてのプロジェクトがで収集されwww.zooniverse.org (Cox et al. 2015)一つのプロジェクトは、スナップショット銀河動物園型画像分類プロジェクトはまた、環境研究のために行うことができるという証拠をセレンゲティは、提供(Swanson et al. 2016)
研究者は人間の計算プロジェクトのためのマイクロタスクの労働市場（例えば、アマゾンメカニカルターク）を使用する予定のため、 Chandler, Paolacci, and Mueller (2013)とWang, Ipeirotis, and Provost (2015) 、タスクの設計と上の良いアドバイスを提供しています他の関連する問題。
私は第二世代の人間の計算システムと呼ばてきたものの作成に興味がある研究者は、（例えば、機械学習モデルを訓練するために、人間のラベルを使用するシステムでは）に興味があるかもしれないShamir et al. (2014)オーディオを使用して、例えば）とCheng and Bernstein (2015)また、これらのプロジェクトは、研究者は最大の予測性能と機械学習モデルを作成するために競争することにより、オープン呼び出し、で行うことができます。たとえば、銀河動物園のチームは、オープンコールを実行したとして開発1上回った新しいアプローチが見つかりましたBanerji et al. (2010) ;参照Dieleman, Willett, and Dambre (2015)詳細については、を。
- オープンコール（5.3節）
オープンコールは新しいものではありません。英国の議会は海で船の経度を決定する方法を開発することができ、誰のための経度賞を作成したときに実際には、最もよく知られているオープンコールの1は1714年にさかのぼります。問題は、アイザック・ニュートン含む日、最大の科学者の多くは困惑し、勝利溶液は、最終的に何らかの形で天文学を伴うだろうソリューションに焦点を当てていた科学者とは異なる問題に近づい田舎から時計職人によって提出された(Sobel 1996) 。この例が示すように、オープンコールはとてもうまく機能すると考えられている一つの理由は、彼らは異なる視点やスキルを持つ人々へのアクセスを提供することである(Boudreau and Lakhani 2013)参照してくださいHong and Page (2004)とPage (2008)問題解決における多様性の価値の詳細については。
章のオープンコール例それぞれが、それがこのカテゴリに属している理由について、さらに説明のビットを必要とします。まず、私は人間の計算および公募プロジェクトを区別する一つの方法は、出力がすべてのソリューションの平均（ヒト計算）または最善の解決策（公募）であるかどうかです。最善の解決策が近づくアンサンブルソリューションと呼ばれ、個々のソリューションの洗練された平均であることが判明したので、Netflixの賞は、この点でややトリッキーです(Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012)ネットフリックスの観点から、しかし、彼らがしなければならなかったすべては、最適なソリューションを選択しました。
第二に、人間の計算のいくつかの定義によって（例えば、 Von Ahn (2005)は人間の計算プロジェクト考慮すべきです。しかし、それは専門的なスキルを必要とするので、私はオープン呼び出しとしてFoldItを分類することを選択し、それが最善の解決策ではなく、分割適用-組み合わせる戦略を使用するよりも、貢献かかります。
最後に、は、ピア・ツー・特許は、分散データ収集の一例であることを主張することができました。私はそれがコンテストのような構造を有し、（分散データ収集で、善と悪の貢献の考え方はあまり明確ではないのに対して）のみ最高の寄与が使用されているので、オープン呼び出しとしてそれを含めるように選択します。
Netflixの賞の詳細については、 Bennett and Lanning (2007) Thompson (2008) Bell, Koren, and Volinsky (2010)およびFeuerverger, He, and Khatri (2012) FoldItの詳細については、 Cooper et al. (2010) 、 Andersen et al. (2012) 、およびKhatib et al. (2011) ; FoldItの私の記述はの記述に描画Nielsen (2012) Bohannon (2009)およびHand (2010)ピア・ツー・特許の詳細については、を参照してくださいNoveck (2006) Bestor and Hamp (2010) Ledford (2007) 、およびNoveck (2009)
結果と同様にGlaeser et al. (2016) 、 Mayer-Schönberger and Cukier (2013)検査は予測モデルに案内されたとき、第10章では、ニューヨーク市の住宅検査員の生産性に大きな利益を報告します。ニューヨーク市では、これらの予測モデルは、市職員によって建設されたが、他のケースでは、1は、作成またはオープンコールに向上させることができることが想像できる（例えば、 Glaeser et al. (2016)しかし、予測モデルは、リソースを割り当てるために使用されていると一つの大きな懸念は、モデルは、既存のバイアスを強化する可能性を有することです。多くの研究者がすでに「ごみを生ごみを「知っている、と予測モデルでそれがすることができます」に偏り、バイアスアウト」を参照してください。 Barocas and Selbst (2016)とO'Neil (2016)建て予測モデルの危険性に関する詳細は、バイアスされたトレーニングデータを持ちます。
オープンコンテストを使用することから、政府を防ぐかもしれない一つの問題は、それがプライバシーの侵害につながる可能性のデータのリリースを、必要とすることです。オープン呼び出しでプライバシーとデータのリリースの詳細についてを参照してくださいNarayanan, Huey, and Felten (2016)と第6章の議論が。
- 分散データ収集（5.4節）
eBirdの私の記述はの記述に描画Bhattacharjee (2005)とRobbins (2013)研究者はeBirdのデータを分析する統計モデルを使用する方法の詳細を参照してくださいHurlbert and Liang (2012)とFink et al. (2010) 。 ornothologyにおける市民科学の歴史の詳細については、 Greenwood (2007)
マラウイのジャーナルのプロジェクトの詳細については、 Watkins and Swidler (2009)とKaler, Watkins, and Angotti (2015)南アフリカの関連プロジェクトの詳細については、を参照してください。 Angotti and Sennott (2015)マラウイのジャーナルのプロジェクトからのデータを用いた研究のその他の例についてを参照してくださいKaler (2004)とAngotti et al. (2014) 。
- あなた自身（5.5節）を設計します
設計のアドバイスを提供することに私のアプローチが成功の例に基づいて、誘導性だったと私は聞いたマス・コラボレーション・プロジェクトを失敗しました。研究の流れは、例えば、参照、マス・コラボレーション・プロジェクトの設計に関連するオンラインコミュニティを設計するより一般的な社会心理学の理論を適用しようもありKraut et al. (2012) 。
やる気の参加者については、人々がマス・コラボレーション・プロジェクトに参加する理由を正確に把握するために、実際には非常に注意が必要です(Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014)あなたが（例えば、アマゾンメカニカルターク）マイクロタスクの労働市場でのお支払いで、参加者をやる気にさせる予定がある場合Kittur et al. (2013)いくつかのアドバイスを提供しています。
Zoouniverseプロジェクトから出てくる予想外の発見の例については、驚きを可能に関しては、参照Marshall, Lintott, and Fletcher (2015)
倫理的であることについては、関連した問題にいくつかの良い一般的な紹介があるGilbert (2015) Salehi et al. (2015) 、 Schmidt (2013) Williamson (2016) Resnik, Elliott, and Miller (2015)およびZittrain (2008)特に観客の従業員との法的問題に関連する問題については、 Felstiner (2011) O'Connor (2013)の研究者と参加者の役割がぼやけたときに、研究の倫理監督についての質問に対処します。市民科学プロジェクトでparticipatsを保護しながら、共有データに関連する問題については、 Bowser et al. (2014) 。どちらPurdam (2014)とWindt and Humphreys (2016)分散データ収集における倫理的問題に関するいくつかの議論を持っています。最後に、ほとんどのプロジェクトが貢献を認めるが、参加者に原作者の信用を与えていません。 Folditでは、Folditのプレーヤーは、多くの場合、著者として記載されています(Cooper et al. 2010; Khatib et al. 2011)他のオープンコール・プロジェクトでは、勝利の要因は、多くの場合、その解決策についての論文を書くことができる（例えば、 Bell, Koren, and Volinsky (2010)とDieleman, Willett, and Dambre (2015)プロジェクトの銀河動物園ファミリでは、非常に積極的かつ重要な貢献者は、時々、論文に共著者として招かれています。例えば、イワンテレンシェフとティムMatorny、ロシアから2ラジオギャラクシー動物園の参加者は、そのプロジェクトから生まれた論文の1に共著者であった(Banfield et al. 2016; Galaxy Zoo 2016)
