3.4依頼します

デジタル時代は実際には確率サンプリングをより困難にしており、確率のないサンプリングに新たな機会を作り出しています。

サンプリングの歴史において、確率サンプリング法と非確率サンプリング法の2つの競合する手法が存在していた。サンプリングの初期に両方のアプローチが用いられていたが、確率サンプリングが支配的になり、多くの社会研究者が、無意味なサンプリングを大きな懐疑的視点で見るように教えられている。しかし、以下で説明するように、デジタル時代によって生じる変化は、研究者が非確率サンプリングを再考する時であることを意味する。特に、確率サンプリングは実際には難しくなり、非確率サンプリングはより速く、安く、より良くなっています。より迅速で安価なアンケートは、それ自体の目的だけではなく、より頻繁なアンケートやより大きなサンプルサイズなどの新しい機会を可能にします。例えば、確率的でない方法を用いることによって、協議議会選挙研究（CCES）は確率サンプリングを用いた初期の研究よりも約10倍多くの参加者を持つことができる。このより大きなサンプルは、政治研究者がサブグループや社会的状況に応じた態度や行動の変化を研究することを可能にする。さらに、この追加された規模はすべて、見積もりの​​質の低下なしに得られた(Ansolabehere and Rivers 2013) 。

現在、ソーシャルリサーチのための標本採取のための主要なアプローチは確率サンプリングである 。確率サンプリングでは、ターゲット母集団のすべてのメンバーが、サンプリングされる可能性がある既知でゼロでない確率を持ち、サンプリングされたすべての人々がアンケートに応答します。これらの条件が満たされると、エレガントな数学的結果は、標本を用いて標的集団についての推論を行う研究者の能力について証明可能な保証を提供する。

しかし、現実の世界では、これらの数学的結果の基礎となる条件はめったに満たされません。たとえば、カバレッジ・エラーや無応答が頻繁に発生します。これらの問題のために、研究者は、そのサンプルからそれらのターゲット母集団への推論を行うために、しばしば様々な統計的調整を採用しなければならない。したがって、理論的保証が強い理論での確率サンプリングと実際には確率サンプリングを区別することが重要であり、そのような保証はなく、様々な統計的調整に依存する。

時間の経過とともに、理論上の確率サンプリングと実際の確率サンプリングとの間の差異が増加している。例えば、高品質(National Research Council 2013; BD Meyer, Mok, and Sullivan 2015)高価な調査（図3.5） (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015)においても、無反応率は着実に増加している。非応答率は、商用電話調査では90％と高い場合もあります(Kohut et al. 2012) al。2012 (Kohut et al. 2012) 。このような無反応の増加は、研究者が無反応に適応するために使用する統計モデルにますます依存するため、推定値の品質が脅かされます。さらに、高い応答率を維持する調査研究者によるますます高価な努力にもかかわらず、これらの品質低下が起こった。一部の人々は、質の低下と費用の増加という双子の傾向が調査研究の基礎を脅かす恐れがある(National Research Council 2013) 。

図3.5：高品質で高価な調査でも、非応答は着実に増加している(National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) 。非応答率は、商用電話調査では90％と高い場合もあります(Kohut et al. 2012) al。2012 (Kohut et al. 2012) 。こうした無反応の長期的傾向は、データ収集がより高価であり、推定値の信頼性が低いことを意味します。 BD Meyer, Mok, and Sullivan (2015) （図1 BD Meyer, Mok, and Sullivan (2015)から適応されています。

確率サンプリング法の難しさが増しているのと同時に、 非確率サンプリング法の開発も盛んに行われています 。さまざまなスタイルの確率のないサンプリング方法がありますが、共通点の1つは確率サンプリングの数学的枠組みに容易に適合できないことです(Baker et al. 2013) 。換言すれば、非確率サンプリング法では、誰もが既知でゼロでない包含確率を有するわけではない。非確率サンプリング法は、社会研究者の間ではひどい評判を持ち、彼らは米国の誤った予測であるLiterary Digest Fiasco（前述）や「Dewey Defeats Truman」などの調査研究者の最も劇的な失敗の一部に関連しています1948年の大統領選挙（図3.6）。

図3.6：ハリー・トルーマン大統領が、敗北を間違って発表した新聞の見出しを掲げている。この見出しは、非確率サンプル(Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007)推定値に一部基づいていました。 1948年に "Dewey Defeats Truman"が起きたにもかかわらず、一部の研究者が非確率サンプルからの推定値に疑念を呈しているのは依然として理由の1つです。出典： ハリーS.トルーマン図書館＆博物館

デジタル時代に特に適した非確率サンプリングの一形態は、 オンラインパネルの使用である。オンラインパネルを使用している研究者は、アンケートの回答者としての役割を果たすことに同意する、大きく多様なグループを構築するために、一部のパネルプロバイダ（通常は会社、政府、大学）に依存しています。これらのパネル参加者は、多くの場合、オンラインバナー広告などのさまざまなアドホックな方法を使用して募集されます。次に、研究者は、所望の特徴（例えば、成人を代表する全国的代表者）を有する回答者のサンプルへのアクセスのためにパネル提供者に支払うことができる。これらのオンラインパネルは、誰もが既知でゼロ以外の包摂確率を持つわけではないため、確率の低い方法です。非確率的なオンラインパネルはすでに社会研究者（CCESなど）によって使用されているが、そこから得られる推定値の質についてはまだ議論がある(Callegaro et al. 2014) al。2014 (Callegaro et al. 2014) 。

これらの議論にもかかわらず、私は社会的研究者が非確率サンプリングを再考するのが正しい時期は2つあると考えます。第一に、デジタル時代には、非確率サンプルの収集と分析に多くの開発が行われてきました。これらの新しい方法は、過去に問題を引き起こした方法とは十分に異なります。私は、それらを「非確率サンプリング2.0」と考えることが理にかなっていると考えています。研究者が非確率サンプリングを再考すべき第2の理由は、練習はますます困難になっています。実際の調査にあるように、回答率が高い場合、回答者の実際の確率は分かりません。したがって、確率サンプルと非確率サンプルは、多くの研究者が信じるほど大きくはありません。

先ほどお話したように、調査研究の初期段階で最も恥ずかしい失敗の一部が原因で、多くの社会研究者によって、非確率サンプルが大きな懐疑的な見方をしています。非確率サンプルがどのくらい届いているかの明確な例は、Wei Wang、David Rothschild、Sharad Goel、and Andrew Gelman (2015)の研究で、2012年の米国選挙の結果を正しく回収しました。米国のXboxユーザー - 確かに非道なアメリカ人のサンプル。 XBoxのゲームシステムの回答者を募集したところ、Xboxのサンプルは男性と偏見が激しかったが、18歳から29歳までは選挙人の19％、Xboxのサンプルでは65％有権者の47％を占めるが、Xboxのサンプルの93％を占めている（図3.7）。こうした人口統計的な偏見が強いことから、未加工のXboxデータは選挙結果の貧弱な指標でした。マット・ロムニーのバラク・オバマに対する強い勝利を予測した。ここでも、これは生の調整されていない非確率サンプルの危険のもう一つの例であり、 Literary Digestの失敗を連想させる。

図3.7： W. Wang et al. (2015)回答者の人口統計W. Wang et al. (2015) 。回答者はXBoxから募集されたため、2012年の選挙で有権者と比較して若年であり、男性である可能性が高かった。 W. Wang et al. (2015) 、図1を参照のこと。

しかし、Wangらはこれらの問題を認識しており、推定を行う際に無作為抽出プロセスを調整しようとしました。特に、カバレッジ・エラーや無応答の確率サンプルを調整するために広く使用されているポスト・レイヤー化技術を使用していました。

事後層別の主な考え方は、標本からの推定を改善するために、ターゲット母集団に関する補助情報を使用することです。事後分布を用いて確率的でないサンプルから推計を行うと、Wangとその同僚は集団を異なるグループに細分し、各グループのObamaに対する支持を推定し、集団推定の加重平均を取って全体の推定値を生成した。たとえば、人口を2つのグループ（男性と女性）に分け、男性と女性の間でオバマの支持を見積もった後、オバマの全体的な支持を推定することで、女性が行うことを説明するために加重平均をとることができます有権者の53％、男性47％であった。大まかに、層別化後は、グループのサイズに関する補助情報を取り込むことによって、不均衡なサンプルを修正するのに役立ちます。

事後層化の鍵は、適切なグループを形成することです。集団を均質なグループに分割して、各グループの全員にとって応答の傾向が同じになるようにすると、層別化後は偏りのない推定値が生成されます。言い換えれば、すべての男性が応答傾向を有し、すべての女性が同じ応答傾向を有する場合には、性別による事後階層化は不偏推定値を生成する。この仮定は、 グループ内の均質応答 - 傾向 -仮定と呼ばれ、この章の最後の数学的な注釈でもう少し詳しく説明します。

もちろん、すべての男性とすべての女性にとって応答の傾向は同じではないようです。しかしながら、グループ内の均質応答 - 傾向 - 仮定は、グループの数が増加するにつれて、より確からしくなる。大まかに、グループをさらに作成すると、集団を同種のグループに分割する方が簡単になります。例えば、すべての女性が同じ反応傾向を持つとは信じられないかもしれませんが、18-29歳の女性、大学を卒業した女性、カリフォルニアに住むすべての女性に同じ反応傾向があると考えられます。したがって、層別化後に使用されるグループの数が多くなると、その方法をサポートするために必要な前提がより合理的になります。この事実を考えると、研究者は後で層別化のために膨大な数のグループを作成することがしばしばあります。しかし、グループの数が増えるにつれて、研究者は異なる問題に遭遇します。各グループに少数の人しかいない場合、見積もりはより不確実になり、極端な場合には回答者のいないグループが存在する場合は、ポスト・レイヤー化が完全に中断されます。

グループ内均質応答傾向の仮定の妥当性と、各グループの合理的なサンプルサイズに対する要求との間には、この固有の緊張から2つの方法がある。第一に、研究者はより大きな、より多様なサンプルを収集することができ、各グループのサンプルサイズを合理化するのに役立ちます。第2に、グループ内で見積もりを行うために、より洗練された統計モデルを使用することができます。そして、実際には、Wangとその同僚がXboxの回答者を使って選挙の調査をしたので、時には研究者が両方を行うこともあります。

彼らはコンピュータで管理されたインタビューで非確率サンプリングを使用していたため（3.5節のコンピュータ管理インタビューについて詳しく説明します）、Wangらは非常に安価なデータ収集を行い、345,858人のユニークな参加者から情報を収集することができました、選挙投票の基準による膨大な数。この大規模なサンプルサイズにより、多数の層別化後のグループを形成することができました。ポスト層別化は典型的には人口を何百ものグループに細分化することを必要とするのに対し、Wangらは、性別（2カテゴリ）、レース（4カテゴリ）、年齢（4カテゴリ）、教育（4カテゴリ）、州（51カテゴリー）、当事者ID（3カテゴリー）、イデオロギー（3カテゴリー）、2008年投票（3カテゴリー）。言い換えれば、低コストのデータ収集によって可能になった巨大な標本サイズは、見積もりプロセスにおいてより説得力のある仮定を作ることを可能にした。

しかし、345,858人のユニークな参加者であっても、依然として回答者がほとんどいなかった多くのグループが依然として存在していました。したがって、彼らは、各グループのサポートを推定するために、 マルチレベル回帰と呼ばれる手法を使用しました。本質的に、特定のグループ内のオバマの支持を推定するために、多レベル回帰は多くの密接に関連するグループからの情報をプールした。たとえば、18歳から29歳の女性ヒスパニック系、大学卒業者、登録された民主党員、中等度の自己識別者、2008年のオバマ候補者のうち、オバマ氏に対する支持を見積もってみようと想像してみてください。 、非常に特異的なグループであり、これらの特性を有する試料中には誰も存在しない可能性がある。したがって、このグループについての推定を行うために、マルチレベル回帰は統計モデルを使用して、非常に類似したグループの人々からの推定値をまとめます。

このように、Wangらは、多レベル回帰と層別化を組み合わせた手法を使用しているため、 層別化または多面的に「 多変数回帰」と呼ばれました。 P. Wangと他の同僚がP.氏を使ってXBoxの非確率サンプルから推計を行うと、オバマが2012年の選挙で受け取った全体的なサポートに非常に近い見積もりが得られました（図3.8）。実際、彼らの見積もりは、伝統的な世論調査の集計よりも正確でした。このように、この場合、統計調整、具体的にはP氏は、非確率データの偏りを補正するうえで良い仕事をしていると思われる。調整されていないXboxデータから見積もりを見たときにはっきりと目に見えるようなバイアスがあります。

図3.8： W. Wang et al. (2015)推定W. Wang et al. (2015) 。調整されていないXBoxのサンプルが不正確な推定値を生成しました。しかし、加重XBoxサンプルは、確率ベースの電話調査の平均よりも正確な推定値を生成しました。 W. Wang et al. (2015) 、図2および3を参照されたい。

Wangらの研究の主な教訓は2つある。第1に、未調整の非確率サンプルは悪い見積りにつながる可能性があります。これは多くの研究者がこれまでに聞いた教訓です。しかし、第2の教訓は、適切に分析された場合、確率のないサンプルが実際に良好な推定値を生成できることである。非確率サンプルは、自動的にLiterary Digestのようなものにつながる必要はありません。

将来、確率サンプリング手法と非確率サンプリング手法を使用するかどうかを判断しようとする場合、難しい選択に直面します。研究者は、迅速かつ厳格な規則（例えば、常に確率サンプリング法を使用する）を望む場合もあるが、そのような規則を提供することはますます困難になっている。研究者は、実用的な確率サンプリング法（高価で、その使用法を正当化する理論結果や確率の高いサンプリング法とはかけ離れている）の選択が難しくなります。しかし、明確ではないことは、非確率サンプルや非代表的な大きなデータソース（第2章に戻って考えてください）を使用することを余儀なくされた場合、ポスト層別化と調整されていない生の見積もりよりも優れています。