さらに解説
このセクションでは、物語のように読まれるべきではなく、参照として使用されるように設計されています。
- はじめに（3.1節）
この章のテーマの多くは、のような世論調査の協会（AAPOR）での最近の大統領アドレスにエコーされているDillman (2002) Newport (2011) Santos (2014)およびLink (2015)
調査研究の発展についての詳細歴史的な背景については、 Smith (1976)とConverse (1987)調査研究の3時代の考え方の詳細については、 Groves (2011)とDillman, Smyth, and Christian (2008)若干異なる3時代を壊します）。
調査研究における第二の時代に最初からの移行の内側のピークがあるGroves and Kahn (1979)の間で詳細な頭に頭の比較を行い、フェイスツーフェイスと電話調査。 Brick and Tucker (2007)ランダム桁ダイヤルのサンプリング方法の歴史的発展を振り返ります。
調査研究は、社会の変化に応じて、過去にどのように変化したか詳細については、を参照してくださいTourangeau (2004) Mitofsky (1989)およびCouper (2011)
- 観察対頼む（3.2節）
時々、回答者自身が自分の内部状態を認識していませんので、質問をすることにより、内部状態について学ぶことが問題となる可能性があります。例えば、 Nisbett and Wilson (1977)著者らは結論付けて紙では「被験者は時々の（a）に気付いていない：「精神的なプロセスでの口頭報告を我々が知ることができる以上のことを告げる：「刺激的なタイトルの素晴らしい紙を持っています重要な応答に影響を与えた刺激の存在、（b）は、応答の有無、および（c）刺激応答に影響を与えていることを知らないの知りません」。
研究者が報告した行動や態度に観察された挙動を好むべきである引数は、以下を参照してくださいBaumeister, Vohs, and Funder (2007)心理学）とJerolmack and Khan (2014)と応答(Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) （社会学）。尋ねるとも観察の違いは、研究者は述べたと明らかにした嗜好について話す経済学、生じます。例えば、研究者は、彼らがアイスクリームを食べたり、ジムに行く（明記好み）や研究は、人々はアイスクリームを食べる頻度を観察し、ジム（明らかにした嗜好）に行くことができることを好むかどうかの回答を求めることができます。経済学で述べた嗜好データの特定の種類の深い懐疑的な見方がある(Hausman 2012)
これらの議論からの主なテーマは、報告された行動は必ずしも正確ではないということです。しかし、自動的に記録された動作が、正確ではない可能性があり、関心のサンプル上で収集されない場合があり、研究者にアクセスできないことがあります。このように、いくつかの状況で、私は報告動作が有用であることができると思います。さらに、これらの議論からの第二の主なテーマは、感情についてのレポート、知識、期待、および意見は必ずしも正確ではないということです。しかし、これらの内部状態に関する情報がいくつかの動作を説明したり、説明し、次にすべき尋ねる事は適切であるかもしれないようにするために役立つ研究者、のいずれかによって必要とされている場合。
- 総調査エラー（3.3節）
総調査エラーの本の長さの治療については、 Groves et al. (2009)やWeisberg (2005)総調査エラーの発展の歴史については、 Groves and Lyberg (2010)
研究アジェンダ：表現の面では、非応答および非応答バイアスの問題に大きな導入は、社会科学調査で無応答における調査評議会の報告である(2013)別の有用な概要は、以下によって提供される(Groves 2006)また、 政府統計の雑誌 、 世論四半期 、および政治や社会科学のアメリカアカデミーの史料の全体の特殊な問題は、非応答のトピックに公開されています。最終的に、応答速度の計算実際に、多くの異なる方法があります。これらのアプローチは、世論研究者のアメリカ連合（AAPOR）の報告書に詳細に記載されている(Public Opinion Researchers} 2015)
1936 文学ダイジェスト投票は詳細に研究されてきた(Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012)また、行き当たりばったりのデータ収集に対して警告する寓話として使用されてきた(Gayo-Avello 2011) 1936年、ジョージ・ギャラップは、サンプリングのより洗練されたフォームを使用して、はるかに小さいサンプルと、より正確な推定値を生成することができました。 文学ダイジェストオーバーギャラップの成功は、調査研究の開発マイルストーンだった(Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3)
測定の面では、アンケートを設計するための偉大な最初のリソースがあるBradburn, Sudman, and Wansink (2004)姿勢の質問に具体的に焦点を当てた、より高度な治療については、 Schuman and Presser (1996)プレテストの質問についての詳細はで利用可能でPresser and Blair (1994) Presser et al. (2004) 、および第8章Groves et al. (2009) 。
調査費や調査・エラーの間にトレードオフの古典的な、ブック長の治療であるGroves (2004)
- 誰に依頼する（3.4節）
古典的な本の長さの標準確率サンプリングの治療と推定されているLohr (2009)もっと入門）とSärndal, Swensson, and Wretman (2003)より高度な）。ポスト成層および関連する方法の古典的な本の長さの治療であるSärndal and Lundström (2005)いくつかのデジタル時代設定で、研究者は、過去に多くの場合、真実ではありませんでした非回答者は約かなり知っています。研究者は、非回答者についての情報がある場合、非応答調整の異なる形が可能であり(Kalton and Flores-Cervantes 2003; Smith 2011)
Xboxの研究Wang et al. (2015)研究者が、細胞が多く、多くの細胞が存在する場合であっても意味を推定することができます（時には「ミスターP」と呼ばれるMRP、）マルチレベル回帰とポスト成層と呼ばれる技術を使用しています。この手法から推定値の品質に関するいくつかの議論があるが、それは探検する有望な分野のように思えます。技術が最初に使用されたPark, Gelman, and Bafumi (2004)およびその後の使用と議論があった(Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015)個々の重みとセルベースの重みとの間の接続の詳細についてを参照してくださいGelman (2007)
重み付けウェブアンケートへの他のアプローチについては、 Schonlau et al. (2009) 、 Valliant and Dever (2011) 、そしてBethlehem (2010)
サンプルマッチングはによって提案されたRivers (2007) Bethlehem (2015) 、サンプルのマッチングの性能が実際に他のサンプリング手法（例えば、層化抽出）およびその他の調整の手法（例えば、ポスト成層）のようになりますと主張しています。オンラインパネルの詳細については、を参照してくださいCallegaro et al. (2014) 。
時々 、研究者は、確率サンプルと非確率サンプルが同様の品質の推定値を得られることを見出した(Ansolabehere and Schaffner 2014)が、他の比較は非確率サンプルが悪化行うことを見出した(Malhotra and Krosnick 2007; Yeager et al. 2011)これらの違いのための1つの可能な理由は、非確率サンプルを経時的向上していることです。非確率サンプリング方法のより悲観的な見方については非確率サンプリングにAAPORタスクフォースを参照してください(Baker et al. 2013)と私はまた、要約レポートを、以下の解説を読むことをお勧めします。
非確率サンプルに偏りを低減するための重み付けの効果についてのメタ分析では、表2.4を参照してくださいTourangeau, Conrad, and Couper (2013) 」締結に著者をリードする、調整は有用であるが誤りを犯しがちな修正であるように見えます。 。 。 "
- 頼む方法（3.5節）
Conrad and Schober (2008) 今後の調査のインタビューを想定題し編集したボリュームを提供し、そしてそれは、このセクションのテーマの多くに対処しています。 Couper (2011)同様のテーマを扱って、 Schober et al. (2015)新しい設定に合わせて調整されているデータ収集方法は、より高品質なデータをもたらすことができるかの素晴らしい例を提供しています。
社会科学調査のためのFacebookアプリを使用して、別の興味深い例は、以下を参照してくださいBail (2015)
参加者にとって楽しく、貴重な経験を調査をする上でより多くのアドバイスについては、テーラード設計手法に関する作業を参照してください(Dillman, Smyth, and Christian 2014)
Stone et al. (2007)生態系の瞬間的な評価と関連のメソッドの本の長さの治療を提供しています。
- 他のデータにリンクされている調査（3.6節）
Judson (2007) 、このアプローチのいくつかの利点について説明し、いくつかの例を提供しています」、情報統合」として調査や管理データを組み合わせるプロセスを説明しました。
研究者はデジタル・トレースと管理データを使用することができるもう一つの方法は、特定の特性を持つ人々のためのサンプリングフレームです。しかし、これらのレコードはまた、プライバシーに関連する質問を作成することができ、サンプリングフレームを使用するアクセス(Beskow, Sandler, and Weinberger 2006)
それは私がそれを説明してきた方法から表示されることがありますように増幅の提示に関しては、このアプローチは、新しいものではありません。このアプローチは、統計モデルに基づく事後成層における3大面積への深いコネクションがあり(Little 1993)帰属(Rubin 2004)および小面積推定(Rao and Molina 2015)また、医学研究における代替変数の使用に関連している(Pepe 1992) 。
デジタルトレースデータへのアクセスに関する倫理的な問題に加えて、増幅された提示はまた、人々が調査で明らかにすることを選択しない場合があります敏感な形質を推論するために使用することができる(Kosinski, Stillwell, and Graepel 2013)
コストと時間の見積もりBlumenstock, Cadamuro, and On (2015) 、このようなきれいにし、通話データを処理するための費用として1追加調査-と含まない固定費の変動費コストの多くを参照してください。一般的には、増幅された提示はおそらく、高い固定費とデジタル実験（第4章を参照してください）と同様の低変動費を持つことになります。で使用されるデータの詳細Blumenstock, Cadamuro, and On (2015)紙は内にあるBlumenstock and Eagle (2010)とBlumenstock and Eagle (2012)複数のimputuationからのアプローチ(Rubin 2004) 、増幅の提示からの推定値の不確実性をキャプチャ助けるかもしれません。研究者のみの集計数ではなく、個々のレベルの特性を気に尋ねる増幅を行う場合は、その後でアプローチKing and Lu (2008)とHopkins and King (2010)有用である可能性があります。で機械学習の手法の詳細についてはBlumenstock, Cadamuro, and On (2015)参照James et al. (2013)もっと入門）またはHastie, Tibshirani, and Friedman (2009)より高度な）。もう一つの人気機械学習の教科書はあるMurphy (2012)
濃縮された提示について、Ansolabehereとハーシュでの結果(2012) 2の重要なステップのヒンジ：1）に調査データを正確なマスターデータファイルを生成するために、多くの異なるデータソースを統合すると、2）Catalistの能力をリンクするCatalistの能力そのマスター・データ・ファイル。したがって、Ansolabehereとハーシュは慎重にこれらの各手順を確認してください。
マスター・データ・ファイルを作成するには、Catalistは組み合わせとを含む多くの異なるソースからの情報を調和：複数の投票レコードの各状態からのスナップショット、アドレスレジストリの郵便局の国立Changeからのデータ、および他の不特定の商用プロバイダからのデータ。このすべてのクリーニングとマージが起こるかについての血みどろの詳細は本書の範囲を超えていますが、このプロセスは、どんなに慎重に、元のデータソース内のエラーを伝播しませんし、エラーを紹介します。 Catalistは、そのデータ処理を議論し、その生のデータの一部を提供するために喜んでいたが、研究者は全体Catalistデータパイプラインを確認するために、それは単に不可能でした。むしろ、研究者はCatalistデータファイルがエラーのいくつかの未知の、そしておそらく不可知、量を持っていた状況にありました。評論家はいない回答者が誤報によって、Catalistマスタデータファイル内のCCESと行動に関する調査報告書との間に大きな差がマスター・データ・ファイル内のエラーによって引き起こされたと推測しているかもしれないので、これは重大な関心事です。
Ansolabehereとハーシュは、データ品質の問題に対処する2つの異なるアプローチを取りました。まず、Catalistマスタファイルの議決に自己申告投票の比較に加えて、研究者はまた、自己申告パーティー、レース、有権者登録状況（例えば、登録または登録されていない）と、投票方法（例えば、人での比較、不在Catalistデータベースに見られる値に投票など）。これら4人口統計学的変数の場合、研究者は、投票のためのよりCatalistマスタファイル内の調査報告書とデータ間の合意はるかに高いレベルのを発見しました。したがって、Catalistマスターデータファイルは、それが悪い全体的な品質ではないことを示唆し、投票以外の特性のために高品質の情報を有するように見えます。第二に、Catalistからのデータを用いて、部分的に、発見をAnsolabehereとハーシュは、郡の投票記録の質の三つの異なる尺度を開発し、彼らが投票の過剰報告の推定レートは、これらのデータ品質尺度のいずれかに本質的に関係のないことがわかったこと過報告率の高さが異常に低いデータ品質と郡によって駆動されていないことを示唆しています。
このマスター投票ファイルの作成を考えると、潜在的なエラーの第二の源は、それに調査レコードをリンクされています。この結合が正しく行われている場合例えば、それは報告され、検証済みの投票行動との間の差の過剰推定につながる可能性(Neter, Maynes, and Ramanathan 1965)すべての人は、両方のデータソースにあった安定した、ユニークな識別子を持っていた場合、その結合は些細なことだろう。米国および他のほとんどの国では、しかし、普遍的な識別子がありません。さらに、があった場合でも、そのような識別子の人々は、おそらく研究者を調査するためにそれを提供することを躊躇だろう！名前、性別、誕生年、およびホームアドレス：したがって、Catalistは、この場合には、各回答者についての4つの情報を不完全な識別子を使用して連携をしなければなりませんでした。例えば、CatalistはCCESに相棒J・シンプソンかどうかを判断しなければならなかった彼らのマスター・データ・ファイル内のホーマージェイシンプソンと同じ人でした。実際には、マッチングは研究者にとってさらに悪いことには、困難かつ厄介なプロセスであり、かつ、Catalistは独自であることがそのマッチング手法を検討しました。
マッチングアルゴリズムを検証するために、それらは2つの課題に依存していました。 MITRE社：まず、Catalistは独立した第三者によって実行されたマッチングの競争に参加しました。 MITREは、2つの整合するノイズの多いデータファイル、および異なるチームがMITREにベストマッチングを返すために競ったすべての参加者を提供しました。 MITRE自体は正しいマッチングを知っていたので、彼らはチームを獲得することができました。競った40社のうち、Catalistは、第二位になりました。独自の技術とは無関係に、第三者評価のこの種は非常に稀で、信じられないほど貴重なものです。それはCatalistのマッチング手順は、最先端のに本質的であることを私たちに自信を与える必要があります。しかし、最先端のは十分ありますか？このマッチングの競争に加えて、AnsolabehereとハーシュはCatalistために独自のマッチング課題を作成しました。以前のプロジェクトから、Ansolabehereとハーシュはフロリダから有権者のレコードを収集していました。彼らはCatalistに編集され、それらの分野のいくつかと、これらのレコードの一部を提供し、その後、それらの実際の値にこれらのフィールドのCatalistのレポートを比較しました。幸いなことに、CatalistのレポートはCatalistが彼らのマスター・データ・ファイルに部分的な有権者のレコードを一致させることができたことを示す、源泉徴収の値に近かったです。これら2つの課題、サードパーティとAnsolabehereとハーシュによって一つ一つは、私たちが彼らの正確な実装自分自身を確認できない場合でもCatalistマッチングアルゴリズムでより多くの自信を与えます。
投票を検証するために、これまでの多くの試みがなされてきました。その文献の概要については、以下を参照してくださいBelli et al. (1999) 、 Berent, Krosnick, and Lupia (2011) Ansolabehere and Hersh (2012)およびHanmer, Banks, and White (2014)
このケースでは、研究者がCatalistからのデータの品質によって奨励されたものの、商用ベンダーの他の評価はあまり熱心であったことに留意することが重要です。研究者は低品質を発見したとき（それ自体は3プロバイダから一緒にデータをマージ：アクシオム社、エクスペリアン、およびInfoUSA）マーケティングシステムグループから消費者ファイルへの調査からのデータ(Pasek et al. 2014)それは言い換えれば、失われたデータは、体系的であった（データファイルは、研究者が正しいことが予想されることがアンケートの回答と一致しませんでした、質問の数が多いと、欠落したデータパターンのデータファイルが欠落していたデータが報告された調査値に相関していた、あります）、ランダムではありません。
調査や管理データ間のレコードリンケージの詳細については、を参照してくださいSakshaug and Kreuter (2012)とSchnell (2013)一般のレコードリンケージの詳細については、 Dunn (1946)とFellegi and Sunter (1969)歴史）とLarsen and Winkler (2014) （現代の）を。同様のアプローチはまた、このようなデータ重複排除、インスタンスID、名前の一致、重複検出などの名前でコンピュータサイエンスで開発、およびレコード検出重複されている(Elmagarmid, Ipeirotis, and Verykios 2007)個人識別情報の送信を必要としないリンケージ記録するためのアプローチを維持し、プライバシーもあります(Schnell 2013) Facebookのの研究者はprobabilisticsly投票行動に彼らのレコードをリンクするための手順を開発(Jones et al. 2013)この結合は、私は、第4章でをご紹介します実験評価するために行われました(Bond et al. 2012)
政府行政記録への大規模な社会調査をリンクの別の例は、健康と退職の調査と社会保障庁から来ています。同意の手続きに関する情報など、その研究の詳細については、 Olson (1996)及びOlson (1999)
マスター・データ・ファイル・Catalistのいくつかの国の政府の統計局で共通の従業員が、あるプロセスに行政記録の多くのソースを結合するプロセス。スウェーデン統計局からの2人の研究者がトピックに関する詳細な本を書いた(Wallgren and Wallgren 2007) （オルムステッド郡、ミネソタ州、メイヨークリニックの家）は、米国内の単一の郡内のこのアプローチの例については、 Sauver et al. (2011) 。行政記録に表示できるエラーの詳細については、 Groen (2012)
