更多評論

這部分被設計為用作基準，而不是被理解為敘述。

• 簡介（第3.1節）

本章中許多的主題也一直迴盪在輿論研究的美國協會（AAPOR）最近的總統地址，如Dillman (2002) Newport (2011) ， Santos (2014) ，並Link (2015) 。

有關調查研究的發展更多的歷史背景下，看到Smith (1976)和Converse (1987) 。欲了解更多關於調查研究的三個時代的想法，看到Groves (2011)和Dillman, Smyth, and Christian (2008) （其中稍有不同打破了三個時代）。

從第一到第二個時代調查研究過渡內部的峰值Groves and Kahn (1979) ，這的確之間詳細的頭對頭比較的臉對臉和電話調查， Brick and Tucker (2007)回顧了隨機數字撥號抽樣方法的歷史發展。

欲了解更多如何調查研究，改變了過去以應對社會的變化，看到Tourangeau (2004) ， Mitofsky (1989)和Couper (2011) 。

• 詢問與觀察（3.2節）

因為有時受訪者自己都沒有意識到自己的內部狀態通過提問了解內部狀態可能會產生問題。例如， Nisbett and Wilson (1977)有令人回味的標題一個奇妙的文件：“告訴多於我們可以知道：在心理過程口頭報告”在文中作者總結說：“科目有時（一）不知道的該重要的影響的響應的刺激的存在，（b）不知道的存在的響應，以及（c）不知道的刺激影響了反應的“。

對於研究人員應該更喜歡觀察到的行為來報導的行為或態度參數，見Baumeister, Vohs, and Funder (2007)心理學）和Jerolmack and Khan (2014)和響應(Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) （社會學）。詢問和觀察也之間的差異產生於經濟學，那裡的研究人員談論陳述和顯示性偏好。例如，研究人員可以詢問受訪者是否喜歡吃冰淇淋或去健身房（聲明喜好）或研究可以看到人們是如何經常吃冰淇淋，去健身房（顯示性偏好）。有一個在經濟學某些類型的陳述偏好的數據的深深的懷疑(Hausman 2012)

從這些辯論的一個主要主題是所報告的行為並不總是準確的。但是，自動記錄的行為可能是不準確的，可能無法對所關注的樣品收集，並且可能無法對研究人員訪問。因此，在一些情況下，我認為報告的行為可以是有用的。此外，從這些辯論第二個主題是關於情感，知識，期望和意見報告並不總是準確的。但是，如果是由大約需要這些內部狀態的信息的研究人員，或者以幫助解釋一些行為或作為說明，則事要求可能是適當的。

• 調查總誤差（3.3節）

有關調查總誤差的長篇分析，請參閱Groves et al. (2009)或Weisberg (2005)對於調查總誤差的發展歷史，看到Groves and Lyberg (2010) 。

在代表性方面，一個偉大的介紹不答复和不答复偏差的問題，是社會科學調查的未回應美國國家研究委員會的報告：研究議程(2013) 。另一個有用的概述所提供(Groves 2006)此外， 雜誌官方統計 ， 輿論季刊 ，以及政治 ​​和社會科學的美國學院的史冊整個特刊已經出版了無反應的話題。最後，還有計算響應率實際上許多不同的方式;這些方法進行了詳細輿論研究的美國協會（AAPOR）的一份報告中所述(Public Opinion Researchers} 2015)

1936年文學文摘民意調查作了詳細研究(Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012)它也被用來作為一個比喻，警惕隨意的數據收集(Gayo-Avello 2011) 1936年，喬治·蓋洛普抽樣採用了更複雜的形式，並能夠用更小的樣品產生更準確的估計。蓋洛普的成功在文學文摘是一個里程碑調查研究的發展(Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3)

在測量方面，設計調查問卷一個偉大的資源是Bradburn, Sudman, and Wansink (2004) 。對於更先進的治療上的態度問題特別關注，看到Schuman and Presser (1996) 。更多關於預測試的問題是可Presser and Blair (1994) Presser et al. (2004)和第8章Groves et al. (2009) 。

調查成本和調查誤差之間的權衡中的經典，書長度治療是Groves (2004) 。

• 誰問（3.4節）

標準的概率抽樣和估算的經典書長的治療是Lohr (2009) （更多介紹）和Särndal, Swensson, and Wretman (2003)更先進的）。的後分層和相關方法的經典書長治療Särndal and Lundström (2005) 。在一些數字時代的設置，研究人員知道了不少關於非受訪者中，這是不是經常如此，在過去。不同形式的不答复調整是可能的，當研究人員對非受訪者的信息(Kalton and Flores-Cervantes 2003; Smith 2011)

的的Xbox研究Wang et al. (2015)使用一種稱為多層次的回歸和後分層技術（MRP，有時也被稱為“先生P”），允許研究人員對細胞意味著，即使有很多很多的細胞。雖然有關從這項技術估計的質量一些爭論，這似乎是一個有前途的領域進行探索。該技術首先被用於Park, Gelman, and Bafumi (2004) ，並出現了後續使用和辯論(Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015)為多個單獨的重量和基於細胞的權重之間的連接上看到Gelman (2007) 。

對於其他的方法來加權網絡調查，看看Schonlau et al. (2009) ， Valliant and Dever (2011)和Bethlehem (2010) 。

樣本匹配提出由Rivers (2007) 。 Bethlehem (2015)認為，樣本匹配的表現實際上將類似於其他抽樣方法（如，分層抽樣）和其他調整方式（例如，分層後）。欲了解更多關於網上面板，見Callegaro et al. (2014) 。

有時研究人員發現，機率樣本和非概率樣本產生類似的質量的估計(Ansolabehere and Schaffner 2014) ，但其他比較人已經發現，非概率的樣品做更差(Malhotra and Krosnick 2007; Yeager et al. 2011)一個可能的原因這些差異是，非概率的樣品已經隨著時間的推移提高。對於非概率抽樣方法的更悲觀的看法看到非概率抽樣的的AAPOR特遣部隊(Baker et al. 2013)我也建議你閱讀下面的總結報告的評論。

有關權重，以減少非概率樣本偏差的影響的薈萃分析，見表2.4 Tourangeau, Conrad, and Couper (2013) ，這導致作者得出結論“的調整似乎是有用的，但犯錯誤的更正。 。 “。

• 怎麼問（3.5節）

Conrad and Schober (2008)提供了名為暢想未來的調查採訪編輯成冊，並解決許多在本節的主題。 Couper (2011)地址類似的主題， Schober et al. (2015)提供了一個如何可能會導致更高質量的數據被調整以適應新的環境數據收集方法很好的例子。

對於使用社會科學調查的Facebook應 ​​用程序的另一個有趣的例子，看到Bail (2015) 。

有關進行調查參與者一個愉快而寶貴的經驗更多的建議，請參閱量身設計的工作方法(Dillman, Smyth, and Christian 2014) 。

Stone et al. (2007)提供生態瞬時評估和相關的方法的書長度治療。

• 調查鏈接到其他數據（3.6節）

Judson (2007)描述的調查和行政數據結合為一體的進程“信息集成”，討論了這種方法的一些優點，並提供了一些例子。

研究人員可以利用數字跟踪和管理數據的另一種方式是人具體特點抽樣框。然而，訪問這些記錄時使用的抽樣框架還可以創建涉及到隱私的問題(Beskow, Sandler, and Weinberger 2006) 。

至於放大問，這種做法是不是新的，因為它可能會從我如何描述過它出現。這種方法具有在基於統計模型的事後分層三大領域深厚的關係(Little 1993) ，估算(Rubin 2004) ，以及小區域估計(Rao and Molina 2015) 。它也涉及使用在醫學研究替代變量(Pepe 1992) 。

除了 ​​有關訪問數字跟踪數據的倫理問題，放大要價也可以用來推斷，人們可能不會選擇在調查中透露的敏感特質(Kosinski, Stillwell, and Graepel 2013) 。

在成本和時間估計Blumenstock, Cadamuro, and On (2015)多參考可變成本的一個附加檢驗和不包括固定費用成本，例如清潔和處理呼叫數據的成本。一般情況下，放大要價可能會具有較高的固定成本和類似的數字實驗（見第四章）低可變成本。在使用的數據的詳細信息Blumenstock, Cadamuro, and On (2015)紙是Blumenstock and Eagle (2010)和Blumenstock and Eagle (2012)從多個imputuation辦法(Rubin 2004)可能有助於從放大的要價估計捕獲的不確定性。如果進行放大，要求研究人員只關心總數量，而不是個人層面的特徵，然後在方法King and Lu (2008)和Hopkins and King (2010)可能是有用的。欲了解更多關於在機器學習方法Blumenstock, Cadamuro, and On (2015) ，見James et al. (2013) （更多介紹）或Hastie, Tibshirani, and Friedman (2009) （更先進的）。另一種流行的機器學習的教科書是Murphy (2012)

關於豐富詢問，結果Ansolabehere和赫什(2012)上的兩個關鍵步驟鉸鏈：1）凱利的許多不同數據源的調查數據相結合，產生一個精確的主數據文件和2）凱利的能力鏈接到的能力其主數據文件。因此，Ansolabehere和赫什仔細檢查每個步驟。

要創建主數據文件，凱利結合和統一不同來源的信息，包括：從每個國家的多個投票記錄快照，從地址註冊處的郵局的國家變化的數據，以及其他未說明的商業供應商的數據。這一切的清潔和合併如何發生的血淋淋的細節超出了本書的範圍，但這個過程中，不管多麼小心，將傳播在原始數據源錯誤，會引入誤差。雖然凱利願意討論其數據處理和提供一些原始數據，這是根本不可能的研究人員回顧整個凱利數據管道。相反，研究人員在一個情況下在凱利數據文件有一些未知的，並且或許不可知，誤差的量。這是一個嚴重的問題，因為批評者可能會推測，在CCES的調查報告，並在凱利主數據文件中的行為之間的巨大差異是由錯誤在主數據文件引起的，而不是由受訪者誤報。

Ansolabehere和赫什了兩種不同的方法解決數據質量問題。首先，除了自報的投票比較凱利主文件中投票，研究人員還比較自我報告的黨，種族，選民登記狀態（例如，註冊或未註冊）並參加表決的方法（例如，在人，缺席投票等），在凱利板的數據庫中發現這些值。對於這四個人口變量，研究人員發現更高的水平凱利主文件比在投票調查報告和數據之間的協議。因此，凱利主數據文件似乎有表決權比其他性狀高質量的信息，這表明它是整體質量差不。其次，在使用從凱利數據部分，Ansolabehere和赫什發達的縣級投票記錄質量的三個不同的措施，他們發現，投票過度報告率估計基本上是無關的任何這些數據質量的措施，這一發現建議多報的高利率不是由各縣驅動用非常低的數據質量。

鑑於這種主表決文件的創建，潛在的錯誤的第二源是連接的調查記錄到它。例如，如果這個連接被錯誤地完成它可能導致報導和驗證投票行為之間的差的過度估計(Neter, Maynes, and Ramanathan 1965)如果每個人有一個穩定的，唯一的標識符，在兩個數據源，然後聯動將是微不足道的。在美國和其他大多數國家，然而，不存在通用的標識符。此外，即使有這樣的標識符人很可能會猶豫向它提供調查研究人員！因此，凱利不得不使用不完美的標識符，在這種情況下，四片有關每個受訪信息做聯動：姓名，性別，出生年，和家庭地址。例如，凱利不得不決定是否哥們Ĵ辛普森在CCES是同一個人作為荷馬辛普森在自己的主數據文件。在實踐中，匹配是一個困難和混亂的過程，而且，使事項的研究人員更糟糕，凱利認為其匹配技術是專有的。

為了驗證匹配算法，他們依靠兩方面的挑戰。首先，凱利參加了由一個獨立的，第三方的運行相匹配的競爭：MITRE公司。 MITRE提供的所有參與者2噪音數據文件進行匹配，不同的團隊競爭返回MITRE的最佳匹配。由於MITRE自己知道正確的匹配，他們能夠得分的球隊。 40家公司的競爭中，凱利排在第二位。這種專利技術的獨立的第三方評估是相當罕見的，非常有價值的;它應該給我們信心，凱利板的配套程序基本上是一個國家的最先進的。但是是國家的最先進的不夠好？除了這種匹配競爭，Ansolabehere和赫什創造凱利自己匹配的挑戰。從早期的一個項目，Ansolabehere和赫什收集了從佛羅里達州選民的記錄。他們和他們的一些領域的節錄到凱利板，然後比較這些領域自身的實際值凱利的報告提供了一些有關這些記錄​​。幸運的是，凱利的報告是接近暫扣值，表明凱利可能部分選民的記錄匹配到他們的主數據文件。這兩個挑戰，一個第三方，另一種由Ansolabehere和赫什，給我們在凱利板匹配算法更有信心，儘管我們無法審查其確切的實現自己。

已經有許多以前曾試圖驗證投票。對於文學的概述，請參見Belli et al. (1999) ， Berent, Krosnick, and Lupia (2011) ， Ansolabehere and Hersh (2012)和Hanmer, Banks, and White (2014) 。

要注意的是，雖然在這種情況下，研究人員通過數據從凱利質量鼓勵，商業供應商的其他評價已經不太熱心是重要的。研究人員發現質量較差時，從調查，從營銷系統集團消費，文件數據（它本身合併的數據一起從三個供應商：Acxiom公司，百利，和InfoUSA） (Pasek et al. 2014) 。即，數據文件不匹配，研究人員預計是正確的測量的響應，數據文件已缺失了大量的問題，以及丟失的數據模式的數據被關聯到報告調查值（換言之丟失數據是系統的，不是隨機的）。

欲了解更多有關調查和行政之間的數據記錄鏈接，請參閱Sakshaug and Kreuter (2012)和Schnell (2013) 。欲了解更多有關記錄鏈接一般，看Dunn (1946)和Fellegi and Sunter (1969)歷史）和Larsen and Winkler (2014) （現代）。類似的方法也被開發了計算機科學的名稱，如重複數據刪除，實例標識，名稱匹配，重複檢測下，並重複記錄檢測(Elmagarmid, Ipeirotis, and Verykios 2007)也有隱私保護的方法來記錄聯動不需要的個人身份信息傳輸(Schnell 2013) 。在Facebook的研究人員開發了一個程序的記錄probabilisticsly鏈接到投票行為(Jones et al. 2013) ;這種聯繫是為了評估一個實驗，我會告訴你在第4章(Bond et al. 2012)

鏈接大規模社會調查，以政府的行政記錄的另一個例子來自健康與退休調查和社會保障局。欲了解更多有關這項研究中，包括有關同意程序的信息，請參閱Olson (1996)和Olson (1999)

行政記錄許多來源合併成一個主數據文件，該過程凱利員工，在某些國家政府的統計部門共同的過程。從瑞典統計局兩名研究人員寫在主題的詳細書(Wallgren and Wallgren 2007)對於在美國單縣這種做法的一個例子（奧姆斯特德縣，明尼蘇達州梅奧診所的家庭），請參閱Sauver et al. (2011) 。欲了解更多關於可以出現在行政記錄錯誤，請參閱Groen (2012)