bình luận thêm

Phần này được thiết kế để được sử dụng như một tài liệu tham khảo, chứ không phải là để được đọc như một câu chuyện.

• Giới thiệu (Phần 3.1)

Nhiều người trong số các chủ đề trong chương này cũng được lặp lại trong các địa chỉ của Tổng thống gần đây của Hiệp hội Mỹ nghiên cứu quan điểm công cộng (AAPOR), chẳng hạn như Dillman (2002) , Newport (2011) , Santos (2014) , và Link (2015) .

Đối với nền tảng lịch sử nhiều hơn về sự phát triển của nghiên cứu khảo sát, xem Smith (1976) và Converse (1987) . Để biết thêm về các ý tưởng của ba thời kỳ của nghiên cứu khảo sát, xem Groves (2011) và Dillman, Smyth, and Christian (2008) (mà phá vỡ ba thời đại hơi khác nhau).

Một đỉnh trong quá trình chuyển đổi từ người đầu tiên thời kỳ thứ hai trong nghiên cứu khảo sát là Groves and Kahn (1979) , mà hiện một so sánh chi tiết đầu-to-đầu giữa một khuôn mặt-đối-mặt và khảo sát qua điện thoại. Brick and Tucker (2007) nhìn lại lịch sử phát triển của các phương pháp lấy mẫu quay số chữ số ngẫu nhiên.

Để biết thêm cách khảo sát nghiên cứu đã thay đổi trong quá khứ để đáp ứng với những thay đổi trong xã hội, xem Tourangeau (2004) , Mitofsky (1989) , và Couper (2011) .

• Yêu cầu so với quan sát (Phần 3.2)

Tìm hiểu về tiểu bang nội bộ bằng cách hỏi những câu hỏi có thể có vấn đề bởi vì đôi khi người được hỏi chính họ là không nhận thức được trạng thái nội bộ của họ. Ví dụ, Nisbett and Wilson (1977) có một bài báo tuyệt vời với danh hiệu gợi cảm: "Nói nhiều hơn chúng ta có thể biết:. Báo cáo bằng lời về quá trình tâm thần" Trong bài báo của các tác giả kết luận: "đối tượng là đôi khi (a) không nhận thức được sự tồn tại của một kích thích mà quan trọng ảnh hưởng đến một phản ứng, (b) không biết về sự tồn tại của phản ứng, và (c) không biết rằng các gói kích thích đã ảnh hưởng đến phản ứng. "

Đối với lập luận rằng các nhà nghiên cứu nên thích hành vi quan sát hành vi hoặc thái độ báo cáo, xem Baumeister, Vohs, and Funder (2007) (tâm lý) và Jerolmack and Khan (2014) và phản ứng (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (xã hội học). Sự khác biệt giữa việc hỏi và quan sát cũng phát sinh trong kinh tế, nơi mà các nhà nghiên cứu nói về sở thích nói và tiết lộ. Ví dụ, một nhà nghiên cứu có thể hỏi được hỏi liệu họ có thích ăn kem hoặc đi đến phòng tập thể dục (ưu tiên đã nêu) hoặc nghiên cứu có thể quan sát cách người dân thường ăn kem và đi đến phòng tập thể dục (ưu tiên tiết lộ). Có thái độ hoài nghi sâu sắc của một số loại dữ liệu thích nói về kinh tế (Hausman 2012) .

Một chủ đề chính của các cuộc tranh luận là hành vi được báo cáo không phải là luôn luôn chính xác. Nhưng, hành vi tự động ghi lại có thể không chính xác, có thể không được thu thập trên một mẫu quan tâm, và không thể tiếp cận để nghiên cứu. Như vậy, trong một số trường hợp, tôi nghĩ rằng hành vi được báo cáo có thể hữu ích. Hơn nữa, một chủ đề chính thứ hai từ những cuộc tranh luận là các báo cáo về những cảm xúc, kiến ​​thức, sự mong đợi, và dùng thử không phải luôn luôn chính xác. Nhưng, nếu thông tin về những tình trạng nội bộ là cần thiết bởi các nhà nghiên cứu, hoặc để giúp giải thích một số hành vi hoặc là điều cần được giải thích, sau đó yêu cầu có thể thích hợp.

• Tổng số lỗi khảo sát (Phần 3.3)

Đối với phương pháp điều trị chiều dài cuốn sách về tổng số lỗi khảo sát, xem Groves et al. (2009) hoặc Weisberg (2005) . Đối với một lịch sử phát triển của tổng số lỗi khảo sát, xem Groves and Lyberg (2010) .

Trong điều kiện của đại diện, một lớn giới thiệu các vấn đề không trả lời và thiên vị không đáp ứng được các báo cáo Hội đồng Nghiên cứu Quốc gia về Nonresponse trong Khoa học Xã hội Khảo sát: Một chương trình nghị Nghiên cứu (2013) . Một cái nhìn tổng quan hữu ích được cung cấp bởi (Groves 2006) . Ngoài ra, toàn bộ các vấn đề đặc biệt của Tạp chí chính thức thống kê, công luận quý và The Annals của Học viện Mỹ chính trị và xã hội học đã được công bố về chủ đề không trả lời. Cuối cùng, thực sự có rất nhiều cách khác nhau để tính toán tỷ lệ đáp ứng; những phương pháp được mô tả chi tiết trong báo cáo của Hiệp hội Mỹ của Công luận nghiên cứu (AAPOR) (Public Opinion Researchers} 2015) .

1936 bình chọn Literary Digest đã được nghiên cứu chi tiết (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Nó cũng đã được sử dụng như là một thí dụ để cảnh báo về thu thập dữ liệu lộn xộn (Gayo-Avello 2011) . Năm 1936, George Gallup sử dụng một hình thức tinh vi hơn về lấy mẫu, và đã có thể sản xuất ước tính chính xác hơn với một mẫu nhỏ hơn nhiều. Thành công của Gallup qua Literary Digest là một cột mốc quan trọng trong sự phát triển của nghiên cứu khảo sát (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Trong việc đo lường, một nguồn lực lớn đầu tiên cho câu hỏi thiết kế là Bradburn, Sudman, and Wansink (2004) . Đối với phương pháp điều trị tiên tiến hơn tập trung cụ thể về các vấn đề thái độ, xem Schuman and Presser (1996) . Thông tin thêm về câu hỏi trước khi thử nghiệm có sẵn trong Presser and Blair (1994) , Presser et al. (2004) , và Chương 8 của Groves et al. (2009) .

Việc điều trị cổ điển, cuốn sách có độ dài của thương mại-off giữa chi phí khảo sát và các lỗi khảo sát là Groves (2004) .

• Ai hỏi (Phần 3.4)

Cổ điển điều trị cuốn sách có độ dài tiêu chuẩn lấy mẫu xác suất và dự toán là Lohr (2009) (thêm giới thiệu) và Särndal, Swensson, and Wretman (2003) (nâng cao hơn). Một điều trị cuốn sách dài cổ điển của phương pháp sau phân tầng và có liên quan là Särndal and Lundström (2005) . Tại một vài thời đại số, các nhà nghiên cứu biết khá nhiều về việc không trả lời, mà đã không thường đúng trong quá khứ. Hình thức khác nhau của việc điều chỉnh không đáp ứng thuốc có thể xảy ra khi các nhà nghiên cứu có thông tin về việc không trả lời (Kalton and Flores-Cervantes 2003; Smith 2011) .

Các nghiên cứu Xbox của Wang et al. (2015) sử dụng một kỹ thuật gọi là hồi quy đa cấp và hậu phân tầng (MRP, đôi khi được gọi là "Mister P") cho phép các nhà nghiên cứu ước tính di động có nghĩa là ngay cả khi có rất nhiều, rất nhiều tế bào. Mặc dù có một số cuộc tranh luận về chất lượng của các ước tính từ kỹ thuật này, nó có vẻ như một khu vực đầy hứa hẹn để khám phá. Kỹ thuật này lần đầu tiên được sử dụng trong các Park, Gelman, and Bafumi (2004) , và đã có sử dụng tiếp theo và tranh luận (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Để biết thêm về mối liên hệ giữa trọng lượng riêng và trọng lượng tế bào dựa trên thấy Gelman (2007) .

Đối với các phương pháp khác để điều tra web nặng, xem Schonlau et al. (2009) , Valliant and Dever (2011) , và Bethlehem (2010) .

Phù hợp với mẫu đã được đề xuất bởi Rivers (2007) . Bethlehem (2015) lập luận rằng hiệu suất của khớp mẫu sẽ thực sự là tương tự như phương pháp tiếp cận khác mẫu (ví dụ, lấy mẫu phân tầng) và các phương pháp điều chỉnh khác (ví dụ, sau phân tầng). Để biết thêm về bảng trực tuyến, xem Callegaro et al. (2014) .

Đôi khi các nhà nghiên cứu đã tìm thấy rằng các mẫu xác suất và mẫu không xác suất ước tính sản lượng của chất lượng tương tự (Ansolabehere and Schaffner 2014) , nhưng so sánh khác đã tìm thấy rằng các mẫu không xác suất làm tồi tệ hơn (Malhotra and Krosnick 2007; Yeager et al. 2011) . Một lý do có thể cho những khác biệt này là mẫu không xác suất đã được cải thiện theo thời gian. Đối với một cái nhìn bi quan hơn về phương pháp lấy mẫu không xác suất thấy Task Force AAPOR về Không xác suất lấy mẫu (Baker et al. 2013) , và tôi cũng khuyên bạn nên đọc các bài bình luận rằng sau báo cáo tóm tắt.

Đối với một phân tích về ảnh hưởng của trọng để giảm thiên vị trong các mẫu không xác suất, xem Bảng 2.4 ở Tourangeau, Conrad, and Couper (2013) , dẫn các tác giả kết luận "điều chỉnh dường như là điều chỉnh hữu ích nhưng có thể sai lầm. . ".

• Làm thế nào để yêu cầu (Phần 3.5)

Conrad and Schober (2008) cung cấp một khối lượng sửa tiêu đề Phác thảo Phỏng vấn khảo sát của tương lai, và nó giải quyết được nhiều trong những chủ đề trong phần này. Couper (2011) đề cập đến các chủ đề tương tự, và Schober et al. (2015) cung cấp một ví dụ tốt đẹp của các phương pháp thu thập dữ liệu được thiết kế theo một thiết lập mới có thể dẫn đến dữ liệu chất lượng cao hơn.

Đối với một ví dụ thú vị của việc sử dụng các ứng dụng Facebook cho các cuộc điều tra khoa học xã hội, xem Bail (2015) .

Để được tư vấn thêm về việc khảo sát một trải nghiệm thú vị và có giá trị cho những người tham gia, xem công việc về thiết kế Tailored Phương (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) cung cấp một điều trị chiều dài cuốn sách đánh giá tạm thời về sinh thái và phương pháp liên quan.

• Khảo sát liên quan đến dữ liệu khác (mục 3.6)

Judson (2007) mô tả quá trình kết hợp khảo sát và số liệu hành chính là "thông tin tích hợp," thảo luận về một số ưu điểm của phương pháp này, và cung cấp một số ví dụ.

Một cách khác mà các nhà nghiên cứu có thể sử dụng dấu vết kỹ thuật số và dữ liệu hành chính là một khung mẫu cho những người có đặc điểm cụ thể. Tuy nhiên, truy cập các hồ sơ này sẽ được sử dụng một khung lấy mẫu cũng có thể tạo ra các câu hỏi liên quan đến sự riêng tư (Beskow, Sandler, and Weinberger 2006) .

Về chào bán khuếch đại, phương pháp này không phải là mới vì nó có thể xuất hiện từ cách tôi đã mô tả nó. Cách tiếp cận này có kết nối sâu sắc với ba khu vực lớn trong thống kê-dựa trên mô hình sau phân tầng (Little 1993) , khoản tính (Rubin 2004) , và ước lượng diện tích nhỏ (Rao and Molina 2015) . Nó cũng liên quan đến việc sử dụng các biến thay thế trong nghiên cứu y học (Pepe 1992) .

Ngoài các vấn đề đạo đức liên quan đến việc truy cập dữ liệu dấu vết kỹ thuật số, chào bán khuếch đại cũng có thể được sử dụng để suy ra những đặc điểm nhạy cảm mà mọi người có thể không chọn để tiết lộ trong một cuộc khảo sát (Kosinski, Stillwell, and Graepel 2013) .

Các chi phí và thời gian ước tính trong Blumenstock, Cadamuro, and On (2015) tham khảo thêm để chi phí biến đổi, chi phí của một chi phí khảo sát và bổ sung không bao gồm cố định như chi phí để làm sạch và xử lý các dữ liệu cuộc gọi. Nói chung, chào bán khuếch đại có thể sẽ có chi phí cố định cao và chi phí biến đổi thấp tương tự như thí nghiệm kỹ thuật số (xem Chương 4). Thêm các chi tiết trên các dữ liệu được sử dụng trong Blumenstock, Cadamuro, and On (2015) giấy là trong Blumenstock and Eagle (2010) và Blumenstock and Eagle (2012) . Phương pháp tiếp cận từ nhiều imputuation (Rubin 2004) có thể giúp chụp không chắc chắn trong dự toán từ chào bán khuếch đại. Nếu các nhà nghiên cứu làm khuếch đại yêu cầu chỉ quan tâm đến số lượng tổng hợp, chứ không phải là những đặc điểm cá nhân cấp, sau đó các phương pháp tiếp cận trong King and Lu (2008) và Hopkins and King (2010) có thể hữu ích. Để biết thêm về các phương pháp học máy trong Blumenstock, Cadamuro, and On (2015) , xem James et al. (2013) (giới thiệu nhiều hơn) hoặc Hastie, Tibshirani, and Friedman (2009) (nâng cao hơn). Một phổ biến sách giáo khoa học máy là Murphy (2012) .

Về chào bán làm giàu, các kết quả trong Ansolabehere và Hersh (2012) bản lề trên hai bước chính: 1) khả năng của Catalist để kết hợp nhiều nguồn dữ liệu khác nhau để tạo ra một datafile chủ chính xác và 2) khả năng của Catalist để liên kết các dữ liệu khảo sát chủ datafile của nó. Do đó, Ansolabehere và Hersh kiểm tra từng bước một cách cẩn thận.

Để tạo ra các datafile chủ, Catalist kết hợp hài hòa và các thông tin từ nhiều nguồn khác nhau bao gồm: hồ sơ nhiều biểu quyết các bức ảnh chụp từ mỗi tiểu bang, dữ liệu từ các quốc gia Thay đổi địa chỉ đăng ký của Văn phòng Post, và dữ liệu từ các nhà cung cấp thương mại không xác định khác. Các chi tiết đẫm máu về làm thế nào tất cả làm sạch này và sáp nhập xảy ra ngoài phạm vi của cuốn sách này, nhưng quá trình này, không có vấn đề như thế nào cẩn thận, sẽ tuyên truyền sai sót trong các nguồn dữ liệu ban đầu và sẽ giới thiệu lỗi. Mặc dù Catalist đã sẵn sàng để thảo luận về xử lý dữ liệu và cung cấp một số dữ liệu thô của nó, nó chỉ đơn giản là không thể đối với các nhà nghiên cứu xem xét lại toàn bộ đường ống dữ liệu Catalist. Thay vào đó, các nhà nghiên cứu trong một tình huống mà các tập tin dữ liệu Catalist đã có một số chưa biết, và có lẽ không thể biết, số lượng lỗi. Đây là một mối quan tâm nghiêm trọng bởi vì một nhà phê bình có thể suy đoán rằng sự khác biệt lớn giữa các báo cáo khảo sát trên CCES và các hành vi trong các tập tin dữ liệu tổng Catalist là do sai sót trong các tập tin dữ liệu tổng thể, chứ không phải do sai lạc của người trả lời.

Ansolabehere và Hersh mất hai cách tiếp cận khác nhau để giải quyết các mối quan tâm chất lượng dữ liệu. Bên thứ nhất, ngoài việc so sánh bỏ phiếu tự khai để bỏ phiếu trong các tập tin tổng thể Catalist, các nhà nghiên cứu cũng so sánh tự báo cáo, chủng tộc, tình trạng đăng ký cử tri (ví dụ, đăng ký hoặc không đăng ký) và phương pháp biểu quyết (ví dụ, trong người, vắng mặt lá phiếu, vv) để những giá trị được tìm thấy trong cơ sở dữ liệu Catalist. Đối với bốn biến nhân khẩu học, các nhà nghiên cứu cho thấy mức độ cao hơn nhiều thỏa thuận giữa báo cáo khảo sát và dữ liệu trong file tổng Catalist hơn cho biểu quyết. Như vậy, Catalist tập tin dữ liệu tổng thể xuất hiện để có thông tin chất lượng cao cho những đặc điểm khác so với bỏ phiếu, cho thấy rằng nó không phải là chất lượng tổng thể nghèo. Thứ hai, một phần sử dụng dữ liệu từ Catalist, Ansolabehere và Hersh phát triển ba biện pháp khác nhau về chất lượng của các hồ sơ quận bỏ phiếu, và họ thấy rằng tỷ lệ ước tính trên báo cáo các biểu quyết về cơ bản không liên quan đến bất kỳ các biện pháp chất lượng dữ liệu, kết luận rằng cho thấy tỷ lệ cao hơn-báo cáo không được điều khiển bởi các hạt với chất lượng dữ liệu thấp một cách bất thường.

Với việc tạo ra các tập tin bỏ phiếu tổng thể này, các nguồn thứ hai của lỗi tiềm năng là liên kết các hồ sơ khảo sát với nó. Ví dụ, nếu mối liên kết này được thực hiện không đúng cách có thể dẫn đến việc quá ước tính của sự khác biệt giữa báo cáo và xác nhận hành vi bỏ phiếu (Neter, Maynes, and Ramanathan 1965) . Nếu mỗi người có một, định danh duy nhất ổn định mà là trong cả hai nguồn dữ liệu, sau đó liên kết sẽ là tầm thường. Tuy nhiên, tại Mỹ và hầu hết các nước khác, không có định danh phổ quát. Hơn nữa, ngay cả khi có được như một định danh người có lẽ sẽ do dự để cung cấp cho nó để khảo sát nghiên cứu! Như vậy, Catalist đã phải làm việc liên kết sử dụng định danh không hoàn hảo, trong trường hợp này bốn mẩu thông tin về mỗi người trả lời: tên, giới tính, năm sinh và địa chỉ nhà. Ví dụ, Catalist đã phải quyết định nếu Homie J Simpson trong CCES là người giống như Homer Jay Simpson trong tập tin dữ liệu tổng thể của họ. Trong thực tế, phù hợp là một quá trình khó khăn và lộn xộn, và, để làm cho vấn đề tồi tệ hơn cho các nhà nghiên cứu, Catalist coi kỹ thuật phù hợp với mình để được độc quyền.

Để hợp lệ hóa các thuật toán phù hợp, họ dựa vào hai thách thức. Đầu tiên, Catalist tham gia một cuộc thi phù hợp đã được điều hành bởi một, bên thứ ba độc lập: Tổng công ty MITRE. MITRE cung cấp tất cả những người tham gia hai tập tin dữ liệu ồn ào để được xuất hiện, và các đội khác nhau cạnh tranh để trở lại MITRE các hợp tốt nhất. Bởi vì bản thân MITRE biết kết hợp chính xác họ đã có thể ghi bàn đội. Trong số 40 công ty cạnh tranh, Catalist đứng ở vị trí thứ hai. Đây là loại độc lập, đánh giá của bên thứ ba của công nghệ độc quyền là khá hiếm và vô cùng quý giá; cần cung cấp cho chúng tôi tự tin rằng các thủ tục hợp Catalist của cơ bản tại các nhà nước-of-the-nghệ thuật. Nhưng là nhà nước-of-the-nghệ thuật đủ tốt? Ngoài cạnh tranh hợp này, Ansolabehere và Hersh tạo ra thách thức phù hợp riêng của họ cho Catalist. Từ một dự án trước đó, Ansolabehere và Hersh đã thu thập hồ sơ cử tri từ Florida. Họ cung cấp một số trong những hồ sơ với một số lĩnh vực của họ redacted để Catalist và sau đó so sánh các báo cáo của các trường này để giá trị thực tế của họ Catalist của. May mắn thay, các báo cáo của Catalist là gần với giá trị đã khấu trừ, chỉ ra rằng Catalist có thể phù hợp với hồ sơ cử tri một phần vào tập tin dữ liệu tổng thể của họ. Hai thách thức, từng người một bên thứ ba và một bằng Ansolabehere và Hersh, cho chúng ta tự tin hơn trong việc kết hợp các thuật toán Catalist, mặc dù chúng ta không thể xem xét thực hiện chính xác của mình.

Đã có nhiều nỗ lực trước đó để xác nhận quyền biểu quyết. Đối với một cái nhìn tổng quan của văn học đó, xem Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , và Hanmer, Banks, and White (2014) .

Điều quan trọng là cần lưu ý rằng mặc dù trong trường hợp này các nhà nghiên cứu đã được khuyến khích bởi chất lượng của dữ liệu từ Catalist, đánh giá khác của các nhà cung cấp thương mại đã được ít nhiệt tình. Các nhà nghiên cứu đã tìm thấy chất lượng kém khi dữ liệu từ một cuộc khảo sát với người tiêu dùng tập tin từ thị Systems Group (mà bản thân nó sáp nhập với nhau dữ liệu từ ba nhà cung cấp: Acxiom, Experian, và InfoUSA) (Pasek et al. 2014) . Đó là, các tập tin dữ liệu không phù hợp với trả lời khảo sát các nhà nghiên cứu dự kiến ​​sẽ được chính xác, các datafile đã mất tích dữ liệu cho một số lượng lớn các câu hỏi, và các mô hình dữ liệu bị mất được tương quan với giá trị khảo sát báo cáo (nói cách khác là dữ liệu bị mất là có hệ thống , không phải ngẫu nhiên).

Để biết thêm về kỷ lục liên kết giữa các cuộc điều tra và số liệu hành chính, xem Sakshaug and Kreuter (2012) và Schnell (2013) . Để biết thêm về kỷ lục liên kết nói chung, xem Dunn (1946) và Fellegi and Sunter (1969) (lịch sử) và Larsen and Winkler (2014) (hiện đại). Cách tiếp cận tương tự cũng đã được phát triển trong khoa học máy tính thuộc các tên tuổi như chống trùng lắp dữ liệu, nhận dạng dụ, tên phù hợp, phát hiện trùng lặp, và phát hiện trùng lặp kỷ lục (Elmagarmid, Ipeirotis, and Verykios 2007) . Ngoài ra còn có sự riêng tư bảo tồn các cách tiếp cận để ghi lại mối liên kết mà không đòi hỏi việc truyền tải thông tin nhận dạng cá nhân (Schnell 2013) . Các nhà nghiên cứu tại Facebook đã phát triển một quy trình để probabilisticsly liên kết hồ sơ của họ để hành vi bỏ phiếu (Jones et al. 2013) ; mối liên kết này đã được thực hiện để đánh giá một thí nghiệm mà tôi sẽ nói với bạn về trong chương 4 (Bond et al. 2012) .

Một ví dụ khác của việc kết nối một cuộc khảo sát xã hội quy mô lớn để hồ sơ hành chính của chính phủ đến từ sức khỏe và Khảo sát về hưu và Cục An ninh xã hội. Để biết thêm về nghiên cứu, bao gồm thông tin về các thủ tục đồng ý, xem Olson (1996) và Olson (1999) .

Quá trình kết hợp nhiều nguồn hồ sơ hành chính thành một bậc thầy datafile-quá trình mà Catalist nhân viên-là phổ biến ở các cơ quan thống kê của một số chính phủ các nước. Hai nhà nghiên cứu thống kê Thụy Điển đã viết một cuốn sách chi tiết về chủ đề này (Wallgren and Wallgren 2007) . Đối với một ví dụ về cách tiếp cận này trong một hạt duy nhất tại Hoa Kỳ (Olmstead County, Minnesota; nhà của Mayo Clinic), xem Sauver et al. (2011) . Để biết thêm về các lỗi có thể xuất hiện trong hồ sơ hành chính, xem Groen (2012) .