Apa yang harus dibaca selanjutnya

• Pendahuluan (bagian 3.1)

Banyak tema dalam bab ini juga telah disuarakan dalam pidato kepresidenan baru-baru ini di American Association of Public Opinion Research (AAPOR), seperti yang dilakukan oleh Dillman (2002) , Newport (2011) , Santos (2014) , dan Link (2015) .

Untuk lebih lanjut tentang perbedaan antara penelitian survei dan wawancara mendalam, lihat Small (2009) . Terkait dengan wawancara mendalam adalah keluarga pendekatan yang disebut etnografi. Dalam penelitian etnografi, peneliti umumnya menghabiskan lebih banyak waktu dengan peserta di lingkungan alaminya. Untuk lebih lanjut tentang perbedaan antara etnografi dan wawancara mendalam, lihat Jerolmack and Khan (2014) . Untuk lebih lanjut tentang etnografi digital, lihat Pink et al. (2015) .

Gambaran saya tentang sejarah penelitian survei terlalu singkat untuk memasukkan banyak perkembangan menarik yang telah terjadi. Untuk latar belakang yang lebih historis, lihat Smith (1976) , Converse (1987) , dan Igo (2008) . Untuk lebih lanjut tentang gagasan tiga era penelitian survei, lihat Groves (2011) dan Dillman, Smyth, and Christian (2008) (yang memecah tiga era sedikit berbeda).

Groves and Kahn (1979) menawarkan mengintip di dalam transisi dari era pertama hingga kedua dalam penelitian survei dengan melakukan perbandingan langsung antara survei tatap muka dan telepon. ( ??? ) melihat kembali perkembangan historis dari metode sampling acak-digit-panggilan.

Untuk lebih lanjut bagaimana penelitian survei telah berubah di masa lalu sebagai tanggapan terhadap perubahan dalam masyarakat, lihat Tourangeau (2004) , ( ??? ) , dan Couper (2011) .

• Bertanya lawan mengamati (bagian 3.2)

Kekuatan dan kelemahan dari bertanya dan mengamati telah diperdebatkan oleh psikolog (misalnya, Baumeister, Vohs, and Funder (2007) ) dan sosiolog (misalnya, Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) ; Jerolmack and Khan (2014) ] Perbedaan antara bertanya dan mengamati juga muncul dalam ekonomi, di mana peneliti berbicara tentang preferensi yang dinyatakan dan terungkap.Sebagai contoh, seorang peneliti dapat menanyakan responden apakah mereka lebih suka makan es krim atau pergi ke gym (menyatakan preferensi), atau dapat mengamati seberapa sering orang makan es krim dan pergi ke gym (preferensi yang terungkap) .Ada skeptisisme mendalam tentang jenis tertentu dari data preferensi yang dinyatakan dalam ekonomi seperti yang dijelaskan dalam Hausman (2012) .

Tema utama dari perdebatan ini adalah bahwa perilaku yang dilaporkan tidak selalu akurat. Namun, seperti yang dijelaskan di bab 2, sumber data besar mungkin tidak akurat, mereka mungkin tidak dikumpulkan pada sampel yang menarik, dan mereka mungkin tidak dapat diakses oleh peneliti. Jadi, saya pikir, dalam beberapa situasi, perilaku yang dilaporkan dapat berguna. Selanjutnya, tema utama kedua dari perdebatan ini adalah bahwa laporan tentang emosi, pengetahuan, harapan, dan pendapat tidak selalu akurat. Tetapi, jika informasi tentang keadaan internal ini diperlukan oleh para peneliti — baik untuk membantu menjelaskan beberapa perilaku atau sebagai hal yang harus dijelaskan — kemudian meminta mungkin sesuai. Tentu saja, belajar tentang keadaan internal dengan mengajukan pertanyaan dapat menjadi masalah karena kadang-kadang responden sendiri tidak menyadari keadaan internal mereka (Nisbett and Wilson 1977) .

• Total kesalahan survei (bagian 3.3)

Bab 1 Groves (2004) melakukan pekerjaan yang sangat baik mendamaikan istilah yang kadang-kadang tidak konsisten yang digunakan oleh peneliti survei untuk menggambarkan kerangka kesalahan survei total. Untuk perawatan sepanjang buku dari kerangka kesalahan survei total, lihat Groves et al. (2009) , dan untuk tinjauan historis, lihat Groves and Lyberg (2010) .

Ide membusuk kesalahan menjadi bias dan varians juga muncul dalam pembelajaran mesin; lihat, misalnya, bagian 7.3 dari Hastie, Tibshirani, and Friedman (2009) . Hal ini sering mengarahkan para peneliti untuk berbicara tentang "bias-varians" trade-off.

Dalam hal representasi, pengantar yang bagus untuk isu-isu nonresponse dan nonresponse bias adalah laporan National Research Council Nonresponse in Social Science Surveys: A Research Agenda (2013) . Gambaran berguna lainnya disediakan oleh Groves (2006) . Juga, seluruh edisi khusus dari Jurnal Statistik Resmi , Opini Publik Quarterly , dan Annals of American Academy of Political and Social Science telah diterbitkan pada topik non-respon. Akhirnya, sebenarnya ada banyak cara untuk menghitung tingkat respons; pendekatan ini dijelaskan secara rinci dalam laporan oleh American Association of Public Opinion Researchers (AAPOR) ( ??? ) .

Untuk lebih lanjut tentang jajak pendapat Cahalan (1989) Literary Digest , lihat Bryson (1976) , Squire (1988) , Cahalan (1989) , dan Lusinchi (2012) . Untuk pembahasan lain dari jajak pendapat ini sebagai peringatan perumpamaan terhadap pengumpulan data serampangan, lihat Gayo-Avello (2011) . Pada tahun 1936, George Gallup menggunakan bentuk sampling yang lebih canggih dan mampu menghasilkan perkiraan yang lebih akurat dengan sampel yang jauh lebih kecil. Keberhasilan Gallup atas Intisari Sastra adalah tonggak penting dalam pengembangan riset survei seperti yang dijelaskan dalam bab 3 dari @ converse_survey_1987; bab 4 dari Ohmer (2006) ; dan bab 3 dari @ igo_averaged_2008.

Dalam hal pengukuran, sumber pertama yang baik untuk merancang kuesioner adalah Bradburn, Sudman, and Wansink (2004) . Untuk perawatan lebih lanjut, lihat Schuman and Presser (1996) , yang secara khusus berfokus pada pertanyaan sikap, dan Saris and Gallhofer (2014) , yang lebih umum. Pendekatan yang sedikit berbeda untuk pengukuran diambil dalam psikometri, seperti yang dijelaskan dalam ( ??? ) . Lebih lanjut tentang pretesting tersedia di Presser and Blair (1994) , Presser et al. (2004) , dan bab 8 dari Groves et al. (2009) . Untuk lebih lanjut tentang eksperimen survei, lihat Mutz (2011) .

Dalam hal biaya, klasik, buku-panjang perawatan trade-off antara biaya survei dan kesalahan survei Groves (2004) .

• Siapa yang ditanyakan (bagian 3.4)

Dua buku klasik perawatan panjang sampling probabilitas standar dan estimasi adalah Lohr (2009) (lebih pengantar) dan Särndal, Swensson, and Wretman (2003) (lebih maju). Sebuah pengobatan buku klasik panjang pasca-stratifikasi dan metode terkait adalah Särndal and Lundström (2005) . Dalam beberapa pengaturan era digital, para peneliti tahu sedikit tentang nonrespondents, yang tidak sering benar di masa lalu. Berbagai bentuk penyesuaian nonresponse dimungkinkan ketika peneliti memiliki informasi tentang nonrespondents, seperti yang dijelaskan oleh Kalton and Flores-Cervantes (2003) dan Smith (2011) .

Studi Xbox oleh W. Wang et al. (2015) menggunakan teknik yang disebut regresi multilevel dan pasca-stratifikasi ("Mr P.") yang memungkinkan peneliti untuk memperkirakan kelompok berarti bahkan ketika ada banyak, banyak kelompok. Meskipun ada perdebatan tentang kualitas perkiraan dari teknik ini, sepertinya daerah yang menjanjikan untuk dijelajahi. Teknik ini pertama kali digunakan di Park, Gelman, and Bafumi (2004) , dan telah ada penggunaan dan perdebatan selanjutnya (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Untuk lebih lanjut tentang hubungan antara bobot individu dan bobot kelompok, lihat Gelman (2007) .

Untuk pendekatan lain untuk membobot survei web, lihat Schonlau et al. (2009) , Bethlehem (2010) , dan Valliant and Dever (2011) . Panel online dapat menggunakan sampling probabilitas atau sampling non-probabilitas. Untuk lebih lanjut tentang panel online, lihat Callegaro et al. (2014) .

Kadang-kadang, para peneliti telah menemukan bahwa sampel probabilitas dan sampel non-probabilitas menghasilkan perkiraan kualitas yang serupa (Ansolabehere and Schaffner 2014) , tetapi perbandingan lain telah menemukan bahwa sampel non-probabilitas lebih buruk (Malhotra and Krosnick 2007; Yeager et al. 2011) . Salah satu alasan yang mungkin untuk perbedaan ini adalah bahwa sampel non-probabilitas telah meningkat seiring waktu. Untuk pandangan yang lebih pesimis tentang metode sampling non-probabilitas, lihat Task Force AAPOR tentang Non-Probability Sampling (Baker et al. 2013) , dan saya juga merekomendasikan membaca komentar yang mengikuti laporan ringkasan.

• Bagaimana cara bertanya (bagian 3.5)

Conrad and Schober (2008) adalah volume yang diedit berjudul Membayangkan Survei Wawancara Masa Depan , dan menawarkan berbagai sudut pandang tentang masa depan mengajukan pertanyaan. Couper (2011) membahas tema serupa, dan Schober et al. (2015) menawarkan contoh bagus tentang bagaimana metode pengumpulan data yang disesuaikan dengan pengaturan baru dapat menghasilkan data berkualitas lebih tinggi. Schober and Conrad (2015) menawarkan argumen yang lebih umum tentang terus menyesuaikan proses riset survei untuk menyesuaikan perubahan dalam masyarakat.

Tourangeau and Yan (2007) meninjau isu-isu bias desirabilitas sosial dalam pertanyaan-pertanyaan sensitif, dan Lind et al. (2013) menawarkan beberapa kemungkinan alasan mengapa orang mungkin mengungkapkan informasi yang lebih sensitif dalam wawancara yang dikelola oleh komputer. Untuk lebih lanjut tentang peran pewawancara manusia dalam meningkatkan tingkat partisipasi dalam survei, lihat Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) , dan Schaeffer et al. (2013) . Untuk lebih lanjut tentang survei mixed-mode, lihat Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) menawarkan pengobatan panjang-buku penilaian sesaat ekologis dan metode terkait.

Untuk saran lebih lanjut tentang membuat survei pengalaman yang menyenangkan dan berharga bagi peserta, lihat bekerja pada Metode Desain Disesuaikan (Dillman, Smyth, and Christian 2014) . Untuk contoh menarik lain menggunakan aplikasi Facebook untuk survei ilmu sosial, lihat Bail (2015) .

• Survei terkait dengan sumber data besar (bagian 3.6)

Judson (2007) menjelaskan proses menggabungkan survei dan data administrasi sebagai "integrasi informasi" dan membahas beberapa keuntungan dari pendekatan ini, serta menawarkan beberapa contoh.

Mengenai permintaan yang diperkaya, ada banyak upaya sebelumnya untuk memvalidasi pemungutan suara. Untuk ikhtisar literatur itu, lihat Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , dan Berent, Krosnick, and Lupia (2016) . Lihat Berent, Krosnick, and Lupia (2016) untuk pandangan yang lebih skeptis dari hasil yang disajikan di Ansolabehere and Hersh (2012) .

Penting untuk dicatat bahwa meskipun Ansolabehere dan Hersh didorong oleh kualitas data dari Catalist, evaluasi vendor komersial lainnya kurang antusias. Pasek et al. (2014) menemukan kualitas yang buruk ketika data dari survei dibandingkan dengan file konsumen dari Grup Sistem Pemasaran (yang dengan sendirinya menggabungkan data dari tiga penyedia: Acxiom, Experian, dan InfoUSA). Artinya, file data tidak sesuai dengan respons survei yang diharapkan peneliti benar, file konsumen kehilangan data untuk sejumlah besar pertanyaan, dan pola data yang hilang berkorelasi dengan nilai survei yang dilaporkan (dengan kata lain, yang hilang data sistematis, tidak acak).

Untuk lebih lanjut tentang hubungan catatan antara survei dan data administrasi, lihat Sakshaug and Kreuter (2012) dan Schnell (2013) . Untuk lebih lanjut tentang hubungan catatan pada umumnya, lihat Dunn (1946) dan Fellegi and Sunter (1969) (historis) dan Larsen and Winkler (2014) (modern). Pendekatan serupa juga telah dikembangkan dalam ilmu komputer di bawah nama-nama seperti deduplication data, identifikasi instance, pencocokan nama, deteksi duplikat, dan deteksi duplikat catatan (Elmagarmid, Ipeirotis, and Verykios 2007) . Ada juga pendekatan pelestarian privasi untuk merekam tautan yang tidak memerlukan transmisi informasi identifikasi pribadi (Schnell 2013) . Para peneliti di Facebook mengembangkan prosedur untuk menghubungkan catatan mereka dengan perilaku suara secara probabilistik (Jones et al. 2013) ; hubungan ini dilakukan untuk mengevaluasi percobaan yang akan saya ceritakan di bab 4 (Bond et al. 2012) . Untuk lebih lanjut tentang mendapatkan persetujuan untuk hubungan rekaman, lihat Sakshaug et al. (2012) .

Contoh lain dari menghubungkan survei sosial berskala besar dengan catatan administrasi pemerintah berasal dari Survei Kesehatan dan Pensiun dan Administrasi Jaminan Sosial. Untuk lebih lanjut tentang studi itu, termasuk informasi tentang prosedur persetujuan, lihat Olson (1996, 1999) .

Proses penggabungan banyak sumber catatan administratif ke dalam data utama - proses yang digunakan oleh Catalist - umum di kantor-kantor statistik beberapa pemerintah nasional. Dua peneliti dari Statistika Swedia telah menulis sebuah buku rinci tentang topik ini (Wallgren and Wallgren 2007) . Untuk contoh pendekatan ini di satu daerah di Amerika Serikat (Olmstead County, Minnesota; rumah dari Mayo Clinic), lihat Sauver et al. (2011) . Untuk lebih lanjut tentang kesalahan yang dapat muncul dalam catatan administrasi, lihat Groen (2012) .

Cara lain di mana peneliti dapat menggunakan sumber data besar dalam penelitian survei adalah sebagai kerangka sampling untuk orang-orang dengan karakteristik tertentu. Sayangnya, pendekatan ini dapat menimbulkan pertanyaan terkait dengan privasi (Beskow, Sandler, and Weinberger 2006) .

Mengenai permintaan yang diperkuat, pendekatan ini tidak baru karena mungkin muncul dari bagaimana saya mendeskripsikannya. Ini memiliki hubungan yang mendalam dengan tiga bidang besar dalam statistik: model-based post-stratification (Little 1993) , imputasi (Rubin 2004) , dan estimasi area kecil (Rao and Molina 2015) . Hal ini juga terkait dengan penggunaan variabel pengganti dalam penelitian medis (Pepe 1992) .

Perkiraan biaya dan waktu di Blumenstock, Cadamuro, and On (2015) lebih mengacu pada biaya variabel — biaya satu survei tambahan — dan tidak termasuk biaya tetap seperti biaya pembersihan dan pemrosesan data panggilan. Secara umum, permintaan yang diperkuat mungkin akan memiliki biaya tetap tinggi dan biaya variabel rendah yang serupa dengan eksperimen digital (lihat bab 4). Untuk lebih lanjut tentang survei berbasis ponsel di negara berkembang, lihat Dabalen et al. (2016) .

Untuk gagasan tentang cara melakukan permintaan yang diperkuat dengan lebih baik, saya akan merekomendasikan untuk mempelajari lebih lanjut tentang berbagai imputasi (Rubin 2004) . Juga, jika para peneliti melakukan perawatan bertanya yang diperkuat tentang jumlah agregat, daripada ciri-ciri tingkat individu, maka pendekatan dalam King and Lu (2008) dan Hopkins and King (2010) mungkin berguna. Akhirnya, untuk lebih banyak tentang pendekatan pembelajaran mesin di Blumenstock, Cadamuro, and On (2015) , lihat James et al. (2013) (lebih pengantar) atau Hastie, Tibshirani, and Friedman (2009) (lebih maju).

Salah satu masalah etis mengenai permintaan yang diperkuat adalah bahwa hal itu dapat digunakan untuk menyimpulkan sifat-sifat sensitif yang orang mungkin tidak memilih untuk mengungkapkan dalam survei seperti yang dijelaskan dalam Kosinski, Stillwell, and Graepel (2013) .