Apa yang perlu dibaca seterusnya

• Pengenalan (bahagian 3.1)

Banyak tema dalam bab ini juga telah diulangi dalam alamat presiden baru-baru ini di Persatuan Kajian Pendapat Awam Amerika (AAPOR), seperti yang dilakukan oleh Dillman (2002) , Newport (2011) , Santos (2014) , dan Link (2015) .

Untuk lebih lanjut mengenai perbezaan antara penyelidikan kaji selidik dan wawancara mendalam, lihat Small (2009) . Berkaitan dengan wawancara mendalam adalah keluarga pendekatan yang disebut etnografi. Dalam penyelidikan etnografi, penyelidik biasanya menghabiskan lebih banyak masa dengan peserta dalam persekitaran semulajadi mereka. Untuk lebih lanjut mengenai perbezaan antara etnografi dan temu bual mendalam, lihat Jerolmack and Khan (2014) . Untuk lebih lanjut mengenai etnografi digital, lihat Pink et al. (2015) .

Penerangan mengenai sejarah penyelidikan tinjauan terlalu singkat untuk memasukkan banyak perkembangan menarik yang telah berlaku. Untuk lebih banyak latar belakang sejarah, lihat Smith (1976) , Converse (1987) , dan Igo (2008) . Untuk lebih lanjut mengenai idea tiga kajian penyelidikan, lihat Groves (2011) dan Dillman, Smyth, and Christian (2008) (yang memecahkan tiga era sedikit berbeza).

Groves and Kahn (1979) menawarkan pengintipan dalam peralihan dari era pertama hingga kedua dalam penyelidikan tinjauan dengan melakukan perbandingan kepala dan kepala terperinci antara tinjauan tatap muka dan tinjauan telefon. ( ??? ) melihat kembali perkembangan bersejarah kaedah pensampelan rawak-digit.

Untuk lebih lanjut bagaimana penyelidikan tinjauan telah berubah pada masa lalu sebagai tindak balas kepada perubahan dalam masyarakat, lihat Tourangeau (2004) , ( ??? ) , dan Couper (2011) .

• Minta versus mengamati (seksyen 3.2)

Kekuatan dan kelemahan yang diminta dan Baumeister, Vohs, and Funder (2007) telah dibahaskan oleh ahli psikologi (contohnya Baumeister, Vohs, and Funder (2007) ) dan ahli sosiologi (contohnya, Jerolmack and Khan (2014) , Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) ; Jerolmack and Khan (2014) ] perbezaan antara bertanya dan memerhatikan juga timbul dalam bidang ekonomi, di mana penyelidik bercakap tentang keutamaan dinyatakan dan mendedahkan Sebagai contoh, penyelidik boleh meminta responden sama ada mereka lebih suka makan ais krim atau pergi ke gym.. (pilihan keutamaan), atau dapat memerhatikan seberapa kerap orang makan aiskrim dan pergi ke gim (keutamaan mendedahkan). Terdapat keraguan yang mendalam mengenai beberapa jenis data pilihan tertentu dalam ekonomi seperti yang diterangkan dalam Hausman (2012) .

Tema utama dari perdebatan ini ialah tingkah laku yang dilaporkan tidak selalu tepat. Tetapi, seperti yang dijelaskan dalam bab 2, sumber data besar mungkin tidak tepat, mereka mungkin tidak dapat dikumpulkan berdasarkan sampel minat, dan mereka mungkin tidak dapat diakses oleh penyelidik. Oleh itu, saya fikir, dalam sesetengah keadaan, kelakuan yang dilaporkan boleh berguna. Selain itu, tema utama kedua dari perdebatan ini ialah laporan mengenai emosi, pengetahuan, harapan, dan pendapat tidak selalu tepat. Tetapi, jika maklumat tentang negeri-negeri dalaman ini diperlukan oleh penyelidik-sama ada untuk membantu menjelaskan beberapa tingkah laku atau sebagai perkara yang dijelaskan-kemudian bertanya mungkin sesuai. Sudah tentu, pembelajaran tentang negeri-negeri dalaman dengan bertanya soalan boleh menjadi masalah kerana kadang-kadang responden sendiri tidak mengetahui keadaan dalaman mereka (Nisbett and Wilson 1977) .

• Kesilapan jumlah tinjauan (seksyen 3.3)

Bab 1 dari Groves (2004) melakukan pekerjaan yang sangat baik dalam menyesuaikan istilah terminologi kadang-kadang tidak konsisten yang digunakan oleh penyelidik kaji selidik untuk menggambarkan keseluruhan kerangka kesilapan tinjauan. Untuk rawatan panjang buku keseluruhan rangka kerja ralat tinjauan, lihat Groves et al. (2009) , dan untuk gambaran sejarah, lihat Groves and Lyberg (2010) .

Idea untuk menguraikan kesilapan dalam kecenderungan dan varians juga muncul dalam pembelajaran mesin; lihat, sebagai contoh, seksyen 7.3 Hastie, Tibshirani, and Friedman (2009) . Ini sering membawa penyelidik untuk bercakap mengenai "bias-variance" trade-off.

Dari segi perwakilan, pengenalan yang hebat kepada isu-isu yang tidak bertanggungjawab dan kecenderungan yang tidak bertindak balas adalah laporan Majlis Penyelidikan Kebangsaan Bukan Respon dalam Ukur Sains Sosial: Agenda Penyelidikan (2013) . Satu lagi gambaran berguna disediakan oleh Groves (2006) . Juga, keseluruhan isu khas Jurnal Perangkaan Rasmi , Pendapat Awam Suku Tahunan , dan Annals Akademi Sains Politik dan Sosial Amerika telah diterbitkan pada topik yang tidak bertindak balas. Akhirnya, terdapat banyak cara yang berbeza untuk mengira kadar tindak balas; pendekatan ini diterangkan secara terperinci dalam laporan oleh The American Association of Public Opinion Researchers (AAPOR) ( ??? ) .

Untuk maklumat lanjut mengenai pungutan Literary Digest tahun 1936, lihat Bryson (1976) , Squire (1988) , Cahalan (1989) , dan Lusinchi (2012) . Untuk perbincangan lain mengenai tinjauan ini sebagai peringatan perumpamaan terhadap pengumpulan data Gayo-Avello (2011) , lihat Gayo-Avello (2011) . Pada tahun 1936, George Gallup menggunakan bentuk persampelan yang lebih canggih dan dapat menghasilkan anggaran yang lebih tepat dengan sampel yang lebih kecil. Kejayaan Gallup terhadap Literary Digest merupakan satu peristiwa penting dalam pembangunan penyelidikan tinjauan seperti yang dijelaskan dalam bab 3 @ converse_survey_1987; bab 4 Ohmer (2006) ; dan bab 3 dari @ igo_averaged_2008.

Dari segi ukuran, sumber pertama yang hebat untuk merekabentuk soal selidik adalah Bradburn, Sudman, and Wansink (2004) . Untuk rawatan yang lebih maju, lihat Schuman and Presser (1996) , yang khusus memberi tumpuan kepada soalan sikap, dan Saris and Gallhofer (2014) , yang lebih umum. Pendekatan yang sedikit berbeza untuk pengukuran diambil dalam psikometrik, seperti diterangkan dalam ( ??? ) . Lebih banyak mengenai pretesting boleh didapati di Presser and Blair (1994) , Presser et al. (2004) , dan bab 8 Groves et al. (2009) . Untuk lebih lanjut mengenai eksperimen tinjauan, lihat Mutz (2011) .

Dari segi kos, rawatan klasik, panjang buku mengenai perdagangan antara kos kaji selidik dan kesilapan kaji selidik adalah Groves (2004) .

• Siapa yang boleh bertanya (seksyen 3.4)

Dua rawatan panjang buku klasik bagi pensampelan kebarangkalian standard dan anggaran ialah Lohr (2009) (lebih banyak pengenalan) dan Särndal, Swensson, and Wretman (2003) (lebih maju). Rawatan panjang buku klasik mengenai post-stratification dan kaedah yang berkaitan ialah Särndal and Lundström (2005) . Dalam sesetengah tetapan umur digital, para penyelidik tahu agak sedikit tentang nonrespondents, yang tidak sering berlaku pada masa lalu. Pelbagai bentuk penyesuaian yang tidak diskriminasi adalah mungkin apabila para penyelidik mempunyai maklumat mengenai nonrespondents, seperti yang dijelaskan oleh Kalton and Flores-Cervantes (2003) dan Smith (2011) .

Kajian Xbox oleh W. Wang et al. (2015) menggunakan teknik yang disebut regresi multilevel dan post-stratification ("Mr P.") yang membolehkan para penyelidik untuk menganggarkan cara kumpulan walaupun ada banyak, banyak kumpulan. Walaupun ada beberapa perdebatan tentang kualiti anggaran dari teknik ini, nampaknya seperti kawasan yang menjanjikan untuk diterokai. Teknik ini mula-mula digunakan di Park, Gelman, and Bafumi (2004) , dan telah digunakan dan diperdebatkan (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Untuk lebih lanjut mengenai hubungan antara berat individu dan berat kumpulan, lihat Gelman (2007) .

Untuk pendekatan lain untuk menimbang tinjauan web, lihat Schonlau et al. (2009) , Bethlehem (2010) , dan Valliant and Dever (2011) . Panel dalam talian boleh menggunakan persampelan kebarangkalian atau persampelan bukan kebarangkalian. Untuk lebih banyak lagi panel dalam talian, lihat Callegaro et al. (2014) .

Kadang-kala, penyelidik mendapati bahawa sampel kebarangkalian dan sampel bukan kebarangkalian menghasilkan anggaran kualiti yang serupa (Ansolabehere and Schaffner 2014) , tetapi perbandingan lain mendapati bahawa sampel bukan kebarangkalian lebih buruk (Malhotra and Krosnick 2007; Yeager et al. 2011) . Satu sebab yang mungkin untuk perbezaan ini adalah bahawa sampel bukan kebarangkalian telah meningkat dari semasa ke semasa. Untuk pandangan yang lebih pesimis tentang kaedah persampelan bukan kebarangkalian lihat Pasukan Petugas AAPOR pada Persampelan Tidak Berpelembungan (Baker et al. 2013) , dan saya juga mengesyorkan membaca ulasan yang mengikuti laporan ringkasan.

• Cara bertanya (seksyen 3.5)

Conrad and Schober (2008) adalah volume edited bertajuk Memandangkan Tinjauan Tinjauan Masa Depan , dan ia menawarkan pelbagai pandangan mengenai masa depan bertanya. Couper (2011) menangani tema yang sama, dan Schober et al. (2015) menawarkan contoh yang bagus tentang bagaimana kaedah pengumpulan data yang disesuaikan dengan tetapan baru boleh menghasilkan data berkualiti tinggi. Schober and Conrad (2015) menawarkan hujah yang lebih umum tentang meneruskan penyesuaian proses penyelidikan tinjauan untuk memadankan perubahan dalam masyarakat.

Tourangeau and Yan (2007) meninjau masalah kecenderungan keinginan sosial dalam soalan sensitif, dan Lind et al. (2013) menawarkan beberapa kemungkinan sebab mengapa orang mungkin mendedahkan maklumat yang lebih sensitif dalam wawancara yang diberikan oleh komputer. Untuk lebih banyak peranan penemuduga manusia dalam meningkatkan kadar penyertaan dalam tinjauan, lihat Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) , dan Schaeffer et al. (2013) . Untuk lebih lanjut mengenai kaji selidik bercampur-campur, lihat Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) menawarkan rawatan jangka panjang buku penilaian ekologi dan kaedah yang berkaitan.

Untuk nasihat lanjut tentang membuat tinjauan pengalaman yang menyeronokkan dan berharga bagi peserta, lihat kerja Kaedah Reka Bentuk Disesuaikan (Dillman, Smyth, and Christian 2014) . Contoh lain untuk menggunakan aplikasi Facebook untuk kaji selidik sains sosial, lihat Bail (2015) .

• Survei dikaitkan dengan sumber data besar (seksyen 3.6)

Judson (2007) menerangkan proses menggabungkan tinjauan dan data pentadbiran sebagai "integrasi maklumat" dan membincangkan beberapa kelebihan pendekatan ini, serta menawarkan beberapa contoh.

Mengenai permintaan yang diperkaya, terdapat banyak percubaan sebelumnya untuk mengesahkan pengundian. Untuk gambaran keseluruhan kesusasteraan itu, lihat Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , dan Berent, Krosnick, and Lupia (2016) . Lihat Berent, Krosnick, and Lupia (2016) untuk pandangan yang lebih skeptikal tentang hasil yang dibentangkan dalam Ansolabehere and Hersh (2012) .

Adalah penting untuk diperhatikan bahawa walaupun Ansolabehere dan Hersh digalakkan oleh kualiti data dari Catalist, penilaian lain mengenai vendor komersial kurang bersemangat. Pasek et al. (2014) mendapati kualiti yang tidak baik apabila data dari tinjauan dibandingkan dengan fail pengguna dari Marketing Systems Group (yang sendiri menggabungkan data dari tiga penyedia: Acxiom, Experian, dan InfoUSA). Iaitu, fail data tidak sepadan dengan tindak balas tinjauan yang diharapkan oleh para penyelidik, fail pengguna telah kehilangan data untuk banyak soalan, dan corak data yang hilang itu dikaitkan dengan nilai tinjauan yang dilaporkan (dengan kata lain, yang hilang data adalah sistematik, tidak rawak).

Untuk lebih lanjut mengenai hubungan rakaman antara tinjauan dan data pentadbiran, lihat Sakshaug and Kreuter (2012) dan Schnell (2013) . Untuk lebih lanjut mengenai hubungan rakaman secara umum, lihat Dunn (1946) dan Fellegi and Sunter (1969) (sejarah) dan Larsen and Winkler (2014) (moden). Pendekatan yang serupa juga telah dibangunkan dalam sains komputer di bawah nama-nama seperti deduplikasi data, pengenalpastian contoh, padanan nama, pendua pendua, dan pengesanan rekod pendua (Elmagarmid, Ipeirotis, and Verykios 2007) . Terdapat juga pendekatan pemeliharaan privasi untuk merakam hubungan yang tidak memerlukan penghantaran maklumat mengenal pasti secara peribadi (Schnell 2013) . Penyelidik di Facebook telah membangun satu prosedur untuk mengaitkan rekod mereka untuk tingkah laku pengundian (Jones et al. 2013) ; pautan ini dilakukan untuk menilai satu eksperimen yang akan saya beritahu pada bab 4 (Bond et al. 2012) . Untuk maklumat lanjut mengenai mendapatkan persetujuan untuk hubungan rakaman, lihat Sakshaug et al. (2012) .

Contoh lain yang menghubungkan kaji selidik sosial berskala besar ke rekod pentadbiran kerajaan datang dari Kajian Kesihatan dan Persaraan dan Pentadbiran Keselamatan Sosial. Untuk lebih lanjut mengenai kajian itu, termasuk maklumat mengenai prosedur persetujuan, lihat Olson (1996, 1999) .

Proses menggabungkan banyak sumber rekod pentadbiran ke dalam fail data induk-proses yang digunakan Catalist-adalah biasa di pejabat statistik beberapa kerajaan kebangsaan. Dua penyelidik dari Statistik Sweden telah menulis buku terperinci mengenai topik itu (Wallgren and Wallgren 2007) . Untuk contoh pendekatan ini di satu daerah di Amerika Syarikat (Olmstead County, Minnesota; rumah Klinik Mayo), lihat Sauver et al. (2011) . Untuk maklumat lanjut mengenai ralat yang boleh muncul dalam rekod pentadbiran, lihat Groen (2012) .

Cara lain di mana penyelidik boleh menggunakan sumber data yang besar dalam penyelidikan tinjauan adalah sebagai bingkai persampelan bagi orang yang mempunyai ciri-ciri tertentu. Malangnya, pendekatan ini dapat menimbulkan persoalan yang berkaitan dengan privasi (Beskow, Sandler, and Weinberger 2006) .

Mengenai permintaan yang diperkuat, pendekatan ini bukanlah sesuatu yang baru kerana ia mungkin muncul dari bagaimana saya menerangkannya. Ia mempunyai hubungan yang mendalam kepada tiga bidang besar dalam statistik: model pasca stratifikasi (Little 1993) , imputasi (Rubin 2004) , dan anggaran kawasan kecil (Rao and Molina 2015) . Ia juga berkaitan dengan penggunaan pemboleh ubah pengganti dalam penyelidikan perubatan (Pepe 1992) .

Anggaran kos dan masa dalam Blumenstock, Cadamuro, and On (2015) merujuk lebih banyak kepada kos berubah-kos satu tinjauan tambahan-dan tidak termasuk kos tetap seperti kos pembersihan dan memproses data panggilan. Secara umum, permintaan yang diperkuat mungkin akan mempunyai kos tetap tinggi dan kos pemboleh ubah yang rendah sama dengan eksperimen digital (lihat bab 4). Untuk lebih lanjut mengenai tinjauan telefon berasaskan telefon di negara-negara membangun, lihat Dabalen et al. (2016) .

Untuk idea-idea tentang cara untuk diperkuatkan bertanya dengan lebih baik, saya akan mengesyorkan untuk mempelajari lebih lanjut mengenai pelbagai imputasi (Rubin 2004) . Selain itu, sekiranya penyelidik melakukan penjelasan mengenai penjagaan agregat, bukannya ciri-ciri individu, maka pendekatan di King and Lu (2008) dan Hopkins and King (2010) mungkin berguna. Akhirnya, untuk lebih lanjut mengenai pendekatan pembelajaran mesin di Blumenstock, Cadamuro, and On (2015) , lihat James et al. (2013) (lebih pengenalan) atau Hastie, Tibshirani, and Friedman (2009) (lebih maju).

Satu isu etika mengenai bertanya yang diperkuatkan ialah ia boleh digunakan untuk mengenalpasti sifat-sifat sensitif yang orang tidak boleh memilih untuk mendedahkan dalam kaji selidik seperti yang diterangkan dalam Kosinski, Stillwell, and Graepel (2013) .