3.3.2 Pengukuran

Pengukuran adalah mengenai pendapat responden yang difikirkan dan dilakukan oleh responden daripada apa yang mereka katakan.

Di samping masalah perwakilan, jumlah kerangka kesilapan tinjauan menunjukkan bahawa sumber kesilapan kedua utama adalah pengukuran : bagaimana kita membuat kesimpulan dari jawapan yang responden memberikan kepada soalan-soalan kami. Ternyata jawaban yang kami terima, dan oleh itu kesimpulan yang kami buat, boleh bergantung secara kritikal-dan kadang-kadang mengejutkan cara-dengan tepat bagaimana kami bertanya. Mungkin tidak ada yang menggambarkan titik penting ini lebih baik daripada lelucon dalam buku Menarik Soalan oleh Norman Bradburn, Seymour Sudman, dan Brian Wansink (2004) :

Dua imam, Dominican dan Jesuit, sedang berbincang sama ada ia adalah satu kesalahan yang merokok dan berdoa pada masa yang sama. Selepas gagal mencapai kesimpulan, setiap pergi untuk berunding unggul masing beliau. The Dominican berkata, "Apa yang katakan unggul anda?"

The Jesuit akan menjawab: "Beliau berkata ia adalah baik-baik saja."

"Itu lucu" Dominican menjawab, "Penyelia saya berkata ia adalah satu dosa."

The Jesuit berkata, "Apa yang kamu meminta petunjuk?" The Dominican menjawab, "Saya bertanya kepadanya jika ia adalah baik-baik saja untuk merokok ketika berdoa." "Oh" kata Jesuit, "Saya bertanya jika ia adalah OK untuk berdoa sambil merokok."

Di luar jenaka khusus ini, penyelidik kaji selidik telah mendokumenkan banyak cara sistematik bahawa apa yang anda pelajari bergantung pada bagaimana anda bertanya. Sebenarnya, isu yang paling utama pada jenaka ini mempunyai nama dalam komuniti penyelidikan tinjauan: kesan bentuk soalan (Kalton and Schuman 1982) . Untuk melihat bagaimana kesan bentuk soalan mungkin memberi kesan kepada tinjauan sebenar, pertimbangkan dua soalan kaji selidik yang sangat serupa ini:

• "Berapa banyak yang anda bersetuju dengan kenyataan berikut: Individu dipersalahkan lebih daripada keadaan sosial untuk jenayah dan pelanggaran hukum di negara ini."
• "Berapa banyak yang anda bersetuju dengan kenyataan berikut: keadaan sosial adalah dipersalahkan lebih daripada individu untuk jenayah dan terkawal di negara ini."

Walaupun kedua-dua soalan kelihatan mengukur perkara yang sama, mereka menghasilkan hasil yang berbeza dalam eksperimen kajian sebenar (Schuman and Presser 1996) . Apabila ditanya satu cara, kira-kira 60% daripada responden melaporkan bahawa individu lebih bersalah atas jenayah, tetapi apabila ditanya dengan cara lain, kira-kira 60% melaporkan bahawa keadaan sosial lebih menyalahkan (angka 3.3). Dengan kata lain, perbezaan kecil antara kedua-dua soalan ini boleh membawa penyelidik ke kesimpulan yang berbeza.

Rajah 3.3: Hasil daripada percubaan tinjauan menunjukkan bahawa para penyelidik boleh mendapatkan jawapan yang berbeza bergantung pada bagaimana mereka menanyakan soalan. Majoriti responden bersetuju bahawa individu lebih bersalah daripada keadaan sosial untuk jenayah dan keburukan. Dan majoriti responden bersetuju dengan sebaliknya: bahawa keadaan sosial lebih bertanggungjawab daripada individu. Diadaptasi dari Schuman and Presser (1996) , jadual 8.1.

Di samping struktur soalan, responden juga boleh memberi jawapan yang berbeza, bergantung kepada kata-kata khusus yang digunakan. Sebagai contoh, untuk mengukur pendapat mengenai keutamaan kerajaan, responden telah membaca dengan segera:

"Kita berhadapan dengan pelbagai masalah di negara ini, tidak ada yang boleh diselesaikan dengan mudah atau murah. Saya akan menamakan beberapa masalah-masalah ini, dan bagi setiap satu saya mahu anda beritahu saya sama ada anda fikir kita menghabiskan terlalu banyak wang di atasnya, wang terlalu sedikit, atau kira-kira jumlah yang betul. "

Seterusnya, separuh daripada responden ditanya mengenai "kebajikan" dan separuh ditanya mengenai "bantuan untuk golongan miskin." Walaupun ini mungkin kelihatan seperti dua frasa yang berlainan untuk perkara yang sama, mereka menimbulkan hasil yang sangat berbeza (angka 3.4); Amerika melaporkan lebih menyokong "bantuan kepada golongan miskin" daripada "kebajikan" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Rajah 3.4: Hasil daripada eksperimen kaji selidik menunjukkan bahawa responden lebih menyokong "bantuan kepada golongan miskin" daripada "kebajikan." Ini adalah contoh dari kesan kata-kata soalan di mana jawapan yang diterima oleh para penyelidik bergantung pada tepat perkataan yang mereka gunakan dalam soalan mereka. Diadaptasi dari Huber and Paris (2013) , jadual A1.

Oleh kerana contoh-contoh ini mengenai kesan bentuk soalan dan kesan perkataan menunjukkan, jawapan yang diterima penyelidik dapat dipengaruhi oleh cara mereka bertanya soalan mereka. Contoh-contoh ini kadang-kadang membawa penyelidik untuk bertanya-tanya tentang cara "betul" untuk bertanya soalan kaji selidik mereka. Walaupun saya fikir terdapat beberapa cara yang salah untuk mengajukan pertanyaan, saya tidak fikir selalu ada satu cara yang betul. Iaitu, tidak jelas lebih baik untuk bertanya mengenai "kebajikan" atau "bantuan untuk golongan miskin"; ini adalah dua soalan yang berbeza yang mengukur dua perkara yang berbeza mengenai sikap responden. Contoh-contoh ini kadang-kadang membawa penyelidik untuk membuat kesimpulan bahawa tinjauan tidak boleh digunakan. Malangnya, kadang-kadang tidak ada pilihan. Sebaliknya, saya rasa pelajaran yang betul untuk diambil dari contoh-contoh ini adalah kita perlu membina soalan dengan teliti dan kita tidak sepatutnya menerima respon secara tidak kritis.

Paling jelas, ini bermakna jika anda menganalisis data tinjauan yang dikumpulkan oleh orang lain, pastikan anda telah membaca soal selidik yang sebenar. Dan jika anda mencipta kuesioner sendiri, saya mempunyai empat cadangan. Pertama, saya cadangkan anda membaca lebih lanjut mengenai reka bentuk soal selidik (contohnya, Bradburn, Sudman, and Wansink (2004) ); terdapat lebih banyak perkara ini daripada yang saya dapat menerangkan di sini. Kedua, saya cadangkan anda salin perkataan untuk soalan-soalan dari kaji selidik berkualiti tinggi. Sebagai contoh, jika anda ingin bertanya kepada responden tentang kaum / etniknya, anda boleh menyalin soalan yang digunakan dalam tinjauan besar-besaran kerajaan seperti banci. Walaupun ini mungkin seperti plagiarisme, soalan penyalin digalakkan dalam penyelidikan tinjauan (selagi anda memetik tinjauan asal). Jika anda menyalin soalan daripada tinjauan berkualiti tinggi, anda boleh memastikan bahawa ia telah diuji, dan anda boleh membandingkan tindak balas kepada kaji selidik anda terhadap respons daripada beberapa tinjauan lain. Ketiga, jika anda menganggap soal selidik anda mungkin mengandungi kesan perkataan soalan atau kesan bentuk soalan penting, anda boleh menjalankan eksperimen tinjauan di mana separuh responden menerima satu versi soalan dan separuh menerima versi lain (Krosnick 2011) . Akhirnya, saya mencadangkan bahawa anda perintis-menguji soalan anda dengan beberapa orang dari populasi kerangka anda; penyelidik kaji selidik menyebut proses ini pra-ujian (Presser et al. 2004) . Pengalaman saya adalah pra-ujian tinjauan sangat membantu.