3.3.2 Pengukuran

Pengukuran adalah tentang membuat kesimpulan dari apa yang responden Anda katakan apa responden Anda pikirkan dan lakukan.

Kategori kedua dari total kerangka error survei pengukuran; berhubungan dengan bagaimana kita dapat membuat kesimpulan dari jawaban responden memberikan pertanyaan kami. Ternyata jawaban yang kami terima, dan oleh karena itu kesimpulan kita buat, dapat bergantung cara-on kritis-dan kadang-kadang mengejutkan persis bagaimana kita bertanya. Mungkin tidak ada menggambarkan poin penting ini lebih baik daripada lelucon dalam buku indah Mengajukan Pertanyaan oleh Norman Bradburn, Seymour Sudman, dan Brian Wansink (2004) :

Dua imam, seorang Dominikan dan Jesuit, membahas apakah itu adalah dosa untuk merokok dan berdoa pada waktu yang sama. Setelah gagal mencapai kesimpulan, masing-masing pergi untuk berkonsultasi masing atasannya. Dominika mengatakan, "Apa yang katakanlah superior Anda?"

Jesuit merespon, "Dia bilang itu baik-baik saja."

"Itu lucu" jawab Dominika, "atasan saya bilang itu dosa."

Jesuit mengatakan, "Apa yang Anda memintanya?" Jawab The Dominican, "Aku bertanya apakah itu baik-baik saja untuk merokok sambil berdoa." "Oh" kata Jesuit, "Aku bertanya apakah itu OK untuk berdoa sambil merokok."

Ada banyak contoh anomali seperti yang dialami oleh dua imam. Bahkan, sangat masalah pada akar lelucon ini memiliki nama dalam komunitas riset survei: efek bentuk pertanyaan (Kalton and Schuman 1982) . Untuk melihat bagaimana efek bentuk pertanyaan mungkin berdampak survei nyata, mempertimbangkan dua pertanyaan survei tampak sangat mirip ini:

• "Berapa banyak yang Anda setuju dengan pernyataan berikut: Individu lebih menyalahkan dari kondisi sosial untuk kejahatan dan pelanggaran hukum di negeri ini."
• "Berapa banyak yang Anda setuju dengan pernyataan berikut: kondisi sosial lebih menyalahkan daripada individu untuk kejahatan dan pelanggaran hukum di negeri ini."

Meskipun kedua pertanyaan muncul untuk mengukur hal yang sama, mereka menghasilkan hasil yang berbeda dalam percobaan survei nyata (Schuman and Presser 1996) . Ketika ditanya salah satu cara, sekitar 60% dari responden melaporkan bahwa individu lebih untuk menyalahkan untuk kejahatan, tapi ketika ditanya cara lain sekitar 60% melaporkan bahwa kondisi sosial lebih menyalahkan (Gambar 3.2). Dengan kata lain, perbedaan kecil antara dua pertanyaan dapat menyebabkan peneliti pada kesimpulan yang berbeda.

Gambar 3.2: Hasil dari eksperimen survei (Schuman and Presser 1996, Table 8.1) . Peneliti bisa mendapatkan jawaban yang berbeda tergantung pada bagaimana mereka mengajukan pertanyaan. Ini adalah contoh dari efek bentuk pertanyaan (Kalton and Schuman 1982) .

Selain struktur pertanyaan, responden juga dapat memberikan jawaban yang berbeda berdasarkan pada kata-kata tertentu yang digunakan. Sebagai contoh, untuk mengukur pendapat tentang prioritas pemerintah, responden membaca cepat berikut:

"Kami dihadapkan dengan banyak masalah di negeri ini, tidak ada yang dapat diselesaikan dengan mudah atau murah. Aku akan menyebutkan beberapa masalah ini, dan untuk masing-masing saya ingin Anda untuk memberitahu saya apakah Anda pikir kita menghabiskan terlalu banyak uang di atasnya, terlalu sedikit uang, atau sekitar jumlah yang tepat. "

". Bantuan untuk orang miskin" berikutnya, setengah dari responden ditanya tentang "kesejahteraan" setengah ditanya tentang Sementara ini mungkin tampak seperti dua frase yang berbeda untuk hal yang sama, mereka menimbulkan hasil yang sangat berbeda (Gambar 3.3); Amerika melaporkan yang jauh lebih mendukung "bantuan kepada orang miskin" daripada "kesejahteraan" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Sementara para peneliti survei mempertimbangkan efek kata-kata ini menjadi anomali, mereka juga bisa menganggap mereka temuan penelitian. Artinya, kita telah belajar sesuatu tentang opini publik dari hasil ini.

Gambar 3.3: Hasil dari Huber and Paris (2013) . Responden jauh lebih mendukung "bantuan kepada orang miskin" daripada "kesejahteraan." Ini adalah contoh dari efek pertanyaan kata-kata mana jawaban yang peneliti menerima tergantung pada persis yang kata-kata yang mereka gunakan dalam pertanyaan-pertanyaan mereka.

Sebagai contoh tentang efek bentuk pertanyaan dan efek kata-kata menunjukkan, jawaban yang peneliti terima dapat dipengaruhi dengan cara yang halus didasarkan pada bagaimana mereka mengajukan pertanyaan mereka. Ini tidak berarti bahwa survei tidak boleh digunakan; sering tidak ada pilihan. Sebaliknya, contoh menggambarkan bahwa kita harus membangun pertanyaan kami dengan hati-hati dan kami tidak harus menerima tanggapan kritis.

Kebanyakan konkret, ini berarti bahwa jika Anda menganalisa data survei yang dikumpulkan oleh orang lain, pastikan bahwa Anda telah membaca kuesioner yang sebenarnya. Dan, jika Anda membuat kuesioner Anda sendiri, saya memiliki tiga saran. Pertama, saya sarankan Anda membaca lebih lanjut tentang desain kuesioner (misalnya, Bradburn, Sudman, and Wansink (2004) ); ada yang lebih dari saya sudah bisa jelaskan di sini. Kedua, saya sarankan Anda menyalin kata demi kata-pertanyaan dari survei berkualitas tinggi. Meskipun ini terdengar seperti plagiarisme, pertanyaan menyalin didorong dalam penelitian survei (selama Anda mengutip survei yang asli). Jika Anda menyalin pertanyaan dari survei berkualitas tinggi, Anda dapat yakin bahwa mereka telah diuji dan Anda dapat membandingkan tanggapan survei untuk tanggapan dari beberapa survei lainnya. Akhirnya, saya sarankan Anda pra-menguji pertanyaan Anda dengan beberapa orang dari populasi frame Anda (Presser et al. 2004) ; Pengalaman saya adalah bahwa pra-pengujian selalu mengungkapkan masalah mengejutkan.