3.3.2 Pengukuran

Pengukuran adalah tentang membuat kesimpulan dari apa yang responden bertanya kepadamu apa yang responden anda berfikir dan melakukan.

Kategori kedua rangka kerja ralat kajian jumlah adalah pengukuran; ia berkaitan dengan bagaimana kita boleh membuat kesimpulan daripada jawapan responden memberi kepada soalan-soalan kami. Ia ternyata bahawa semua jawapan yang kami terima, dan oleh itu kesimpulan yang kita buat, boleh bergantung cara-on kritikal dan kadang-kadang mengejutkan bagaimana kita bertanya. Mungkin tiada apa yang menggambarkan perkara penting ini lebih baik daripada satu jenaka dalam buku ini indah Bertanya Soalan oleh Norman Bradburn, Seymour Sudman dan Brian Wansink (2004) :

Dua imam, Dominican dan Jesuit, sedang berbincang sama ada ia adalah satu kesalahan yang merokok dan berdoa pada masa yang sama. Selepas gagal mencapai kesimpulan, setiap pergi untuk berunding unggul masing beliau. The Dominican berkata, "Apa yang katakan unggul anda?"

The Jesuit akan menjawab: "Beliau berkata ia adalah baik-baik saja."

"Itu lucu" Dominican menjawab, "Penyelia saya berkata ia adalah satu dosa."

The Jesuit berkata, "Apa yang kamu meminta petunjuk?" The Dominican menjawab, "Saya bertanya kepadanya jika ia adalah baik-baik saja untuk merokok ketika berdoa." "Oh" kata Jesuit, "Saya bertanya jika ia adalah OK untuk berdoa sambil merokok."

Terdapat banyak contoh anomali seperti yang dialami oleh dua imam. Malah, isu yang menjadi punca jenaka ini mempunyai nama di dalam komuniti penyelidikan kajian: Kesan bentuk soalan (Kalton and Schuman 1982) . Untuk melihat bagaimana kesan bentuk soalan mungkin memberi kesan kepada kajian sebenar, pertimbangkan kedua-dua soalan tinjauan looking hampir sama:

• "Berapa banyak yang anda bersetuju dengan kenyataan berikut: Individu dipersalahkan lebih daripada keadaan sosial untuk jenayah dan pelanggaran hukum di negara ini."
• "Berapa banyak yang anda bersetuju dengan kenyataan berikut: keadaan sosial adalah dipersalahkan lebih daripada individu untuk jenayah dan terkawal di negara ini."

Walaupun kedua-dua soalan muncul untuk mengukur perkara yang sama, mereka menghasilkan keputusan yang berbeza dalam satu eksperimen kajian sebenar (Schuman and Presser 1996) . Ditanya sehala, kira-kira 60% daripada responden melaporkan bahawa individu yang lebih harus dipersalahkan kerana jenayah, tetapi apabila ditanya cara yang lain kira-kira 60% melaporkan bahawa keadaan sosial lebih untuk menyalahkan (Rajah 3.2). Dalam erti kata lain, perbezaan kecil antara kedua-dua soalan boleh membawa penyelidik kepada kesimpulan yang berbeza.

Rajah 3.2: Keputusan daripada eksperimen kajian (Schuman and Presser 1996, Table 8.1) . Penyelidik boleh mendapatkan jawapan yang berbeza bergantung kepada bagaimana mereka ditanya soalan. Ini adalah satu contoh kesan bentuk soalan (Kalton and Schuman 1982) .

Selain struktur soalan, responden juga boleh memberi jawapan yang berbeza berdasarkan kata-kata tertentu yang digunakan. Sebagai contoh, untuk mengukur pendapat tentang keutamaan kerajaan, responden dibacakan segera berikut:

"Kita berhadapan dengan pelbagai masalah di negara ini, tidak ada yang boleh diselesaikan dengan mudah atau murah. Saya akan menamakan beberapa masalah-masalah ini, dan bagi setiap satu saya mahu anda beritahu saya sama ada anda fikir kita menghabiskan terlalu banyak wang di atasnya, wang terlalu sedikit, atau kira-kira jumlah yang betul. "

". Bantuan untuk golongan miskin" Seterusnya, separuh daripada responden ditanya mengenai "kebajikan" dan separuh telah ditanya mengenai Walaupun ini mungkin kelihatan seperti dua frasa yang berbeza untuk perkara yang sama, mereka mencungkil hasil yang sangat berbeza (Rajah 3.3); Amerika melaporkan yang jauh lebih menyokong "bantuan kepada golongan miskin" daripada "kebajikan" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Walaupun penyelidik kajian mengambilkira kesan-kesan kata-kata menjadi anomali, mereka juga boleh menganggap mereka hasil penyelidikan. Iaitu, kita telah belajar sesuatu tentang pendapat umum dari keputusan ini.

Rajah 3.3: Keputusan dari Huber and Paris (2013) . Responden adalah lebih menyokong "bantuan kepada golongan miskin" daripada "kebajikan." Ini adalah satu contoh kesan soalan kata-kata di mana jawapan yang penyelidik menerima bergantung kepada apa yang kata-kata yang mereka gunakan dalam soalan-soalan mereka.

Seperti contoh-contoh tentang kesan-kesan bentuk soalan dan kesan kata-kata menunjukkan, jawapan yang penyelidik menerima boleh dipengaruhi dengan cara yang halus berdasarkan bagaimana mereka bertanya soalan-soalan mereka. Ini tidak bermakna bahawa kajian tidak boleh digunakan; sering tidak ada pilihan. Sebaliknya, contoh menggambarkan bahawa kita perlu membina soalan-soalan kami dengan berhati-hati dan kami tidak boleh menerima jawapan tidak kritis.

Kebanyakan konkrit, ini bermakna bahawa jika anda menganalisis data kajian yang dikumpul oleh orang lain, pastikan bahawa anda telah membaca soal selidik yang sebenar. Dan, jika anda membuat soal selidik anda sendiri, saya mempunyai tiga cadangan. Pertama, saya cadangkan anda membaca lebih lanjut mengenai reka bentuk soal selidik (contohnya, Bradburn, Sudman, and Wansink (2004) ); terdapat lebih kepadanya daripada yang saya telah dapat terangkan di sini. Kedua, saya cadangkan anda meniru-perkataan perkataan-soalan daripada kaji selidik yang berkualiti tinggi. Walaupun ini kedengaran seperti plagiarisme, soalan menyalin digalakkan dalam penyelidikan tinjauan (selagi anda memetik kajian yang asal). Jika anda menyalin soalan daripada kaji selidik yang berkualiti tinggi, anda boleh yakin bahawa mereka telah diuji dan anda boleh membandingkan jawapan kaji selidik anda untuk jawapan daripada beberapa kajian lain. Akhir sekali, saya mencadangkan anda pra-ujian soalan anda dengan beberapa orang dari penduduk bingkai anda (Presser et al. 2004) ; pengalaman saya adalah bahawa pra-ujian sentiasa mendedahkan isu-isu yang mengejutkan.