3.3.2 Pengukuran

Pengukuran adalah tentang menyimpulkan apa yang responden Anda pikirkan dan lakukan dari apa yang mereka katakan.

Selain masalah representasi, kerangka kesalahan survei total menunjukkan bahwa sumber kesalahan utama kedua adalah pengukuran : bagaimana kita membuat kesimpulan dari jawaban yang diberikan responden terhadap pertanyaan kita. Ternyata jawaban yang kami terima, dan oleh karena itu kesimpulan yang kami buat, dapat bergantung secara kritis — dan kadang-kadang dengan cara yang mengejutkan — persis seperti yang kami tanyakan. Mungkin tidak ada yang mengilustrasikan poin penting ini lebih baik daripada lelucon dalam buku indah Bertanya Pertanyaan oleh Norman Bradburn, Seymour Sudman, dan Brian Wansink (2004) :

Dua imam, seorang Dominikan dan Jesuit, membahas apakah itu adalah dosa untuk merokok dan berdoa pada waktu yang sama. Setelah gagal mencapai kesimpulan, masing-masing pergi untuk berkonsultasi masing atasannya. Dominika mengatakan, "Apa yang katakanlah superior Anda?"

Jesuit merespon, "Dia bilang itu baik-baik saja."

"Itu lucu" jawab Dominika, "atasan saya bilang itu dosa."

Jesuit mengatakan, "Apa yang Anda memintanya?" Jawab The Dominican, "Aku bertanya apakah itu baik-baik saja untuk merokok sambil berdoa." "Oh" kata Jesuit, "Aku bertanya apakah itu OK untuk berdoa sambil merokok."

Di luar lelucon khusus ini, para peneliti survei telah mendokumentasikan banyak cara sistematis bahwa apa yang Anda pelajari tergantung pada cara Anda bertanya. Kenyataannya, masalah pada akar lelucon ini memiliki nama dalam komunitas riset survei: efek bentuk pertanyaan (Kalton and Schuman 1982) . Untuk melihat bagaimana efek bentuk pertanyaan dapat memengaruhi survei nyata, pertimbangkan dua pertanyaan survei yang mirip ini:

• "Berapa banyak yang Anda setuju dengan pernyataan berikut: Individu lebih menyalahkan dari kondisi sosial untuk kejahatan dan pelanggaran hukum di negeri ini."
• "Berapa banyak yang Anda setuju dengan pernyataan berikut: kondisi sosial lebih menyalahkan daripada individu untuk kejahatan dan pelanggaran hukum di negeri ini."

Meskipun kedua pertanyaan muncul untuk mengukur hal yang sama, mereka menghasilkan hasil yang berbeda dalam percobaan survei nyata (Schuman and Presser 1996) . Ketika ditanya satu cara, sekitar 60% responden melaporkan bahwa individu lebih banyak dipersalahkan karena kejahatan, tetapi ketika ditanya dengan cara lain, sekitar 60% melaporkan bahwa kondisi sosial lebih patut disalahkan (gambar 3.3). Dengan kata lain, perbedaan kecil antara dua pertanyaan ini dapat mengarahkan peneliti ke kesimpulan yang berbeda.

Gambar 3.3: Hasil dari eksperimen survei yang menunjukkan bahwa peneliti dapat memperoleh jawaban yang berbeda tergantung pada bagaimana mereka mengajukan pertanyaan. Mayoritas responden setuju bahwa individu lebih disalahkan daripada kondisi sosial untuk kejahatan dan pelanggaran hukum. Dan mayoritas responden setuju dengan kebalikannya: bahwa kondisi sosial lebih bertanggung jawab daripada individu. Diadaptasi dari Schuman and Presser (1996) , tabel 8.1.

Selain struktur pertanyaan, responden juga dapat memberikan jawaban yang berbeda, tergantung pada kata-kata spesifik yang digunakan. Misalnya, untuk mengukur pendapat tentang prioritas pemerintah, responden dibacakan sebagai berikut:

"Kami dihadapkan dengan banyak masalah di negeri ini, tidak ada yang dapat diselesaikan dengan mudah atau murah. Aku akan menyebutkan beberapa masalah ini, dan untuk masing-masing saya ingin Anda untuk memberitahu saya apakah Anda pikir kita menghabiskan terlalu banyak uang di atasnya, terlalu sedikit uang, atau sekitar jumlah yang tepat. "

Selanjutnya, separuh dari responden ditanya tentang “kesejahteraan” dan separuh ditanya tentang “bantuan untuk orang miskin.” Sementara ini mungkin tampak seperti dua frasa yang berbeda untuk hal yang sama, mereka memperoleh hasil yang sangat berbeda (gambar 3.4); Amerika melaporkan jauh lebih mendukung "bantuan untuk orang miskin" daripada "kesejahteraan" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Gambar 3.4: Hasil dari eksperimen survei yang menunjukkan bahwa responden jauh lebih mendukung “bantuan untuk orang miskin” daripada “kesejahteraan.” Ini adalah contoh dari efek kata-kata pertanyaan di mana jawaban yang diterima oleh peneliti bergantung pada kata-kata mana yang mereka gunakan di pertanyaan mereka. Diadaptasi dari Huber and Paris (2013) , tabel A1.

Sebagaimana contoh-contoh ini tentang efek bentuk pertanyaan dan efek kata-kata menunjukkan, jawaban yang diterima peneliti dapat dipengaruhi oleh bagaimana mereka mengajukan pertanyaan mereka. Contoh-contoh ini terkadang mengarahkan para peneliti untuk bertanya-tanya tentang cara "benar" untuk mengajukan pertanyaan survei mereka. Meskipun saya pikir ada beberapa cara yang salah untuk mengajukan pertanyaan, saya rasa tidak selalu ada satu cara yang benar. Artinya, tidak jelas lebih baik bertanya tentang "kesejahteraan" atau "bantuan untuk orang miskin"; ini adalah dua pertanyaan berbeda yang mengukur dua hal berbeda tentang sikap responden. Contoh-contoh ini juga terkadang mengarahkan para peneliti untuk menyimpulkan bahwa survei tidak boleh digunakan. Sayangnya, terkadang tidak ada pilihan. Sebaliknya, saya pikir pelajaran yang tepat untuk diambil dari contoh-contoh ini adalah bahwa kita harus menyusun pertanyaan-pertanyaan kita dengan hati-hati dan kita seharusnya tidak menerima tanggapan secara tidak kritis.

Paling konkret, ini berarti bahwa jika Anda menganalisis data survei yang dikumpulkan oleh orang lain, pastikan Anda telah membaca kuesioner yang sebenarnya. Dan jika Anda membuat kuesioner Anda sendiri, saya punya empat saran. Pertama, saya sarankan Anda membaca lebih lanjut tentang desain kuesioner (misalnya, Bradburn, Sudman, and Wansink (2004) ); ada yang lebih dari ini daripada yang bisa saya jelaskan di sini. Kedua, saya sarankan agar Anda menyalin — kata demi kata — pertanyaan dari survei berkualitas tinggi. Misalnya, jika Anda ingin bertanya kepada responden tentang ras / etnis mereka, Anda dapat menyalin pertanyaan yang digunakan dalam survei pemerintah berskala besar, seperti sensus. Meskipun ini mungkin terdengar seperti plagiarisme, menyalin pertanyaan didorong dalam penelitian survei (selama Anda mengutip survei asli). Jika Anda menyalin pertanyaan dari survei berkualitas tinggi, Anda dapat yakin bahwa mereka telah diuji, dan Anda dapat membandingkan tanggapan terhadap survei Anda dengan tanggapan dari beberapa survei lainnya. Ketiga, jika Anda berpikir kuesioner Anda mungkin mengandung efek kata-kata pertanyaan yang penting atau efek bentuk pertanyaan, Anda dapat menjalankan eksperimen survei di mana separuh responden menerima satu versi pertanyaan dan setengah menerima versi lainnya (Krosnick 2011) . Akhirnya, saya menyarankan Anda untuk menguji pertanyaan Anda dengan beberapa orang dari populasi kerangka Anda; peneliti survei menyebut proses ini pra-pengujian (Presser et al. 2004) . Pengalaman saya adalah bahwa survei pra-pengujian sangat membantu.