3.3.2 การวัด

การวัดเป็นเรื่องเกี่ยวกับสิ่งที่ผู้ตอบแบบสอบถามคิดและทำจากสิ่งที่พวกเขากล่าว

นอกเหนือจากปัญหาในการเป็นตัวแทนแล้วกรอบข้อผิดพลาดในการสำรวจทั้งหมดยังแสดงให้เห็นว่าแหล่งข้อผิดพลาดหลักที่สองคือ การวัด : เราอนุมานได้อย่างไรจากคำตอบที่ผู้ตอบตอบคำถามของเรา ปรากฎว่าคำตอบที่เราได้รับและดังนั้นการอนุมานที่เราทำขึ้นจึงสามารถขึ้นอยู่กับวิกฤตและบางครั้งก็น่าแปลกใจที่เราถามได้ อาจไม่มีอะไรแสดงให้เห็นถึงจุดสำคัญนี้ได้ดีกว่าเรื่องตลกในหนังสือวิเศษ ถามคำถาม โดย Norman Bradburn, Seymour Sudman และ Brian Wansink (2004) :

นักบวชทั้งสองเป็นโดมินิกันและเยซูอิตจะคุยไม่ว่าจะเป็นบาปที่จะสูบบุหรี่และอธิษฐานในเวลาเดียวกัน หลังจากความล้มเหลวในการบรรลุข้อสรุปแต่ละออกไปปรึกษาหัวหน้าของเขานั้น โดมินิกันกล่าวว่า "สิ่งที่บอกว่าดีกว่าของคุณหรือไม่"

นิกายเยซูอิตตอบ "เขากล่าวว่าก็ไม่เป็นไร."

"นั่นเป็นเรื่องที่ตลก" โดมินิกันตอบ "หัวหน้างานของฉันบอกว่ามันเป็นบาป."

เจซูกล่าวว่า "อะไรที่คุณถามเขา?" โดมินิกันตอบ "ฉันถามเขาว่าก็ไม่เป็นไรที่จะสูบบุหรี่ในขณะที่อธิษฐาน." "โอ้" เจซูกล่าวว่า "ผมถามว่ามันเป็นตกลงที่จะอธิษฐานในขณะที่การสูบบุหรี่."

นักวิจัยด้านการสำรวจได้ให้ข้อมูลเกี่ยวกับวิธีการที่เป็นระบบมากว่าสิ่งที่คุณเรียนรู้ขึ้นอยู่กับว่าคุณถามอย่างไร ในความเป็นจริงปัญหาที่รากของเรื่องตลกนี้มีชื่อในชุมชนการวิจัยแบบสำรวจ: ผลของแบบคำถาม (Kalton and Schuman 1982) หากต้องการดูว่าผลตอบสนองของแบบฟอร์มแบบสอบถามมีผลต่อการสำรวจจริงอย่างไรลองพิจารณาคำถามสำรวจที่คล้ายกันสองแบบนี้:

• "เท่าไหร่คุณเห็นด้วยกับคำสั่งดังต่อไปนี้: บุคคลที่มีมากขึ้นกว่าที่จะตำหนิสภาพสังคมอาชญากรรมและความวุ่นวายในประเทศนี้."
• "เท่าไหร่คุณเห็นด้วยกับคำสั่งดังต่อไปนี้: สภาพสังคมมีมากขึ้นกว่าที่จะตำหนิบุคคลอาชญากรรมและความวุ่นวายในประเทศนี้."

แม้ว่าทั้งสองคำถามจะมีการวัดผลเช่นเดียวกัน แต่ผลลัพธ์เหล่านี้ต่างจากผลการสำรวจจริง (Schuman and Presser 1996) เมื่อถามถึงวิธีการหนึ่ง ๆ ประมาณ 60% ของผู้ตอบแบบสอบถามรายงานว่า บุคคลที่ ถูกกล่าวหาว่าเป็นอาชญากรรมมากขึ้น แต่เมื่อถามอีกวิธีหนึ่งประมาณ 60% ระบุว่า สภาพสังคมเลวร้าย ยิ่งกว่ามาก (รูปที่ 3.3) กล่าวอีกนัยหนึ่งความแตกต่างเล็ก ๆ ระหว่างสองคำถามนี้อาจนำไปสู่ข้อสรุปที่แตกต่างกัน

รูปที่ 3.3: ผลจากการสำรวจแสดงให้เห็นว่านักวิจัยสามารถหาคำตอบที่แตกต่างกันได้ขึ้นอยู่กับว่าคำถามเหล่านี้ถามคำถามอย่างไร ส่วนใหญ่ของผู้ตอบแบบสอบถามเห็นพ้องกันว่าบุคคลมีความผิดมากกว่าเงื่อนไขทางสังคมสำหรับอาชญากรรมและความไม่เคารพกฎหมาย และส่วนใหญ่ของผู้ตอบแบบสอบถามเห็นด้วยกับสิ่งที่ตรงกันข้ามว่าสภาพสังคมมีความรับผิดชอบมากกว่าบุคคล ดัดแปลงมาจาก Schuman and Presser (1996) ตารางที่ 8.1

นอกเหนือจากโครงสร้างคำถามแล้วผู้ตอบยังสามารถให้คำตอบที่แตกต่างกันได้ขึ้นอยู่กับคำที่เฉพาะเจาะจงที่ใช้ ตัวอย่างเช่นเพื่อวัดความคิดเห็นเกี่ยวกับลำดับความสำคัญของรัฐบาลผู้ตอบแบบสอบถามได้อ่านข้อความต่อไปนี้:

"เราจะต้องเผชิญกับปัญหามากมายในประเทศนี้ไม่มีใครที่จะสามารถแก้ไขได้อย่างง่ายดายหรือราคาไม่แพง ฉันจะชื่อบางส่วนของปัญหาเหล​​่านี้และสำหรับแต่ละคนผมอยากให้คุณบอกฉันว่าคุณคิดว่าเรากำลังใช้จ่ายเงินมากเกินไปในมันเงินน้อยเกินไปหรือเกี่ยวกับปริมาณที่เหมาะสม. "

ครึ่งหนึ่งของผู้ตอบแบบสอบถามถูกถามเกี่ยวกับ "สวัสดิการ" และครึ่งหนึ่งถูกถามเกี่ยวกับ "การช่วยเหลือคนยากจน" ในขณะที่คำเหล่านี้อาจดูเหมือนเป็นวลีที่ต่างกันสองคำในสิ่งเดียวกันพวกเขาก็ให้ผลลัพธ์ที่แตกต่างกันมาก (รูปที่ 3.4) "ความช่วยเหลือแก่คนยากจน" มากกว่า "สวัสดิการ" (Smith 1987; Rasinski 1989; Huber and Paris 2013)

"ความช่วยเหลือแก่คนยากจน" มากกว่า "สวัสดิการ" นี่เป็นตัวอย่างของคำถามที่มีผลโดยคำตอบที่นักวิจัยได้รับขึ้นอยู่กับคำที่ใช้ในการตอบคำถาม คำถามของพวกเขา ปรับเปลี่ยนจาก Huber and Paris (2013) ตารางที่ A1

เนื่องจากตัวอย่างเหล่านี้เกี่ยวกับผลกระทบของแบบฟอร์มคำถามและผลการใช้คำพูดคำตอบที่นักวิจัยได้รับจะขึ้นอยู่กับว่าพวกเขาถามคำถามอย่างไร ตัวอย่างเหล่านี้บางครั้งทำให้นักวิจัยสงสัยเกี่ยวกับวิธี "ถูกต้อง" ในการถามคำถามการสำรวจ ในขณะที่ฉันคิดว่ามีวิธีที่ผิดอย่างชัดเจนในการตั้งคำถามฉันไม่คิดว่าจะมีวิธีที่ถูกต้องเพียงวิธีเดียว กล่าวคือไม่ดีไปกว่าการถามเกี่ยวกับ "สวัสดิการ" หรือ "ความช่วยเหลือสำหรับคนยากจน" คำถามเหล่านี้เป็นคำถามสองข้อที่วัดสองสิ่งที่แตกต่างกันเกี่ยวกับทัศนคติของผู้ตอบแบบสอบถาม ตัวอย่างเหล่านี้บางครั้งก็นำไปสู่การวิจัยเพื่อสรุปว่าการสำรวจไม่ควรใช้ แต่น่าเสียดายที่บางครั้งไม่มีทางเลือก แต่ฉันคิดว่าบทเรียนที่ถูกต้องในการวาดจากตัวอย่างเหล่านี้ก็คือเราควรสร้างคำถามของเราอย่างละเอียดและเราไม่ควรยอมรับคำตอบอย่างไม่ถูกต้อง

โดยส่วนใหญ่แล้วนั่นหมายความว่าหากคุณกำลังวิเคราะห์ข้อมูลจากการสำรวจที่รวบรวมโดยบุคคลอื่นโปรดตรวจสอบให้แน่ใจว่าคุณได้อ่านแบบสอบถามจริงแล้ว และถ้าคุณกำลังสร้างแบบสอบถามของคุณเองฉันมีคำแนะนำสี่ข้อ อันดับแรกผมขอแนะนำให้คุณอ่านเพิ่มเติมเกี่ยวกับการออกแบบแบบสอบถาม (เช่น Bradburn, Sudman, and Wansink (2004) ); มีอะไรมากกว่านี้ที่ฉันสามารถอธิบายได้ที่นี่ ประการที่สองผมขอแนะนำให้คุณคัดลอกคำสำหรับคำถามคำ ๆ จากการสำรวจที่มีคุณภาพสูง ตัวอย่างเช่นหากคุณต้องการถามผู้ตอบเกี่ยวกับเชื้อชาติ / เชื้อชาติคุณสามารถคัดลอกคำถามที่ใช้ในการสำรวจของรัฐบาลขนาดใหญ่เช่นการสำรวจสำมะโนประชากร แม้ว่าเรื่องนี้อาจเป็นเรื่องเกี่ยวกับการลอกเลียนแบบ แต่ก็ยังมีการคัดลอกคำถามในการสำรวจงานวิจัย (ตราบใดที่คุณอ้างถึงการสำรวจครั้งแรก) หากคุณคัดลอกคำถามจากแบบสำรวจคุณภาพสูงคุณสามารถตรวจสอบว่าได้รับการทดสอบแล้วและคุณสามารถเปรียบเทียบการตอบกลับกับแบบสำรวจของคุณกับคำตอบจากการสำรวจอื่น ๆ ได้ ประการที่สามหากคุณคิดว่าแบบสอบถามของคุณอาจมีผลกระทบจากคำถามที่สำคัญหรือผลกระทบจากแบบฟอร์มคำถามคุณสามารถเรียกใช้การ สำรวจ โดยที่ครึ่งหนึ่งของผู้ตอบแบบสอบถามได้รับคำถามหนึ่งฉบับและอีกครึ่งหนึ่งได้รับฉบับอื่น (Krosnick 2011) สุดท้ายนี้ผมขอแนะนำให้คุณลองทดสอบคำถามของคุณกับบางคนจากกลุ่มเฟรมของคุณ นักวิจัยสำรวจเรียกกระบวนการนี้ว่าเป็นการ ทดสอบล่วงหน้า (Presser et al. 2004) ประสบการณ์ของฉันคือการสำรวจก่อนการทดสอบเป็นประโยชน์อย่างมาก