3.3.2 การวัด

วัดเป็นเรื่องเกี่ยวกับการทำข้อสรุปจากสิ่งที่ผู้ตอบแบบสอบถามของคุณพูดกับสิ่งที่ผู้ตอบแบบสอบถามของคุณคิดและทำ

ประเภทที่สองของกรอบข้อผิดพลาดแบบสำรวจทั้งหมดเป็นวัด มันเกี่ยวข้องกับวิธีการที่เราสามารถทำให้การหาข้อสรุปจากคำตอบที่ตอบแบบสอบถามให้กับคำถามของเรา แต่กลับกลายเป็นว่าคำตอบที่เราได้รับและดังนั้นจึงหาข้อสรุปที่เราทำสามารถขึ้นอยู่กับวิธีการในวิกฤตและในบางครั้งก็น่าแปลกใจว่าวิธีการที่เราถาม บางทีอาจจะเป็นอะไรที่แสดงให้เห็นถึงจุดสำคัญที่ดีไปกว่านี้ตลกในหนังสือที่ยอดเยี่ยมถามคำถามโดยนอร์แมน Bradburn มัวร์ Sudman และไบรอัน Wansink (2004) :

นักบวชทั้งสองเป็นโดมินิกันและเยซูอิตจะคุยไม่ว่าจะเป็นบาปที่จะสูบบุหรี่และอธิษฐานในเวลาเดียวกัน หลังจากความล้มเหลวในการบรรลุข้อสรุปแต่ละออกไปปรึกษาหัวหน้าของเขานั้น โดมินิกันกล่าวว่า "สิ่งที่บอกว่าดีกว่าของคุณหรือไม่"

นิกายเยซูอิตตอบ "เขากล่าวว่าก็ไม่เป็นไร."

"นั่นเป็นเรื่องที่ตลก" โดมินิกันตอบ "หัวหน้างานของฉันบอกว่ามันเป็นบาป."

เจซูกล่าวว่า "อะไรที่คุณถามเขา?" โดมินิกันตอบ "ฉันถามเขาว่าก็ไม่เป็นไรที่จะสูบบุหรี่ในขณะที่อธิษฐาน." "โอ้" เจซูกล่าวว่า "ผมถามว่ามันเป็นตกลงที่จะอธิษฐานในขณะที่การสูบบุหรี่."

มีตัวอย่างมากมายของความผิดปกติอย่างหนึ่งที่มีประสบการณ์โดยทั้งสองเป็นพระสงฆ์ ในความเป็นจริงมากปัญหาที่รากของเรื่องตลกนี้มีชื่อในชุมชนการวิจัยการสำรวจ: ผลกระทบรูปแบบคำถาม (Kalton and Schuman 1982) เพื่อดูว่าผลกระทบรูปแบบคำถามที่อาจส่งผลต่อการสำรวจจริงพิจารณาทั้งสองคล้ายกันมากคำถามสำรวจมอง:

• "เท่าไหร่คุณเห็นด้วยกับคำสั่งดังต่อไปนี้: บุคคลที่มีมากขึ้นกว่าที่จะตำหนิสภาพสังคมอาชญากรรมและความวุ่นวายในประเทศนี้."
• "เท่าไหร่คุณเห็นด้วยกับคำสั่งดังต่อไปนี้: สภาพสังคมมีมากขึ้นกว่าที่จะตำหนิบุคคลอาชญากรรมและความวุ่นวายในประเทศนี้."

แม้ว่าทั้งสองคำถามปรากฏในการวัดสิ่งเดียวกันที่พวกเขาผลิตผลลัพธ์ที่แตกต่างในการทดลองการสำรวจจริง (Schuman and Presser 1996) เมื่อถามว่าทางหนึ่งประมาณ 60% ของผู้ตอบแบบสอบถามมีรายงานว่าประชาชนได้มากขึ้นที่จะตำหนิสำหรับอาชญากรรม แต่เมื่อถามวิธีการอื่น ๆ ประมาณ 60% รายงานว่าสภาพสังคมได้มากขึ้นที่จะตำหนิ (รูปที่ 3.2) ในคำอื่น ๆ ที่แตกต่างเล็ก ๆ ระหว่างสองคำถามที่อาจนำไปสู่​​นักวิจัยไปสู่​​ข้อสรุปที่แตกต่างกัน

รูปที่ 3.2: ผลจากการทดลองการสำรวจ (Schuman and Presser 1996, Table 8.1) นักวิจัยสามารถได้คำตอบที่แตกต่างกันขึ้นอยู่กับว่าวิธีการที่พวกเขาถามคำถาม นี่คือตัวอย่างของผลในรูปแบบคำถามเกี่ยว (Kalton and Schuman 1982)

นอกเหนือไปจากโครงสร้างของคำถามที่ผู้ตอบแบบสอบถามยังสามารถให้คำตอบที่แตกต่างกันขึ้นอยู่กับคำเฉพาะที่ใช้ ยกตัวอย่างเช่นในการสั่งซื้อที่จะวัดความคิดเห็นเกี่ยวกับการจัดลำดับความสำคัญของรัฐผู้ตอบแบบสอบถามอ่านพรอมต์ต่อไปนี้:

"เราจะต้องเผชิญกับปัญหามากมายในประเทศนี้ไม่มีใครที่จะสามารถแก้ไขได้อย่างง่ายดายหรือราคาไม่แพง ฉันจะชื่อบางส่วนของปัญหาเหล​​่านี้และสำหรับแต่ละคนผมอยากให้คุณบอกฉันว่าคุณคิดว่าเรากำลังใช้จ่ายเงินมากเกินไปในมันเงินน้อยเกินไปหรือเกี่ยวกับปริมาณที่เหมาะสม. "

". การช่วยเหลือคนยากจน" ถัดไปครึ่งหนึ่งของผู้ตอบแบบสอบถามถูกถามเกี่ยวกับ "สวัสดิการ" และครึ่งหนึ่งถูกถามเกี่ยวกับขณะที่เหล่านี้อาจจะดูเหมือนเป็นวลีที่สองที่แตกต่างกันสำหรับสิ่งเดียวกันพวกเขาก่อให้เกิดผลลัพธ์ที่แตกต่างกันมาก (รูปที่ 3.3); ชาวอเมริกันรายงานเป็นมากขึ้นการสนับสนุนจาก "ความช่วยเหลือแก่คนยากจน" ที่ไม่ใช่ "สวัสดิการ" (Smith 1987; Rasinski 1989; Huber and Paris 2013) ขณะที่นักวิจัยสำรวจผลกระทบพิจารณาถ้อยคำเหล่านี้จะเป็นความผิดปกติท​​ี่พวกเขายังอาจพิจารณาให้ผลการวิจัย นั่นก็คือเราได้เรียนรู้บางสิ่งบางอย่างเกี่ยวกับความเห็นของประชาชนจากผลนี้

รูปที่ 3.3: ผลจากการ Huber and Paris (2013) ผู้ตอบแบบสอบถามมีมากขึ้นการสนับสนุนจาก "ความช่วยเหลือแก่คนยากจน" ที่ไม่ใช่ "สวัสดิการ." นี่คือตัวอย่างของผลกระทบคำถามถ้อยคำโดยให้คำตอบที่นักวิจัยได้รับขึ้นอยู่กับว่าคำที่พวกเขาใช้ในคำถามของพวกเขา

ในฐานะที่เป็นตัวอย่างเหล่านี้เกี่ยวกับผลกระทบรูปแบบคำถามและผลกระทบถ้อยคำแสดงคำตอบที่ได้รับนักวิจัยสามารถมีอิทธิพลในรูปแบบที่ลึกซึ้งขึ้นอยู่กับวิธีที่พวกเขาถามคำถามของพวกเขา นี้ไม่ได้หมายความว่าการสำรวจไม่ควรใช้; มักจะไม่มีทางเลือก แต่ตัวอย่างที่แสดงให้เห็นว่าเราควรจะสร้างคำถามของเราอย่างรอบคอบและเราไม่ควรจะยอมรับการตอบสนอง uncritically

ส่วนใหญ่เป็นรูปธรรมนี้หมายความว่าถ้าคุณกำลังวิเคราะห์ข้อมูลจากการสำรวจเก็บรวบรวมโดยคนอื่นตรวจสอบให้แน่ใจว่าคุณได้อ่านแบบสอบถามที่เกิดขึ้นจริง และถ้าคุณกำลังสร้างแบบสอบถามของคุณเองฉันมีสามข้อเสนอแนะ ครั้งแรกผมขอแนะนำให้คุณอ่านรายละเอียดเพิ่มเติมเกี่ยวกับการออกแบบแบบสอบถาม (เช่น Bradburn, Sudman, and Wansink (2004) ); มีมากขึ้นไปกว่าที่ฉันได้รับสามารถที่จะอธิบายที่นี่ ประการที่สองผมขอแนะนำให้คุณคัดลอกคำพูดคำถามจากการสำรวจที่มีคุณภาพสูง แม้ว่าเสียงนี้เช่นการขโมยความคิดคำถามคัดลอกได้รับการสนับสนุนในการวิจัยเชิงสำรวจ (ตราบใดที่คุณกล่าวถึงการสำรวจเดิม) หากคุณคัดลอกคำถามจากการสำรวจคุณภาพสูง, คุณสามารถมั่นใจได้ว่าพวกเขาได้รับการทดสอบและคุณสามารถเปรียบเทียบการตอบแบบสำรวจของคุณเพื่อการตอบสนองจากการสำรวจอื่น ๆ สุดท้ายผมขอแนะนำให้คุณทดสอบก่อนคำถามกับบางคนจากประชากรกรอบของคุณ (Presser et al. 2004) ; ประสบการณ์ของผมก็คือว่าก่อนการทดสอบมักจะเผยให้เห็นประเด็นที่น่าแปลกใจ