3.3.2 đo lường
Đo lường là về suy luận những gì người trả lời của bạn suy nghĩ và làm từ những gì họ nói.
Ngoài các vấn đề về biểu diễn, tổng khuôn khổ khảo sát cho thấy nguồn lỗi chính thứ hai là đo lường : cách chúng ta đưa ra suy luận từ các câu trả lời mà người trả lời đưa ra cho các câu hỏi của chúng tôi. Nó chỉ ra rằng các câu trả lời chúng tôi nhận được, và do đó các suy luận mà chúng tôi đưa ra, có thể phụ thuộc một cách nghiêm túc - và đôi khi là những cách đáng ngạc nhiên — về chính xác cách chúng tôi yêu cầu. Có lẽ không có gì minh họa cho điểm quan trọng này hơn là một trò đùa trong cuốn sách tuyệt vời Đặt câu hỏi của Norman Bradburn, Seymour Sudman và Brian Wansink (2004) :
Hai linh mục, một Dominica và một linh mục Dòng Tên, đang thảo luận cho dù đó là một tội lỗi để hút thuốc và cầu nguyện cùng một lúc. Sau khi thất bại để đạt được một kết luận, từng đi off để tham khảo ý kiến cấp trên tương ứng của mình. Các Dominica nói, "Điều gì đã nói cấp trên của bạn?"
Dòng Tên đáp, "Ông nói rằng nó đã ổn."
"Buồn cười" Dominican trả lời, "giám sát viên của tôi nói rằng đó là một tội lỗi."
Dòng Tên nói, "bạn đã hỏi anh ấy những gì?" Các Dominica trả lời, "Tôi hỏi anh ta nếu nó đã ổn để hút thuốc trong khi cầu nguyện." "Oh" Dòng Tên nói, "Tôi hỏi nếu đó là OK để cầu nguyện trong khi hút thuốc."
Ngoài trò đùa cụ thể này, các nhà nghiên cứu khảo sát đã ghi lại nhiều cách có hệ thống rằng những gì bạn học phụ thuộc vào cách bạn hỏi. Trên thực tế, vấn đề ở gốc của trò đùa này có tên trong cộng đồng nghiên cứu khảo sát: các hiệu ứng hình thức câu hỏi (Kalton and Schuman 1982) . Để xem các hiệu ứng của biểu mẫu câu hỏi có thể tác động như thế nào đến các khảo sát thực tế, hãy xem xét hai câu hỏi khảo sát rất giống nhau này:
- "Bao nhiêu bạn đồng ý với các tuyên bố sau: Cá nhân có nhiều để đổ lỗi hơn so với điều kiện xã hội cho tội phạm và vô luật pháp ở đất nước này."
- "Bao nhiêu bạn đồng ý với những phát biểu sau đây: điều kiện xã hội có nhiều để đổ lỗi hơn so với các cá nhân cho tội ác và vô luật pháp ở đất nước này."
Mặc dù cả hai câu hỏi xuất hiện để đo lường cùng một điều, họ đã tạo ra các kết quả khác nhau trong một thử nghiệm khảo sát thực tế (Schuman and Presser 1996) . Khi được hỏi một cách, khoảng 60% số người được hỏi cho biết rằng cá nhân có nhiều hơn để đổ lỗi cho tội phạm, nhưng khi được hỏi theo cách khác, khoảng 60% báo cáo rằng điều kiện xã hội là nhiều hơn để đổ lỗi (hình 3.3). Nói cách khác, sự khác biệt nhỏ giữa hai câu hỏi này có thể dẫn các nhà nghiên cứu đến một kết luận khác.
Hình 3.3: Kết quả từ một thử nghiệm khảo sát cho thấy rằng các nhà nghiên cứu có thể nhận được các câu trả lời khác nhau tùy thuộc vào chính xác cách họ đặt câu hỏi. Đa số người được hỏi đồng ý rằng các cá nhân có nhiều trách nhiệm hơn là điều kiện xã hội cho tội phạm và vô luật pháp. Và đa số người được hỏi đã đồng ý với điều ngược lại: rằng điều kiện xã hội có trách nhiệm hơn cá nhân. Chuyển thể từ Schuman and Presser (1996) , bảng 8.1.
Ngoài cấu trúc của câu hỏi, người trả lời cũng có thể đưa ra các câu trả lời khác nhau, tùy thuộc vào các từ cụ thể được sử dụng. Ví dụ, để đo lường ý kiến về các ưu tiên của chính phủ, người trả lời đã đọc lời nhắc sau đây:
"Chúng tôi đang phải đối mặt với nhiều vấn đề ở đất nước này, không ai trong số đó có thể được giải quyết một cách dễ dàng hoặc không tốn kém. Tôi sẽ đặt tên cho một số những vấn đề này, và cho mỗi một tôi muốn bạn cho tôi biết liệu bạn có nghĩ rằng chúng ta đang chi tiêu quá nhiều tiền vào nó, quá ít tiền, hoặc về số tiền phải. "
Tiếp theo, một nửa số người được hỏi về “phúc lợi” và một nửa được hỏi về “viện trợ cho người nghèo”. Trong khi đó có vẻ như hai cụm từ khác nhau cho cùng một điều, họ gợi ra kết quả rất khác nhau (hình 3.4); Người Mỹ báo cáo hỗ trợ nhiều hơn cho “viện trợ cho người nghèo” hơn “phúc lợi” (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Hình 3.4: Kết quả từ một thí nghiệm khảo sát cho thấy người trả lời ủng hộ nhiều hơn "hỗ trợ người nghèo" hơn "phúc lợi". Đây là một ví dụ về hiệu ứng từ ngữ câu hỏi, theo đó các câu trả lời mà các nhà nghiên cứu nhận được phụ thuộc vào chính xác từ nào họ sử dụng câu hỏi của họ. Chuyển thể từ Huber and Paris (2013) , bảng A1.
Như những ví dụ về hiệu ứng hình thức câu hỏi và hiệu ứng từ ngữ hiển thị, câu trả lời mà các nhà nghiên cứu nhận được có thể bị ảnh hưởng bởi cách họ đặt câu hỏi của họ. Những ví dụ này đôi khi khiến các nhà nghiên cứu thắc mắc về cách "chính xác" để đặt câu hỏi khảo sát của họ. Trong khi tôi nghĩ rằng có một số cách sai lầm rõ ràng để đặt một câu hỏi, tôi không nghĩ rằng luôn luôn có một cách chính xác duy nhất. Đó là, không rõ ràng là tốt hơn để hỏi về "phúc lợi" hoặc "viện trợ cho người nghèo"; đây là hai câu hỏi khác nhau đo lường hai điều khác nhau về thái độ của người trả lời. Những ví dụ này đôi khi cũng khiến các nhà nghiên cứu kết luận rằng các cuộc điều tra không nên được sử dụng. Thật không may, đôi khi không có sự lựa chọn. Thay vào đó, tôi nghĩ rằng bài học phù hợp để rút ra từ những ví dụ này là chúng ta nên xây dựng các câu hỏi của mình một cách cẩn thận và chúng ta không nên chấp nhận các câu trả lời một cách vô lý.
Cụ thể, điều này có nghĩa là nếu bạn đang phân tích dữ liệu khảo sát do người khác thu thập, hãy đảm bảo rằng bạn đã đọc bảng câu hỏi thực tế. Và nếu bạn đang tạo bảng câu hỏi của riêng mình, tôi có bốn gợi ý. Đầu tiên, tôi khuyên bạn nên đọc thêm về thiết kế bảng câu hỏi (ví dụ: Bradburn, Sudman, and Wansink (2004) ); có nhiều điều này hơn tôi đã có thể mô tả ở đây. Thứ hai, tôi đề nghị bạn nên sao chép - từng chữ - các câu hỏi từ các cuộc khảo sát chất lượng cao. Ví dụ: nếu bạn muốn hỏi người trả lời về chủng tộc / sắc tộc của họ, bạn có thể sao chép các câu hỏi được sử dụng trong các cuộc khảo sát chính phủ quy mô lớn, chẳng hạn như điều tra dân số. Mặc dù điều này có vẻ giống như đạo văn, các câu hỏi sao chép được khuyến khích trong nghiên cứu khảo sát (miễn là bạn trích dẫn khảo sát ban đầu). Nếu bạn sao chép các câu hỏi từ các cuộc khảo sát chất lượng cao, bạn có thể chắc chắn rằng chúng đã được kiểm tra và bạn có thể so sánh các câu trả lời cho bản khảo sát của mình với các câu trả lời từ một số khảo sát khác. Thứ ba, nếu bạn nghĩ bảng câu hỏi của mình có thể chứa các hiệu ứng từ ngữ câu hỏi quan trọng hoặc hiệu ứng biểu mẫu câu hỏi, bạn có thể chạy thử nghiệm khảo sát trong đó một nửa người trả lời nhận được một phiên bản câu hỏi và một nửa nhận được phiên bản khác (Krosnick 2011) . Cuối cùng, tôi khuyên bạn nên thử nghiệm các câu hỏi của mình với một số người từ dân số khung của bạn; các nhà nghiên cứu khảo sát gọi quá trình thử nghiệm này (Presser et al. 2004) . Kinh nghiệm của tôi là khảo sát trước khi kiểm tra là cực kỳ hữu ích.
