3.3.2 đo lường

Đo lường là về suy luận từ những gì được hỏi của bạn nói với những gì được hỏi bạn nghĩ và làm.

Các thể loại thứ hai trong tổng số khung lỗi khảo sát là đo lường; nó đề với cách chúng tôi có thể làm cho suy luận từ câu trả lời mà người trả lời cho các câu hỏi của chúng tôi. Nó chỉ ra rằng các câu trả lời chúng tôi nhận được, và do đó những kết luận chúng tôi thực hiện, có thể phụ thuộc cách-on phê bình và đôi khi đáng ngạc nhiên chính xác như thế nào chúng tôi yêu cầu. Có lẽ không có gì minh hoạ điểm quan trọng này tốt hơn so với một trò đùa trong cuốn sách tuyệt vời ra những câu hỏi của Norman Bradburn, Seymour Sudman, và Brian Wansink (2004) :

Hai linh mục, một Dominica và một linh mục Dòng Tên, đang thảo luận cho dù đó là một tội lỗi để hút thuốc và cầu nguyện cùng một lúc. Sau khi thất bại để đạt được một kết luận, từng đi off để tham khảo ý kiến ​​cấp trên tương ứng của mình. Các Dominica nói, "Điều gì đã nói cấp trên của bạn?"

Dòng Tên đáp, "Ông nói rằng nó đã ổn."

"Buồn cười" Dominican trả lời, "giám sát viên của tôi nói rằng đó là một tội lỗi."

Dòng Tên nói, "bạn đã hỏi anh ấy những gì?" Các Dominica trả lời, "Tôi hỏi anh ta nếu nó đã ổn để hút thuốc trong khi cầu nguyện." "Oh" Dòng Tên nói, "Tôi hỏi nếu đó là OK để cầu nguyện trong khi hút thuốc."

Có rất nhiều ví dụ về các bất thường như một trong những kinh nghiệm của hai linh mục. Trong thực tế, vấn đề rất ở gốc của trò đùa này có một cái tên trong cộng đồng nghiên cứu khảo sát: các hiệu ứng hình thức câu hỏi (Kalton and Schuman 1982) . Để xem làm thế nào tác động dạng câu hỏi có thể tác động đến khảo sát thực tế, hãy xem xét hai câu hỏi khảo sát trai rất giống nhau:

• "Bao nhiêu bạn đồng ý với các tuyên bố sau: Cá nhân có nhiều để đổ lỗi hơn so với điều kiện xã hội cho tội phạm và vô luật pháp ở đất nước này."
• "Bao nhiêu bạn đồng ý với những phát biểu sau đây: điều kiện xã hội có nhiều để đổ lỗi hơn so với các cá nhân cho tội ác và vô luật pháp ở đất nước này."

Mặc dù cả hai câu hỏi xuất hiện để đo lường cùng một điều, họ đã tạo ra kết quả khác nhau trong một thí nghiệm khảo sát thực tế (Schuman and Presser 1996) . Khi được hỏi một cách, khoảng 60% số người được hỏi rằng các cá nhân có nhiều để đổ lỗi cho tội ác, nhưng khi được hỏi theo cách khác khoảng 60% báo cáo rằng các điều kiện xã hội có nhiều nguyên nhân (Hình 3.2). Nói cách khác, sự khác biệt nhỏ giữa hai câu hỏi có thể dẫn các nhà nghiên cứu đến một kết luận khác nhau.

Hình 3.2: Kết quả từ một thí nghiệm khảo sát (Schuman and Presser 1996, Table 8.1) . Các nhà nghiên cứu có thể nhận được câu trả lời khác nhau tùy thuộc vào chính xác làm thế nào họ hỏi những câu hỏi. Đây là một ví dụ của một hiệu ứng hình thức câu hỏi (Kalton and Schuman 1982) .

Ngoài các cấu trúc của câu hỏi, người trả lời cũng có thể cung cấp cho câu trả lời khác nhau dựa trên các từ cụ thể được sử dụng. Ví dụ, để đo lường ý kiến ​​về những ưu tiên của chính phủ, trả lời được đọc dấu nhắc sau đây:

"Chúng tôi đang phải đối mặt với nhiều vấn đề ở đất nước này, không ai trong số đó có thể được giải quyết một cách dễ dàng hoặc không tốn kém. Tôi sẽ đặt tên cho một số những vấn đề này, và cho mỗi một tôi muốn bạn cho tôi biết liệu bạn có nghĩ rằng chúng ta đang chi tiêu quá nhiều tiền vào nó, quá ít tiền, hoặc về số tiền phải. "

". Viện trợ cho người nghèo" Tiếp theo, một nửa số người được hỏi đã hỏi về "phúc lợi" và một nửa được hỏi về Trong khi những có vẻ như hai cụm từ khác nhau cho cùng một điều, họ gợi ra kết quả rất khác nhau (hình 3.3); Mỹ báo cáo đang được nhiều ủng hộ nhiều hơn của "viện trợ cho người nghèo" hơn là "phúc lợi" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Trong khi các nhà nghiên cứu khảo sát xem xét những tác động từ ngữ được dị thường, họ cũng có thể xem xét kết quả nghiên cứu. Đó là, chúng ta đã học được điều gì đó về dư luận từ kết quả này.

Hình 3.3: Kết quả từ Huber and Paris (2013) . Trả lời được nhiều ủng hộ nhiều hơn của "viện trợ cho người nghèo" hơn là "phúc lợi". Đây là một ví dụ của một hiệu ứng câu hỏi từ ngữ, theo đó các câu trả lời mà các nhà nghiên cứu nhận được phụ thuộc vào chính xác những từ họ sử dụng trong câu hỏi của họ.

Như những ví dụ về hiệu ứng hình thức câu hỏi và các hiệu ứng từ ngữ hiển thị, các câu trả lời mà các nhà nghiên cứu nhận có thể bị ảnh hưởng theo những cách tinh tế dựa trên cách họ đặt câu hỏi của họ. Điều này không có nghĩa là các cuộc điều tra không nên được sử dụng; thường không có sự lựa chọn. Thay vào đó, các ví dụ minh họa cho chúng ta nên xây dựng những câu hỏi của chúng tôi một cách cẩn thận và chúng ta không nên chấp nhận những phản ứng không phê phán.

cụ thể nhất, điều này có nghĩa rằng nếu bạn đang phân tích dữ liệu thu thập được bởi người khác, hãy chắc chắn rằng bạn đã đọc các câu hỏi thực tế. Và, nếu bạn đang tạo câu hỏi riêng của bạn, tôi có ba đề nghị. Trước tiên, tôi đề nghị bạn đọc thêm về thiết kế bảng câu hỏi (ví dụ, Bradburn, Sudman, and Wansink (2004) ); có nhiều hơn để nó hơn tôi đã có thể mô tả ở đây. Thứ hai, tôi đề nghị bạn nên sao chép từng chữ-câu hỏi từ các cuộc khảo sát chất lượng cao. Mặc dù điều này nghe có vẻ như đạo văn, câu hỏi sao chép được khuyến khích nghiên cứu khảo sát (miễn là bạn trích dẫn cuộc điều tra ban đầu). Nếu bạn sao chép các câu hỏi từ các cuộc khảo sát chất lượng cao, bạn có thể chắc chắn rằng họ đã được thử nghiệm và bạn có thể so sánh các câu trả lời khảo sát của bạn để phản hồi từ một số cuộc khảo sát khác. Cuối cùng, tôi đề nghị bạn trước khi kiểm tra các câu hỏi của bạn với một số người từ dân số khung hình của bạn (Presser et al. 2004) ; kinh nghiệm của tôi là trước khi thử nghiệm luôn luôn cho thấy vấn đề gì đáng ngạc nhiên.