3.3 Tổng khuôn khổ cuộc điều tra lỗi

Tổng số lỗi khảo sát lỗi = đại diện + sai số phép đo.

Ước tính đến từ các cuộc điều tra mẫu thường không hoàn hảo. Tức là, thường có sự khác biệt giữa ước tính được tạo ra bởi một cuộc khảo sát mẫu (ví dụ, chiều cao trung bình ước tính của học sinh trong một trường) và giá trị thực trong dân số (ví dụ, chiều cao trung bình thực tế của học sinh trong trường). Đôi khi những lỗi này quá nhỏ đến mức chúng không quan trọng, nhưng đôi khi, thật không may, chúng có thể lớn và hậu quả. Trong một nỗ lực để hiểu, đo lường và giảm sai sót, các nhà nghiên cứu dần dần tạo ra một khuôn khổ khái niệm bao quát, duy nhất cho các lỗi có thể phát sinh trong các khảo sát mẫu: tổng khuôn khổ khảo sát (Groves and Lyberg 2010) . Mặc dù sự phát triển của khuôn khổ này bắt đầu vào những năm 1940, tôi nghĩ rằng nó cung cấp cho chúng tôi hai ý tưởng hữu ích cho nghiên cứu khảo sát trong kỷ nguyên số.

Đầu tiên, tổng khung lỗi khảo sát làm rõ rằng có hai loại lỗi: sai lệch và phương sai . Nói chung, sai lệch là sai số hệ thống và phương sai là lỗi ngẫu nhiên. Nói cách khác, hãy tưởng tượng chạy 1.000 bản sao của cùng một khảo sát mẫu và sau đó xem xét phân bố các ước tính từ 1.000 lần sao chép này. Độ lệch là sự chênh lệch giữa giá trị trung bình của các ước tính lặp lại này và giá trị thực. Phương sai là sự thay đổi của các ước tính này. Tất cả những người khác đều bình đẳng, chúng tôi muốn một thủ tục không thiên vị và phương sai nhỏ. Thật không may, đối với nhiều vấn đề thực sự, không có sự thiên vị, thủ tục không chính xác nhỏ không tồn tại, khiến các nhà nghiên cứu ở vị trí khó khăn quyết định cách cân bằng các vấn đề được giới thiệu bởi thiên vị và phương sai. Một số nhà nghiên cứu theo bản năng thích các thủ tục không thiên vị, nhưng tập trung vào sự thiên vị có thể là một sai lầm. Nếu mục tiêu là tạo ra ước tính gần nhất có thể cho sự thật (ví dụ, với lỗi nhỏ nhất có thể), thì bạn có thể tốt hơn với quy trình có độ lệch nhỏ và phương sai nhỏ so với một không thiên vị nhưng có một phương sai lớn (hình 3.1). Nói cách khác, tổng khuôn khổ khảo sát lỗi cho thấy rằng khi đánh giá các quy trình nghiên cứu khảo sát, bạn nên xem xét cả hai sai lệch và phương sai.

Hình 3.1: Phương sai và phương sai. Lý tưởng nhất, các nhà nghiên cứu sẽ có một thủ tục ước lượng không thiên vị, phương sai thấp. Trong thực tế, họ thường phải đưa ra quyết định tạo ra một sự cân bằng giữa thiên lệch và phương sai. Mặc dù một số nhà nghiên cứu theo bản năng thích các thủ tục không thiên vị, đôi khi một quy trình nhỏ, sai lệch nhỏ có thể tạo ra các ước tính chính xác hơn so với một quy trình không thiên vị có phương sai cao.

Sự thấu hiểu chính thứ hai từ tổng khuôn khổ lỗi khảo sát, mà sẽ tổ chức nhiều chương này, là có hai nguồn lỗi: vấn đề liên quan đến những người bạn nói chuyện với (đại diện) và các vấn đề liên quan đến những gì bạn học hỏi từ những cuộc trò chuyện (đo lường ). Ví dụ: bạn có thể quan tâm đến việc ước tính thái độ về sự riêng tư trực tuyến của những người trưởng thành sống ở Pháp. Việc đưa ra các ước tính này yêu cầu hai loại suy luận khác nhau. Đầu tiên, từ các câu trả lời mà người trả lời đưa ra, bạn phải phỏng đoán thái độ của họ về quyền riêng tư trực tuyến (đó là vấn đề đo lường). Thứ hai, từ thái độ suy luận trong số những người được phỏng vấn, bạn phải phỏng đoán thái độ của dân số nói chung (đó là vấn đề đại diện). Việc lấy mẫu hoàn hảo với các câu hỏi khảo sát xấu sẽ tạo ra các ước tính xấu, vì sẽ lấy mẫu xấu với các câu hỏi khảo sát hoàn hảo. Nói cách khác, ước tính tốt đòi hỏi phương pháp tiếp cận âm thanh để đo lường và biểu diễn. Với bối cảnh đó, tôi sẽ xem xét cách các nhà nghiên cứu khảo sát đã suy nghĩ về biểu diễn và đo lường trong quá khứ. Sau đó, tôi sẽ cho thấy những ý tưởng về biểu diễn và đo lường có thể hướng dẫn nghiên cứu khảo sát độ tuổi kỹ thuật số.