3.4.2 mẫu không xác suất: trọng

Với mẫu không xác suất, trọng lượng có thể lùi lại biến dạng gây ra bởi quá trình lấy mẫu giả định.

Trong cùng một cách mà các nhà nghiên cứu trọng lượng phản hồi từ mẫu xác suất, họ cũng có thể cân phản hồi từ mẫu không xác suất. Ví dụ, như một thay thế cho các CPS, hãy tưởng tượng rằng bạn đặt banner quảng cáo trên hàng ngàn trang web tuyển dụng người tham gia một cuộc khảo sát để đánh giá tỷ lệ thất nghiệp. Đương nhiên, bạn sẽ không tin rằng giá trị trung bình đơn giản của mẫu của bạn sẽ là một ước lượng tốt về tỷ lệ thất nghiệp. hoài nghi của bạn có lẽ là bởi vì bạn nghĩ rằng một số người có nhiều khả năng để hoàn thành cuộc điều tra của bạn hơn những người khác. Ví dụ, những người không dành nhiều thời gian trên web ít có khả năng để hoàn thành cuộc điều tra của bạn.

Như chúng ta đã thấy trong phần cuối cùng, tuy nhiên, nếu chúng ta biết cách mẫu được chọn-như chúng ta làm với xác suất mẫu-sau đó chúng ta có thể hoàn tác biến dạng gây ra bởi quá trình lấy mẫu. Thật không may, khi làm việc với các mẫu không xác suất, chúng tôi không biết làm thế nào mẫu được chọn. Nhưng, chúng ta có thể đưa ra giả định về quá trình lấy mẫu và sau đó áp dụng trọng số trong cùng một cách. Nếu các giả định này là chính xác, sau đó các trọng số sẽ lùi lại các biến dạng gây ra bởi quá trình lấy mẫu.

Ví dụ, hãy tưởng tượng rằng để đáp ứng với các banner quảng cáo của bạn, bạn được tuyển dụng 100.000 người trả lời. Tuy nhiên, bạn không tin rằng những 100,000 trả lời là một mẫu ngẫu nhiên đơn giản của người Mỹ trưởng thành. Trong thực tế, khi bạn so sánh trả lời của bạn để dân số Hoa Kỳ, bạn thấy rằng người dân từ một số quốc gia (ví dụ, New York) là chiếm số và người dân từ một số quốc gia (ví dụ, Alaska) được đại diện. Như vậy, tỷ lệ thất nghiệp của mẫu của bạn có thể sẽ là một ước tính xấu của tỷ lệ thất nghiệp trong dân số mục tiêu.

Một cách để hoàn tác các biến dạng xảy ra trong quá trình lấy mẫu là gán trọng số cho mỗi người; trọng lượng thấp hơn cho những người từ các tiểu bang đang chiếm số trong mẫu (ví dụ, New York) và trọng lượng cao hơn cho những người từ các quốc gia được đại diện trong các mẫu (ví dụ, Alaska). Cụ thể hơn, trọng lượng cho mỗi đơn có liên quan đến tỷ lệ của họ trong mẫu của bạn so với tỷ lệ của họ trong dân số Mỹ. Thủ tục trọng này được gọi là hậu phân tầng, và ý tưởng về cân nặng nên nhắc nhở bạn về những ví dụ trong phần 3.4.1 nơi trả lời từ Rhode Island đã được đưa ra trọng lượng ít hơn so với người trả lời từ California. Post-phân tầng đòi hỏi bạn phải biết đủ để đưa trả lời của bạn thành các nhóm và cho biết tỷ lệ dân số mục tiêu trong mỗi nhóm.

Mặc dù trọng lượng của mẫu xác suất và các mẫu không xác suất là toán học tương tự (xem phụ lục kỹ thuật), họ làm việc tốt trong các tình huống khác nhau. Nếu các nhà nghiên cứu có một mẫu xác suất hoàn hảo (tức là, không có lỗi bảo hiểm và không có không đáp ứng), sau đó trọng số sẽ sản xuất ước lượng không chệch cho tất cả các đặc điểm này ở tất cả các trường hợp. đảm bảo lý thuyết mạnh mẽ Đây là lý do tại sao những người ủng hộ của mẫu xác suất tìm thấy chúng rất hấp dẫn. Mặt khác, các mẫu không xác suất trọng số sẽ chỉ sản xuất ước lượng không chệch cho tất cả những đặc điểm nếu các khuynh hướng phản ứng là như nhau cho tất cả mọi người trong mỗi nhóm. Nói cách khác, suy nghĩ trở lại ví dụ của chúng tôi, sử dụng hậu phân tầng sẽ sản xuất ước lượng không chệch nếu tất cả mọi người ở New York có cùng xác suất tham gia và tất cả mọi người ở Alaska có cùng xác suất tham gia và như vậy. Giả định này được gọi là đồng nhất phản ứng-khuynh hướng-trong-nhóm giả định, và nó đóng một vai trò quan trọng trong việc biết nếu sau phân tầng sẽ làm việc tốt với các mẫu không xác suất.

Thật không may, trong ví dụ của chúng tôi, các giả định đồng nhất phản ứng-khuynh hướng-trong-nhóm này dường như không đúng. Đó là, có vẻ như không chắc rằng tất cả mọi người ở Alaska có cùng xác suất là trong cuộc khảo sát của bạn. Nhưng, có ba điểm quan trọng cần lưu ý về sau phân tầng, tất cả đều làm cho nó có vẻ hứa hẹn hơn.

Đầu tiên, đồng nhất, đáp ứng-khuynh hướng-trong-nhóm giả trở nên hợp lý hơn khi số lượng các nhóm tăng. Và, các nhà nghiên cứu không giới hạn cho các nhóm chỉ dựa vào một chiều hướng địa lý duy nhất. Ví dụ, chúng ta có thể tạo các nhóm dựa vào nhà nước, tuổi tác, giới tính và trình độ học vấn. Nó có vẻ hợp lý hơn là có khuynh hướng phản ứng đồng nhất trong các nhóm 18-29, sinh viên tốt nghiệp nữ, đại học sống ở Alaska hơn trong nhóm của tất cả những người sống ở Alaska. Vì vậy, khi số lượng các nhóm sử dụng cho hậu phân tầng tăng lên, các giả định cần thiết để hỗ trợ nó trở nên hợp lý hơn. Với thực tế này, nó có vẻ như một nhà nghiên cứu muốn tạo ra một số lượng lớn các nhóm cho hậu phân tầng. Nhưng, như số lượng các nhóm tăng lên, các nhà nghiên cứu chạy vào một vấn đề khác nhau: thưa thớt dữ liệu. Nếu chỉ có một số ít người trong mỗi nhóm, sau đó các ước tính sẽ được chắc chắn hơn, và trong trường hợp cực đoan, nơi có một nhóm mà không có người trả lời, sau đó hậu phân tầng hoàn toàn bị phá vỡ. Có hai cách thoát khỏi sự căng thẳng vốn có giữa tính hợp lý của homogeneous- phản ứng-xu hướng-trong-nhóm giả định và nhu cầu về kích thước mẫu hợp lý trong mỗi nhóm. Một cách tiếp cận là để di chuyển đến một mô hình thống kê phức tạp hơn để tính trọng lượng và khác là để thu thập một mẫu đa dạng hơn lớn hơn, giúp đảm bảo kích thước mẫu hợp lý trong mỗi nhóm. Và, đôi khi các nhà nghiên cứu làm cả hai, như tôi sẽ mô tả chi tiết dưới đây.

Một xem xét thứ hai khi làm việc với hậu phân tầng từ mẫu không xác suất là giả định đồng nhất phản ứng-xu hướng-trong-nhóm đã thường xuyên thực hiện khi phân tích các mẫu xác suất. Lý do mà giả định này là cần thiết cho mẫu xác suất trong thực tế là mẫu xác suất có không đáp ứng, và các phương pháp phổ biến nhất để điều chỉnh cho người không phản ứng là sau sự phân tầng như mô tả ở trên. Tất nhiên, chỉ vì nhiều nhà nghiên cứu thực hiện một giả định nào đó không có nghĩa là bạn nên làm điều đó quá. Tuy nhiên, nó không có nghĩa là khi so sánh các mẫu không xác suất để mẫu xác suất trong thực tế, chúng ta phải ghi nhớ rằng cả hai phụ thuộc vào các giả định và thông tin phụ trợ để sản xuất ước tính. Trong cài đặt thực tế nhất, đơn giản là không có phương pháp giả định miễn phí để suy luận.

Cuối cùng, nếu bạn quan tâm về một ước tính đặc biệt, trong ví dụ của chúng tôi thất nghiệp theo tỷ lệ sau đó bạn cần một điều kiện yếu hơn so với đồng nhất phản ứng-xu hướng-trong-nhóm giả định. Cụ thể, bạn không cần phải giả định rằng tất cả mọi người có xu hướng phản ứng tương tự, bạn chỉ cần phải giả định rằng không có mối tương quan giữa xu hướng phản ứng và tỷ lệ thất nghiệp trong mỗi nhóm. Tất nhiên, ngay cả tình trạng yếu này sẽ không thể đúng trong một số tình huống. Ví dụ, hãy tưởng tượng ước tính tỷ lệ người Mỹ mà làm công việc tình nguyện. Nếu những người làm công việc tình nguyện có nhiều khả năng để đồng ý là trong một cuộc khảo sát, sau đó các nhà nghiên cứu sẽ có hệ thống qua ước tính số lượng tình nguyện, thậm chí nếu họ làm điều chỉnh sau phân tầng, một kết quả đã được chứng minh bằng thực nghiệm bởi Abraham, Helms, and Presser (2009) .

Như tôi đã nói trước đó, các mẫu không xác suất được xem nhiều hoài nghi của các nhà khoa học xã hội, một phần vì vai trò của họ trong một số trong những thất bại đáng xấu hổ nhất trong những ngày đầu của nghiên cứu khảo sát. Một ví dụ rõ ràng về cách xa chúng tôi đã đến với các mẫu không xác suất là các nghiên cứu của Wei Wang, David Rothschild, Sharad Goel, và Andrew Gelman mà chính xác phục hồi các kết quả của cuộc bầu cử Mỹ 2012 sử dụng một mẫu không xác suất của người dùng Mỹ Xbox -a mẫu khoát không ngẫu nhiên của người Mỹ (Wang et al. 2015) . Các nhà nghiên cứu tuyển chọn người trả lời từ các hệ thống chơi game Xbox, và như bạn có thể mong đợi, các mẫu Xbox lệch nam và bị sai lệch trẻ: 18 - tuổi 29 năm tạo nên 19% số cử tri trong khi 65% các mẫu Xbox và nam giới chiếm 47% số cử tri và 93% mẫu Xbox (Hình 3.4). Bởi vì những thành kiến ​​cá nhân mạnh mẽ, dữ liệu Xbox liệu là một chỉ số nghèo của quả bầu cử. Nó dự đoán một chiến thắng mạnh mẽ cho Mitt Romney trên Barack Obama. Một lần nữa, đây là một ví dụ về sự nguy hiểm của, mẫu không xác suất không điều chỉnh thô và gợi nhớ đến sự thất bại Literary Digest.

Hình 3.4: Nhân khẩu học của người trả lời trong Wang et al. (2015) . Bởi vì người trả lời được tuyển chọn từ Xbox, họ có nhiều khả năng phải trẻ, nhiều khả năng là nam, so với các cử tri trong cuộc bầu cử năm 2012.

Tuy nhiên, Wang và các đồng nghiệp đã nhận thức được vấn đề này và đã cố gắng để cân nặng của người trả lời chính xác cho quá trình lấy mẫu. Đặc biệt, họ đã sử dụng một hình thức tinh vi hơn của hậu phân tầng Tôi đã nói với bạn về. Đó là giá trị học tập nhiều hơn một chút về cách tiếp cận của họ, vì nó được xây dựng trực giác về sau phân tầng, và các phiên bản đặc biệt Wang và các đồng nghiệp sử dụng là một trong những cách tiếp cận thú vị nhất với các mẫu không xác suất trọng.

Trong ví dụ đơn giản của chúng tôi về ước tính tỷ lệ thất nghiệp tại mục 3.4.1, chúng ta chia dân số thành các nhóm dựa trên trạng thái của nơi cư trú. Ngược lại, Wang và các đồng nghiệp chia dân số thành vào 176.256 nhóm được định nghĩa bởi: giới tính (2 loại), chủng tộc (4 loại), tuổi (4 loại), giáo dục (4 loại), nhà nước (51 hạng mục), ID bên (3 loại), hệ tư tưởng (3 loại) và 2008 phiếu (3 loại). Với các nhóm nhiều hơn, các nhà nghiên cứu hy vọng rằng nó sẽ là ngày càng có khả năng rằng trong mỗi nhóm, đáp ứng xu hướng là không tương quan với sự hỗ trợ cho Obama. Tiếp theo, chứ không phải là xây dựng trọng cấp độ cá nhân, như chúng ta đã làm trong ví dụ của chúng tôi, Wang và các đồng nghiệp đã sử dụng một mô hình phức tạp để ước tính tỷ lệ người trong mỗi nhóm mà có thể bỏ phiếu cho Obama. Cuối cùng, họ kết hợp các ước tính nhóm hỗ trợ với các kích thước được biết đến của mỗi nhóm để đưa ra một mức độ tổng thể ước tính hỗ trợ. Nói cách khác, họ băm nhỏ dân số thành các nhóm khác nhau, ước tính hỗ trợ cho Obama trong mỗi nhóm, và sau đó lấy một bình quân gia quyền của các ước tính nhóm để đưa ra một ước tính tổng thể.

Do đó, thách thức lớn trong cách tiếp cận của họ là để ước tính hỗ trợ cho Obama trong mỗi 176.256 nhóm. Mặc dù bảng điều khiển của họ bao gồm 345.858 người tham gia duy nhất, một số lượng lớn theo tiêu chuẩn của bỏ phiếu bầu cử, đã có nhiều người, nhiều nhóm mà Wang và các đồng nghiệp gần như không có người trả lời. Do đó, để ước tính hỗ trợ trong mỗi nhóm họ đã sử dụng một kỹ thuật gọi là hồi quy đa cấp với hậu phân tầng, trong đó các nhà nghiên cứu trìu mến gọi ông P. Về cơ bản, để ước tính hỗ trợ cho Obama trong một nhóm cụ thể, ông P. hồ thông tin từ nhiều nhóm liên quan chặt chẽ. Ví dụ, hãy xem xét những thách thức của việc ước tính hỗ trợ cho Obama trong tiếng Tây Ban Nha nữ, giữa 18-29 tuổi, sinh viên tốt nghiệp đại học, những người đang đăng ký đảng Dân chủ, người tự nhận mình là người ôn hòa, và những người đã bỏ phiếu cho Obama trong năm 2008. Điều này là một nhóm rất, rất cụ thể, và có thể là không có ai trong mẫu với những đặc điểm này. Vì vậy, để thực hiện ước về nhóm này, ông P. hồ cùng nhau ước tính từ những người trong nhóm rất giống nhau.

Sử dụng chiến lược phân tích này, Wang và các đồng nghiệp đã có thể sử dụng các mẫu không xác suất Xbox để ước lượng rất chặt chẽ việc hỗ trợ tổng thể mà ông Obama nhận được trong cuộc bầu cử năm 2012 (Hình 3.5). Trong thực tế ước tính của họ là chính xác hơn là một tổng hợp của các cuộc thăm dò dư luận. Như vậy, trong trường hợp này, trọng lượng-đặc biệt ông P.-dường như làm tốt công việc sửa chữa các sai số trong dữ liệu không xác suất; những thành kiến ​​mà có thể nhìn thấy khi bạn nhìn vào các ước tính từ dữ liệu Xbox không điều chỉnh.

Hình 3.5: Ước tính từ Wang et al. (2015) . mẫu Xbox chưa điều chỉnh sản xuất ước tính không chính xác. Tuy nhiên, các mẫu Xbox trọng sản xuất ước tính là chính xác hơn trung bình của các cuộc điều tra qua điện thoại dựa trên xác suất.

Có hai bài học chính từ nghiên cứu của Wang và các đồng nghiệp. Đầu tiên, các mẫu không xác suất không điều chỉnh có thể dẫn đến các ước tính xấu; đây là một bài học mà nhiều nhà nghiên cứu đã nghe trước đó. Tuy nhiên, bài học thứ hai là mẫu không xác suất, khi trọng đúng cách, có thể thực sự sản xuất ước tính khá tốt. Trong thực tế, dự đoán của họ là chính xác hơn so với ước tính từ pollster.com, một tập hợp của nhiều cuộc thăm dò bầu cử truyền thống.

Cuối cùng, có những hạn chế quan trọng với những gì chúng ta có thể học hỏi từ một nghiên cứu cụ thể này. Chỉ vì sau phân tầng làm việc tốt trong trường hợp này, không có đảm bảo rằng nó sẽ làm việc tốt trong các trường hợp khác. Trong thực tế, các cuộc bầu cử có lẽ là một trong những thiết lập đơn giản nhất vì thăm dò dư luận đã nghiên cứu các cuộc bầu cử gần 100 năm qua, có thông tin phản hồi thường xuyên (chúng ta có thể xem ai thắng cuộc bầu cử), và xác định bên và đặc điểm nhân khẩu học là tương đối tiên đoán của bầu cử. Tại thời điểm này, chúng ta thiếu lý thuyết vững chắc và kinh nghiệm thực nghiệm để biết khi nào nặng từ điều chỉnh mẫu không xác suất sẽ sản xuất ước tính tương đối chính xác. Một điều rõ ràng, tuy nhiên, nếu bạn buộc phải làm việc với các mẫu không xác suất, sau đó có lý do mạnh mẽ để tin rằng dự toán điều chỉnh sẽ tốt hơn so với ước tính trước điều chỉnh.