3.4.2 sampel Bukan kebarangkalian: pemberat

Dengan sampel bukan kebarangkalian, berat boleh membatalkan herotan yang disebabkan oleh proses pensampelan diandaikan.

Dengan cara yang sama bahawa penyelidik berat jawapan daripada sampel kebarangkalian, mereka juga boleh berat jawapan daripada sampel bukan kebarangkalian. Sebagai contoh, sebagai alternatif kepada CPS, bayangkan bahawa anda meletakkan iklan banner pada beribu-ribu laman web untuk merekrut peserta kajian untuk menganggarkan kadar pengangguran. Sememangnya, anda akan ragu-ragu bahawa min mudah untuk sampel anda akan menjadi anggaran yang baik daripada kadar pengangguran. keraguan anda adalah mungkin kerana anda berfikir bahawa sesetengah orang lebih cenderung untuk melengkapkan kaji selidik anda daripada yang lain. Sebagai contoh, orang-orang yang tidak menghabiskan banyak masa di web kurang cenderung untuk melengkapkan kaji selidik anda.

Seperti yang kita lihat dalam bahagian yang lepas, bagaimanapun, jika kita tahu bagaimana sampel telah dipilih-seperti yang kita lakukan dengan kebarangkalian sampel-maka kita boleh buat asal herotan yang disebabkan oleh proses pensampelan. Malangnya, apabila bekerja dengan sampel bukan kebarangkalian, kita tidak tahu bagaimana sampel telah dipilih. Tetapi, kita boleh membuat andaian mengenai proses pensampelan dan kemudian memohon pemberat dalam cara yang sama. Jika andaian ini adalah betul, maka pemberat akan membatalkan herotan yang disebabkan oleh proses pensampelan.

Sebagai contoh, bayangkan bahawa sebagai respons kepada iklan banner anda, anda diambil 100,000 responden. Walau bagaimanapun, anda tidak percaya bahawa ini 100,000 responden adalah sampel rawak mudah daripada orang dewasa Amerika. Malah, apabila anda membandingkan responden anda kepada penduduk Amerika Syarikat, anda mendapati bahawa orang-orang daripada negara-negara (contohnya, New York) lebih-diwakili dan bahawa orang-orang daripada negara-negara (contohnya, Alaska) adalah kurang diwakili. Oleh itu, kadar pengangguran sampel anda mungkin anggaran yang tidak baik daripada kadar pengangguran di kalangan penduduk sasaran.

Salah satu cara untuk membatalkan penyelewengan yang berlaku dalam proses persampelan adalah untuk tetapkan pemberat kepada setiap orang; berat yang lebih rendah kepada orang-orang dari negeri-negeri yang lebih-diwakili dalam sampel (contohnya, New York) dan berat yang lebih tinggi kepada orang-orang dari negeri-negeri yang kurang diwakili dalam sampel (contohnya, Alaska) itu. Lebih khusus lagi, berat bagi setiap responden berkaitan dengan kelaziman mereka dalam sampel saudara anda untuk kelaziman mereka dalam penduduk Amerika Syarikat. Ini prosedur pemberat dipanggil selepas stratifikasi, dan idea seberat perlu mengingatkan anda contoh dalam Seksyen 3.4.1 di mana responden dari Rhode Island diberi berat badan kurang daripada responden dari California. Post-stratifikasi memerlukan anda tahu cukup untuk meletakkan responden anda ke dalam kumpulan dan untuk mengetahui perkadaran penduduk sasaran dalam setiap kumpulan.

Walaupun pemberat sampel kebarangkalian dan sampel bukan kebarangkalian adalah matematik yang sama (lihat lampiran teknikal), mereka bekerja dengan baik dalam situasi yang berbeza. Jika penyelidik mempunyai sampel kebarangkalian yang sempurna (iaitu, tiada ralat liputan dan tidak bukan tindak balas), maka pemberat akan menghasilkan anggaran yang tidak berat sebelah untuk semua sifat-sifat dalam semua kes. Ini Jaminan teori yang mantap sebabnya penyokong sampel kebarangkalian menemui mereka begitu menarik. Sebaliknya, sampel bukan kebarangkalian pemberat hanya akan menghasilkan anggaran yang tidak berat sebelah untuk semua sifat-sifat jika kecenderungan tindak balas adalah sama untuk semua orang dalam setiap kumpulan. Dengan kata lain, memikirkan kembali kepada contoh, menggunakan pasca stratifikasi akan menghasilkan anggaran yang tidak berat sebelah jika semua orang di New York mempunyai kebarangkalian yang sama yang mengambil bahagian dan semua orang di Alaska mempunyai kebarangkalian yang sama mengambil bahagian dan sebagainya. Andaian ini dipanggil andaian homogen-sambutan-kecenderungan-dalam-kumpulan, dan ia memainkan peranan penting dalam mengetahui jika selepas stratifikasi akan bekerja dengan baik dengan sampel bukan kebarangkalian.

Malangnya, dalam contoh kita, andaian homogen-sambutan-kecenderungan-dalam-kumpulan nampaknya tidak mungkin untuk menjadi kenyataan. Iaitu, ia seolah-olah tidak mungkin bahawa semua orang di Alaska mempunyai kebarangkalian yang sama berada di dalam kaji selidik anda. Tetapi, terdapat tiga perkara penting yang perlu diingat tentang pasca stratifikasi, semua yang membuat ia kelihatan lebih cerah.

Pertama, homogen-sambutan-kecenderungan-dalam-kumpulan andaian menjadi lebih munasabah kerana bilangan kumpulan bertambah. Dan, penyelidik tidak terhad kepada kumpulan hanya berdasarkan satu dimensi geografi tunggal. Sebagai contoh, kita boleh membuat kumpulan berdasarkan pada keadaan, umur, jantina, dan tahap pendidikan. Ia seolah-olah lebih munasabah bahawa ada kecenderungan tindak balas homogen dalam kumpulan 18-29, graduan wanita, kolej yang tinggal di Alaska daripada dalam kumpulan semua orang yang tinggal di Alaska. Oleh itu, seperti bilangan kumpulan digunakan untuk kenaikan selepas stratifikasi, andaian yang diperlukan untuk menyokongnya menjadi lebih munasabah. Memandangkan hakikat ini, ia seolah-olah seperti penyelidik mahu mewujudkan sejumlah besar kumpulan untuk bedah stratifikasi. Tetapi, seperti bilangan kumpulan bertambah, penyelidik menghadapi masalah yang berbeza: sparsity data. Jika terdapat hanya sebilangan kecil orang dalam setiap kumpulan, maka anggaran akan menjadi lebih tidak menentu, dan dalam kes yang melampau di mana terdapat satu kumpulan yang tidak mempunyai responden, kemudian selepas stratifikasi sepenuhnya rosak. Terdapat dua cara keluar dari ketegangan ini wujud antara munasabah daripada homogeneous- andaian sambutan-kecenderungan-dalam-kumpulan dan permintaan untuk saiz sampel munasabah dalam setiap kumpulan. Satu pendekatan adalah untuk bergerak ke model statistik yang lebih canggih untuk mengira berat dan yang lain adalah untuk mengumpul lebih besar, sampel yang lebih pelbagai, yang membantu memastikan saiz sampel munasabah dalam setiap kumpulan. Dan, kadang-kadang penyelidik melakukan kedua-duanya, kerana saya akan menerangkan dengan lebih terperinci di bawah.

Pertimbangan kedua apabila bekerja dengan jawatan-stratifikasi daripada sampel bukan kebarangkalian adalah bahawa andaian homogen-sambutan-kecenderungan-dalam-kumpulan sudah sering dibuat apabila menganalisis sampel kebarangkalian. Alasan bahawa andaian ini diperlukan untuk sampel kebarangkalian dalam amalan adalah bahawa sampel kebarangkalian mempunyai bukan tindak balas, dan kaedah yang paling biasa bagi pelarasan bagi bukan tindak balas adalah selepas stratifikasi seperti yang dinyatakan di atas. Sudah tentu, hanya kerana ramai penyelidik membuat andaian tertentu tidak bermakna bahawa anda perlu melakukan perkara yang sama. Tetapi, ia tidak bermakna bahawa apabila membandingkan sampel bukan kebarangkalian sampel kebarangkalian dalam amalan, kita harus ingat bahawa kedua-dua bergantung kepada andaian dan maklumat tambahan untuk menghasilkan anggaran. Dalam tetapan paling realistik, terdapat hanya ada pendekatan andaian-percuma untuk kesimpulan.

Akhir sekali, jika anda mengambil berat kira-kira satu anggaran khususnya masuk contoh pengangguran kami kadar-maka anda perlu keadaan yang lebih lemah daripada homogen-sambutan-kecenderungan-dalam-kumpulan andaian. Secara khususnya, anda tidak perlu menganggap bahawa semua orang mempunyai kecenderungan tindak balas yang sama, anda hanya perlu untuk menganggap bahawa tidak terdapat hubungan antara kecenderungan tindak balas dan kadar pengangguran dalam setiap kumpulan. Sudah tentu, walaupun keadaan ini lemah tidak dapat bertahan dalam sesetengah keadaan. Sebagai contoh, bayangkan menganggarkan perkadaran Amerika bahawa melakukan kerja-kerja sukarela. Jika orang-orang yang melakukan kerja-kerja sukarelawan lebih cenderung untuk bersetuju untuk berada di dalam kaji selidik, maka penyelidik akan secara sistematik lebih-menganggarkan jumlah sukarela, walaupun mereka melakukan pelarasan selepas stratifikasi, keputusan yang telah ditunjukkan secara empirik oleh Abraham, Helms, and Presser (2009) .

Seperti yang saya katakan sebelum ini, sampel bukan kebarangkalian adalah dilihat dengan keraguan hebat oleh ahli-ahli sains sosial, sebahagiannya kerana peranan mereka dalam beberapa kegagalan paling memalukan pada hari-hari awal kajian tinjauan. Contoh jelas sejauh mana kita telah datang dengan sampel bukan kebarangkalian adalah penyelidikan Wei Wang, David Rothschild, Sharad Goel, dan Andrew Gelman yang betul pulih keputusan pilihan raya AS 2012 menggunakan sampel bukan kebarangkalian dari pengguna American Xbox -a sampel nyata bukan rawak rakyat Amerika (Wang et al. 2015) . Para penyelidik mengambil responden dari sistem permainan yang XBox, dan seperti yang anda jangkakan, sampel Xbox condong lelaki dan condong muda: 18 - kanak-kanak berumur 29 tahun membentuk 19% daripada pengundi tetapi 65% daripada sampel Xbox dan lelaki membentuk 47% daripada pengundi dan 93% daripada sampel Xbox (Rajah 3.4). Kerana ini berat sebelah demografi kuat, data Xbox mentah adalah penunjuk miskin keputusan pilihan raya. Ia meramalkan kemenangan yang kukuh untuk Mitt Romney lebih Barack Obama. Sekali lagi, ini adalah satu lagi contoh mengenai bahaya mentah, sampel bukan kebarangkalian tidak diselaraskan dan mengingatkan kepada kemelut Literary Digest.

Rajah 3.4: Demografi responden di Wang et al. (2015) . Oleh kerana responden telah diambil dari XBox, mereka lebih cenderung untuk menjadi muda dan lebih cenderung untuk menjadi lelaki, berbanding dengan pengundi dalam pilihan raya 2012.

Walau bagaimanapun, Wang dan rakan-rakan menyedari masalah ini dan cuba untuk berat responden untuk membetulkan proses pensampelan. Khususnya, mereka menggunakan bentuk yang lebih canggih selepas stratifikasi telah Kusebutkan kepadamu. Ia adalah bernilai belajar sedikit lebih lanjut mengenai pendekatan mereka kerana ia membina gerak hati mengenai jawatan-stratifikasi, dan versi tertentu Wang dan rakan-rakan yang digunakan adalah salah satu pendekatan yang paling menarik untuk sampel bukan kebarangkalian pemberat.

Dalam contoh mudah kita tentang menganggarkan pengangguran dalam Seksyen 3.4.1, kita dibahagikan penduduk ke dalam kumpulan berdasarkan pada keadaan kediaman. Sebaliknya, Wang dan rakan-rakan dibahagikan penduduk ke dalam ke dalam 176.256 kumpulan yang ditakrifkan oleh: jantina (2 kategori), bangsa (4 kategori), umur (4 kategori), pendidikan (4 kategori), negeri (51 kategori), ID pihak (3 kategori), ideologi (3 kategori) dan 2008 undi (3 kategori). Dengan lebih kumpulan, penyelidik berharap bahawa ia akan menjadi semakin besar kemungkinan bahawa dalam setiap kumpulan, sambutan kecenderungan adalah berkolerasi dengan sokongan untuk Obama. Seterusnya, bukannya membina berat individu-peringkat, seperti yang kita lakukan dalam contoh kita, Wang dan rakan-rakan menggunakan model kompleks untuk menganggarkan perkadaran orang dalam setiap kumpulan yang akan mengundi Obama. Akhirnya, mereka digabungkan anggaran kumpulan sokongan dengan saiz yang diketahui setiap kumpulan untuk menghasilkan tahap keseluruhan anggaran sokongan. Dalam erti kata lain, mereka dicincang penduduk kepada kumpulan yang berbeza, menganggarkan sokongan untuk Obama dalam setiap kumpulan, dan kemudian mengambil purata wajaran anggaran kumpulan untuk menghasilkan satu anggaran secara keseluruhan.

Oleh itu, cabaran yang besar dalam pendekatan mereka adalah untuk menganggarkan sokongan untuk Obama di setiap 176.256 kumpulan. Walaupun panel mereka termasuk 345.858 peserta unik, sejumlah besar oleh standard pengundian pilihan raya, terdapat banyak, banyak kumpulan yang mana Wang dan rakan-hampir tiada responden. Oleh itu, untuk menganggarkan sokongan dalam setiap kumpulan mereka menggunakan teknik yang dipanggil regresi pelbagai peringkat dengan jawatan-stratifikasi, yang penyelidik mesra memanggilnya Encik P. Pada asasnya, untuk menganggarkan sokongan untuk Obama dalam satu kumpulan tertentu, kolam Encik P. maklumat daripada banyak rapat kumpulan berkaitan. Sebagai contoh, pertimbangkan cabaran untuk menganggarkan sokongan untuk Obama di kalangan Hispanik perempuan, berumur antara 18-29 tahun, yang adalah graduan kolej, yang berdaftar Demokrat, yang mengenal pasti diri sebagai golongan sederhana, dan yang mengundi Obama pada tahun 2008. Ini adalah kumpulan yang sangat, sangat tertentu, dan ia adalah mungkin bahawa terdapat tiada siapa dalam sampel dengan ciri-ciri ini. Oleh itu, untuk membuat anggaran mengenai kumpulan ini, kolam Encik P. bersama-sama menganggarkan daripada orang dalam kumpulan yang sama.

Menggunakan strategi analisis ini, Wang dan rakan-rakannya dapat menggunakan sampel bukan kebarangkalian XBox untuk menganggarkan rapat sokongan keseluruhan yang Obama diterima pada pilihan raya 2012 (Rajah 3.5). Malah anggaran mereka lebih tepat daripada agregat undian pendapat awam. Oleh itu, dalam kes ini, pemberat-khusus Encik P.-seolah-olah melakukan kerja yang baik membetulkan berat sebelah dalam data bukan kebarangkalian; berat sebelah yang dapat dilihat apabila anda melihat anggaran daripada data Xbox tidak diselaraskan.

Rajah 3.5: Anggaran dari Wang et al. (2015) . sampel XBox Unadjusted dihasilkan anggaran yang tidak tepat. Tetapi, sampel XBox wajaran dihasilkan anggaran yang lebih tepat daripada purata kaji selidik telefon berasaskan kebarangkalian.

Terdapat dua pengajaran utama daripada kajian Wang dan rakan sekerja. Pertama, sampel bukan kebarangkalian tidak diselaraskan boleh membawa kepada anggaran buruk; ini adalah satu pengajaran bahawa ramai penyelidik telah mendengar sebelum ini. Walau bagaimanapun, pelajaran yang kedua ialah bahawa sampel bukan kebarangkalian, apabila wajaran dengan betul, boleh sebenarnya menghasilkan anggaran yang agak baik. Malah, anggaran mereka lebih tepat daripada anggaran daripada pollster.com, satu kesatuan lebih raya pilihan raya tradisional.

Akhir sekali, terdapat batasan penting dengan apa yang kita boleh belajar daripada satu kajian khusus ini. Hanya kerana selepas stratifikasi berjalan dengan baik dalam kes ini, tidak ada jaminan bahawa ia akan bekerja dengan baik dalam kes-kes lain. Malah, pilihan raya adalah mungkin salah satu tetapan yang paling mudah kerana peninjau pendapat telah mengkaji pilihan raya selama hampir 100 tahun, terdapat maklum balas secara tetap (kita boleh melihat siapa yang menang pilihan raya), dan pengenalan parti dan ciri-ciri demografi yang agak ramalan pengundian. Pada ketika ini, kita kekurangan teori kukuh dan pengalaman empirikal untuk tahu apabila pemberat pelarasan kepada sampel bukan kebarangkalian akan menghasilkan anggaran yang cukup tepat. Satu perkara yang jelas, bagaimanapun, jika anda terpaksa bekerja dengan sampel bukan kebarangkalian, maka ada sebab yang kukuh untuk mempercayai bahawa anggaran diselaraskan akan lebih baik daripada anggaran tidak diselaraskan.