3.4.2 sampel Non-probabilitas: pembobotan
Dengan sampel non-probabilitas, bobot dapat membatalkan distorsi yang disebabkan oleh proses sampling diasumsikan.
Dengan cara yang sama bahwa para peneliti berat tanggapan dari sampel probabilitas, mereka juga dapat berat tanggapan dari sampel non-probabilitas. Misalnya, sebagai alternatif untuk CPS, bayangkan bahwa Anda menempatkan iklan banner di ribuan website untuk merekrut peserta untuk survei untuk memperkirakan tingkat pengangguran. Tentu, Anda akan skeptis bahwa rata sederhana dari sampel Anda akan menjadi perkiraan yang baik dari tingkat pengangguran. skeptisisme Anda mungkin karena Anda berpikir bahwa beberapa orang lebih cenderung untuk menyelesaikan survei Anda daripada yang lain. Misalnya, orang yang tidak menghabiskan banyak waktu di web cenderung untuk menyelesaikan survei Anda.
Seperti yang kita lihat di bagian terakhir, namun, jika kita tahu bagaimana sampel dipilih-seperti yang kita lakukan dengan probabilitas sampel-maka kita dapat membatalkan distorsi yang disebabkan oleh proses sampling. Sayangnya, ketika bekerja dengan sampel non-probabilitas, kita tidak tahu bagaimana sampel yang dipilih. Tapi, kita dapat membuat asumsi tentang proses pengambilan sampel dan kemudian menerapkan bobot dengan cara yang sama. Jika asumsi ini benar, maka bobot akan membatalkan distorsi yang disebabkan oleh proses sampling.
Sebagai contoh, bayangkan bahwa dalam menanggapi iklan banner Anda, Anda direkrut 100.000 responden. Namun, Anda tidak percaya bahwa 100.000 responden ini adalah sampel acak sederhana dari orang dewasa Amerika. Bahkan, ketika Anda membandingkan responden untuk penduduk AS, Anda menemukan bahwa orang-orang dari beberapa negara (misalnya, New York) lebih terwakili dan bahwa orang-orang dari beberapa negara (misalnya, Alaska) kurang terwakili. Dengan demikian, tingkat pengangguran dari sampel Anda mungkin akan perkiraan buruk tingkat pengangguran dalam populasi target.
Salah satu cara untuk membatalkan distorsi yang terjadi dalam proses pengambilan sampel adalah untuk menetapkan bobot untuk setiap orang; bobot yang lebih rendah kepada orang-orang dari negara-negara yang lebih terwakili dalam sampel (misalnya, New York) dan bobot yang lebih tinggi kepada orang-orang dari negara-negara yang kurang terwakili dalam sampel (misalnya, Alaska). Lebih khusus, bobot untuk setiap responden terkait dengan prevalensi mereka dalam sampel Anda relatif terhadap prevalensi mereka pada populasi AS. Prosedur pembobotan ini disebut post-stratifikasi, dan gagasan berat harus mengingatkan Anda tentang contoh dalam Bagian 3.4.1 di mana responden dari Rhode Island diberi bobot kurang dari responden dari California. Pasca-stratifikasi mengharuskan Anda tahu cukup untuk menempatkan responden Anda ke dalam grup dan untuk mengetahui proporsi populasi sasaran dalam setiap kelompok.
Meskipun bobot sampel probabilitas dan sampel non-probabilitas adalah matematis yang sama (lihat lampiran teknis), mereka bekerja dengan baik dalam situasi yang berbeda. Jika peneliti memiliki probabilitas sampel yang sempurna (yaitu, tidak ada kesalahan cakupan dan tidak ada non-respon), maka bobot akan menghasilkan perkiraan berisi semua sifat-sifat dalam semua kasus. Jaminan teoritis yang kuat ini adalah mengapa pendukung sampel probabilitas menemukan mereka begitu menarik. Di sisi lain, bobot sampel non-probabilitas hanya akan menghasilkan perkiraan berisi semua sifat-sifat jika kecenderungan respon adalah sama untuk semua orang di setiap kelompok. Dengan kata lain, berpikir kembali ke contoh kita, menggunakan pasca-stratifikasi akan menghasilkan berisi perkiraan jika semua orang di New York memiliki probabilitas yang sama berpartisipasi dan semua orang di Alaska memiliki probabilitas yang sama berpartisipasi dan sebagainya. Asumsi ini disebut asumsi homogen-respon-kecenderungan-dalam-kelompok, dan memainkan peran kunci dalam mengetahui jika posting-stratifikasi akan bekerja dengan baik dengan sampel non-probabilitas.
Sayangnya, dalam contoh kita, asumsi homogen-respon-kecenderungan-dalam-kelompok tampaknya tidak mungkin untuk menjadi kenyataan. Artinya, tampaknya tidak mungkin bahwa semua orang di Alaska memiliki probabilitas yang sama berada di survei Anda. Tapi, ada tiga poin penting untuk diingat tentang pasca-stratifikasi, yang semuanya membuatnya tampak lebih menjanjikan.
Pertama, asumsi homogen-respon-kecenderungan-dalam-kelompok menjadi lebih masuk akal sebagai jumlah kelompok meningkat. Dan, peneliti tidak terbatas kelompok hanya berdasarkan dimensi geografis tunggal. Sebagai contoh, kita bisa membuat grup berdasarkan negara, usia, jenis kelamin, dan tingkat pendidikan. Tampaknya lebih masuk akal bahwa ada kecenderungan respon homogen dalam kelompok 18-29, lulusan perempuan, perguruan tinggi yang tinggal di Alaska dari dalam kelompok semua orang yang tinggal di Alaska. Dengan demikian, karena jumlah kelompok yang digunakan untuk pasca-stratifikasi meningkat, asumsi yang diperlukan untuk mendukungnya menjadi lebih masuk akal. Mengingat fakta ini, tampaknya seperti peneliti ingin membuat sejumlah besar kelompok pasca-stratifikasi. Tapi, karena jumlah kelompok meningkat, peneliti mengalami masalah yang berbeda: sparsity data. Jika hanya ada sejumlah kecil orang di masing-masing kelompok, maka perkiraan akan lebih pasti, dan dalam kasus ekstrim di mana ada kelompok yang tidak memiliki responden, maka posting-stratifikasi benar-benar rusak. Ada dua cara keluar dari ketegangan yang melekat antara masuk akal dari homogeneous- asumsi respon-kecenderungan-dalam-kelompok dan permintaan untuk ukuran sampel yang wajar dalam setiap kelompok. Satu pendekatan adalah untuk pindah ke model statistik yang lebih canggih untuk menghitung bobot dan yang lainnya adalah untuk mengumpulkan lebih besar, lebih beragam sampel, yang membantu memastikan ukuran sampel yang wajar dalam setiap kelompok. Dan, kadang-kadang peneliti melakukan keduanya, seperti yang saya akan menjelaskan lebih rinci di bawah.
Pertimbangan kedua ketika bekerja dengan pasca-stratifikasi dari sampel non-probabilitas adalah bahwa asumsi homogen-respon-kecenderungan-dalam-kelompok sudah sering dilakukan ketika menganalisis sampel probabilitas. Alasan bahwa asumsi ini diperlukan untuk sampel probabilitas dalam praktek adalah bahwa sampel probabilitas memiliki non-respon, dan metode yang paling umum untuk menyesuaikan untuk non-respon pasca-stratifikasi seperti dijelaskan di atas. Tentu saja, hanya karena banyak peneliti membuat asumsi tertentu tidak berarti bahwa Anda harus melakukannya juga. Tapi, itu tidak berarti bahwa ketika membandingkan sampel non-probabilitas sampel probabilitas dalam praktek, kita harus ingat bahwa kedua tergantung pada asumsi dan informasi tambahan untuk menghasilkan perkiraan. Dalam pengaturan yang paling realistis, tidak ada cukup pendekatan asumsi-bebas untuk inferensi.
Akhirnya, jika Anda peduli tentang satu perkiraan khususnya-dalam contoh pengangguran kami tingkat-maka Anda perlu kondisi lemah dari asumsi homogen-respon-kecenderungan-dalam-kelompok. Secara khusus, Anda tidak perlu menganggap bahwa setiap orang memiliki respon kecenderungan yang sama, Anda hanya perlu berasumsi bahwa tidak ada korelasi antara respon kecenderungan dan tingkat pengangguran masing-masing kelompok. Tentu saja, bahkan kondisi lemah ini tidak akan terus dalam beberapa situasi. Misalnya, bayangkan memperkirakan proporsi Amerika yang melakukan pekerjaan sukarela. Jika orang-orang yang melakukan pekerjaan sukarela lebih cenderung setuju untuk berada di survei, maka peneliti akan secara sistematis selama-memperkirakan jumlah relawan, bahkan jika mereka penyesuaian pasca-stratifikasi, hasil yang telah dibuktikan secara empiris oleh Abraham, Helms, and Presser (2009) .
Seperti yang saya katakan sebelumnya, sampel non-probabilitas dipandang dengan skeptisisme yang besar oleh para ilmuwan sosial, sebagian karena peran mereka dalam beberapa kegagalan yang paling memalukan di hari-hari awal penelitian survei. Sebuah contoh yang jelas dari seberapa jauh kita telah datang dengan sampel non-probabilitas adalah penelitian Wei Wang, David Rothschild, Sharad Goel, dan Andrew Gelman yang benar pulih hasil pemilu 2012 AS dengan menggunakan sampel non-probabilitas pengguna Amerika Xbox -a sampel jelas non-acak orang Amerika (Wang et al. 2015) . Para peneliti merekrut responden dari sistem game Xbox, dan seperti yang Anda harapkan, sampel Xbox miring laki-laki dan miring muda: 18 - usia 29 tahun membuat 19% dari pemilih tetapi 65% dari sampel Xbox dan laki-laki membuat 47% dari pemilih dan 93% dari Xbox sampel (Gambar 3.4). Karena ini bias demografi yang kuat, data Xbox mentah adalah indikator miskin pengembalian pemilu. Ini memprediksikan kemenangan yang kuat untuk Mitt Romney lebih Barack Obama. Sekali lagi, ini adalah contoh lain dari bahaya baku, sampel non-probabilitas disesuaikan dan mengingatkan kegagalan Literary Digest.
Gambar 3.4: Demografi responden di Wang et al. (2015) . Karena responden direkrut dari Xbox, mereka lebih mungkin untuk menjadi muda dan lebih cenderung laki-laki, relatif terhadap pemilih dalam pemilihan 2012.
Namun, Wang dan rekan menyadari masalah ini dan berusaha untuk berat responden untuk mengoreksi proses sampling. Secara khusus, mereka menggunakan bentuk yang lebih canggih dari pasca-stratifikasi saya katakan tentang. Perlu belajar sedikit tentang pendekatan mereka karena membangun intuisi tentang pasca-stratifikasi, dan versi tertentu Wang dan rekan yang digunakan adalah salah satu pendekatan yang paling menarik untuk sampel non-probabilitas pembobotan.
Dalam contoh sederhana kita tentang memperkirakan pengangguran di Bagian 3.4.1, kami membagi populasi ke dalam kelompok berdasarkan negara tempat tinggal. Sebaliknya, Wang dan rekan dibagi penduduk ke ke 176.256 kelompok didefinisikan oleh: jenis kelamin (2 kategori), ras (4 kategori), usia (4 kategori), pendidikan (4 kategori), negara (51 kategori), ID partai (3 kategori), ideologi (3 kategori) dan 2008 orang (3 kategori). Dengan kelompok yang lebih, para peneliti berharap bahwa itu akan menjadi semakin mungkin bahwa dalam setiap kelompok, respon kecenderungan itu tidak berkorelasi dengan dukungan untuk Obama. Berikutnya, daripada membangun bobot tingkat individu, seperti yang kita lakukan dalam contoh kita, Wang dan rekan-rekannya menggunakan model yang kompleks untuk memperkirakan proporsi penduduk di masing-masing kelompok yang akan memilih Obama. Akhirnya, mereka dikombinasikan perkiraan kelompok ini dukungan dengan ukuran yang dikenal dari masing-masing kelompok untuk menghasilkan tingkat keseluruhan diperkirakan dukungan. Dengan kata lain, mereka dicincang populasi ke dalam kelompok yang berbeda, memperkirakan dukungan untuk Obama di masing-masing kelompok, dan kemudian mengambil rata-rata tertimbang dari perkiraan kelompok untuk menghasilkan perkiraan keseluruhan.
Dengan demikian, tantangan besar dalam pendekatan mereka adalah untuk memperkirakan dukungan untuk Obama di masing-masing 176.256 kelompok ini. Meskipun panel mereka termasuk 345.858 peserta yang unik, sejumlah besar oleh standar polling pemilu, ada banyak, banyak kelompok yang Wang dan rekan memiliki hampir tidak ada responden. Oleh karena itu, untuk memperkirakan dukungan di masing-masing kelompok mereka menggunakan teknik yang disebut regresi bertingkat dengan pasca-stratifikasi, yang peneliti sayang memanggil Mr. P. Pada dasarnya, untuk memperkirakan dukungan untuk Obama dalam kelompok tertentu, Mr. P. kolam informasi dari banyak erat kelompok terkait. Sebagai contoh, perhatikan tantangan memperkirakan dukungan untuk Obama di kalangan perempuan, Hispanik, berusia antara 18-29 tahun, yang adalah lulusan perguruan tinggi, yang terdaftar Demokrat, yang mengidentifikasi diri sebagai moderat, dan yang memilih Obama pada tahun 2008. Ini adalah kelompok yang sangat, sangat spesifik, dan ada kemungkinan bahwa ada seorang pun dalam sampel dengan karakteristik ini. Oleh karena itu, untuk membuat estimasi tentang kelompok ini, Mr. P. kolam bersama-sama memperkirakan dari orang-orang dalam kelompok yang sangat mirip.
Menggunakan strategi analisis ini, Wang dan rekan mampu menggunakan Xbox sampel non-probabilitas yang sangat erat memperkirakan dukungan keseluruhan bahwa Obama menerima dalam pemilihan 2012 (Gambar 3.5). Bahkan perkiraan mereka lebih akurat daripada agregat dari jajak pendapat publik. Dengan demikian, dalam kasus ini, bobot-khusus Mr P.-tampaknya melakukan pekerjaan yang baik mengoreksi bias dalam data non-probabilitas; bias yang terlihat ketika Anda melihat perkiraan dari data Xbox disesuaikan.
Gambar 3.5: Perkiraan dari Wang et al. (2015) . sampel XBox disesuaikan diproduksi perkiraan akurat. Tapi, sampel XBox tertimbang menghasilkan estimasi yang lebih akurat daripada rata-rata survei telepon berbasis probabilitas.
Ada dua pelajaran utama dari studi Wang dan rekan. Pertama, disesuaikan sampel non-probabilitas dapat menyebabkan perkiraan buruk; ini adalah pelajaran bahwa banyak peneliti telah mendengar sebelumnya. Namun, pelajaran kedua adalah bahwa sampel non-probabilitas, ketika ditimbang dengan benar, dapat benar-benar menghasilkan perkiraan cukup baik. Bahkan, perkiraan mereka lebih akurat daripada perkiraan dari pollster.com, sebuah agregasi lebih jajak pendapat pemilu tradisional.
Akhirnya, ada keterbatasan penting untuk apa yang dapat kita pelajari dari satu studi tertentu. Hanya karena pasca-stratifikasi bekerja dengan baik dalam kasus ini, tidak ada jaminan bahwa itu akan bekerja dengan baik dalam kasus lain. Bahkan, pemilihan adalah mungkin salah satu pengaturan yang paling mudah karena lembaga survei telah mempelajari pemilu selama hampir 100 tahun, ada umpan balik reguler (kita bisa lihat siapa yang menang pemilu), dan identifikasi partai dan karakteristik demografi relatif prediksi voting. Pada titik ini, kita kekurangan teori yang solid dan pengalaman empiris untuk mengetahui kapan pembobotan penyesuaian sampel non-probabilitas akan menghasilkan perkiraan yang cukup akurat. Satu hal yang jelas, bagaimanapun, adalah jika Anda dipaksa untuk bekerja dengan sampel non-probabilitas, maka ada alasan yang kuat untuk percaya bahwa perkiraan disesuaikan akan lebih baik dari perkiraan non-disesuaikan.
