3.3.1 Representasi

Representasi adalah tentang membuat kesimpulan dari responden untuk populasi target Anda.

Untuk memahami jenis kesalahan yang dapat terjadi ketika menyimpulkan dari responden untuk populasi yang lebih besar, mari kita pertimbangkan polling Jeruk Sastra Digest yang mencoba memprediksi hasil pemilihan presiden AS tahun 1936. Meski sudah terjadi lebih dari 75 tahun yang lalu, bencana ini masih memiliki pelajaran penting untuk mengajar para peneliti hari ini.

Intisari Sastra adalah majalah umum yang populer, dan mulai tahun 1920 mereka mulai melakukan pemilihan jerami untuk memprediksi hasil pemilihan presiden. Untuk membuat prediksi ini, mereka akan mengirim surat suara ke banyak orang dan kemudian menghitung kembali surat suara yang dikembalikan; Sastra Digest dengan bangga melaporkan bahwa surat suara yang mereka terima tidak “tertimbang, disesuaikan, atau ditafsirkan.” Prosedur ini dengan tepat memprediksi pemenang pemilu pada tahun 1920, 1924, 1928 dan 1932. Pada tahun 1936, di tengah-tengah Depresi Besar, Sastra Digest mengirim surat suara ke 10 juta orang, yang namanya sebagian besar berasal dari direktori telepon dan catatan pendaftaran mobil. Beginilah cara mereka menggambarkan metodologi mereka:

“Mesin mulus DIGEST ini bergerak dengan ketepatan yang cepat dari pengalaman tiga puluh tahun untuk mengurangi dugaan terhadap fakta-fakta sulit… Minggu ini, 500 pena menggores lebih dari seperempat juta alamat sehari. Setiap hari, di sebuah ruangan besar yang tinggi di atas Fourth Avenue yang dikelilingi motor, di New York, 400 pekerja dengan sigap menyelipkan satu juta keping barang cetakan — cukup untuk membuka empat puluh blok kota — ke dalam amplop yang dialamatkan [sic]. Setiap jam, di Kantor Pos Kantor DIGEST Sendiri, tiga mesin meteran ongkos kirim yang bergetar disegel dan dicap lonjong putih; karyawan pos yang terampil membaliknya menjadi mailsacks yang menggembung; armada truk DIGEST mempercepat mereka untuk mengirim kereta pos. . . Minggu depan, jawaban pertama dari sepuluh juta ini akan memulai gelombang masuk dari surat suara yang ditandai, untuk dicek ulang, diverifikasi, lima kali diklasifikasikan dan dikuasai total. Ketika angka terakhir telah dicek dan diperiksa, jika pengalaman masa lalu adalah kriteria, negara akan tahu dalam pecahan 1 persen suara populer yang sebenarnya dari empat puluh juta [pemilih]. "(22 Agustus 1936)

Penggolongan ukuran seketika dari Sastra dapat langsung dikenali oleh setiap peneliti "data besar" hari ini. Dari 10 juta surat suara yang dibagikan, 2,4 juta yang luar biasa dikembalikan - itu kira-kira 1.000 kali lebih besar dari jajak pendapat politik modern. Dari 2,4 juta responden ini, putusannya jelas: Alf Landon akan mengalahkan Franklin Roosevelt yang berkuasa. Namun, nyatanya, Roosevelt mengalahkan Landon di tanah longsor. Bagaimana bisa Sastra Digest salah dengan begitu banyak data? Pemahaman modern tentang pengambilan sampel membuat kesalahan Literary Digest menjadi jelas dan membantu kami menghindari membuat kesalahan serupa di masa mendatang.

Berpikir dengan jelas tentang pengambilan sampel mengharuskan kita untuk mempertimbangkan empat kelompok orang yang berbeda (gambar 3.2). Kelompok pertama adalah populasi target ; ini adalah kelompok yang didefinisikan oleh peneliti sebagai populasi yang diminati. Dalam kasus Literary Digest , populasi target adalah pemilih dalam pemilihan presiden 1936.

Setelah memutuskan populasi target, seorang peneliti perlu mengembangkan daftar orang-orang yang dapat digunakan untuk pengambilan sampel. Daftar ini disebut kerangka sampling dan orang-orang di atasnya disebut populasi bingkai . Idealnya, populasi target dan populasi frame akan persis sama, tetapi dalam prakteknya ini sering tidak terjadi. Misalnya, dalam kasus Literary Digest , populasi bingkai adalah 10 juta orang yang namanya berasal dari direktori telepon dan catatan pendaftaran mobil. Perbedaan antara populasi target dan populasi frame disebut kesalahan cakupan . Cakupan kesalahan tidak, dengan sendirinya, menjamin masalah. Namun, hal itu dapat menyebabkan bias cakupan jika orang dalam populasi bingkai secara sistematis berbeda dari orang-orang dalam populasi target yang tidak dalam populasi bingkai. Ini sebenarnya adalah apa yang terjadi dalam jajak pendapat Literary Digest . Orang-orang dalam populasi bingkai mereka cenderung lebih cenderung mendukung Alf Landon, sebagian karena mereka lebih kaya (ingat bahwa baik telepon maupun mobil relatif baru dan mahal pada tahun 1936). Jadi, dalam jajak pendapat Literary Digest , kesalahan cakupan menyebabkan bias cakupan.

Gambar 3.2: Kesalahan representasi.

Setelah menentukan populasi bingkai , langkah selanjutnya adalah peneliti untuk memilih populasi sampel ; mereka adalah orang-orang yang peneliti akan coba untuk wawancara. Jika sampel memiliki karakteristik yang berbeda dari populasi bingkai, maka pengambilan sampel dapat memperkenalkan kesalahan sampling . Namun, dalam kasus kegagalan Sastra Semestar, sebenarnya tidak ada sampling — majalah untuk menghubungi semua orang dalam populasi bingkai — dan karena itu tidak ada kesalahan sampling. Banyak peneliti cenderung berfokus pada kesalahan sampling — ini biasanya satu-satunya jenis kesalahan yang ditangkap oleh margin kesalahan yang dilaporkan dalam survei — tetapi kegagalan Sastra Digest mengingatkan kita bahwa kita perlu mempertimbangkan semua sumber kesalahan, baik secara acak maupun sistematis.

Akhirnya, setelah memilih populasi sampel, seorang peneliti mencoba untuk mewawancarai semua anggotanya. Orang-orang yang berhasil diwawancarai disebut responden . Idealnya, populasi sampel dan responden akan persis sama, tetapi dalam prakteknya ada tanggapan yang tidak. Artinya, orang yang dipilih dalam sampel terkadang tidak berpartisipasi. Jika orang-orang yang menanggapi berbeda dari mereka yang tidak menanggapi, maka bisa ada bias nonresponse . Bias nonresponse adalah masalah utama kedua dengan jajak pendapat Literary Digest . Hanya 24% dari orang-orang yang menerima surat suara menjawab, dan ternyata orang-orang yang mendukung Landon lebih mungkin untuk menanggapi.

Selain sekadar menjadi contoh untuk memperkenalkan ide-ide representasi, jajak pendapat Literary Digest adalah perumpamaan yang sering diulang, memperingatkan para peneliti tentang bahaya pengambilan sampel serampangan. Sayangnya, saya pikir pelajaran yang ditarik banyak orang dari cerita ini adalah salah. Moral yang paling umum dari cerita ini adalah bahwa peneliti tidak dapat belajar apa pun dari sampel non-probabilitas (yaitu, sampel tanpa aturan berbasis probabilitas yang ketat untuk memilih peserta). Tapi, seperti yang akan saya tunjukkan nanti di bab ini, itu tidak benar. Sebaliknya, saya pikir ada dua moral untuk cerita ini; moral yang benar saat ini seperti pada tahun 1936. Pertama, sejumlah besar data yang dikumpulkan secara sembarangan tidak akan menjamin perkiraan yang baik. Secara umum, memiliki sejumlah besar responden mengurangi varians estimasi, tetapi itu tidak selalu menurunkan bias. Dengan banyak data, peneliti kadang-kadang bisa mendapatkan perkiraan yang tepat dari hal yang salah; mereka bisa tepat tidak akurat (McFarland and McFarland 2015) . Pelajaran utama kedua dari kegagalan Literary Digest adalah bahwa peneliti perlu memperhitungkan bagaimana sampel mereka dikumpulkan ketika membuat perkiraan. Dengan kata lain, karena proses pengambilan sampel dalam jajak pendapat Literary Digest secara sistematis condong ke beberapa responden, peneliti perlu menggunakan proses estimasi yang lebih rumit yang membobot beberapa responden lebih dari yang lain. Kemudian di bab ini, saya akan menunjukkan kepada Anda salah satu prosedur pembobotan seperti itu — pasca-stratifikasi — yang dapat memungkinkan Anda membuat perkiraan yang lebih baik dari sampel yang serampangan.