3.3.3 Biaya

Survei tidak bebas, dan ini merupakan kendala yang nyata.

Sejauh ini, saya telah meninjau secara singkat kerangka kesalahan survei total, yang itu sendiri adalah subjek perawatan buku-panjang (Weisberg 2005; Groves et al. 2009) . Meskipun kerangka ini komprehensif, umumnya menyebabkan peneliti mengabaikan faktor penting: biaya. Meskipun biaya — yang dapat diukur dengan waktu atau uang — jarang didiskusikan secara eksplisit oleh para peneliti akademis, itu adalah kendala nyata yang tidak boleh diabaikan. Faktanya, biaya sangat penting untuk seluruh proses penelitian survei (Groves 2004) : itu adalah alasan peneliti mewawancarai sampel orang daripada seluruh populasi. Suatu pengabdian tunggal untuk meminimalisasi kesalahan sementara sepenuhnya mengabaikan biaya tidak selalu demi kepentingan terbaik kita.

Keterbatasan obsesi dengan pengurangan kesalahan diilustrasikan oleh proyek tengara Scott Keeter dan rekan (2000) tentang efek operasi lapangan yang mahal dalam mengurangi nonresponse dalam survei telepon. Keeter dan rekan menjalankan dua penelitian secara bersamaan, satu menggunakan prosedur perekrutan “standar” dan yang satu menggunakan prosedur rekrutmen “ketat”. Perbedaan antara dua studi adalah jumlah usaha yang dilakukan untuk menghubungi responden dan mendorong mereka untuk berpartisipasi. Sebagai contoh, dalam penelitian dengan rekrutmen "ketat", peneliti menyebut rumah tangga sampel lebih sering dan selama periode waktu yang lebih lama dan membuat panggilan balik tambahan jika peserta awalnya menolak untuk berpartisipasi. Upaya-upaya ekstra ini ternyata menghasilkan tingkat respons yang lebih rendah, tetapi mereka menambah biaya secara substansial. Penelitian menggunakan prosedur "ketat" dua kali lebih mahal dan delapan kali lebih lambat. Dan, pada akhirnya, kedua studi menghasilkan perkiraan yang pada dasarnya identik. Proyek ini, serta replikasi berikutnya dengan temuan serupa (Keeter et al. 2006) , harus membuat Anda bertanya-tanya: apakah kita lebih baik dengan dua survei yang masuk akal atau satu survei murni? Bagaimana dengan 10 survei yang masuk akal atau satu survei murni? Bagaimana dengan 100 survei yang masuk akal atau satu survei murni? Pada titik tertentu, keunggulan biaya harus lebih besar daripada kekhawatiran tentang kualitas yang tidak jelas dan tidak spesifik.

Seperti yang akan saya tunjukkan di sisa bab ini, banyak peluang yang diciptakan oleh era digital bukan tentang membuat perkiraan yang jelas memiliki kesalahan yang lebih rendah. Sebaliknya, peluang ini adalah tentang memperkirakan jumlah yang berbeda dan membuat perkiraan lebih cepat dan lebih murah, bahkan dengan kemungkinan kesalahan yang lebih tinggi. Peneliti yang bersikeras obsesi berpikiran tunggal dengan meminimalkan kesalahan dengan mengorbankan dimensi lain kualitas akan kehilangan peluang menarik. Dengan latar belakang ini tentang kerangka kesalahan survei total, sekarang kita akan beralih ke tiga bidang utama dari era ketiga penelitian survei: pendekatan baru untuk representasi (bagian 3.4), pendekatan baru untuk pengukuran (bagian 3.5), dan strategi baru untuk menggabungkan survei dengan sumber data besar (bagian 3.6).