3.3.3 Kos

Penyiasatan tidak bebas, dan ini adalah kekangan sebenar.

Setakat ini, saya mengkaji secara ringkas keseluruhan rangka kerja kesilapan tinjauan, yang merupakan subjek rawatan panjang buku (Weisberg 2005; Groves et al. 2009) . Walaupun rangka kerja ini komprehensif, ia biasanya menyebabkan penyelidik mengabaikan faktor penting: kos. Walaupun kos-yang boleh diukur dengan sama ada masa atau wang-jarang jarang dibincangkan oleh penyelidik akademik, itu adalah kekangan sebenar yang tidak boleh diabaikan. Malah, kos adalah asas kepada keseluruhan proses penyelidikan tinjauan (Groves 2004) : ini adalah sebab penyelidik menemubual sampel orang dan bukan seluruh penduduk. Satu kesetiaan tunggal untuk meminimumkan kesilapan sementara mengabaikan kos tidak semestinya dalam kepentingan terbaik kami.

Keterbatasan obsesi dengan mengurangkan kesilapan digambarkan oleh projek mercu tanda Scott Keeter dan rakan sekerja (2000) mengenai kesan operasi lapangan mahal untuk mengurangkan ketidak respons dalam kaji selidik telefon. Keeter dan rakannya menjalankan dua kajian serentak, satu menggunakan prosedur pengambilan "standard" dan satu menggunakan prosedur pengambilan "ketat". Perbezaan antara kedua-dua kajian adalah jumlah usaha yang menghubungi responden dan menggalakkan mereka untuk mengambil bahagian. Sebagai contoh, dalam kajian dengan pengambilan "ketat", para penyelidik menelefon isi rumah sampel lebih kerap dan dalam masa yang lebih lama dan membuat panggilan balik tambahan jika peserta pada mulanya enggan berpartisipasi. Upaya-upaya tambahan ini sebenarnya menghasilkan tingkat yang rendah dari tanggapan, tetapi mereka menambah biaya secara substansial. Kajian menggunakan prosedur "ketat" adalah dua kali lebih mahal dan lapan kali perlahan. Dan, pada akhirnya, kedua-dua kajian menghasilkan anggaran yang sama. Projek ini, serta replikasi berikutnya dengan penemuan serupa (Keeter et al. 2006) , sepatutnya membawa anda tertanya-tanya: adakah kita lebih baik dengan dua kaji selidik yang munasabah atau satu kaji selidik yang asli? Bagaimana dengan 10 kaji selidik yang munasabah atau satu kaji selidik yang baik? Bagaimana dengan 100 kaji selidik yang munasabah atau satu kaji selidik yang baik? Pada satu ketika, kelebihan kos mestilah melampaui kebimbangan, keprihatinan khusus tentang kualiti.

Seperti yang akan saya tunjukkan di seluruh bab ini, banyak peluang yang dicipta oleh era digital bukan tentang membuat anggaran yang jelas mempunyai ralat yang lebih rendah. Sebaliknya, peluang ini adalah mengenai menganggarkan kuantiti yang berbeza dan mengenai membuat anggaran lebih pantas dan lebih murah, walaupun dengan kemungkinan kesalahan yang lebih tinggi. Penyelidik yang menegaskan obsesi yang berfikiran tunggal dengan mengurangkan kesilapan dengan mengorbankan dimensi kualiti yang lain akan terlepas peluang yang menarik. Dengan latar belakang ini mengenai keseluruhan rangka kerja kesilapan tinjauan, kini kami akan beralih kepada tiga bidang utama dalam era kajian penyelidikan ketiga: pendekatan baru untuk perwakilan (seksyen 3.4), pendekatan baru untuk pengukuran (seksyen 3.5), dan strategi baru untuk menggabungkan tinjauan dengan sumber data yang besar (seksyen 3.6).