Penyiasatan tidak bebas, dan ini adalah kekangan sebenar.
Setakat ini, saya telah secara ringkas mengkaji rangka kerja jumlah ralat kajian, yang itu sendiri adalah subjek rawatan panjang buku (Weisberg 2005; Groves et al. 2009) . Walaupun rangka kerja ini adalah komprehensif, ia biasanya menyebabkan penyelidik untuk meninggalkan faktor penting: kos. Walaupun kos yang boleh diukur oleh sama ada masa atau wang-jarang jelas dibincangkan oleh penyelidik akademik, ia adalah kekangan sebenar yang kita mengabaikan atas risiko kami. Malah, sampel penyelidik sebab wawancara orang lebih daripada keseluruhan penduduk adalah untuk menjimatkan wang. Oleh itu, kos adalah asas kepada proses penyelidikan tinjauan (Groves 2004) . A ketaatan tunggal berfikiran untuk mengurangkan ralat semasa kos mengabaikan sepenuhnya tidak sentiasa dalam terbaik untuk kita.
Batasan obsesi dengan mengurangkan ralat ditunjukkan oleh kajian mercu tanda Scott Keeter dan rakan-rakan (2000) mengenai kesan operasi lapangan mahal untuk mengurangkan yang tidak memberi jawapan dalam tinjauan telefon. Keeter dan rakan-rakan berlari dua kaji selidik serentak, satu dengan menggunakan "Standard" prosedur dan satu dengan menggunakan prosedur "ketat". Walaupun "ketat" prosedur tidak menghasilkan kadar yang lebih rendah daripada bukan tindak balas, anggaran daripada kedua-dua sampel adalah pada dasarnya sama. Walau bagaimanapun, "ketat" prosedur kos kira-kira dua kali ganda dan mengambil 8 kali lebih lama. Adakah kita lebih baik dengan 2 kaji selidik yang munasabah atau 1 kajian yang bersih? Apa kira-kira 10 kajian yang munasabah atau 1 kajian yang bersih? Apa kira-kira 100 kaji selidik yang munasabah atau 1 kajian yang bersih? Pada satu ketika kelebihan kos mesti melebihi samar-samar, kebimbangan tidak spesifik tentang kualiti.
Banyak peluang yang dicipta oleh era digital tidak akan mewujudkan anggaran yang jelas mempunyai ralat yang lebih rendah. Sebaliknya, peluang ini adalah mengenai mewujudkan anggaran lebih murah dan lebih cepat, tetapi mungkin dengan kesilapan yang kini lebih tinggi atau sukar untuk mengukur. Kerana banyak contoh dalam bab ini akan menunjukkan, penyelidik yang mendesak obsesi tunggal yang berfikiran dengan meminimumkan ralat dengan mengorbankan dimensi kualiti lain akan ketinggalan peluang yang menarik. Memandangkan latar belakang ini mengenai rangka kerja ralat kajian jumlah, kami kini akan beralih kepada tiga bidang utama era ketiga kajian penyelidikan: pendekatan baru kepada perwakilan (Seksyen 3.4), pendekatan baru untuk pengukuran (Seksyen 3.5), dan strategi baru untuk menggabungkan kaji selidik dengan kesan digital (Seksyen 3.6).