3.3 Kerangka error survei Total

Jumlah kesalahan survei error = representasi + kesalahan pengukuran.

Perkiraan yang berasal dari survei sampel seringkali tidak sempurna. Artinya, biasanya ada perbedaan antara perkiraan yang dihasilkan oleh survei sampel (misalnya, perkiraan tinggi rata-rata siswa di sekolah) dan nilai sebenarnya dalam populasi (misalnya, ketinggian rata-rata siswa yang sebenarnya di sekolah). Kadang-kadang kesalahan ini sangat kecil sehingga tidak penting, tetapi kadang-kadang, sayangnya, mereka dapat menjadi besar dan konsekuensial. Dalam upaya untuk memahami, mengukur, dan mengurangi kesalahan, peneliti secara bertahap menciptakan kerangka konseptual tunggal yang menyeluruh untuk kesalahan yang dapat muncul dalam survei sampel: kerangka kesalahan survei total (Groves and Lyberg 2010) . Meskipun pengembangan kerangka ini dimulai pada 1940-an, saya pikir itu menawarkan kita dua ide yang bermanfaat untuk penelitian survei di era digital.

Pertama, kerangka kesalahan survei total menjelaskan bahwa ada dua jenis kesalahan: bias dan varians . Secara kasar, bias adalah kesalahan sistematis dan varians adalah kesalahan acak. Dengan kata lain, bayangkan menjalankan 1.000 replikasi dari survei sampel yang sama dan kemudian melihat distribusi perkiraan dari 1.000 replikasi ini. Biasnya adalah perbedaan antara rata-rata dari estimasi yang mereplikasi dan nilai yang sebenarnya. Variansnya adalah variabilitas dari perkiraan ini. Semua yang lain sama, kami ingin prosedur tanpa bias dan varians kecil. Sayangnya, untuk banyak masalah nyata, prosedur tanpa-bias, kecil-varians tidak ada, yang menempatkan peneliti dalam posisi sulit memutuskan bagaimana menyeimbangkan masalah yang diperkenalkan oleh bias dan varians. Beberapa peneliti secara naluriah lebih memilih prosedur yang tidak bias, tetapi fokus pada bias yang satu arah dapat menjadi kesalahan. Jika tujuannya adalah untuk menghasilkan perkiraan yang sedekat mungkin dengan kebenaran (yaitu, dengan kesalahan sekecil mungkin), maka Anda mungkin lebih baik dengan prosedur yang memiliki bias kecil dan varians yang kecil daripada dengan yang tidak bias tetapi memiliki varians yang besar (gambar 3.1). Dengan kata lain, kerangka error survei keseluruhan menunjukkan bahwa ketika mengevaluasi prosedur penelitian survei, Anda harus mempertimbangkan baik bias dan varians.

Gambar 3.1: Bias dan varians. Idealnya, peneliti akan memiliki prosedur estimasi tanpa bias, variansi rendah. Dalam kenyataannya, mereka sering harus membuat keputusan yang menciptakan trade-off antara bias dan varians. Meskipun beberapa peneliti secara naluriah lebih memilih prosedur yang tidak bias, kadang-kadang prosedur kecil-bias, kecil-varians dapat menghasilkan perkiraan yang lebih akurat daripada prosedur yang tidak bias yang memiliki varian tinggi.

Wawasan utama kedua dari kerangka kesalahan survei total, yang akan mengatur banyak bab ini, adalah bahwa ada dua sumber kesalahan: masalah yang terkait dengan siapa Anda berbicara ( representasi ) dan masalah yang terkait dengan apa yang Anda pelajari dari percakapan tersebut ( pengukuran ). Misalnya, Anda mungkin tertarik dalam memperkirakan sikap tentang privasi online di kalangan orang dewasa yang tinggal di Prancis. Membuat perkiraan ini membutuhkan dua jenis penyimpulan yang berbeda. Pertama, dari jawaban yang diberikan responden, Anda harus menyimpulkan sikap mereka tentang privasi online (yang merupakan masalah pengukuran). Kedua, dari sikap yang disimpulkan di antara responden, Anda harus menyimpulkan sikap dalam populasi secara keseluruhan (yang merupakan masalah representasi). Pengambilan sampel yang sempurna dengan pertanyaan survei yang buruk akan menghasilkan perkiraan yang buruk, seperti juga pengambilan sampel buruk dengan pertanyaan survei yang sempurna. Dengan kata lain, perkiraan yang baik membutuhkan pendekatan yang kuat untuk pengukuran dan representasi. Dengan latar belakang itu, saya akan meninjau bagaimana peneliti survei telah memikirkan representasi dan pengukuran di masa lalu. Kemudian, saya akan menunjukkan bagaimana ide tentang representasi dan pengukuran dapat memandu penelitian survei zaman digital.