3.3 Całkowita ramy błędu badania

Wszystkich błędów Badanie błędu = reprezentacyjne + błędów pomiarowych.

Szacunki pochodzące z ankiet próbnych są często niedoskonałe. Oznacza to, że zazwyczaj istnieje różnica między oszacowaniem uzyskanym w wyniku badania próby (np. Szacowana średnia wysokość uczniów w szkole) a rzeczywistą wartością w populacji (np. Faktyczna średnia wysokość uczniów w szkole). Czasami te błędy są tak małe, że nie mają znaczenia, ale czasami, niestety, mogą być duże i wynikowe. Próbując zrozumieć, zmierzyć i zredukować liczbę błędów, badacze stopniowo stworzyli pojedyncze, nadrzędne ramy pojęciowe dla błędów, które mogą powstać w przykładowych ankietach: ogólne ramy błędów badania (Groves and Lyberg 2010) . Chociaż rozwój tych ram rozpoczął się w latach czterdziestych, myślę, że oferuje nam dwa pomocne pomysły na badania ankietowe w erze cyfrowej.

Po pierwsze, całkowite ramy błędu badania wyjaśniają, że istnieją dwa rodzaje błędów: stronniczość i wariancja . Z grubsza, odchylenie jest systematycznym błędem, a wariancja jest przypadkowym błędem. Innymi słowy, wyobraź sobie, że masz 1000 powtórzeń tego samego badania próbki, a następnie przeanalizujesz rozkład ocen z 1000 powtórzeń. Przeciążenie jest różnicą między średnią tych powtórzonych oszacowań i rzeczywistą wartością. Wariancja jest zmiennością tych oszacowań. Cała reszta jest równa, chcielibyśmy procedury bez odchyleń i małej wariancji. Niestety, dla wielu rzeczywistych problemów, takich nie-uprzedzeń, nie istnieją procedury małych wariancji, co stawia naukowców w trudnej sytuacji decydowania o balansowaniu problemów wprowadzonych przez odchylenie i wariancję. Niektórzy badacze instynktownie preferują bezstronne procedury, ale jednoznaczne skupienie się na uprzedzeniach może być błędem. Jeśli celem jest uzyskanie oszacowania, które jest jak najbardziej zbliżone do prawdy (tj. Z najmniejszym możliwym błędem), to może być lepiej z procedurą, która ma małe odchylenie i małą zmienność niż z tą, która jest bezstronny, ale ma dużą zmienność (rysunek 3.1). Innymi słowy, całkowite ramy błędu badania pokazują, że przy ocenie procedur badawczych badań należy wziąć pod uwagę zarówno odchylenie, jak i wariancję.

Rysunek 3.1: Błąd i wariancja. W idealnej sytuacji naukowcy mieliby procedurę szacowania bez odchyleń i niskiej wariancji. W rzeczywistości często muszą podejmować decyzje, które tworzą kompromis między stronniczością a wariancją. Chociaż niektórzy badacze instynktownie preferują bezstronne procedury, czasami procedura małego odchylenia, mała wariancja może generować dokładniejsze szacunki niż bezstronna procedura, która ma dużą zmienność.

Drugim głównym spostrzeżeniem z całego schematu błędów badania, który zorganizuje znaczną część tego rozdziału, jest fakt, że istnieją dwa źródła błędów: problemy związane z tym, z kim rozmawiasz ( reprezentacja ) i problemy związane z tym, czego nauczyłeś się z tych rozmów ( pomiar ). Na przykład możesz zainteresować się szacowaniem postaw dotyczących prywatności w Internecie wśród dorosłych osób mieszkających we Francji. Dokonywanie tych szacunków wymaga dwóch różnych rodzajów wnioskowania. Po pierwsze, z odpowiedzi udzielanych przez respondentów trzeba wywnioskować ich stosunek do prywatności w Internecie (co jest problemem pomiaru). Po drugie, ze stwierdzonych postaw wśród respondentów należy wywnioskować postawy w populacji jako całości (co jest problemem reprezentacji). Doskonałe próbkowanie ze złymi pytaniami ankietowymi da złe oszacowania, podobnie jak złe próbkowanie z doskonałymi pytaniami ankietowymi. Innymi słowy, dobre szacunki wymagają rozsądnych podejść do pomiaru i reprezentacji. Biorąc pod uwagę to tło, dokonam przeglądu, w jaki sposób badacze badania sądzili o reprezentacji i pomiarach w przeszłości. Następnie pokażę, w jaki sposób pomysły na temat reprezentacji i pomiaru mogą kierować badaniami nad wiekiem cyfrowym.