3.3.3 Koszt
Sondaże nie są wolne i to jest prawdziwym ograniczeniem.
Do tej pory krótko przejrzałem ogólny schemat błędu badania, który sam jest przedmiotem leczenia długości książki (Weisberg 2005; Groves et al. 2009) . Chociaż ramy te są kompleksowe, generalnie powodują, że badacze pomijają ważny czynnik: koszty. Chociaż koszty, które można zmierzyć za pomocą czasu lub pieniędzy, rzadko są wyraźnie omawiane przez naukowców akademickich, jest to prawdziwe ograniczenie, którego nie należy lekceważyć. W rzeczywistości koszt ma fundamentalne znaczenie dla całego procesu badań ankietowych (Groves 2004) : to jest powód, dla którego naukowcy przeprowadzają wywiady z próbkami ludzi, a nie z całą populacją. Bezinteresowne poświęcenie się minimalizowaniu błędów przy całkowitym ignorowaniu kosztów nie zawsze leży w naszym najlepszym interesie.
Ograniczenia obsesji na punkcie redukcji błędu ilustruje przełomowy projekt Scotta Keetera i współpracowników (2000) na temat wpływu drogich operacji w terenie na ograniczenie braku reakcji w ankietach telefonicznych. Keeter i jego współpracownicy przeprowadzili dwa równoległe badania, jeden z zastosowaniem "standardowych" procedur rekrutacyjnych i jeden z zastosowaniem "rygorystycznych" procedur rekrutacyjnych. Różnica między tymi dwoma badaniami była ilością wysiłków, które miały na celu skontaktowanie się z respondentami i zachęcenie ich do wzięcia udziału. Na przykład w badaniu z "rygorystyczną" rekrutacją naukowcy częściej i przez dłuższy czas dzwonili do gospodarstw domowych z próbkami i uzyskiwali dodatkowe informacje zwrotne, jeśli uczestnicy początkowo odmówili udziału. Te dodatkowe wysiłki w rzeczywistości przyniosły niższy wskaźnik braku reakcji, ale znacznie zwiększyły koszty. Badanie z zastosowaniem "rygorystycznych" procedur było dwa razy droższe i osiem razy wolniejsze. I w końcu oba badania dały zasadniczo identyczne oszacowania. Ten projekt, a także późniejsze powtórzenia z podobnymi wnioskami (Keeter et al. 2006) , powinny skłonić Cię do zastanowienia: czy lepiej nam radzić sobie z dwoma rozsądnymi sondażami czy jedną nieskazitelną ankietą? A co z 10 uzasadnionymi ankietami lub jedną nieskazitelną ankietą? A co z 100 uzasadnionymi ankietami lub jedną nieskazitelną ankietą? W pewnym momencie korzyści kosztowe muszą przewyższać niejasne, niespecyficzne obawy dotyczące jakości.
Jak pokażę w tej części rozdziału, wiele możliwości stworzonych przez erze cyfrowej nie polega na dokonywaniu szacunków, które oczywiście mają mniejszy błąd. Te możliwości dotyczą raczej szacowania różnych wielkości oraz szybszego i tańszego szacowania, nawet przy prawdopodobnie wyższych błędach. Badacze, którzy upierają się, że mają obsesję na punkcie minimalizowania błędów kosztem innych wymiarów jakości, stracą ekscytujące możliwości. Biorąc pod uwagę powyższe założenia dotyczące ogólnych ram badania błędów, przejdziemy teraz do trzech głównych obszarów trzeciej ery badań ankietowych: nowego podejścia do reprezentacji (sekcja 3.4), nowego podejścia do pomiaru (sekcja 3.5) oraz nowych strategii łączenia ankiet z dużymi źródłami danych (sekcja 3.6).
