3.3.3 Kosten

Umfragen sind nicht frei, und das ist eine echte Einschränkung.

Bisher habe ich kurz den gesamten Rahmen für die Untersuchung von Fehlern, der selbst Gegenstand von (Weisberg 2005; Groves et al. 2009) . Obwohl dieser Rahmen umfassend ist, führt er im Allgemeinen dazu, dass Forscher einen wichtigen Faktor übersehen: Kosten. Obwohl Kosten - die entweder durch Zeit oder Geld gemessen werden können - selten von akademischen Forschern explizit diskutiert werden, ist dies eine echte Einschränkung, die nicht ignoriert werden sollte. Tatsächlich sind Kosten für den gesamten Prozess der Umfrageforschung von grundlegender Bedeutung (Groves 2004) : Dies ist der Grund dafür, dass Forscher eine Stichprobe von Personen und nicht eine ganze Bevölkerung befragen. Eine zielstrebige Hingabe an die Fehlerminimierung, während die Kosten völlig ignoriert werden, liegt nicht immer in unserem Interesse.

Die Grenzen der Besessenheit, Fehler zu reduzieren, zeigen das bahnbrechende Projekt von Scott Keeter und Kollegen (2000) über die Auswirkungen teurer Feldoperationen auf die Reduzierung von Nichtantworten in Telefonumfragen. Keeter und seine Kollegen führten zwei simultane Studien durch, eine mit "normalen" Rekrutierungsverfahren und eine mit "strengen" Rekrutierungsverfahren. Der Unterschied zwischen den beiden Studien bestand darin, wie viel Aufwand erforderlich war, um die Teilnehmer zu kontaktieren und sie zur Teilnahme zu ermutigen. In der Studie mit "rigoroser" Rekrutierung riefen die Forscher beispielsweise die Haushalte in der Stichprobe häufiger und über einen längeren Zeitraum auf und unternahmen zusätzliche Rückrufe, wenn sich die Teilnehmer zunächst weigerten, sich daran zu beteiligen. Diese zusätzlichen Bemühungen führten zwar zu einer geringeren Nichtreaktion, aber sie trugen wesentlich zu den Kosten bei. Die Studie mit "rigorosen" Verfahren war doppelt so teuer und achtmal langsamer. Und beide Studien ergaben letztlich im Wesentlichen identische Schätzungen. Dieses Projekt sowie spätere Replikationen mit ähnlichen Ergebnissen (Keeter et al. 2006) sollten Sie dazu bringen, sich zu fragen: (Keeter et al. 2006) wir besser mit zwei vernünftigen Umfragen oder einer ersten Umfrage? Was ist mit 10 vernünftigen Umfragen oder einer unberührten Umfrage? Was ist mit 100 vernünftigen Umfragen oder einer unberührten Umfrage? Irgendwann müssen Kostenvorteile die vagen, unspezifischen Qualitätsbedenken überwiegen.

Wie ich in diesem Rest des Kapitels zeigen werde, geht es bei vielen der im digitalen Zeitalter geschaffenen Möglichkeiten nicht darum, Schätzungen vorzunehmen, die offensichtlich geringere Fehler aufweisen. Vielmehr geht es bei diesen Möglichkeiten darum, unterschiedliche Mengen zu schätzen und Schätzungen auch bei möglicherweise höheren Fehlern schneller und kostengünstiger zu machen. Forscher, die auf einer zielstrebigen Obsession mit der Minimierung von Fehlern auf Kosten anderer Qualitätsdimensionen bestehen, verpassen aufregende Möglichkeiten. Vor diesem Hintergrund über das Gesamtkonzept der Umfragefehler werden wir uns jetzt drei Hauptbereichen der dritten Ära der Umfrageforschung zuwenden: neue Ansätze für die Repräsentation (Abschnitt 3.4), neue Ansätze für die Messung (Abschnitt 3.5) und neue Strategien für die Kombination von Umfragen mit großen Datenquellen (Abschnitt 3.6).