3.3 Die gesamte Umfrage Fehler Rahmen
Insgesamt Umfrage error = Darstellungsfehler + Messfehler.
Schätzungen, die aus Stichprobenerhebungen stammen, sind oft unvollständig. Das heißt, es gibt normalerweise einen Unterschied zwischen der Schätzung, die durch eine Stichprobenerhebung (z. B. die geschätzte Durchschnittsgröße der Schüler in einer Schule) und dem wahren Wert in der Bevölkerung (z. B. die tatsächliche durchschnittliche Schülerzahl in einer Schule). Manchmal sind diese Fehler so klein, dass sie unwichtig sind, aber manchmal können sie leider groß und folgerichtig sein. In einem Versuch, Fehler zu verstehen, zu messen und zu reduzieren, schufen die Forscher nach und nach einen einzigen übergreifenden konzeptionellen Rahmen für die Fehler, die bei Stichprobenerhebungen auftreten können: das Gesamtrahmen-Fehler-Framework (Groves and Lyberg 2010) . Obwohl die Entwicklung dieses Rahmens in den 1940er Jahren begann, bietet er meiner Meinung nach zwei hilfreiche Ideen für die Umfrageforschung im digitalen Zeitalter.
Erstens stellt das Gesamtrahmen-Fehler-Framework klar, dass es zwei Arten von Fehlern gibt: Bias und Varianz . Grob ist systematische Verzerrung ein systematischer Fehler und Varianz ein zufälliger Fehler. Stellen Sie sich mit anderen Worten vor, 1.000 Wiederholungen derselben Stichprobenerhebung durchzuführen und dann die Verteilung der Schätzungen aus diesen 1.000 Replikationen zu betrachten. Der Bias ist die Differenz zwischen dem Mittelwert dieser Replikatschätzungen und dem wahren Wert. Die Varianz ist die Variabilität dieser Schätzungen. Wenn alles andere gleich ist, möchten wir ein Verfahren ohne Verzerrung und geringe Varianz. Leider gibt es für viele echte Probleme keine solchen Verfahren mit geringer Varianz, was die Forscher in die schwierige Lage versetzt, zu entscheiden, wie die durch Verzerrung und Varianz eingeführten Probleme ausgeglichen werden sollen. Manche Forscher bevorzugen instinktiv unvoreingenommene Verfahren, aber ein gezielter Fokus auf Verzerrungen kann ein Fehler sein. Wenn das Ziel darin besteht, eine Schätzung zu erzeugen, die so nahe wie möglich an der Wahrheit liegt (dh mit dem kleinstmöglichen Fehler), dann wäre es vielleicht besser, wenn eine Prozedur eine kleine Abweichung und eine kleine Varianz aufweist als eine solche unvoreingenommen, hat aber eine große Varianz (Abbildung 3.1). Mit anderen Worten, das gesamte Umfragefehler-Framework zeigt, dass Sie bei der Auswertung von Umfrageforschungsverfahren sowohl Verzerrung als auch Varianz berücksichtigen sollten.
Abbildung 3.1: Bias und Varianz. Im Idealfall hätten die Forscher ein Verfahren zur Schätzung der Schätzwerte ohne Verzerrung und geringer Varianz. In Wirklichkeit müssen sie oft Entscheidungen treffen, die einen Ausgleich zwischen Voreingenommenheit und Varianz schaffen. Obwohl einige Forscher instinktiv unvoreingenommene Verfahren bevorzugen, kann manchmal ein Verfahren mit kleinen Abweichungen und kleinen Abweichungen genauere Schätzungen liefern als ein unvoreingenommenes Verfahren mit hoher Varianz.
Die zweite Haupt Erkenntnisse aus der gesamten Umfrage Fehler - Framework, das viel dieses Kapitels organisieren wird, sind , dass es zwei Fehlerquellen: Probleme im Zusammenhang mit wem Sie zu (Darstellung) sprechen und Probleme im Zusammenhang mit , was Sie von diesen Gesprächen (Messung lernen ). Zum Beispiel könnten Sie daran interessiert sein, Einstellungen zu Online-Datenschutz bei Erwachsenen in Frankreich einzuschätzen. Diese Schätzungen erfordern zwei verschiedene Inferenztypen. Zunächst müssen Sie aus den Antworten der Befragten auf ihre Einstellungen zur Online-Privatsphäre schließen (was ein Messproblem ist). Zweitens müssen Sie aus den abgeleiteten Einstellungen der Befragten die Einstellungen in der Bevölkerung als Ganzes ableiten (was ein Problem der Repräsentation darstellt). Eine perfekte Stichprobe mit schlechten Umfragefragen führt zu schlechten Schätzungen, ebenso wie eine schlechte Stichprobenauswahl mit perfekten Umfragefragen. Mit anderen Worten, gute Schätzungen erfordern solide Ansätze für Messung und Repräsentation. Vor diesem Hintergrund werde ich untersuchen, wie Umfrageforscher in der Vergangenheit über Repräsentation und Messung nachgedacht haben. Dann zeige ich, wie Ideen zur Repräsentation und Messung die Umfrageforschung im digitalen Zeitalter leiten können.
