3.3.2 Mess

Bei der Messung geht es darum zu folgern, was Ihre Befragten von dem, was sie sagen, halten und tun.

Zusätzlich zu den Problemen der Repräsentation zeigt das Gesamtkonzept des Survey Errors, dass die zweite Hauptquelle von Fehlern die Messung ist : wie wir aus den Antworten, die die Befragten auf unsere Fragen geben, Schlüsse ziehen. Es stellt sich heraus, dass die Antworten, die wir erhalten, und daher die Schlüsse, die wir machen, kritisch und manchmal überraschend davon abhängen können, wie genau wir danach fragen. Vielleicht illustriert nichts diesen wichtigen Punkt besser als ein Witz in dem wunderbaren Buch Fragen von Norman Bradburn, Seymour Sudman und Brian Wansink (2004) :

Zwei Priester, ein Dominikaner und ein Jesuit, diskutiert, ob es eine Sünde ist, zugleich zu rauchen und zu beten. Nach dem Scheitern, zu einem Abschluss zu erreichen, geht jeder von seinem jeweiligen Vorgesetzten zu konsultieren. Die Dominikanische sagt: "Was Ihr Vorgesetzter gesagt?"

Der Jesuit antwortet: "Er sagte, es war in Ordnung."

"Das ist lustig" die Dominikanische antwortet: "Mein Vorgesetzter sagte, dass es eine Sünde war."

Der Jesuit sagte: "Was hast du ihn fragen?" Die Dominikanische antwortet: "Ich fragte ihn, ob es in Ordnung war, zu rauchen, während beten." "Oh", sagte der Jesuit, "Ich fragte, ob es in Ordnung war, während das Rauchen zu beten."

Abgesehen von diesem speziellen Witz haben Umfrageforscher viele systematische Methoden dokumentiert, dass das, was Sie lernen, davon abhängt, wie Sie fragen. In der Tat hat das Thema, das der Wurzel dieses Witzes zugrunde liegt, in der Umfrageforschung einen Namen: Frageform-Effekte (Kalton and Schuman 1982) . Um zu sehen, wie sich die Auswirkungen von Frageformularen auf echte Umfragen auswirken, sollten Sie sich diese zwei sehr ähnlich aussehenden Umfragefragen ansehen:

• "Wie stark stimmen Sie der folgenden Aussage: Einzelpersonen mehr schuld sind als die sozialen Bedingungen für Kriminalität und Gesetzlosigkeit in diesem Land."
• "Wie stark stimmen Sie der folgenden Aussage zu : Soziale Bedingungen sind mehr als Menschen in diesem Land für Verbrechen und Gesetzlosigkeit verantwortlich zu machen."

Obwohl beide Fragen dasselbe zu messen scheinen, ergaben sie in einem realen Umfrageexperiment unterschiedliche Ergebnisse (Schuman and Presser 1996) . Auf die eine oder andere Art und Weise berichteten etwa 60% der Befragten, dass Einzelpersonen eher für Verbrechen verantwortlich seien. Auf die andere Seite berichteten jedoch etwa 60%, dass die sozialen Bedingungen eher schuld sind (Abbildung 3.3). Mit anderen Worten, der kleine Unterschied zwischen diesen beiden Fragen könnte die Forscher zu einer anderen Schlussfolgerung führen.

Abbildung 3.3: Ergebnisse eines Umfrageexperiments, das zeigt, dass Forscher unterschiedliche Antworten erhalten können, je nachdem, wie sie die Frage gestellt haben. Eine Mehrheit der Befragten stimmte zu, dass Einzelpersonen mehr Schuld zu geben haben als soziale Bedingungen für Kriminalität und Gesetzlosigkeit. Und eine Mehrheit der Befragten stimmte dem Gegenteil zu: dass soziale Bedingungen verantwortungsvoller sind als Einzelpersonen. Nach Schuman and Presser (1996) , Tabelle 8.1.

Zusätzlich zur Struktur der Frage können die Befragten je nach den verwendeten Wörtern auch unterschiedliche Antworten geben. Um beispielsweise Meinungen über Regierungsprioritäten zu messen, wurde den Befragten Folgendes zur Verfügung gestellt:

"Wir sind mit vielen Problemen konfrontiert in diesem Land, von denen keine einfach oder kostengünstig gelöst werden können. Ich werde einige dieser Probleme zu nennen, und für jeden einzelnen würde Ich mag Sie mir zu sagen, ob Sie glauben, wir es zu viel Geld die Ausgaben sind, zu wenig Geld, oder über die richtige Menge. "

Als nächstes wurde die Hälfte der Befragten nach "Wohlfahrt" gefragt und die andere Hälfte wurde nach "Hilfe für die Armen" gefragt. Während diese für eine Sache wie zwei verschiedene Sätze aussahen, riefen sie sehr unterschiedliche Ergebnisse hervor (Abbildung 3.4); Die Amerikaner berichten, dass sie die "Hilfe für die Armen" stärker unterstützen als die "Wohlfahrt" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Abbildung 3.4: Ergebnisse von Umfrageexperimenten, die zeigen, dass Befragte viel eher "Hilfe für die Armen" als "Sozialhilfe" unterstützen. Dies ist ein Beispiel für einen Frageformulierungseffekt, bei dem die Antworten der Forscher davon abhängen, in welchen Wörtern sie verwendet werden ihre Fragen. Angepasst von Huber and Paris (2013) , Tabelle A1.

Wie diese Beispiele zu Fragenformeffekten und Formulierungseffekten zeigen, können die Antworten, die Forscher erhalten, dadurch beeinflusst werden, wie sie ihre Fragen stellen. Diese Beispiele führen manchmal dazu, dass sich die Forscher fragen, wie sie ihre Fragen richtig stellen können. Während ich denke, dass es einige eindeutig falsche Wege gibt, eine Frage zu stellen, glaube ich nicht, dass es immer einen einzigen richtigen Weg gibt. Das heißt, es ist nicht offensichtlich besser, nach "Wohlfahrt" oder "Hilfe für die Armen" zu fragen; Das sind zwei verschiedene Fragen, die zwei verschiedene Dinge über die Einstellungen der Befragten messen. Diese Beispiele führen Forscher manchmal auch zu der Schlussfolgerung, dass Umfragen nicht verwendet werden sollten. Leider gibt es manchmal keine Wahl. Stattdessen denke ich, dass die richtige Lektion, die wir aus diesen Beispielen ziehen können, darin besteht, dass wir unsere Fragen sorgfältig ausarbeiten sollten und dass wir die Antworten nicht unkritisch akzeptieren sollten.

Konkret bedeutet dies, dass Sie, wenn Sie Umfragedaten analysieren, die von einer anderen Person erhoben wurden, sicherstellen, dass Sie den tatsächlichen Fragebogen gelesen haben. Und wenn Sie Ihren eigenen Fragebogen erstellen, habe ich vier Vorschläge. Zunächst schlage ich vor, dass Sie mehr über das Design von Fragebögen lesen (zB Bradburn, Sudman, and Wansink (2004) ); Es gibt mehr, als ich hier beschreiben konnte. Zweitens schlage ich vor, dass Sie Wort-für-Wort-Fragen aus hochwertigen Umfragen kopieren. Wenn Sie beispielsweise die Befragten nach ihrer Rasse / Ethnizität fragen möchten, können Sie die Fragen kopieren, die in großen staatlichen Umfragen verwendet werden, z. B. in der Volkszählung. Obwohl dies wie ein Plagiat klingen mag, wird das Kopieren von Fragen in der Umfrageforschung empfohlen (solange Sie die ursprüngliche Umfrage zitieren). Wenn Sie Fragen aus hochwertigen Umfragen kopieren, können Sie sicher sein, dass sie getestet wurden, und Sie können die Antworten Ihrer Umfrage mit Antworten aus anderen Umfragen vergleichen. Drittens könnten Sie, wenn Sie meinen, dass Ihr Fragebogen wichtige Frageformulierungseffekte oder Fragenformeffekte enthalten könnte, ein Umfrageexperiment durchführen, bei dem die Hälfte der Befragten eine Version der Frage erhält und die andere die andere Version erhält (Krosnick 2011) . Schließlich schlage ich vor, dass Sie Ihre Fragen mit einigen Leuten aus Ihrer Rahmenpopulation testen; Umfrageforscher bezeichnen diesen Prozess als Vortest (Presser et al. 2004) . Ich habe die Erfahrung gemacht, dass das Vortest-Verfahren sehr hilfreich ist.