3.3.2 Mess

Die Messung geht es darum, Schlüsse aus dem, was die Befragten sagen, was Ihre Befragten denken und zu tun.

Die zweite Kategorie der gesamten Umfrage Fehlerrahmen ist die Messung; es befasst sich damit, wie wir Schlüsse aus den Antworten machen können, dass die Befragten auf unsere Fragen geben. Es stellt sich heraus, dass die Antworten, die wir erhalten, und daher sind die Schlüsse können wir machen, hängt kritisch und manchmal überraschende Weise-on genau, wie wir fragen. Vielleicht zeigt nichts dieser wichtige Punkt besser als ein Witz in dem wunderbaren Buch Fragen stellen von Norman Bradburn, Seymour Sudman und Brian Wansink (2004) :

Zwei Priester, ein Dominikaner und ein Jesuit, diskutiert, ob es eine Sünde ist, zugleich zu rauchen und zu beten. Nach dem Scheitern, zu einem Abschluss zu erreichen, geht jeder von seinem jeweiligen Vorgesetzten zu konsultieren. Die Dominikanische sagt: "Was Ihr Vorgesetzter gesagt?"

Der Jesuit antwortet: "Er sagte, es war in Ordnung."

"Das ist lustig" die Dominikanische antwortet: "Mein Vorgesetzter sagte, dass es eine Sünde war."

Der Jesuit sagte: "Was hast du ihn fragen?" Die Dominikanische antwortet: "Ich fragte ihn, ob es in Ordnung war, zu rauchen, während beten." "Oh", sagte der Jesuit, "Ich fragte, ob es in Ordnung war, während das Rauchen zu beten."

Es gibt viele Beispiele von Anomalien wie die von den beiden Priestern erfahren. In der Tat hat das sehr Problem an der Wurzel dieser Witz einen Namen in der Umfrage - Forschung: Frage Form Effekte (Kalton and Schuman 1982) . Um zu sehen, wie Frage Form Effekte könnten echte Umfragen beeinflussen, betrachten Sie diese beiden sehr ähnlich aussehendes Umfrage Fragen:

• "Wie stark stimmen Sie der folgenden Aussage: Einzelpersonen mehr schuld sind als die sozialen Bedingungen für Kriminalität und Gesetzlosigkeit in diesem Land."
• "Wie stark stimmen Sie der folgenden Aussage zu : Soziale Bedingungen sind mehr als Menschen in diesem Land für Verbrechen und Gesetzlosigkeit verantwortlich zu machen."

Obwohl beide Fragen die gleiche Sache zu messen erscheinen, erzeugt sie unterschiedliche Ergebnisse in einem realen Experiment Umfrage (Schuman and Presser 1996) . Als eine Möglichkeit gefragt, etwa 60% der Befragten gaben an, dass der Einzelne mehr für Verbrechen verantwortlich zu machen waren, aber wenn die andere Art und Weise etwa 60 gefragt% berichteten , dass die sozialen Bedingungen mehr waren schuld (Abbildung 3.2). Mit anderen Worten könnte der kleine Unterschied zwischen den beiden Fragen Forscher zu einem anderen Ergebnis führen.

Abbildung 3.2: Die Ergebnisse einer Umfrage Experiment (Schuman and Presser 1996, Table 8.1) . Die Forscher können verschiedene Antworten je nach genau, wie sie die Frage gestellt. Dies ist ein Beispiel für eine Frage Form Wirkung (Kalton and Schuman 1982) .

Zusätzlich zu der Struktur der Frage, können Teilnehmer geben auch verschiedene Antworten auf der Basis der spezifischen verwendeten Wörter. Zum Beispiel, um Meinungen über staatliche Prioritäten zu messen, wurden die Befragten die folgende Meldung zu lesen:

"Wir sind mit vielen Problemen konfrontiert in diesem Land, von denen keine einfach oder kostengünstig gelöst werden können. Ich werde einige dieser Probleme zu nennen, und für jeden einzelnen würde Ich mag Sie mir zu sagen, ob Sie glauben, wir es zu viel Geld die Ausgaben sind, zu wenig Geld, oder über die richtige Menge. "

. "Hilfe für die Armen" Als nächstes die Hälfte der Befragten zum Thema "Wohlfahrt" und die Hälfte wurden gefragt, gefragt wurden, während diese wie zwei verschiedene Sätze für die gleiche Sache scheinen mag, hervorgerufen sie sehr unterschiedliche Ergebnisse (Abbildung 3.3); Amerikaner berichten , viel mehr Unterstützung von "Hilfe für die Armen" als "Wohlfahrt" zu sein (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Während Umfrage Forscher diese Formulierung Effekte berücksichtigen Anomalien zu sein, konnten sie sie auch Forschungsergebnisse berücksichtigen. Das heißt, wir haben etwas über die öffentliche Meinung aus diesem Ergebnis gelernt.

Abbildung 3.3: Ergebnisse von Huber and Paris (2013) . Die Befragten sind viel mehr Unterstützung von "Hilfe für die Armen" als "Wohlfahrt". Dies ist ein Beispiel für eine Wirkung Frageformulierung, wobei die Antworten, die die Forscher genau abhängen erhalten, die Worte, die sie in ihren Fragen verwenden.

Wie diese Beispiele zu Frage Form Effekte und Formulierung Effekte zeigen, die Antworten, die Forscher erhalten kann auf subtile Weise beeinflusst werden, je nachdem, wie sie ihre Fragen stellen. Dies bedeutet nicht, dass Umfragen sollten nicht verwendet werden; oft gibt es keine andere Wahl. Vielmehr zeigen die Beispiele, dass wir unsere Fragen sorgfältig konstruieren und wir sollten nicht Antworten kritiklos akzeptieren.

Die meisten Konkret bedeutet dies, dass, wenn Sie Umfragedaten von jemand anderem gesammelt analysieren, stellen Sie sicher, dass Sie den eigentlichen Fragebogen gelesen haben. Und wenn Sie Ihren eigenen Fragebogen erstellen, habe ich drei Vorschläge. Zunächst empfehle ich Ihnen mehr über Fragebogen Design lesen (zB Bradburn, Sudman, and Wansink (2004) ); es gibt mehr, als ich in der Lage gewesen, hier zu beschreiben. Zweitens schlage ich vor, dass Sie kopieren-Wort für Wort-Fragen aus hochwertigen Umfragen. Obwohl dies wie Plagiat klingt, Kopieren Fragen wird in der Umfrageforschung gefördert (so lange, wie Sie die Original-Umfrage zitieren). Wenn Sie Fragen aus hochwertigen Umfragen kopieren, können Sie sicher sein, dass sie getestet wurden, und Sie können die Antworten auf Ihre Umfrage-Antworten aus einer anderen Umfrage vergleichen. Schließlich empfehle ich Ihnen vorab testen Sie Ihre Fragen mit einigen Leuten aus dem Rahmen Bevölkerung (Presser et al. 2004) . ; Meine Erfahrung ist, dass Pre-Tests immer wieder überraschend Probleme aufzeigt.