3.3.2 Mätning

Mätning handlar om att göra slutsatser från vad dina respondenter säger vad dina respondenter tänker och gör.

Den andra kategorin av den totala ramen undersökning fel är mätning; Det handlar om hur vi kan dra slutsatser från de svar som respondenterna ger till våra frågor. Det visar sig att de svar vi får, och därmed de slutsatser som vi gör, kan bero kritiskt och i ibland överraskande sätt, på exakt hur vi ber. Kanske ingenting illustrerar denna viktiga punkt bättre än ett skämt i den underbara boken ställa frågor Norman Bradburn, Seymour Sudman, och Brian Wansink (2004) :

Två präster, en Dominikanska och en jesuit, diskuterar huruvida det är en synd att röka och be samtidigt. Efter att ha misslyckats att nå en slutsats, var går iväg för att vända sig till sin respektive chef. Dominikanska säger: "Vad gjorde din överlägsna säga?"

Jesuiten svarar "Han sa att det var okej."

"Det är roligt" Dominikanska svarar: "Min handledare sa att det var en synd."

Jesuiten sade, "Vad gjorde du fråga honom?" The Dominican svarar: "Jag frågade honom om det var okej att röka medan han bad." "Åh", sade jesuiten, "Jag frågade om det var OK att be medan rökning."

Det finns många exempel på anomalier som den upplevs av de två präster. I själva verket har mycket problem vid roten av detta skämt ett namn i undersökningen forskarsamhället: Frågeformulär effekter (Kalton and Schuman 1982) . Att se hur frågan bildar effekter kan påverka verkliga undersökningar, anser att dessa två mycket likartade utseende enkätfrågor:

• "Hur mycket håller du med följande uttalande: Individer är mer att skylla än sociala förhållanden för brott och laglöshet i det här landet."
• "Hur mycket håller du med följande uttalande: Sociala förhållanden är mer att skylla än individer för brott och laglöshet i det här landet."

Även om båda frågor tycks mäta samma sak, producerade de olika resultat i en verklig undersökning experiment (Schuman and Presser 1996) . När vi frågade en väg, rapporterade om 60% av de tillfrågade att individer var mer att skylla för brott, men när frågan åt andra hållet ca 60% rapporterade att de sociala förhållandena var mer att skylla (Figur 3.2). Med andra ord kan den lilla skillnaden mellan de två frågorna leda forskare till en annan slutsats.

Figur 3.2: Resultat från en undersökning experiment (Schuman and Presser 1996, Table 8.1) . Forskare kan få olika svar beroende på exakt hur de ställde frågan. Detta är ett exempel på en fråga formulär effekt (Kalton and Schuman 1982) .

Förutom den struktur av frågan, svarande också kan ge olika svar baserade på de specifika ord som används. Till exempel, för att mäta åsikter om statliga prioriteringar, var de svarande läsa följande meddelande:

"Vi står inför många problem i detta land, men ingen av dem kan lösas enkelt eller billigt. Jag kommer att nämna några av dessa problem, och för var och en jag skulle vilja berätta om du tror att vi spenderar för mycket pengar på det, för lite pengar, eller om rätt mängd. "

". Stöd till de fattiga" nästa, var hälften av de tillfrågade frågade om "välfärd" och hälften tillfrågades om Även om dessa kan verka som två olika fraser för samma sak, framkallade de mycket olika resultat (Figur 3.3); Amerikaner rapport är mycket mer positiva till "stöd till de fattiga" än "välfärd" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Medan undersökning forskare anser dessa formuleringen effekter som avvikelser, kan de också överväga dem forskningsresultat. Det vill säga, har vi lärt oss något om den allmänna opinionen från detta resultat.

Figur 3.3: Resultat från Huber and Paris (2013) . De tillfrågade är mycket mer positiva till "stöd till de fattiga" än "välfärd". Detta är ett exempel på en fråga formulering effekt varigenom svar som forskarna får beror på exakt vilka ord de använder i sina frågor.

Eftersom dessa exempel om fråge bildar effekter och uttrycka effekter visar kan de svar som forskarna får påverkas på ett subtilt sätt baserat på hur de ställer sina frågor. Detta betyder inte att undersökningar inte bör användas; ofta finns det inget annat val. Snarare exempel illustrerar att vi ska bygga våra frågor noggrant och vi bör inte acceptera svar okritiskt.

Mest konkret innebär detta att om du analyserar mätdata som samlas in av någon annan, se till att du har läst den aktuella enkäten. Och om du skapar din egen enkät, jag har tre förslag. Först föreslår jag att du läser mer om enkätdesign (t.ex. Bradburn, Sudman, and Wansink (2004) ); det finns mer att göra än jag har kunnat beskriva här. För det andra, jag föreslår att du kopierar ord för ord-frågor från högkvalitativa undersökningar. Även om detta låter som plagiat, är kopiering frågor uppmuntras undersökning forskning (så länge du citerar den ursprungliga undersökningen). Om du kopierar frågor från högkvalitativa undersökningar, kan du vara säker på att de har testats och du kan jämföra svaren på enkäten till svar från någon annan undersökning. Slutligen föreslår jag att du i förväg testa dina frågor med vissa människor från din rampopulationen (Presser et al. 2004) ; min erfarenhet är att pre-testning avslöjar alltid överraskande frågor.