3.3.2 Mätning

Mätning handlar om att avleda vad dina respondenter tycker och gör från vad de säger.

Förutom problem med representation visar det totala undersökningsfelramverket att den andra stora felkällan är mätning : hur vi gör inferenser från svaren som respondenterna ger till våra frågor. Det visar sig att de svar vi mottar, och därför de konsekvenser vi gör, kan bero kritiskt - och ibland överraskande sätt - på exakt hur vi frågar. Kanske ingenting illustrerar denna viktiga punkt bättre än ett skämt i den underbara boken Frågor från Norman Bradburn, Seymour Sudman och Brian Wansink (2004) :

Två präster, en Dominikanska och en jesuit, diskuterar huruvida det är en synd att röka och be samtidigt. Efter att ha misslyckats att nå en slutsats, var går iväg för att vända sig till sin respektive chef. Dominikanska säger: "Vad gjorde din överlägsna säga?"

Jesuiten svarar "Han sa att det var okej."

"Det är roligt" Dominikanska svarar: "Min handledare sa att det var en synd."

Jesuiten sade, "Vad gjorde du fråga honom?" The Dominican svarar: "Jag frågade honom om det var okej att röka medan han bad." "Åh", sade jesuiten, "Jag frågade om det var OK att be medan rökning."

Utöver detta specifika skämt har undersökningsforskare dokumenterat många systematiska sätt att det du lär dig beror på hur du frågar. I själva verket har mycket problem vid roten av detta skämt ett namn i undersökningen forskarsamhället: frågeformuläret effekter (Kalton and Schuman 1982) . För att se hur frågeformulärseffekter kan påverka verkliga undersökningar, överväga dessa två mycket likartade enkätfrågor:

• "Hur mycket håller du med följande uttalande: Individer är mer att skylla än sociala förhållanden för brott och laglöshet i det här landet."
• "Hur mycket håller du med följande uttalande: Sociala förhållanden är mer att skylla än individer för brott och laglöshet i det här landet."

Även om båda frågorna tycks mäta samma sak, gav de olika resultat i ett verkligt undersökningsexperiment (Schuman and Presser 1996) . När man frågade ett sätt rapporterade cirka 60% av de svarande att individer var mer skyldiga för brottslighet, men när man frågade tvärtom uppgav ca 60% att sociala förhållanden var mer skyldiga (figur 3.3). Med andra ord kan den lilla skillnaden mellan dessa två frågor leda forskare till en annan slutsats.

Figur 3.3: Resultat från ett undersökningsexperiment som visar att forskare kan få olika svar beroende på exakt hur de ställde frågan. En majoritet av de svarande kom överens om att individer är mer skyldiga än sociala förhållanden för brott och laglöshet. Och en majoritet av de svarande kom överens med det motsatta: att sociala förhållanden är mer ansvarsfulla än individer. Anpassad från Schuman and Presser (1996) , tabell 8.1.

Förutom frågans struktur kan respondenterna också ge olika svar, beroende på de specifika ord som används. Till exempel, för att mäta åsikter om regeringens prioriteringar, läste respondenterna följande fråga:

"Vi står inför många problem i detta land, men ingen av dem kan lösas enkelt eller billigt. Jag kommer att nämna några av dessa problem, och för var och en jag skulle vilja berätta om du tror att vi spenderar för mycket pengar på det, för lite pengar, eller om rätt mängd. "

Därefter frågades hälften av de svarande om "välfärd" och hälften frågades om "stöd till de fattiga." Även om dessa kan tyckas som två olika fraser för samma sak, framkallade de väldigt olika resultat (figur 3.4). Amerikanerna rapporterar att de är mycket mer stödjande för "stöd till de fattiga" än "välfärd" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figur 3.4: Resultat från undersökningsexperiment som visar att respondenterna är mycket mer stödjande för "stöd till de fattiga" än "välfärd". Detta är ett exempel på en formuleringseffekt där svaren som forskare får beror på exakt vilka ord de använder i deras frågor. Anpassad från Huber and Paris (2013) , tabell A1.

Som dessa exempel på frågeformulärseffekter och formuleringseffekter visar kan svaren som forskare får påverkas av hur de ställer frågor. Dessa exempel leder ibland till att forskare undrar om "rätt" sätt att fråga sina enkätfrågor. Medan jag tror att det finns några klart fel sätt att ställa en fråga, tror jag inte att det alltid finns ett enda rätt sätt. Det är inte självklart bättre att fråga om "välfärd" eller "hjälp till de fattiga"; Det här är två olika frågor som mäter två olika saker om respondenternas attityder. Dessa exempel leder också ibland till att forskare slutsatsen att undersökningar inte ska användas. Tyvärr finns det ibland inget val. Istället tycker jag att den rätta lektionen att dra från dessa exempel är att vi borde noga konstruera våra frågor och vi inte ska acceptera svaren okritiskt.

Mest konkret betyder det att om du analyserar undersökningsdata samlad av någon annan, se till att du har läst det aktuella frågeformuläret. Och om du skapar ditt eget frågeformulär, har jag fyra förslag. Först föreslår jag att du läser mer om frågeformulärsdesign (t.ex. Bradburn, Sudman, and Wansink (2004) ); Det finns mer för detta än jag har beskrivit här. För det andra föreslår jag att du kopierar ord för ordfrågor från högkvalitativa undersökningar. Om du till exempel vill fråga respondenter om deras ras / etnicitet kan du kopiera de frågor som används i storskaliga offentliga undersökningar, till exempel folkräkningen. Även om detta kan låta som plagiering, uppmuntrar kopiering frågor i undersökningsforskning (så länge du citerar den ursprungliga undersökningen). Om du kopierar frågor från högkvalitativa undersökningar kan du vara säker på att de har testats och du kan jämföra svaren på din enkät till svar från några andra undersökningar. För det tredje, om du tror att ditt frågeformulär kan innehålla viktiga frågeformulärseffekter eller frågeformulärseffekter, kan du köra ett enkätprov, där hälften av respondenterna får en version av frågan och hälften får den andra versionen (Krosnick 2011) . Slutligen föreslår jag att du pilotprover dina frågor med några personer från din rampopulation. undersökningsforskare kallar denna förprovningsprocess (Presser et al. 2004) . Min erfarenhet är att undersökningen före testning är extremt hjälpsam.