3.3.2 Måling

Måling handler om at gøre slutninger fra hvad dine respondenter siger til, hvad dine respondenter tænker og gør.

Den anden kategori af den samlede undersøgelse fejl rammer er måling; det beskæftiger sig med, hvordan vi kan drage slutninger fra de svar, som respondenterne giver til vores spørgsmål. Det viser sig, at de svar, vi får, og derfor de konsekvenser, vi træffer, kan stole kritisk-og på nogle gange overraskende måder-på præcis, hvordan vi spørger. Måske intet illustrerer dette vigtige punkt bedre end en vittighed i den vidunderlige bog stille spørgsmål af Norman Bradburn, Seymour Sudman, og Brian Wansink (2004) :

To præster, en Dominikanske og en Jesuit, diskuterer, om det er en synd at ryge og bede på samme tid. Efter ikke at nå frem til en konklusion, hver slukker til at høre hans respektive overlegen. Den Dominikanske siger, "Hvad gjorde din overlegne sige?"

Den Jesuit reagerer, "Han sagde, at det var i orden."

"Det er sjovt" Dominikanske svarer: "Min vejleder sagde, det var en synd."

Den Jesuit sagde: "Hvad har du spørge ham?" The Dominican svarer: "Jeg spurgte ham, om det var i orden at ryge, mens bede." "Åh" sagde Jesuit, "Jeg spurgte om det var OK at bede, mens rygning."

Der er mange eksempler på uregelmæssigheder som den opleves af de to præster. Faktisk meget problem ved roden af denne vittighed har et navn i undersøgelsen forskningsverdenen: spørgsmål danner effekter (Kalton and Schuman 1982) . At se, hvordan spørgsmål danner effekter kan påvirke reelle undersøgelser, overveje disse to meget lignende spørgsmål leder undersøgelsen:

• "Hvor meget er du enig i følgende udsagn: Enkeltpersoner er mere skyld end sociale forhold for kriminalitet og lovløshed i dette land."
• "Hvor meget er du enig i følgende udsagn: Sociale forhold er mere skyld end enkeltpersoner for kriminalitet og lovløshed i dette land."

Selv om begge spørgsmål synes at måle det samme, de producerede forskellige resultater i en reel undersøgelse eksperiment (Schuman and Presser 1996) . Adspurgt én måde, omkring 60% af de adspurgte rapporterede, at personer var mere skylden for kriminalitet, men da spurgte den anden vej omkring 60% rapporterede, at de sociale forhold var mere skyld (Figur 3.2). Med andre ord kunne den lille forskel mellem de to spørgsmål fører forskere til en anden konklusion.

Figur 3.2: Resultater fra en undersøgelse eksperiment (Schuman and Presser 1996, Table 8.1) . Forskere kan få forskellige svar afhængigt af præcis, hvordan de stillede spørgsmålet. Dette er et eksempel på et spørgsmål formular virkning (Kalton and Schuman 1982) .

Ud over strukturen af ​​spørgsmålet, respondenter også kan give forskellige svar på grundlag af de specifikke anvendte udtryk. For eksempel, for at måle meninger om statslige prioriteringer, blev respondenterne læse følgende prompt:

"Vi står over for mange problemer i dette land, hvoraf ingen kan løses nemt eller billigt. Jeg har tænkt mig at nævne nogle af disse problemer, og for hver en jeg vil gerne have dig til at fortælle mig, om du tror, ​​vi bruger for mange penge på det, for lidt penge, eller om den rigtige mængde. "

". Støtte til fattige" Dernæst halvdelen af ​​de adspurgte blev bedt om "velfærd" og halvdelen blev spurgt om Mens disse kan synes som to forskellige sætninger for de samme ting, de fremkaldte meget forskellige resultater (Figur 3.3); Amerikanerne rapport bliver meget mere støttende af "støtte til de fattige" end "velfærd" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Mens undersøgelsen forskere overveje disse ordlyden effekter at være anomalier, kunne de også overveje dem forskningsresultater. Det vil sige, vi har lært noget om den offentlige mening fra dette resultat.

Figur 3.3: Resultater fra Huber and Paris (2013) . Respondenterne er langt mere støttende af "støtte til de fattige" end "velfærd." Dette er et eksempel på et spørgsmål ordlyd effekt, hvorved de svar, som forskerne får, afhænger af præcis hvilke ord, de bruger i deres spørgsmål.

Da disse eksempler om spørgsmål danner effekter og ordlyd effekter viser, kan de svar, at forskere får påvirkes på subtile måder baseret på, hvordan de stille deres spørgsmål. Dette betyder ikke, at der ikke bør anvendes undersøgelser; ofte er der ikke noget valg. Snarere, de eksempler illustrerer, at vi skal bygge vores spørgsmål grundigt, og vi bør ikke acceptere svarene ukritisk.

Mest konkret betyder det, at hvis du analyserer data, der indsamles af en anden, skal du sørge for, at du har læst selve spørgeskemaet. Og, hvis du opretter dit eget spørgeskema, jeg har tre forslag. Først vil jeg foreslå du læse mere om spørgeskema design (f.eks Bradburn, Sudman, and Wansink (2004) ); der er mere i det end jeg har været i stand til at beskrive her. For det andet, vil jeg foreslå, at du kopierer-ord for ord-spørgsmål fra undersøgelser af høj kvalitet. Selv om dette lyder som plagiat, er kopiering spørgsmål fremmes undersøgelsen forskning (så længe du citere den oprindelige undersøgelse). Hvis du kopierer spørgsmål fra undersøgelser af høj kvalitet, kan du være sikker på, at de er blevet testet, og du kan sammenligne svarene på din undersøgelse til svar fra en anden undersøgelse. Endelig vil jeg foreslå du pre-teste dine spørgsmål med nogle folk fra din ramme befolkningen (Presser et al. 2004) ; min erfaring er, at pre-test altid afslører overraskende spørgsmål.