3.3.2 Måling

Måling handler om at udlede, hvad dine respondenter synes og gør fra det, de siger.

Ud over problemer med repræsentation viser den samlede undersøgelsesfejlramme, at den anden store fejlkilde er måling : Hvordan vi laver afledninger fra svarene, som respondenterne giver til vores spørgsmål. Det viser sig, at de svar, vi modtager, og derfor de afledninger, vi laver, kan være afhængige kritisk - og i nogle gange overraskende måder - præcis, hvordan vi spørger. Måske intet illustrerer dette vigtige punkt bedre end en vittighed i den vidunderlige bog stille spørgsmål af Norman Bradburn, Seymour Sudman, og Brian Wansink (2004) :

To præster, en Dominikanske og en Jesuit, diskuterer, om det er en synd at ryge og bede på samme tid. Efter ikke at nå frem til en konklusion, hver slukker til at høre hans respektive overlegen. Den Dominikanske siger, "Hvad gjorde din overlegne sige?"

Den Jesuit reagerer, "Han sagde, at det var i orden."

"Det er sjovt" Dominikanske svarer: "Min vejleder sagde, det var en synd."

Den Jesuit sagde: "Hvad har du spørge ham?" The Dominican svarer: "Jeg spurgte ham, om det var i orden at ryge, mens bede." "Åh" sagde Jesuit, "Jeg spurgte om det var OK at bede, mens rygning."

Ud over denne særlige vittighed har undersøgelsesforskere dokumenteret mange systematiske måder, at det du lærer afhænger af, hvordan du spørger. Faktisk er selve spørgsmålet, der ligger til grund for denne joke, et navn i undersøgelsesforskningsfællesskabet: spørgsmålsformeffekter (Kalton and Schuman 1982) . For at se, hvordan spørgsmålstegnedeffekter kan påvirke reelle undersøgelser, overvej disse to meget ligende undersøgelsesspørgsmål:

• "Hvor meget er du enig i følgende udsagn: Enkeltpersoner er mere skyld end sociale forhold for kriminalitet og lovløshed i dette land."
• "Hvor meget er du enig i følgende udsagn: Sociale forhold er mere skyld end enkeltpersoner for kriminalitet og lovløshed i dette land."

Selv om begge spørgsmål ser ud til at måle det samme, producerede de forskellige resultater i et rigtigt undersøgelseseksperiment (Schuman and Presser 1996) . Når man blev spurgt en vej, rapporterede omkring 60% af de adspurgte, at personer var mere skyldige for kriminalitet, men når man blev spurgt omvendt, rapporterede omkring 60%, at sociale forhold var mere skyldige (figur 3.3). Med andre ord kan den lille forskel mellem disse to spørgsmål føre forskere til en anden konklusion.

Figur 3.3: Resultater fra et undersøgelseseksperiment, der viser, at forskere kan få forskellige svar afhængigt af, hvordan de stillede spørgsmålet. Et flertal af de adspurgte var enige om, at enkeltpersoner er mere skyldige end sociale forhold for kriminalitet og lovløshed. Og et flertal af de adspurgte var enige om, at sociale forhold er mere ansvarlige end enkeltpersoner. Tilpasset fra Schuman and Presser (1996) , tabel 8.1.

Ud over spørgsmålets struktur kan respondenterne også give forskellige svar afhængigt af de specifikke ord, der anvendes. For at kunne måle udtalelser om statslige prioriteter blev respondenterne følgende vejledning:

"Vi står over for mange problemer i dette land, hvoraf ingen kan løses nemt eller billigt. Jeg har tænkt mig at nævne nogle af disse problemer, og for hver en jeg vil gerne have dig til at fortælle mig, om du tror, ​​vi bruger for mange penge på det, for lidt penge, eller om den rigtige mængde. "

Derefter blev halvdelen af ​​respondenterne spurgt om "velfærd", og halvdelen blev spurgt om "hjælp til de fattige." Mens disse kunne virke som to forskellige sætninger for det samme, fremkaldte de meget forskellige resultater (figur 3.4); Amerikanere rapporterer at være meget mere støttende til "hjælp til de fattige" end "velfærd" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figur 3.4: Resultater fra en undersøgelseseksperimenter, der viser, at respondenterne er meget mere støttende til "hjælp til de fattige" end "velfærd." Dette er et eksempel på en formuleringseffekt, hvorved svarene, som forskere modtager afhænger af præcis, hvilke ord de bruger i deres spørgsmål. Tilpasset fra Huber and Paris (2013) , tabel A1.

Som disse eksempler på spørgsmålstegnseffekter og formuleringseffekter viser, kan svarene, som forskere modtager, påvirkes af, hvordan de stiller deres spørgsmål. Disse eksempler fører nogle gange til, at forskerne undrer sig over den "korrekte" måde at stille deres spørgeskema spørgsmål på. Mens jeg tror, ​​at der er nogle klart forkerte måder at stille et spørgsmål på, tror jeg ikke, at der altid er en enkelt korrekt måde. Det er derfor ikke helt klart bedre at spørge om "velfærd" eller "hjælp til de fattige"; Det er to forskellige spørgsmål, der måler to forskellige ting om respondenternes holdninger. Disse eksempler fører også nogle gange til forskere til at konkludere, at undersøgelser ikke bør anvendes. Desværre er der undertiden ikke noget valg. I stedet tror jeg, at den rigtige lektion at trække ud fra disse eksempler er, at vi bør opbygge vores spørgsmål omhyggeligt, og vi bør ikke acceptere svar ukritisk.

Mest konkret betyder det, at hvis du analyserer undersøgelsesdata indsamlet af en anden, skal du sørge for, at du har læst det faktiske spørgeskema. Og hvis du opretter dit eget spørgeskema, har jeg fire forslag. For det første foreslår jeg, at du læser mere om spørgeskemaudformning (fx Bradburn, Sudman, and Wansink (2004) ); der er mere til dette end jeg har kunnet beskrive her. For det andet foreslår jeg, at du kopierer ord til ordspørgsmål fra undersøgelser af høj kvalitet. Hvis du f.eks. Vil spørge respondenter om deres race / etnicitet, kan du kopiere de spørgsmål, der bruges i store regeringsundersøgelser, som f.eks. Folketællingen. Selv om dette kan lyde som plagiering, opfordres kopieringsspørgsmål til undersøgelsesundersøgelser (så længe du nævner den oprindelige undersøgelse). Hvis du kopierer spørgsmål fra undersøgelser af høj kvalitet, kan du være sikker på, at de er blevet testet, og du kan sammenligne svarene på din undersøgelse til svar fra andre undersøgelser. For det tredje, hvis du mener, at dit spørgeskema kan indeholde vigtige spørgsmålstegnende effekter eller spørgsmålstegnedeffekter, kan du køre et undersøgelseseksperiment, hvor halvdelen af ​​respondenterne modtager en version af spørgsmålet og halvdelen modtager den anden version (Krosnick 2011) . Endelig foreslår jeg, at du pilotprøver dine spørgsmål med nogle mennesker fra din rammepopulation; undersøgelsesforskere kalder denne proces forprøvning (Presser et al. 2004) . Min erfaring er, at undersøgelsen forudprøvning er yderst hjælpsom.