3.3.2 Måling

Måling handler om å avlede hva dine respondenter synes og gjør fra det de sier.

I tillegg til representasjonsproblemer viser det totale undersøkelsesfeilrammebetinget at den andre store feilkilden er måling : hvordan vi gjør avledninger fra svarene som respondentene gir til våre spørsmål. Det viser seg at svarene vi mottar, og derfor de påvirkninger vi lager, kan avhenge kritisk - og i noen ganger overraskende måter - akkurat slik vi spør. Kanskje intet illustrerer dette viktige punktet bedre enn en spøk i den fantastiske boken Spørsmål fra Norman Bradburn, Seymour Sudman og Brian Wansink (2004) :

To prester, en Dominikanske og en jesuitt, diskuterer om det er en synd å røyke og ber samtidig. Etter ikke å komme til en konklusjon, hvert går av å konsultere sin respektive overlegen. Den dominikanske sier: "Hva gjorde overlegen si?"

Jesuittenes svarer: "Han sa at det var OK."

"Det er morsomt" Den dominikanske svarer: "Min veileder sa det var en synd."

Jesuittenes sa: "Hva gjorde du spørre ham?» Den dominikanske svarer: "Jeg spurte ham om det var greit å røyke mens bønn." "Å" sa jesuitt ", spurte jeg om det var OK å be mens røyking."

Utover denne spesifikke vitsen har undersøkelsesforskere dokumentert mange systematiske måter at det du lærer avhenger av hvordan du spør. Faktisk har selve spørsmålet i roten til denne vitsen et navn i undersøkelsesforskningsfellesskapet: spørsmålsformeffekter (Kalton and Schuman 1982) . For å se hvordan spørreskjemaeffekter kan påvirke virkelige undersøkelser, bør du vurdere disse to meget liknende undersøkelsesspørsmålene:

• "Hvor mye er du enig med følgende utsagn gjør: Individer er mer å klandre enn sosiale forhold for kriminalitet og lovløshet i dette landet."
• "Hvor mye er du enig med følgende utsagn: Sosiale forhold er mer å klandre enn enkeltpersoner for kriminalitet og lovløshet i dette landet."

Selv om begge spørsmålene ser ut til å måle det samme, produserte de forskjellige resultater i et ekte undersøkelseseksperiment (Schuman and Presser 1996) . Når det ble spurt en vei, rapporterte ca 60% av respondentene at personer var mer skyldige for kriminalitet, men når det ble spurt omvendt, rapporterte ca 60% at sosiale forhold var mer skyldige (figur 3.3). Med andre ord, den lille forskjellen mellom disse to spørsmålene kan føre forskere til en annen konklusjon.

Figur 3.3: Resultater fra et undersøkelseseksperiment som viser at forskere kan få forskjellige svar, avhengig av hvordan de spurte spørsmålet. Et flertall av respondentene ble enige om at enkeltpersoner er mer skyldige enn sosiale forhold for kriminalitet og lovløshet. Og et flertall av respondentene enige med det motsatte: at sosiale forhold er mer ansvarlige enn enkeltpersoner. Tilpasset fra Schuman and Presser (1996) , tabell 8.1.

I tillegg til strukturen i spørsmålet, kan respondentene også gi forskjellige svar, avhengig av de spesifikke ordene som brukes. For eksempel, for å måle meninger om statslige prioriteringer, ble respondentene lest følgende spørsmål:

"Vi står overfor mange problemer i dette landet, og ingen av disse kan løses lett eller billig. Jeg kommer til å nevne noen av disse problemene, og for hver av dem jeg vil at du skal fortelle meg om du tror vi er å bruke for mye penger på det, for lite penger, eller om riktig mengde. "

Deretter ble halvparten av respondentene bedt om "velferd" og halvparten ble spurt om "hjelp til de fattige." Mens disse kan virke som to forskjellige setninger for det samme, oppsto de svært forskjellige resultater (figur 3.4); Amerikanerne rapporterer å være mye mer støttende til «hjelp til de fattige» enn «velferd» (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figur 3.4: Resultater fra en undersøkelseseksperiment som viser at respondentene er mye mer støttende til «hjelp til de fattige» enn «velferd». Dette er et eksempel på en spørsmålstegnende effekt der svarene som forskere mottar er avhengig av nøyaktig hvilke ord de bruker i deres spørsmål. Tilpasset fra Huber and Paris (2013) , tabell A1.

Som disse eksemplene om spørsmålstegn effekter og ordlyd effekter viser, svarene som forskere mottar kan påvirkes av hvordan de stiller sine spørsmål. Disse eksemplene fører noen ganger til at forskerne lurer på om den "riktige" måten å stille sine spørreskjema på. Mens jeg tror det er noen klart feil måter å stille et spørsmål på, tror jeg ikke det er alltid en enkelt riktig måte. Det er derfor ikke åpenbart bedre å spørre om "velferd" eller "hjelp til de fattige"; Dette er to forskjellige spørsmål som måler to forskjellige ting om respondenters holdninger. Disse eksemplene fører også noen ganger til forskere til å konkludere med at undersøkelser ikke skal brukes. Dessverre er det noen ganger ikke noe valg. I stedet tror jeg den rette leksjonen å trekke fra disse eksemplene er at vi bør konstruere våre spørsmål nøye og vi bør ikke akseptere svarene ukritisk.

Mest konkret betyr dette at hvis du analyserer undersøkelsesdata samlet inn av noen andre, må du kontrollere at du har lest det aktuelle spørreskjemaet. Og hvis du lager ditt eget spørreskjema, har jeg fire forslag. Først foreslår jeg at du leser mer om spørreskjemautforming (f.eks. Bradburn, Sudman, and Wansink (2004) ); Det er mer til dette enn jeg har klart å beskrive her. For det andre foreslår jeg at du kopierer ord for ordspørsmål fra undersøkelser av høy kvalitet. Hvis du for eksempel vil spørre respondentene om deres rase / etnisitet, kan du kopiere spørsmålene som brukes i store regjeringsundersøkelser, for eksempel folketellingen. Selv om dette kan høres ut som plagiering, oppfordres kopieringsspørsmål til undersøkelsesforskning (så lenge du citerer den opprinnelige undersøkelsen). Hvis du kopierer spørsmål fra kvalitetsundersøkelser, kan du være sikker på at de er testet, og du kan sammenligne svarene på undersøkelsen din til svar fra andre undersøkelser. For det tredje, hvis du tror at spørreskjemaet ditt kan inneholde viktige spørsmålstegningseffekter eller spørsmålstegnedeffekter, kan du kjøre et undersøkelseseksperiment der halvparten av respondentene mottar en versjon av spørsmålet og halvparten mottar den andre versjonen (Krosnick 2011) . Til slutt foreslår jeg at du prøver å teste dine spørsmål med noen personer fra rammen din, undersøkelsesforskere kaller denne prosessen for testing (Presser et al. 2004) . Min erfaring er at undersøkelsen før testing er ekstremt nyttig.