3.3.2 Måling

Måling handler om å gjøre slutninger fra hva respondentene sier til hva respondentene tenker og gjør.

Den andre kategorien av den totale undersøkelsen feilen rammen er måling; Det dreier seg om hvordan vi kan gjøre slutninger fra de svarene respondentene gir til våre spørsmål. Det viser seg at svarene vi får, og derfor slutninger vi gjør, kan stole kritiker og i noen ganger overraskende måter-on nøyaktig hvordan vi spør. Kanskje ingenting illustrerer dette viktige punktet bedre enn en spøk i den fantastiske boken stille spørsmål ved Norman Bradburn, Seymour Sudman, og Brian Wansink (2004) :

To prester, en Dominikanske og en jesuitt, diskuterer om det er en synd å røyke og ber samtidig. Etter ikke å komme til en konklusjon, hvert går av å konsultere sin respektive overlegen. Den dominikanske sier: "Hva gjorde overlegen si?"

Jesuittenes svarer: "Han sa at det var OK."

"Det er morsomt" Den dominikanske svarer: "Min veileder sa det var en synd."

Jesuittenes sa: "Hva gjorde du spørre ham?» Den dominikanske svarer: "Jeg spurte ham om det var greit å røyke mens bønn." "Å" sa jesuitt ", spurte jeg om det var OK å be mens røyking."

Det finnes mange eksempler på avvik som den oppleves av de to prestene. Faktisk veldig problemet ved roten av denne vitsen har et navn i undersøkelsen forskningsmiljøet: spørsmålsskjema effekter (Kalton and Schuman 1982) . For å se hvordan spørsmålet skjema effekter kan påvirke virkelige undersøkelser, vurdere disse to svært like utseende undersøkelsen spørsmål:

• "Hvor mye er du enig med følgende utsagn gjør: Individer er mer å klandre enn sosiale forhold for kriminalitet og lovløshet i dette landet."
• "Hvor mye er du enig med følgende utsagn: Sosiale forhold er mer å klandre enn enkeltpersoner for kriminalitet og lovløshet i dette landet."

Selv om begge disse spørsmålene synes å måle det samme, produserte de forskjellige resultater i en reell undersøkelse eksperiment (Schuman and Presser 1996) . Når spurte en vei, ca 60% av respondentene rapporterte at personene var mer å klandre for kriminalitet, men da spurte den andre veien ca 60% rapporterte at de sosiale forholdene var mer å klandre (figur 3.2). Med andre ord, kan den lille forskjellen mellom de to spørsmål retter seg forskere til en annen konklusjon.

Figur 3.2: Resultater fra en spørreundersøkelse eksperiment (Schuman and Presser 1996, Table 8.1) . Forskere kan få forskjellige svar avhengig av nøyaktig hvordan de stilte spørsmålet. Dette er et eksempel på et spørsmål skjema effekt (Kalton and Schuman 1982) .

I tillegg til strukturen av spørsmålet, respondenter også kan gi forskjellige svar basert på de spesifikke ord som benyttes. For eksempel, for å måle meninger om statlige prioriteringer, ble respondentene lese følgende melding:

"Vi står overfor mange problemer i dette landet, og ingen av disse kan løses lett eller billig. Jeg kommer til å nevne noen av disse problemene, og for hver av dem jeg vil at du skal fortelle meg om du tror vi er å bruke for mye penger på det, for lite penger, eller om riktig mengde. "

". Hjelpemiddel for de fattige" Neste, halvparten av respondentene ble spurt om "velferd" og halvparten ble spurt om Selv om disse kan virke som to forskjellige uttrykk for det samme, fremkalte de svært forskjellige resultater (figur 3.3); Amerikanerne rapporterer å være mye mer støttende av "bistand til de fattige" enn "velferd" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Mens undersøkelsen forskere vurdere disse ordlyden effekter for å være uregelmessigheter, kan de også vurdere dem forskningsresultater. Det er, har vi lært noe om opinionen fra dette resultatet.

Figur 3.3: Resultater fra Huber and Paris (2013) . Respondentene er mye mer støttende av "bistand til de fattige" enn "velferd." Dette er et eksempel på et spørsmål ordlyden effekt der de svarene som forskerne får er avhengig av nøyaktig hvilke ord de bruker i sine spørsmål.

Som disse eksemplene om spørsmålsskjema effekter og ordlyden effekter viser, kan de svarene som forskerne får bli påvirket på subtile måter basert på hvordan de stille sine spørsmål. Dette betyr ikke at undersøkelsene ikke bør brukes; ofte er det ikke noe valg. Snarere eksemplene illustrerer at vi skal bygge våre spørsmål nøye og vi bør ikke godta svar ukritisk.

Mest konkret betyr dette at hvis du analyserer undersøkelsen data samlet inn av noen andre, sørg for at du har lest selve spørreskjemaet. Og, hvis du lager din egen spørreskjemaet, jeg har tre forslag. Først, foreslår jeg at du leser mer om design av spørreskjema (f.eks Bradburn, Sudman, and Wansink (2004) ); det er mer til det enn jeg har vært i stand til å beskrive her. For det andre, foreslår jeg at du kopierer ord for ord-spørsmål fra kvalitetsundersøkelser. Selv om dette høres ut som plagiat, er kopiering spørsmål oppmuntret i undersøkelsen forskning (så lenge du sitere den opprinnelige undersøkelsen). Hvis du kopierer spørsmål fra kvalitetsundersøkelser, kan du være sikker på at de har blitt testet, og du kan sammenligne svarene på undersøkelsen til svar fra en annen undersøkelse. Til slutt, foreslår jeg at du pre-teste dine spørsmål med noen folk fra rammen befolkningen (Presser et al. 2004) ; min erfaring er at pre-testing alltid avslører overraskende spørsmål.