3.3.2 Meting

Meting gaat over het afleiden van wat uw respondenten denken en doen van wat ze zeggen.

Naast problemen met representatie, toont het totale kader voor enquêtefouten dat de tweede belangrijkste bron van fouten meten is : hoe we conclusies trekken uit de antwoorden die respondenten op onze vragen geven. Het blijkt dat de antwoorden die we krijgen en dus de gevolgtrekkingen die we maken, kritisch kunnen zijn - en soms verrassend - van precies hoe we het vragen. Misschien illustreert niets dit belangrijke punt beter dan een grap in het prachtige boek Asking Questions van Norman Bradburn, Seymour Sudman en Brian Wansink (2004) :

Twee priesters, een dominicaan en een jezuïet, bespreken of het een zonde is om te roken en te bidden op hetzelfde moment. Na niet aan een conclusie te komen, ieder gaat uit naar zijn respectieve superieur te raadplegen. The Dominican zegt: "Wat heeft uw leidinggevende te zeggen? '

De jezuïet antwoordt: "Hij zei dat het goed was."

"Dat is grappig" de Dominicaanse antwoordt: "Mijn begeleider zei dat het een zonde."

De jezuïet zei: "Wat heb je hem vragen? 'The Dominican antwoordt:" Ik vroeg hem of het goed om te roken tijdens het bidden was. "" O ", zei de jezuïet:" Ik vroeg of het was OK, terwijl het roken om te bidden. "

Naast deze specifieke grap, hebben onderzoekers van de enquête veel systematische manieren beschreven die ervoor zorgen dat wat je leert afhankelijk is van hoe je het vraagt. In feite heeft juist de kwestie die aan de basis ligt van deze grap een naam in de enquête-onderzoeksgemeenschap: vragenformuliereffecten (Kalton and Schuman 1982) . Als u wilt zien hoe de vraagvormeffecten van invloed kunnen zijn op echte enquêtes, overweeg dan deze twee zeer vergelijkbaar uitziende enquêtevragen:

• "Hoeveel bent u het eens met de volgende stelling: Individuen zijn meer te verwijten dan de sociale omstandigheden van misdaad en wetteloosheid in dit land."
• "Hoeveel bent u het eens met de volgende verklaring: Sociale omstandigheden zijn meer te verwijten dan individuen voor misdaad en wetteloosheid in dit land."

Hoewel beide vragen hetzelfde lijken te meten, produceerden ze verschillende resultaten in een echt onderzoeksexperiment (Schuman and Presser 1996) . Op de vraag één manier meldde ongeveer 60% van de respondenten dat individuen meer verantwoordelijk waren voor criminaliteit, maar toen de andere kant werd gevraagd, meldde ongeveer 60% dat sociale omstandigheden meer de schuld waren (figuur 3.3). Met andere woorden, het kleine verschil tussen deze twee vragen zou onderzoekers naar een andere conclusie kunnen leiden.

Figuur 3.3: Resultaten van een enquête-experiment waaruit blijkt dat onderzoekers verschillende antwoorden kunnen krijgen, afhankelijk van hoe zij de vraag precies hebben gesteld. Een meerderheid van de respondenten was het ermee eens dat individuen meer de schuld hebben dan sociale omstandigheden voor misdaad en wetteloosheid. En een meerderheid van de respondenten was het eens met het tegenovergestelde: dat sociale omstandigheden meer verantwoordelijk zijn dan individuen. Aangepast door Schuman and Presser (1996) , tabel 8.1.

Naast de structuur van de vraag kunnen respondenten ook verschillende antwoorden geven, afhankelijk van de gebruikte specifieke woorden. Om bijvoorbeeld meningen over regeringsprioriteiten te meten, werden de respondenten de volgende prompt voorgelezen:

"We worden geconfronteerd met vele problemen in dit land, die geen van eenvoudig of goedkoop kan worden opgelost. Ik ga een aantal van deze problemen te noemen, en voor elke één ik zou graag willen dat u mij vertellen of je dat we te veel geld uitgeven aan het, te weinig geld, of over de juiste hoeveelheid. "

Vervolgens werd de helft van de respondenten ondervraagd over 'welzijn' en de helft van de respondenten werd gevraagd naar 'hulp voor de armen'. Hoewel deze twee verschillende zinnen voor hetzelfde leken, brachten ze heel andere resultaten met zich mee (figuur 3.4); Amerikanen melden dat ze veel meer steun geven aan "hulp aan de armen" dan aan "welzijn" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figuur 3.4: Resultaten van een enquête-experimenten waaruit blijkt dat respondenten veel meer steun geven aan "hulp aan de armen" dan aan "welzijn". Dit is een voorbeeld van een vraagformuleringseffect waarbij de antwoorden die onderzoekers ontvangen afhankelijk zijn van welke woorden ze precies gebruiken hun vragen. Aangepast van Huber and Paris (2013) , tabel A1.

Zoals deze voorbeelden over de effecten van vraagvormen en formuleringseffecten laten zien, kunnen de antwoorden die onderzoekers ontvangen, worden beïnvloed door hoe ze hun vragen stellen. Deze voorbeelden leiden er soms toe dat onderzoekers zich afvragen wat de "juiste" manier is om hun enquêtevragen te stellen. Hoewel ik denk dat er een aantal duidelijk verkeerde manieren zijn om een ​​vraag te stellen, denk ik niet dat er altijd één enkele correcte manier is. Dat wil zeggen, het is niet duidelijk beter om te vragen naar "welzijn" of "hulp voor de armen"; dit zijn twee verschillende vragen die twee verschillende dingen meten over de houding van respondenten. Deze voorbeelden leiden er soms ook toe dat onderzoekers concluderen dat enquêtes niet mogen worden gebruikt. Helaas is er soms geen keuze. In plaats daarvan denk ik dat de juiste les om uit deze voorbeelden te leren is dat we onze vragen zorgvuldig moeten opstellen en dat we reacties niet kritiekloos moeten accepteren.

Concreet betekent dit dat als u enquêtegegevens analyseert die door iemand anders zijn verzameld, zorg ervoor dat u de feitelijke vragenlijst hebt gelezen. En als u uw eigen vragenlijst maakt, heb ik vier suggesties. Ten eerste stel ik voor dat je meer leest over vragenlijstontwerp (bijv. Bradburn, Sudman, and Wansink (2004) ); er is meer aan de hand dan ik hier heb kunnen beschrijven. Ten tweede stel ik voor dat u woord-voor-woord-vragen kopieert uit enquêtes van hoge kwaliteit. Als u bijvoorbeeld respondenten wilt vragen naar hun ras / etniciteit, kunt u de vragen kopiëren die worden gebruikt in grootschalige enquêtes door de overheid, zoals de telling. Hoewel dit klinkt als plagiaat, wordt het kopiëren van vragen aangemoedigd in survey-onderzoek (zolang u de oorspronkelijke enquête noemt). Als u vragen van hoogwaardige enquêtes kopieert, kunt u er zeker van zijn dat ze zijn getest en kunt u de antwoorden op uw enquête vergelijken met de antwoorden van sommige andere enquêtes. Ten derde, als u denkt dat uw vragenlijst belangrijke vraagformuleringseffecten of vraagvormeffecten kan bevatten, kunt u een enquête-experiment uitvoeren waarbij de helft van de respondenten één versie van de vraag ontvangt en de andere helft de andere versie (Krosnick 2011) . Tot slot, stel ik voor dat u uw vragen piloot-test met sommige mensen uit uw framepopulatie; onderzoek onderzoekers noemen dit proces pre-testen (Presser et al. 2004) . Mijn ervaring is dat pre-testing van enquêtes uitermate nuttig is.