3.3.2 Meting

Meting gaan oor wat u respondente dink en doen van wat hulle sê.

Benewens probleme van verteenwoordiging, toon die totale oorsig foutraamwerk dat die tweede groot foutfout meting is : hoe ons afleidings maak van die antwoorde wat die respondente aan ons vrae gee. Dit blyk dat die antwoorde wat ons ontvang, en daarom die afleidings wat ons maak, krities kan afhang - en soms op verrassende maniere - presies hoe ons vra. Miskien illustreer niks hierdie belangrike punt beter as 'n grap in die wonderlike boek. Vrae deur Norman Bradburn, Seymour Sudman en Brian Wansink (2004) :

Twee priesters, 'n Dominikaanse en 'n Jesuïet, bespreek of dit is 'n sonde om te rook en bid tegelykertyd. Na die versuim om 'n slotsom te bereik, elke afgaan om sy onderskeie beter te raadpleeg. Die Dominikaanse sê: "Wat het jou beter sê?"

Die Jesuïete reageer, "Hy het gesê dit is in orde."

"Dis snaaks" die Dominikaanse antwoord: "My toesighouer het gesê dit is 'n sonde."

Die Jesuïete het gesê: "Wat het jy hom vra?" Die Dominikaanse antwoord, "Ek het hom gevra of dit in orde om te rook terwyl bid was." "O" sê die Jesuïete, "Ek het gevra of dit was OK, terwyl rook te bid."

Behalwe hierdie spesifieke grap, het opname navorsers baie sistematiese maniere gedokumenteer dat wat jy leer hang af van hoe jy vra. Trouens, die probleem in die wortel van hierdie grap het 'n naam in die opname navorsingsgemeenskap: vraagvorm-effekte (Kalton and Schuman 1982) . Om te sien hoe vraagvorm-effekte moontlik werklike opnames kan beïnvloed, oorweeg hierdie twee baie soortgelyke opname vrae:

• "Hoeveel stem jy saam met die volgende stelling: Individue is meer te blameer as maatskaplike toestande vir misdaad en wetteloosheid in die land."
• "Hoeveel stem jy saam met die volgende stelling: Sosiale omstandighede is meer te blameer as individue vir misdaad en wetteloosheid in die land."

Alhoewel beide vrae dieselfde blyk te wees, het hulle verskillende resultate in 'n werklike opname-eksperiment (Schuman and Presser 1996) opgelewer. By navraag gevra, het ongeveer 60% van die respondente gerapporteer dat individue meer skuldig bevind is aan misdaad, maar by die ander kant het sowat 60% gerapporteer dat sosiale toestande meer verantwoordelik was (figuur 3.3). Met ander woorde, die klein verskil tussen hierdie twee vrae kan navorsers tot 'n ander gevolgtrekking lei.

Figuur 3.3: Resultate van 'n opname-eksperiment wat bewys dat navorsers verskillende antwoorde kan kry, afhangende van presies hoe hulle die vraag gevra het. 'N Meerderheid van die respondente het ooreengekom dat individue meer skuld as sosiale toestande vir misdaad en wetteloosheid. En 'n meerderheid van die respondente het met die teenoorgestelde ooreengekom: dat sosiale toestande meer verantwoordelik is as individue. Aangepas uit Schuman and Presser (1996) , tabel 8.1.

Benewens die struktuur van die vraag, kan respondente ook verskillende antwoorde gee, afhangende van die spesifieke woorde wat gebruik word. Byvoorbeeld, om menings oor regeringsprioriteite te meet, is die respondente die volgende gevra:

"Ons word gekonfronteer met baie probleme in hierdie land, waarvan nie een maklik of goedkoop opgelos kan word. Ek gaan 'n paar van hierdie probleme te noem, en vir elke een wat ek wil hê jy moet vir my sê of jy dink dat ons te veel geld spandeer op dit, te min geld, of oor die regte hoeveelheid. "

Daarna is die helfte van die respondente gevra oor "welsyn" en die helfte is gevra oor "hulp vir die armes." Alhoewel dit soos twee verskillende frases vir dieselfde ding lyk, het hulle baie verskillende resultate opgelewer (figuur 3.4); Amerikaners rapporteer dat hulle baie meer ondersteun van "hulp aan die armes" as "welsyn" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figuur 3.4: Uitslae van 'n opname-eksperiment wat toon dat respondente baie meer ondersteun van "hulp aan die armes" as "welsyn." Dit is 'n voorbeeld van 'n vraag-bewoordende effek waarmee die antwoorde wat navorsers ontvang, afhang van presies watter woorde hulle gebruik in hul vrae. Aangepas van Huber and Paris (2013) , tafel A1.

Soos hierdie voorbeelde oor vraagvorm-effekte en bewoordingseffekte toon, kan die antwoorde wat navorsers ontvang beïnvloed word deur hoe hulle hul vrae stel. Hierdie voorbeelde lei soms tot navorsers om te wonder oor die korrekte manier om hul opname vrae te vra. Terwyl ek dink daar is 'n paar verkeerde maniere om 'n vraag te stel, dink ek nie daar is altyd een korrekte manier nie. Dit is dus nie beter om te vra oor "welsyn" of "hulp vir die armes nie"; Dit is twee verskillende vrae wat twee verskillende dinge meet oor die houding van die respondente. Hierdie voorbeelde lei soms ook tot navorsers om af te lei dat opnames nie gebruik mag word nie. Ongelukkig is daar soms geen keuse nie. In plaas daarvan dink ek die regte les om uit hierdie voorbeelde te trek, is dat ons ons vrae noukeurig moet opstel en ons nie onantwoorde antwoorde moet aanvaar nie.

Meest konkreet beteken dit dat as jy die opname data wat deur iemand anders versamel is, ontleed, maak seker dat jy die werklike vraelys gelees het. En as jy jou eie vraelys skep, het ek vier voorstelle. Eerstens stel ek voor dat u meer lees oor Bradburn, Sudman, and Wansink (2004) (bv. Bradburn, Sudman, and Wansink (2004) ); daar is meer hieraan as wat ek hier beskryf het. Tweedens stel ek voor dat u kopie-woord vir woordvrae van hoë gehalte opnames. As jy byvoorbeeld respondente wil vra oor hul ras / etnisiteit, kan jy die vrae wat gebruik word in grootskaalse regeringsopnames, soos die sensus, kopieer. Alhoewel dit dalk as plagiaat kan lyk, word kopieervrae aangemoedig in opname-navorsing (solank jy die oorspronklike opname noem). As jy vrae van hoë gehalte opnames kopieer, kan jy seker wees dat hulle getoets is, en jy kan die antwoorde op jou opname vergelyk met antwoorde van ander opnames. Derdens, as jy dink dat jou vraelys belangrike vrae bewoordingseffekte of vraagvorm-effekte kan bevat, kan jy 'n opname-eksperiment uitvoer waar die helfte van die respondente een weergawe van die vraag ontvang en die helfte ontvang die ander weergawe (Krosnick 2011) . Ten slotte stel ek voor dat jy jou vrae met 'n paar mense uit jou raambevolking toets. opname navorsers noem hierdie proses vooraf toetsing (Presser et al. 2004) . My ervaring is dat die opname vooraf toets baie nuttig is.