3.3.2 Mæling

Mælingar eru um að álykta hvað svarendur hugsa og gera frá því sem þeir segja.

Til viðbótar við vandamál sem sýna fram á að heildarmagn könnunarvillunnar sýnir að annar stærsti uppspretta villur er mæling : hvernig við gerum afleiðingar af svörum sem svarendur gefa spurningum okkar. Það kemur í ljós að svörin sem við fáum, og því afleiðingar sem við gerum, geta treyst á gagnrýninn hátt - og stundum á óvart hátt - nákvæmlega hvernig við spyrjum. Kannski sýnir ekkert þetta mikilvæga atriði betur en brandari í frábæru bókinni. Spurningar eftir Norman Bradburn, Seymour Sudman og Brian Wansink (2004) :

Tveir prestar, Dóminíska og Jesuit, erum að ræða hvort sem það er synd að reykja og biðja á sama tíma. Eftir að hafa mistekist að komast að niðurstöðu, hvor fer burt til að hafa samráð viðkomandi yfirmanns. The Dominican segir, "Hvað gerði yfirburða skoðanir þínar?"

Jesuit bregst, "Hann sagði að það væri allt í lagi."

"Það er fyndið" Dóminíska svarar, "umsjónarmaður minn sagði að það væri synd."

Jesuit mælti: "Hvað gerðir þú biðja hann?" The Dominican svarar, "ég spurði hann hvort það væri í lagi að reykja á meðan að biðja." "Ó" sagði Jesuit, "ég spurði hvort það væri í lagi að biðja á meðan reykingar."

Beyond this sérstakur brandari, könnun vísindamenn hafa skjalfest mörg kerfisbundin hátt að það sem þú lærir fer eftir því hvernig þú spyrð. Reyndar er mjög málið í rót þessa brandara heitið í rannsóknarsamfélaginu: spurningalíkanáhrif (Kalton and Schuman 1982) . Til að sjá hvernig spurningalíkanáhrif gætu haft áhrif á alvöru kannanir skaltu íhuga þessar tvær mjög svipaðar könnunarspurningar:

• "Hversu sammála ertu eftirfarandi fullyrðingu: Einstaklingar eru meira að kenna en félagslegar aðstæður fyrir glæp og lögleysu í þessu landi."
• "Hversu sammála ertu eftirfarandi fullyrðingu: Félagslegar aðstæður eru meira að kenna en einstaklinga til glæpa og lögleysu í þessu landi."

Þrátt fyrir að báðir spurningarnar virðast vera að mæla það sama, gerðu þeir mismunandi niðurstöður í alvöru könnunartilraunum (Schuman and Presser 1996) . Um 60% svarenda töldu að einstaklingar væru meira að kenna um glæp, en þegar spurt var um leið, sýndu um 60% að félagslegar aðstæður væru meira að kenna (mynd 3.3). Með öðrum orðum gæti litla munurinn á þessum tveimur spurningum leitt til þess að vísindamenn hafi mismunandi niðurstöðu.

Mynd 3.3: Niðurstöður úr könnunartilraunum sem sýna að vísindamenn geta fengið mismunandi svör eftir því nákvæmlega hvernig þeir spurðu spurninguna. Meirihluti svarenda sammála um að einstaklingar séu meira að kenna en félagsleg skilyrði fyrir glæpi og lögleysi. Og meirihluti svarenda sammála um hið gagnstæða: að félagslegar aðstæður eru meira ábyrgir en einstaklingar. Aðlagað frá Schuman and Presser (1996) , töflu 8.1.

Til viðbótar við uppbyggingu spurninganna geta svarendur einnig gefið mismunandi svör eftir því hvaða tilteknu orð eru notuð. Til dæmis, til að mæla skoðanir um forgangsverkefni stjórnvalda, voru svarendur lesnir eftirfarandi hvetja:

"Við stöndum frammi fyrir mörgum vandamálum í þessu landi, enginn sem hægt er að leysa auðveldlega eða inexpensively. Ég ætla að nefna nokkur af þessum vandamálum, og fyrir hvern einn sem ég vil að þú að segja mér hvort þér finnst við erum að eyða of miklum pening á það líka smá pening, eða um rétta upphæð. "

Næstum voru helmingur svarenda spurðir um "velferð" og helmingur var spurður um "aðstoð fyrir hina fátæku." Þó að þetta gæti virst eins og tvær mismunandi setningar fyrir það sama, urðu þeir mjög mismunandi niðurstöður (mynd 3.4); Bandaríkjamenn tilkynna að þeir séu miklu meira stuðningsmenn "aðstoð við hina fátæku" en "velferð" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Mynd 3.4: Niðurstöður úr könnunartilraunum sem sýna að svarendur styðja miklu meira "aðstoð við hina fátæku" en "velferð". Þetta er dæmi um spurningalýsingaráhrif þar sem svörin sem vísindamenn fá eru háð því nákvæmlega hvaða orð þau nota í spurningar þeirra. Aðlaga frá Huber and Paris (2013) , borð A1.

Eins og þessi dæmi um spurningalistann og orðalagið sýna, geta þau svör sem vísindamenn fá fengið áhrif á hvernig þeir spyrja spurninga sína. Þessir dæmi leiða stundum til þess að fræðimenn velti fyrir sér um "rétt" leið til að spyrja spurninga um könnunina. Á meðan ég held að það séu nokkrar greinilega rangar leiðir til að spyrja spurningu, held ég ekki að það sé alltaf ein einföld leið. Það er ekki augljóslega betra að spyrja um "velferð" eða "aðstoð fyrir hina fátæku". Þetta eru tveir mismunandi spurningar sem mæla tvær mismunandi hluti um viðhorf svarenda. Þessir dæmi leiða stundum til vísindamanna að álykta að ekki ætti að nota kannanir. Því miður er stundum ekkert val. Í staðinn held ég að réttur lexía til að draga úr þessum dæmum er að við ættum að reisa spurninga okkar vandlega og við ættum ekki að samþykkja svörin uncritically.

Mest áreiðanlega, þetta þýðir að ef þú ert að greina könnunargögn sem safnað er af einhverjum öðrum skaltu ganga úr skugga um að þú hafir lesið raunverulegt spurningalistann. Og ef þú ert að búa til þína eigin spurningalista, þá hef ég fjórar tillögur. Í fyrsta lagi mæli ég með að þú lesir meira um spurningalistahönnun (td Bradburn, Sudman, and Wansink (2004) ); Það er meira til þess en ég hef getað lýsað hér. Í öðru lagi mæli ég með að þú afriti orð fyrir orðspor úr hágæða könnunum. Til dæmis, ef þú vilt spyrja svarenda um kynþætti þeirra / þjóðerni, þá gætirðu afritað þau spurningar sem notuð eru í stórum könnunum, svo sem manntal. Þó að þetta gæti hljómað eins og ritstuldur, er hvatt til að afrita spurningar í rannsóknarannsóknum (svo lengi sem þú vitnar í upphaflegu könnuninni). Ef þú afritar spurningar úr hágæða könnunum getur þú verið viss um að þeir hafi verið prófaðir og þú getur borið saman viðbrögðin við könnuninni þinni í svörum frá öðrum könnunum. Í þriðja lagi, ef þú heldur að spurningalistinn þinn gæti innihaldið mikilvægar spurningalýsingaráhrif eða spurningalíkanáhrif, gætir þú keyrt könnunartilraun þar sem helmingur svarenda fá eina útgáfu af spurningunni og helmingur fá annan útgáfu (Krosnick 2011) . Að lokum, ég mæli með að þú prófir prófanir þínar með sumum fólki úr rammanum þínum; könnun vísindamenn kalla þetta ferli fyrir prófun (Presser et al. 2004) . Reynsla mín er sú að könnun fyrir prófun er afar gagnleg.