3.3.2 Mesur

Mae mesur yn ymwneud â ffurfio casgliadau o hyn y mae eich ymatebwyr ddweud beth yw eich ymatebwyr yn credu ac yn ei wneud.

Yr ail gategori o gyfanswm y fframwaith gwall yr arolwg yw mesur; mae'n delio â sut y gallwn wneud casgliadau o'r atebion y mae ymatebwyr yn rhoi i'n cwestiynau. Mae'n ymddangos bod yr atebion a dderbyniwn, ac felly mae'r casgliadau a wnawn, gall ddibynnu ffyrdd-ar feirniadol-ac yn weithiau syndod yn union sut y byddwn yn gofyn. Efallai nid oes dim yn dangos y pwynt pwysig yn well na jôc yn y llyfr hyfryd Gofyn Cwestiynau gan Norman Bradburn, Seymour Sudman, a Brian Wansink (2004) :

Ddau offeiriad, yn Dominica a Jesiwitiaid, yn trafod a yw'n bechod i ysmygu a gweddïo ar yr un pryd. Ar ôl methu i ddod i gasgliad, pob un yn mynd i ffwrdd i ymgynghori ei priod uwchraddol. Y Dominican yn dweud, "Beth wnaeth eich dweud uwchraddol?"

Y Jeswit yn ymateb, "Dywedodd ei bod yn iawn."

"Mae hynny'n ddoniol" yr Dominica yn ateb, "meddai fy ngoruchwyliwr ei fod yn bechod."

Dywedodd y Jeswit, "Beth wnaethoch chi ofyn iddo?" Y Dominican yn ateb, "Gofynnais iddo os oedd yn iawn i ysmygu tra'n gweddïo." "O" meddai'r Jesiwitiaid, "Gofynnais os ei fod yn iawn i weddïo tra ysmygu."

Mae llawer o enghreifftiau o anghysonderau fel yr un a brofir gan y ddau offeiriad. Mewn gwirionedd, mae'r union fater sydd wrth wraidd jôc mae hyn yn cael enw yn y gymuned ymchwil arolwg: Effeithiau ffurflen gwestiynau (Kalton and Schuman 1982) . I weld sut y gallai effeithiau ffurflen cwestiwn effeithio arolygon go iawn, yn ystyried y ddau gwestiwn yr arolwg edrych yn debyg iawn:

• "Faint ydych chi'n cytuno â'r datganiad canlynol: Mae unigolion yn fwy ar fai na amodau cymdeithasol ar gyfer trosedd ac anhrefn yn y wlad hon."
• "Faint ydych chi'n cytuno â'r datganiad canlynol: Amodau cymdeithasol yn fwy ar fai nag unigolion ar gyfer trosedd ac anhrefn yn y wlad hon."

Er yr ymddengys y ddau gwestiwn i fesur yr un peth, maent yn cynhyrchu canlyniadau gwahanol mewn arbrawf arolwg go iawn (Schuman and Presser 1996) . Pan ofynnwyd un ffordd, adroddodd tua 60% o'r ymatebwyr bod unigolion yn fwy ar fai am drosedd, ond pan ofynnwyd y ffordd arall adroddodd tua 60% bod amodau cymdeithasol yn fwy ar fai (Ffigur 3.2). Mewn geiriau eraill, gallai'r gwahaniaeth bach rhwng y ddau gwestiwn arwain ymchwilwyr i gasgliad gwahanol.

Ffigur 3.2: Canlyniadau o arbrawf arolwg (Schuman and Presser 1996, Table 8.1) . Gall ymchwilwyr gael atebion gwahanol yn dibynnu ar sut yn union y maent yn gofyn y cwestiwn. Mae hon yn enghraifft o ffurflen gwestiwn effaith (Kalton and Schuman 1982) .

Yn ychwanegol at y strwythur y cwestiwn, yr ymatebwyr hefyd yn gallu rhoi atebion gwahanol yn seiliedig ar y geiriau penodol a ddefnyddir. Er enghraifft, er mwyn mesur barn am flaenoriaethau llywodraeth, ymatebwyr ddarllen y brydlon canlynol:

"Rydym yn wynebu llawer o broblemau yn y wlad hon, ni all yr un ohonynt yn cael eu datrys yn hawdd neu'n rhad. Rydw i'n mynd i enwi rhai o'r problemau hyn, ac ar gyfer pob un hoffwn i chi ddweud wrthyf a ydych yn credu ein bod yn gwario gormod o arian arno, rhy ychydig o arian, neu am y swm cywir. "

". Cymorth ar gyfer y tlawd" Nesaf, gofynnodd hanner yr ymatebwyr am "lles" a hanner Gofynnwyd am Er y gallai hyn yn ymddangos fel dwy ymadroddion gwahanol ar gyfer yr un peth, maent yn ennyn canlyniadau gwahanol iawn (Ffigur 3.3); Americanwyr yn dweud eu bod yn llawer mwy cefnogol o "gymorth i'r tlawd" na "lles" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Er bod ymchwilwyr arolwg yn ystyried effeithiau geiriad y rhain yn anghysondebau, gallent hefyd ystyried canfyddiadau ymchwil iddynt. Hynny yw, rydym wedi dysgu rhywbeth am farn y cyhoedd o'r canlyniad hwn.

Ffigur 3.3: Canlyniadau o Huber and Paris (2013) . Mae ymatebwyr yn llawer mwy cefnogol o "gymorth i'r tlawd" na "lles." Mae hon yn enghraifft o effaith cwestiwn geiriad lle yr atebion bod ymchwilwyr yn derbyn yn dibynnu ar union pa eiriau y maent yn eu defnyddio yn eu cwestiynau.

Gan fod yr enghreifftiau hyn am effeithiau ffurflen cwestiwn ac effeithiau geiriad yn dangos, gall yr atebion bod ymchwilwyr yn cael eu dylanwadu mewn ffyrdd cynnil yn seiliedig ar sut y maent yn gofyn eu cwestiynau. Nid yw hyn yn golygu na ddylai arolygon gael eu defnyddio; Yn aml nid oes dewis. Yn hytrach, mae'r enghreifftiau yn dangos y dylem adeiladu ein cwestiynau yn ofalus ac ni ddylem dderbyn ymatebion anfeirniadol.

Mae'r rhan fwyaf diriaethol, mae hyn yn golygu, os ydych yn dadansoddi data arolwg a gasglwyd gan rywun arall, gwnewch yn siŵr eich bod wedi darllen yr holiadur ei hun. Ac, os ydych yn creu eich holiadur eich hun, mae gennyf dri awgrymiadau. Yn gyntaf, yr wyf yn awgrymu eich bod yn darllen mwy am ddylunio holiadur (ee, Bradburn, Sudman, and Wansink (2004) ); mae mwy iddi na dw i wedi bod gallu disgrifio yma. Yn ail, yr wyf yn awgrymu eich bod copi-air am air-gwestiynau o arolygon o ansawdd uchel. Er bod hyn yn swnio fel llên-ladrad, cwestiynau copïo yn cael ei annog mewn ymchwil arolygon (cyn belled ag y byddwch yn nodi yr arolwg gwreiddiol). Os byddwch yn copïo cwestiynau gan arolygon o ansawdd uchel, gallwch fod yn sicr eu bod wedi cael eu profi a gallwch gymharu'r ymatebion eich arolwg i ymatebion gan ryw arolwg arall. Yn olaf, yr wyf yn awgrymu eich bod cyn-brofi eich cwestiynau gyda rhai pobl o'ch poblogaeth ffrâm (Presser et al. 2004) ; fy mhrofiad i yw bod cyn-brofi bob amser yn datgelu materion syndod.