3.3.2 Mesur

Mae mesur yn ymwneud â chanfod yr hyn y mae'ch ymatebwyr yn ei feddwl a'i wneud o'r hyn maen nhw'n ei ddweud.

Yn ogystal â phroblemau cynrychiolaeth, mae cyfanswm fframwaith gwallau'r arolwg yn dangos mai mesuriad yr ail brif ffynhonnell o gamgymeriadau yw: sut rydym yn gwneud casgliadau o'r atebion y mae ymatebwyr yn eu rhoi i'n cwestiynau. Mae'n ymddangos bod yr atebion a dderbyniwn, ac felly'r casgliadau a wnawn, yn gallu dibynnu'n feirniadol-ac weithiau'n syndod - yn union sut yr ydym yn gofyn. Efallai nad oes dim yn dangos y pwynt pwysig hwn yn well na jôc yn y llyfr hyfryd Yn gofyn cwestiynau gan Norman Bradburn, Seymour Sudman, a Brian Wansink (2004) :

Ddau offeiriad, yn Dominica a Jesiwitiaid, yn trafod a yw'n bechod i ysmygu a gweddïo ar yr un pryd. Ar ôl methu i ddod i gasgliad, pob un yn mynd i ffwrdd i ymgynghori ei priod uwchraddol. Y Dominican yn dweud, "Beth wnaeth eich dweud uwchraddol?"

Y Jeswit yn ymateb, "Dywedodd ei bod yn iawn."

"Mae hynny'n ddoniol" yr Dominica yn ateb, "meddai fy ngoruchwyliwr ei fod yn bechod."

Dywedodd y Jeswit, "Beth wnaethoch chi ofyn iddo?" Y Dominican yn ateb, "Gofynnais iddo os oedd yn iawn i ysmygu tra'n gweddïo." "O" meddai'r Jesiwitiaid, "Gofynnais os ei fod yn iawn i weddïo tra ysmygu."

Y tu hwnt i'r jôc benodol hon, mae ymchwilwyr arolwg wedi cofnodi llawer o ffyrdd systematig bod yr hyn a ddysgwch yn dibynnu ar sut y byddwch chi'n gofyn. Mewn gwirionedd, mae gan y mater iawn wrth wraidd y jôc hon enw yn y gymuned ymchwil arolwg: effeithiau ffurf cwestiynau (Kalton and Schuman 1982) . Er mwyn gweld sut y gallai effeithiau ffurfio'r cwestiwn effeithio ar arolygon go iawn, ystyriwch y ddau gwestiwn arolwg tebyg hwn sy'n debyg iawn:

• "Faint ydych chi'n cytuno â'r datganiad canlynol: Mae unigolion yn fwy ar fai na amodau cymdeithasol ar gyfer trosedd ac anhrefn yn y wlad hon."
• "Faint ydych chi'n cytuno â'r datganiad canlynol: Amodau cymdeithasol yn fwy ar fai nag unigolion ar gyfer trosedd ac anhrefn yn y wlad hon."

Er bod y ddau gwestiwn yn ymddangos yn mesur yr un peth, maent yn cynhyrchu canlyniadau gwahanol mewn arbrawf arolwg go iawn (Schuman and Presser 1996) . Pan ofynnwyd iddynt un ffordd, dywedodd tua 60% o'r ymatebwyr fod unigolion yn fwy ar fai am drosedd, ond pan ofynnwyd iddynt ar y ffordd arall, dywedodd tua 60% fod amodau cymdeithasol yn fwy ar fai (ffigwr 3.3). Mewn geiriau eraill, gallai'r gwahaniaeth bach rhwng y ddau gwestiwn hyn arwain ymchwilwyr i gasgliad gwahanol.

Ffigwr 3.3: Canlyniadau o arbrawf arolwg sy'n dangos y gall ymchwilwyr gael gwahanol atebion yn dibynnu ar sut yr oeddent yn gofyn y cwestiwn yn union. Cytunodd mwyafrif yr ymatebwyr fod unigolion yn fwy ar fai nag amodau cymdeithasol ar gyfer trosedd a chyfraith. A chytunodd mwyafrif yr ymatebwyr â'r gwrthwyneb: bod amodau cymdeithasol yn fwy cyfrifol nag unigolion. Addaswyd o Schuman and Presser (1996) , tabl 8.1.

Yn ogystal â strwythur y cwestiwn, gall ymatebwyr hefyd roi gwahanol atebion, yn dibynnu ar y geiriau penodol a ddefnyddir. Er enghraifft, er mwyn mesur barn am flaenoriaethau'r llywodraeth, darllenwyd yr ymatebion canlynol i'r ymatebwyr:

"Rydym yn wynebu llawer o broblemau yn y wlad hon, ni all yr un ohonynt yn cael eu datrys yn hawdd neu'n rhad. Rydw i'n mynd i enwi rhai o'r problemau hyn, ac ar gyfer pob un hoffwn i chi ddweud wrthyf a ydych yn credu ein bod yn gwario gormod o arian arno, rhy ychydig o arian, neu am y swm cywir. "

Yna, holwyd hanner yr ymatebwyr ynglŷn â "lles" a gofynnwyd hanner am "gymorth i'r tlawd." Er y gallai'r rhain ymddangos fel dau ymadrodd gwahanol ar gyfer yr un peth, fe wnaethon nhw arwain at ganlyniadau gwahanol iawn (ffigwr 3.4); Mae Americanwyr yn adrodd bod llawer mwy cefnogol o "gymorth i'r tlawd" na "lles" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Ffigwr 3.4: Canlyniadau o arbrofion arolwg sy'n dangos bod ymatebwyr yn llawer mwy cefnogol o "gymorth i'r tlawd" na "lles." Dyma enghraifft o effaith geiriad cwestiwn lle mae'r atebion y mae ymchwilwyr yn eu derbyn yn dibynnu ar ba eiriau maent yn eu defnyddio yn union eu cwestiynau. Addaswyd o Huber and Paris (2013) , tabl A1.

Gan fod yr enghreifftiau hyn yn dangos effeithiau'r effeithiau a'r effeithiau geiriad, gall yr atebion y mae ymchwilwyr eu derbyn gael eu dylanwadu gan sut y maent yn gofyn eu cwestiynau. Mae'r enghreifftiau hyn weithiau'n arwain ymchwilwyr i feddwl am y ffordd "gywir" i ofyn cwestiynau eu harolwg. Er fy mod yn credu bod yna rai ffyrdd anghywir o anghywir i ofyn cwestiwn, ni chredaf fod un ffordd bob amser yn gywir. Hynny yw, nid yw'n amlwg yn well gofyn am "les" neu "gymorth i'r tlawd"; mae'r rhain yn ddau gwestiwn gwahanol sy'n mesur dau beth gwahanol am agweddau ymatebwyr. Mae'r enghreifftiau hyn hefyd weithiau'n arwain ymchwilwyr i gloi na ddylid defnyddio arolygon. Yn anffodus, weithiau nid oes dewis. Yn hytrach, rwy'n credu mai'r wers gywir i dynnu o'r enghreifftiau hyn yw y dylem ni godi ein cwestiynau'n ofalus a ni ddylem dderbyn ymatebion yn anffurfiol.

Yn fwyaf cadarn, mae hyn yn golygu, os ydych yn dadansoddi data'r arolwg a gesglir gan rywun arall, gwnewch yn siŵr eich bod wedi darllen yr holiadur gwirioneddol. Ac os ydych chi'n creu eich holiadur eich hun, mae gen i bedair awgrym. Yn gyntaf, yr wyf yn awgrymu eich bod chi'n darllen mwy am ddylunio holiaduron (ee, Bradburn, Sudman, and Wansink (2004) ); mae mwy i hyn nag yr wyf wedi gallu disgrifio yma. Yn ail, yr wyf yn awgrymu eich bod yn copïo-gair ar gyfer cwestiynau geiriau o arolygon o ansawdd uchel. Er enghraifft, os ydych chi am ofyn i ymatebwyr am eu hil / ethnigrwydd, gallech gopïo'r cwestiynau a ddefnyddir mewn arolygon llywodraeth ar raddfa fawr, megis y cyfrifiad. Er y gallai hyn swnio llên-ladrad, anogir cwestiynau copïo mewn ymchwil arolwg (cyn belled â'ch bod yn dyfynnu'r arolwg gwreiddiol). Os byddwch yn copïo cwestiynau o arolygon o ansawdd uchel, gallwch fod yn siŵr eu bod wedi cael eu profi, a gallwch gymharu'r ymatebion i'ch arolwg i ymatebion gan rai arolygon eraill. Yn drydydd, os ydych chi'n credu y gallai eich holiadur gynnwys effeithiau geiriad cwestiynau pwysig neu effeithiau ffurflen gwestiynau, gallech gynnal arbrawf arolwg lle mae hanner yr ymatebwyr yn derbyn un fersiwn o'r cwestiwn ac yn derbyn hanner y fersiwn arall (Krosnick 2011) . Yn olaf, yr wyf yn awgrymu eich bod yn peilotio eich cwestiynau gyda rhai pobl o'ch poblogaeth ffrâm; mae ymchwilwyr arolwg yn galw'r broses hon ymlaen llaw (Presser et al. 2004) . Fy mhrofiad yw bod yr arolwg cyn-brofi yn hynod o ddefnyddiol.