Nid yw arolygon yn rhad ac am ddim, ac mae hyn yn gyfyngiad go iawn.
Hyd yn hyn, rwyf wedi adolygu'n fyr fframwaith gwall cyfanswm yr arolwg, sydd ynddo'i hun yn destun triniaethau hyd llyfr (Weisberg 2005; Groves et al. 2009) . Er bod y fframwaith hwn yn gynhwysfawr, fel arfer mae'n achosi i ymchwilwyr anwybyddu ffactor pwysig: cost. Er mai prin y caiff ymchwilwyr academaidd ei drafod yn benodol ar gost y naill amser neu'r arian, mae'n gyfyngiad go iawn na ddylid ei anwybyddu. Mewn gwirionedd, mae'r gost yn hanfodol i'r broses gyfan o ymchwil arolwg (Groves 2004) : dyma'r rheswm pam bod ymchwilwyr yn cyfweld â sampl o bobl yn hytrach na phoblogaeth gyfan. Nid yw ymroddiad un meddwl i leihau gwall wrth anwybyddu cost yn llwyr bob amser er ein budd gorau.
Mae cyfyngiadau obsesiwn â gwall lleihau yn cael eu harddangos gan brosiect nodedig Scott Keeter a chydweithwyr (2000) ar effeithiau gweithrediadau maes drud ar leihau anhwylderau mewn arolygon ffôn. Cynhaliodd Keeter a chydweithwyr ddwy astudiaeth ar yr un pryd, un gan ddefnyddio gweithdrefnau recriwtio "safonol" ac un gan ddefnyddio gweithdrefnau recriwtio "trylwyr". Y gwahaniaeth rhwng y ddau astudiaeth oedd yr ymdrech a ddaeth i gysylltiad ag ymatebwyr a'u hannog i gymryd rhan. Er enghraifft, yn yr astudiaeth gyda recriwtio "trylwyr", dywedodd ymchwilwyr yr aelwydydd a samplwyd yn amlach a thros gyfnod hwy o amser a gwnaethpwyd galwadau ychwanegol pe bai cyfranogwyr yn gwrthod cymryd rhan i ddechrau. Mae'r ymdrechion ychwanegol hyn mewn gwirionedd yn cynhyrchu cyfradd is o ymateb nad ydynt, ond fe wnaethon nhw ychwanegu at y gost yn sylweddol. Roedd yr astudiaeth gan ddefnyddio gweithdrefnau "trylwyr" ddwywaith mor ddrud ac wyth gwaith yn arafach. Ac, yn y diwedd, roedd y ddau astudiaeth yn cynhyrchu amcangyfrifon yr un fath yn yr un modd. Dylai'r prosiect hwn, yn ogystal ag atgynhyrchiadau dilynol gyda chanfyddiadau tebyg (Keeter et al. 2006) , eich arwain at feddwl: a ydyn ni'n well gyda dau arolwg rhesymol neu un arolwg pristine? Beth am tua 10 arolwg rhesymol neu un arolwg pristine? Beth am tua 100 o arolygon rhesymol neu un arolwg pristine? Ar ryw adeg, mae'n rhaid i fanteision cost orbwyso pryderon amheus, annisgwyl am ansawdd.
Fel y byddaf yn dangos yn y gweddill hon o'r bennod, nid yw llawer o'r cyfleoedd a grëir gan yr oes ddigidol yn ymwneud â gwneud amcangyfrifon sy'n amlwg yn cael gwall is. Yn hytrach, mae'r cyfleoedd hyn yn ymwneud ag amcangyfrif meintiau gwahanol ac am wneud amcangyfrifon yn gyflymach ac yn rhatach, hyd yn oed gyda gwallau uwch o bosibl. Mae ymchwilwyr sy'n mynnu ar obsesiwn un meddwl â lleihau gwall ar draul dimensiynau eraill o ansawdd yn mynd i fethu allan ar gyfleoedd cyffrous. O ystyried y cefndir hwn am gyfanswm fframwaith gwallau'r arolwg, byddwn yn troi at dri phrif faes yn ystod trydydd cyfnod ymchwil arolwg: dulliau newydd o gynrychioli (adran 3.4), dulliau newydd o fesur (adran 3.5), a strategaethau newydd ar gyfer cyfuno arolygon gyda ffynonellau data mawr (adran 3.6).