Nid yw arolygon yn rhad ac am ddim, ac mae hyn yn gyfyngiad go iawn.
Hyd yn hyn, rwyf wedi ei adolygu yn fyr cyfanswm y fframwaith gwall yr arolwg, sydd ei hun yn destun triniaethau hyd llyfr (Weisberg 2005; Groves et al. 2009) . Er bod y fframwaith hwn yn gynhwysfawr, yn gyffredinol mae'n achosi ymchwilwyr i adael allan yn ffactor pwysig: cost. Er bod cost-y gellir ei fesur gan naill ai amser neu arian-yn anaml ei drafod yn benodol gan ymchwilwyr academaidd, mae'n mae hynny'n broblem fawr ein bod yn anwybyddu yn ein gwae. Yn wir, mae'r samplau ymchwilwyr rheswm cyfweld o bobl yn hytrach na boblogaeth gyfan yw arbed arian. Felly, y gost yn sylfaenol i'r broses o ymchwil arolygon (Groves 2004) . Nid yw hymroddiad unigryw i leihau gwall wrth costau yn llwyr anwybyddu bob amser yn ein budd gorau.
Mae cyfyngiadau obsesiwn gyda lleihau camgymeriadau yn cael eu darlunio gan yr astudiaeth tirnod o Scott Keeter a chydweithwyr (2000) ar effeithiau gweithrediadau maes drud er mwyn lleihau diffyg ymateb mewn arolygon ffôn. Rhedodd Keeter a chydweithwyr dau arolwg y pryd, un gan ddefnyddio gweithdrefnau "Safon" ac un yn defnyddio gweithdrefnau "trylwyr". Er bod y gweithdrefnau "trylwyr" Gwnaeth cynhyrchu cyfradd is o ddiffyg ymateb, amcangyfrifon o'r ddau samplau yn y bôn yr un fath. Fodd bynnag, mae'r gweithdrefnau "trylwyr" costio tua dwywaith cymaint a chymerodd 8 gwaith mor hir. A ydym yn well eu byd gyda 2 arolygon rhesymol neu 1 Arolwg pristine? Beth tua 10 arolygon rhesymol neu 1 Arolwg pristine? Beth am 100 o arolygon rhesymol neu 1 Arolwg pristine? Ar ryw bwynt, rhaid manteision cost yn gorbwyso amwys, pryderon amhenodol am ansawdd.
Nid yw llawer o'r cyfleoedd a grëwyd gan yr oes ddigidol yn ymwneud â chreu amcangyfrifon sydd yn amlwg yn cael gwall is. Yn hytrach, mae'r cyfleoedd hyn yn ymwneud â chreu amcangyfrifon rhatach ac yn gyflymach, ond efallai gyda gwallau sydd ar hyn o bryd yn uwch neu'n anoddach i'w fesur. Gan y bydd llawer o'r enghreifftiau yn y bennod hon yn dangos, ymchwilwyr sy'n mynnu obsesiwn unplyg gyda lleihau gwall ar draul dimensiynau eraill o ansawdd yn mynd i golli allan ar gyfleoedd cyffrous. O ystyried y cefndir hwn am gyfanswm y fframwaith gwall yr arolwg, byddwn yn awr yn troi at dri phrif faes y trydydd cyfnod o ymchwil arolwg: dulliau newydd o gynrychiolaeth (Adran 3.4), dulliau newydd o fesur (Adran 3.5), a strategaethau newydd ar gyfer cyfuno arolygon ag olion digidol (Adran 3.6).