3.3.3 Stroški
Ankete niso zastonj, in to je pravi omejitev.
Doslej sem na kratko pregledal celoten okvir napak v okviru ankete, ki je sama po sebi predmet obravnave po dolžini knjig (Weisberg 2005; Groves et al. 2009) . Čeprav je ta okvir celovit, na splošno povzroča raziskovalcem, da spregledajo pomemben dejavnik: stroški. Čeprav stroški, ki jih je mogoče meriti s časom ali denarjem, le redko izrecno razpravljajo akademski raziskovalci, je resnična omejitev, ki je ne bi smela zanemariti. Pravzaprav so stroški temeljnega pomena za celoten proces raziskovanja (Groves 2004) : to je razlog, zakaj raziskovalci razumejo vzorec ljudi in ne celotnega prebivalstva. Enostavno posvečenost zmanjševanju napak ob popolni neupoštevanju stroškov ni vedno v našem najboljšem interesu.
Omejitve obsedenosti z zmanjševanjem napak prikazujejo ključni projekt Scott Keeterja in sodelavcev (2000) o učinkih dragih operacij na terenu na zmanjšanje nesreče pri telefonskih anketah. Keeter in sodelavci sta opravljali dve simultani študiji, pri čemer sta uporabili "standardne" postopke za zaposlovanje in enega z uporabo "strogih" postopkov zaposlovanja. Razlika med obema raziskavama je bila količina naporov, ki so se povezala z anketiranci in jih spodbudila k sodelovanju. Na primer, v študiji z "strogim" zaposlovanjem so raziskovalci pogosteje in v daljšem časovnem obdobju proučili vzorec gospodinjstev in dodatno poklicala, če so udeleženci prvotno zavrnili sodelovanje. Ta dodatna prizadevanja so dejansko povzročila nižjo stopnjo neodgovora, vendar so znatno prispevale k stroškom. Študija z uporabo "strogih" postopkov je bila dvakrat dražja in osemkrat počasnejša. In na koncu sta obe študiji izdelali v bistvu enake ocene. Ta projekt, kot tudi poznejše replike s podobnimi ugotovitvami (Keeter et al. 2006) , bi vas moralo spraševati: ali smo bolje z dvema razumnima raziskavama ali enim neokrnjenim raziskovanjem? Kaj pa 10 razumnih raziskav ali en čisto raziskavo? Kaj pa 100 razumnih raziskav ali en čisto raziskavo? V določenem trenutku morajo stroškovne prednosti prevladati nad nejasnimi, nespecifičnimi skrbmi glede kakovosti.
Kot bom prikazal v tem preostanku poglavja, številne možnosti, ki jih ustvarja digitalna doba, niso namenjene ocenjevanju, ki očitno povzroča manjšo napako. Namesto tega se te možnosti nanašajo na ocenjevanje različnih količin in izdelavo ocen hitrejše in cenejše, tudi z morebitnimi višjimi napakami. Raziskovalci, ki vztrajajo pri enostranski obsedenosti z zmanjševanjem napake na račun drugih dimenzij kakovosti, bodo zamudili zanimive priložnosti. Glede na to, kakšen je okvir skupnega okvira napak, se bomo zdaj obrnili na tri glavna področja tretje dobe raziskovalnega raziskovanja: novi pristopi k zastopanju (oddelek 3.4), novi pristopi k merjenju (oddelek 3.5) in nove strategije za združevanje raziskovanj z velikimi viri podatkov (oddelek 3.6).
