3.3.3 kustannukset
Tutkimukset eivät ole vapaita, ja tämä on todellinen rajoitus.
Toistaiseksi olen tarkastellut lyhyen katsauksen kokonaistutkimusvirheistä, joka itse on kirjapituisten hoitojen kohteena (Weisberg 2005; Groves et al. 2009) . Vaikka tämä kehys on kattava, se yleensä aiheuttaa tutkijoille unohdettavan tärkeän tekijän: kustannukset. Vaikka kustannukset, jotka voidaan mitata joko ajan tai rahan avulla, on harvoin nimenomaan keskusteltu akateemisten tutkijoiden kanssa, se on todellinen rajoittaminen, jota ei pidä unohtaa. Itse asiassa kustannukset ovat olennaisia koko tutkimustutkimusprosessille (Groves 2004) . Siksi tutkijat haastattelevat ihmisnäytteen eikä koko väestön. Yksimielinen omistautuminen virheen minimoimiseksi ja kustannusten täysin huomiotta jättäminen ei aina ole meidän edun mukaista.
Vähemmän vähäisempää virhettä rajoittavat havainnolliset Scott Keeter ja hänen kollegansa (2000) maamerkkihankkeesta kalliiden kenttätoimintojen vaikutuksista puhelinresursseja koskevan vastuun vähentämiseen. Keeter ja hänen kollegansa suorittivat kaksi samanaikaista tutkimusta, joista toinen käytti "normaaleja" rekrytointimenettelyjä ja yksi käyttäen "tiukkoja" rekrytointimenettelyjä. Näiden kahden tutkimuksen ero oli niiden pyrkimysten määrä, jotka koskivat vastaajia ja kannustivat heitä osallistumaan. Esimerkiksi "tiukalla" rekrytoinnilla tehdyssä tutkimuksessa tutkijat kutsuivat otokseen kuuluneita kotitalouksia useammin ja pidemmäksi ajaksi ja tekivät ylimääräisiä soittopyyntöjä, jos osallistujat alun perin kieltäytyivät osallistumasta. Nämä ylimääräiset ponnistelut tosiasiassa tuottivat alhaisemman vastustamattoman määrän, mutta ne lisäsivät huomattavasti kustannuksia. Tutkimus käyttäen "tiukkoja" menettelyjä oli kaksi kertaa niin kallis ja kahdeksan kertaa hitaampi. Lopuksi molemmat tutkimukset tuottivat olennaisilta osin samanlaisia arvioita. Tämä projekti samoin kuin myöhemmät jäljitelmät, joilla on samankaltaisia havaintoja (Keeter et al. 2006) , pitäisi johtaa sinut ihmettelemään: onko parempi kahdella kohtuullisella tutkimuksella tai yhdellä koskemattomalla tutkimuksella? Entä 10 kohtuullista tutkimusta tai yhtä turmeltumatonta tutkimusta? Entä 100 kohtuullista tutkimusta tai yhtä turmeltumatonta tutkimusta? Jossakin vaiheessa kustannusetujen on ylitettävä epämääräiset, epäspesifiset huolta laatuun.
Kuten esittelen tässä luvussa, monet digitaalisen aikakauden luomista mahdollisuuksista eivät ole sellaisten arvioiden tekeminen, joilla on ilmeisesti pienempi virhe. Pikemminkin nämä mahdollisuudet ovat arvioitaessa eri määriä ja arvioiden tekemistä nopeammin ja halvemmalla, jopa mahdollisesti suurempien virheiden avulla. Tutkijat, jotka vaativat yksimielistä pakkomuotoa virheen minimoimiseksi muiden laatua koskevien ulottuvuuksien kustannuksella, menettävät jännittäviä mahdollisuuksia. Kun otetaan huomioon tämä koko tutkimusvirhepuute, tarkastelemme nyt kolmea keskeistä tutkimustutkimuksen aikakautta: uudet lähestymistavat edustukseen (kohta 3.4), uudet mittausmenetelmät (3.5 jakso) ja uudet strategiat kyselyjen yhdistämiseksi suurilla tietolähteillä (kohta 3.6).
