3.3.3 Kostnads
Undersøkelser er ikke gratis, og dette er en reell begrensning.
Hittil har jeg kort gjennomgått det totale undersøkelsesfeilrammeverket, som i seg selv er gjenstand for boklengdsbehandlinger (Weisberg 2005; Groves et al. 2009) . Selv om dette rammeverket er omfattende, fører det generelt til at forskere overser en viktig faktor: kostnad. Selv om kostnadene - som kan måles med enten tid eller penger - sjelden diskuteres av akademiske forskere, er det en reell begrensning som ikke bør ignoreres. Faktisk er kostnadene avgjørende for hele prosessen med undersøkelsesforskning (Groves 2004) : det er grunnen til at forskere intervjuer et utvalg av mennesker i stedet for en hel befolkning. En enkelt sinnet hengivenhet for å minimere feil mens du fullstendig ignorerer kostnadene, er ikke alltid i vår beste interesse.
Begrensningene til en besettelse med å redusere feilen er illustrert av Scott Keeters og kollegas (2000) landemerkeprosjekt om effekten av dyre feltoperasjoner på å redusere ikke-respons i telefonundersøkelser. Keeter og kolleger løp to samtidige studier, en ved hjelp av "standard" rekrutteringsprosedyrer og en ved hjelp av "strenge" rekrutteringsprosedyrer. Forskjellen mellom de to studiene var mengden innsats som gikk i kontakt med respondentene og oppfordret dem til å delta. For eksempel, i studien med "strenge" rekruttering, kalte forskere de samplede husstandene oftere og over lengre tid og gjorde ekstra tilbakekallinger dersom deltakerne først nektet å delta. Disse ekstra anstrengelsene har faktisk gitt en lavere grad av ikke-respons, men de økte til kostnaden vesentlig. Studien ved hjelp av "strenge" prosedyrer var dobbelt så dyr og åtte ganger langsommere. Og til slutt produserte begge studiene i det vesentlige like estimater. Dette prosjektet, samt etterfølgende replikasjoner med lignende funn (Keeter et al. 2006) , burde få deg til å lure på: Er vi bedre med to rimelige undersøkelser eller en uberørt undersøkelse? Hva med 10 rimelige undersøkelser eller en uberørt undersøkelse? Hva med 100 rimelige undersøkelser eller en uberørt undersøkelse? På et tidspunkt må kostnadsfordeler oppveie vage, uspecifikke bekymringer om kvalitet.
Som jeg skal vise i denne resten av kapittelet handler mange av mulighetene som er skapt av den digitale tidsalderen ikke om å lage estimater som åpenbart har lavere feil. Disse mulighetene handler snarere om å estimere forskjellige mengder og om å gjøre estimater raskere og billigere, selv med muligens høyere feil. Forskere som insisterer på en ensartet besettelse med å minimere feil på bekostning av andre dimensjoner av kvalitet, kommer til å gå glipp av spennende muligheter. I lys av denne bakgrunnen om det totale spørsmålet om undersøkelsesfeil, vil vi nå vende seg til tre hovedområder av den tredje perioden med undersøkelsesforskning: nye tilnærminger til representasjon (punkt 3.4), nye tilnærminger til måling (avsnitt 3.5) og nye strategier for kombinering av undersøkelser med store datakilder (seksjon 3.6).
