3.3.3 Omkostninger
Undersøgelser er ikke gratis, og det er en reel hindring.
Hidtil har jeg kort gennemgået den samlede undersøgelsesfejlramme, som i sig selv er genstand for boglængdesbehandlinger (Weisberg 2005; Groves et al. 2009) . Selv om denne ramme er omfattende, får det generelt forskere til at overse en vigtig faktor: omkostninger. Selvom omkostningen - som kan måles af enten tid eller penge - sjældent er diskuteret af akademiske forskere, er det en reel begrænsning, der ikke bør ignoreres. Faktisk er omkostningerne afgørende for hele undersøgelsesprocessen (Groves 2004) : det er grunden til, at forskere interviewer en stikprøve af mennesker snarere end en hel befolkning. En ensartet hengivenhed for at minimere fejlen, mens du fuldstændig ignorerer omkostningerne, er ikke altid i vores bedste interesse.
Begrænsningerne af en besættelse med reducerende fejl er illustreret af Scott Keeters og kollegers (2000) vildmarksprojekt om konsekvenserne af dyre feltoperationer på at reducere ikke-respons i telefonundersøgelser. Keeter og kolleger løb to samtidige studier, en ved hjælp af "standard" ansættelsesprocedurer og en ved hjælp af "strenge" ansættelsesprocedurer. Forskellen mellem de to undersøgelser var den mængde indsats, der gik i kontakt med respondenterne og opfordrede dem til at deltage. For eksempel kaldte forskere i undersøgelsen med "stringent" rekruttering de samplede husstande hyppigere og over en længere periode og lavede ekstra tilbagekaldelser, hvis deltagerne oprindeligt nægtede at deltage. Disse ekstra bestræbelser skabte faktisk en lavere grad af nonresponse, men de tilføjede omkostningerne væsentligt. Undersøgelsen ved hjælp af "strenge" procedurer var dobbelt så dyr og otte gange langsommere. Og i sidste ende producerede begge undersøgelser i det væsentlige samme estimater. Dette projekt samt efterfølgende replikationer med lignende resultater (Keeter et al. 2006) burde få dig til at undre: er vi bedre med to rimelige undersøgelser eller en uberørt undersøgelse? Hvad med 10 rimelige undersøgelser eller en uberørt undersøgelse? Hvad med 100 rimelige undersøgelser eller en uberørt undersøgelse? På et tidspunkt skal omkostningsfordele opveje vage, uspecifikke bekymringer om kvalitet.
Som jeg vil vise i denne rest af kapitlet, handler mange af mulighederne i den digitale tidsalder ikke om at lave estimater, der naturligvis har en lavere fejl. Disse muligheder handler snarere om at estimere forskellige mængder og om at gøre estimater hurtigere og billigere, selv med muligvis højere fejl. Forskere, der insisterer på en ensartede besættelse med at minimere fejl på bekostning af andre dimensioner af kvalitet, vil gå glip af spændende muligheder. I lyset af denne baggrund om den samlede undersøgelsesfejlramme vil vi nu henvende os til tre hovedområder i den tredje æra af undersøgelsesforskning: Nye tilgange til repræsentation (afsnit 3.4), nye målemetoder (afsnit 3.5) og nye strategier til at kombinere undersøgelser med store datakilder (afsnit 3.6).
