Průzkumy nejsou zadarmo, a to je skutečný omezení.
Zatím jsem stručně přezkoumal celkový rámec chyby průzkumu, který je sám o sobě předmětem ošetření knihou (Weisberg 2005; Groves et al. 2009) . I když je tento rámec komplexní, obecně způsobuje, že výzkumníci přehlížejí důležitý faktor: náklady. Ačkoli náklady - které lze měřit jak časem, tak i penězi - se akademickými výzkumníky výslovně diskutují jen zřídka, je to skutečné omezení, které by nemělo být ignorováno. Ve skutečnosti, náklady jsou zásadní pro celý proces průzkumu výzkumu (Groves 2004) : to je důvod, proč výzkumníci rozhovoru vzorku lidí spíše než celá populace. Jednoduchá oddanost minimalizaci chyb při úplném ignorování nákladů není vždy v našem nejlepším zájmu.
Omezení posedlosti s redukcí chyby ilustruje projekt orientačních bodů Scott Keeter a kolegové (2000) o účincích drahých terénních operací na snížení nereagování v telefonních průzkumech. Keeter a jeho kolegové provozovali dvě souběžné studie, z nichž jedna využívala "standardní" náborové postupy a jedna používala "přísné" náborové postupy. Rozdíl mezi těmito dvěma studiemi byl množství úsilí, které šlo na kontaktování respondentů a povzbuzování k účasti. Například ve studii s "přísným" náborem výzkumníci volali domácnosti vzorku častěji a delší dobu a udělali další zpětné volání, pokud se účastníci nejprve odmítli účastnit. Toto zvýšené úsilí skutečně způsobilo nižší míru odezvy, ale podstatně zvýšily náklady. Studie s použitím "přísných" postupů byla dvakrát dražší a osmkrát pomalejší. A nakonec obě studie vytvořily v podstatě shodné odhady. Tento projekt, stejně jako následné replikace s podobnými nálezy (Keeter et al. 2006) by vás měl vést k tomu, že byste se zajímali: máme lepší výsledky se dvěma průzkumy nebo jedním průzkumem? A co 10 průzkumů nebo jeden nedotknutelný průzkum? A co 100 rozumných průzkumů nebo jeden nedotknutelný průzkum? V určitém okamžiku musí mít nákladové výhody převažující vágní, nespecifické obavy ohledně kvality.
Jak ukážeme v této zbývající kapitole, mnoho příležitostí vytvořených digitálním věkem neznamená, že by měly být odhady, které mají samozřejmě nižší chyby. Tyto příležitosti jsou spíše o odhadu různých veličin a o tom, že odhady budou rychlejší a levnější, a to i s možnými vyššími chybami. Vědci, kteří trvají na jednostranné posedlosti s minimalizací chyb na úkor jiných dimenzí kvality, budou chybět na vzrušujících příležitostech. Vzhledem k těmto okolnostem ohledně celkového rámce chyby průzkumu se nyní zaměříme na tři hlavní oblasti třetí éry výzkumu výzkumu: nové přístupy k zastoupení (oddíl 3.4), nové přístupy k měření (oddíl 3.5) a nové strategie pro kombinaci průzkumů s velkými zdroji dat (oddíl 3.6).