Kannanir eru ekki ókeypis, og þetta er alvöru þvingun.
Svo langt, ég hef stuttlega endurskoða heildar könnun villa ramma, sem sjálft er efni bókin lengd meðferðir (Weisberg 2005; Groves et al. 2009) . Þó að þetta ramma er alhliða, það veldur yfirleitt vísindamenn að fara út mikilvægur þáttur: Kostnaður. Þótt kostnaður-sem hægt er að mæla með annaðhvort tíma eða peninga-er sjaldan beinlínis fjallað um fræðileg vísindamenn, er það alvöru þvingun sem við hunsa á hætti okkar. Í raun, ástæðan vísindamenn viðtal sýni af fólki frekar en alla íbúa er að spara peninga. Þannig kostnaður er grundvallaratriði í því ferli könnun rannsókna (Groves 2004) . A einn-sinnaður tryggð að lágmarka villa á meðan alveg hunsa kostnaði er ekki alltaf í besta áhuga okkar.
Takmarkanir þráhyggja með að minnka villa eru sýnd með tímamótarannsókn Scott Keeter og samstarfsmenn (2000) á áhrifum dýr rekstri sviði í því skyni að draga úr brottfalli í könnunum síma. Keeter og samstarfsmenn hljóp tvo samtímis kannanir, einn með "standard" aðferðir og einn með "strangt" aðferðir. Þótt "Hárnákvæm" aðferðir gerði framleiða lægri tíðni brottfalls, áætlun frá báðum sýnum voru í grundvallaratriðum sú sama. Hins vegar kosta "Hárnákvæm" aðferðir u.þ.b. tvöfalt eins mikið og tók 8 sinnum eins lengi. Erum við betur sett með 2 sanngjörnum könnunum eða 1 óspilltur könnun? Hvað um 10 sanngjörnu könnunum eða 1 óspilltur könnun? Hvað um 100 sanngjörnu könnunum eða 1 óspilltur könnun? Á einhverjum tímapunkti kostnaður verður að vega þyngra óljós, non-sérstakar áhyggjur um gæði.
Margir af þeim tækifærum sem skapast með stafrænni öld eru ekki um að búa til mat sem augljóslega hafa lægri villa. Frekar, eru þessi tækifæri um að skapa áætlanir ódýrari og hraðari, en kannski með villum sem eru nú hærra eða erfiðara að mæla. Eins og margir af dæmunum í þessum kafla mun sýna, vísindamenn sem heimta á einn-sinnaður þráhyggja með lágmarka villur á kostnað annarra mál gæðum eru að fara að missa af spennandi tækifærum. Í ljósi þessa bakgrunnur um heildar könnun villa ramma, munum við nú snúa að þremur sviðum þriðja tímum könnun rannsókna: nýjar aðferðir til að framsetning (kafla 3.4), nýjar aðferðir til mælingar (kafla 3.5), og nýjar aðferðir til að sameina kannanir með stafrænum ummerki (kafli 3.6).