Проучванията не са свободни, и това е реална пречка.
Досега съм прегледал накратко общата рамка за грешки в изследването, която сама по себе си е предмет на лечебни процедури с продължителност на книгите (Weisberg 2005; Groves et al. 2009) . Въпреки че тази рамка е всеобхватна, тя обикновено кара изследователите да пренебрегват важен фактор: разходи. Въпреки че разходите, които могат да бъдат измерени чрез време или пари, рядко се обсъждат изрично от академичните изследователи, това е истинско ограничение, което не бива да се пренебрегва. Всъщност цената е фундаментална за целия процес на проучване на изследванията (Groves 2004) : това е причината изследователите да интервюират извадка от хора, а не цялото население. Еднозначната преданост към минимизирането на грешките, като напълно игнорираме разходите, невинаги е в наш интерес.
Ограниченията на обсебеността от намаляването на грешките са илюстрирани от забележителния проект на Скот Кетър и колеги (2000) относно въздействието на скъпите полеви операции върху намаляването на липсата на отговор при телефонни проучвания. Кейтър и колегите му са извършили две едновременни проучвания, като едно от тях е използвало "стандартни" процедури за набиране на персонал и една с "строги" процедури за набиране на персонал. Разликата между двете проучвания е размерът на усилията, които отидоха да се свържат с респондентите и да ги насърчат да участват. Например, в проучването с "строг" набиране, изследователите призоваха домакинствата в извадката по-често и за по-дълъг период от време и направиха допълнителни извиквания, ако първоначално участниците отказаха да участват. Тези допълнителни усилия всъщност са довели до по-ниска степен на липса на отговор, но те значително увеличиха разходите си. Проучването, използващо "строги" процедури, е два пъти по-скъпо и осем пъти по-бавно. И в крайна сметка и двете проучвания съдържаха идентични оценки. Този проект, както и последващите репликации с подобни находки (Keeter et al. 2006) , би трябвало да ви накарат да се запитате: дали сме по-добре с две разумни проучвания или едно девствено проучване? Какво ще кажете за 10 разумни проучвания или едно девствено проучване? Какво ще кажете за 100 разумни проучвания или едно девствено проучване? В един момент, предимствата на разходите трябва да надвишават неясните, неспецифични опасения за качеството.
Както ще ви покажа в тази останалата част от главата, много от възможностите, създадени от цифровата епоха, не са за изготвяне на прогнози, които очевидно имат по-ниска грешка. По-скоро тези възможности са за оценка на различни количества и за извършване на оценки по-бързи и по-евтини, дори и при евентуално по-високи грешки. Изследователи, които настояват за еднозначна мания за свеждане до минимум на грешки в ущърб на други измерения на качеството, ще пропуснат вълнуващи възможности. Като се има предвид този контекст за общата рамка за грешки в изследванията, сега ще се насочим към три основни области от третата ера на проучването на изследването: нови подходи към представителството (раздел 3.4), нови подходи за измерване (раздел 3.5) и нови стратегии за комбиниране на проучвания с големи източници на данни (раздел 3.6).