調查是不是免費的,這是一個真正的約束。
到目前為止,我簡要回顧了總體調查錯誤框架,該框架本身就是書本長度治療的主題(Weisberg 2005; Groves et al. 2009) 。雖然這個框架是全面的,但它通常會使研究人員忽視一個重要因素:成本。儘管成本 - 可以通過時間或金錢來衡量 - 很少被學術研究人員明確討論,但這是一個不容忽視的真正約束。事實上,成本是整個調查研究過程的基礎(Groves 2004) :這是研究人員採訪人群樣本而不是整個人口的原因。在完全忽略成本的同時盡量減少錯誤的一心一意並不總是符合我們的最佳利益。
Scott Keeter及其同事(2000)關於昂貴的現場作業對減少電話調查中無應答的影響的具有里程碑意義的項目說明了對減少誤差的痴迷的局限性。 Keeter及其同事進行了兩項同步研究,一項採用“標準”招聘程序,另一項採用“嚴格”招聘程序。兩項研究之間的差異在於聯繫受訪者並鼓勵他們參與的努力程度。例如,在“嚴格”招募的研究中,如果參與者最初拒絕參加,研究人員會更頻繁地在更長的時間內調用抽樣的家庭,並進行額外的回調。事實上,這些額外的努力確實產生了較低的無應答率,但它們大大增加了成本。使用“嚴格”程序的研究費用是原來的兩倍,慢了八倍。最後,兩項研究都產生了基本相同的估計。這個項目,以及隨後的類似發現的複制(Keeter et al. 2006) ,應該讓你想知道:我們最好通過兩次合理的調查還是一次原始調查? 10個合理的調查或一個原始調查怎麼樣? 100次合理調查或一次原始調查怎麼樣?在某些時候,成本優勢必須超過對質量的模糊,非特定的擔憂。
正如我將在本章的其餘部分中所展示的那樣,數字時代創造的許多機會並不是要做出明顯具有較低誤差的估計。相反,這些機會是關於估計不同的數量以及使估算更快更便宜,即使可能有更高的錯誤。堅持一心一意地以最小化錯誤而犧牲其他質量維度的研究人員將錯失令人興奮的機會。鑑於有關總調查錯誤框架的背景,我們現在將轉向第三個調查研究時代的三個主要領域:新的代表方法(第3.4節),新的衡量方法(第3.5節)以及結合調查的新戰略使用大數據源(第3.6節)。