3.3.2測量

衡量標準是根據他們所說的內容推斷出受訪者的想法和行為。

除了代表性問題之外，總調查錯誤框架還表明錯誤的第二個主要來源是衡量 ：我們如何根據受訪者對我們問題的答案做出推論。事實證明，我們收到的答案，以及我們所做出的推論，可以嚴格地 - 有時是令人驚訝的方式 - 取決於我們究竟的要求。也許沒有什麼說明了這重要的一點比精彩的書問諾曼·布拉德，西摩Sudman和布賴恩萬辛克問題一個笑話更好的(2004)

兩個牧師，一個多明尼加和耶穌會士，都在討論它是否吸煙，並在同一時間祈禱贖罪。未能得出結論後，每個熄滅徵詢他的各自優越。該多明尼加說：“那你的上司說？”

耶穌會回應，“他說，這是正常的。”

“這很有趣”的多明尼加回答說，“我的導師說，這是一種罪過。”

耶穌會說，“你問過他嗎？”多明尼加回答說，“我問他，如果它是好的，同時祈禱抽煙。”“哦”耶穌會說，“我問，如果它是確定吸煙時祈禱。”

除了這個特定的笑話，調查研究人員已經記錄了許多系統的方法，你學到的東西取決於你的要求。事實上，這個笑話根源的問題在調查研究界有一個名稱： 問題形式效應 (Kalton and Schuman 1982) 。要了解問題形式效果如何影響實際調查，請考慮以下兩個非常相似的調查問題：

• “多少錢你用下面的說法： 個人均超過了在這個國家的犯罪和違法的社會條件惹的禍。”
• “多少錢你同意以下說法： 社會條件超過了在這個國家的犯罪和違法個人惹的禍。”

雖然這兩個問題似乎都是相同的，但它們在真實的調查實驗中產生了不同的結果(Schuman and Presser 1996) 。當被問到一種方式時，大約60％的受訪者表示個人更應該為犯罪負責，但當被問到另一種方式時，大約60％的受訪者表示社會狀況更為嚴重（圖3.3）。換句話說，這兩個問題之間的微小差異可能會導致研究人員得出不同的結論。

圖3.3：調查實驗的結果顯示，研究人員可以根據他們提出問題的確切方式獲得不同的答案。大多數受訪者都認為，個人比犯罪和無法無天的社會條件更容易受到指責。大多數受訪者都讚同相反的觀點：社會條件比個人更負責任。改編自Schuman and Presser (1996) ，表8.1。

除了問題的結構，受訪者還可以根據所使用的具體詞語給出不同的答案。例如，為了衡量有關政府優先事項的意見，受訪者閱讀了以下提示：

“我們正面臨著這個國家的許多問題，其中沒有一個可以很容易地或廉價地得到解決。我將列舉一些的這些問題，並為每一個我希望你能告訴我，你是否認為我們花太多錢在上面，錢太少，或約適量“。

接下來，一半的受訪者被問及“福利”，一半被問及“為窮人提供幫助。”雖然這些看起來像兩個不同的短語同樣的事情，但他們引出了截然不同的結果（圖3.4）;美國人報告說，他們更多地支持“對貧困人口的援助”而不是“福利” (Smith 1987; Rasinski 1989; Huber and Paris 2013) 。

圖3.4：調查實驗的結果顯示受訪者更多地支持“對窮人的援助”而不是“福利”。這是問題措辭效果的一個例子，研究人員得到的答案取決於他們在他們的問題。改編自Huber and Paris (2013) ，表A1。

正如這些關於問題形式效果和措辭效果的例子所示，研究人員得到的答案可能會受到他們提出問題的方式的影響。這些例子有時會讓研究人員懷疑詢問調查問題的“正確”方式。雖然我認為提問有一些明顯錯誤的方法，但我認為總有一種方法是正確的。也就是說，詢問“福利”或“為窮人提供援助”顯然不是更好;這是兩個不同的問題，衡量兩個不同的事情，關於受訪者的態度。這些例子有時也會使研究人員得出結論，不應該使用調查。不幸的是，有時別無選擇。相反，我認為從這些例子中得出的正確教訓是，我們應該認真地構建我們的問題，不應該不加批判地接受回應。

最具體地說，這意味著如果您正在分析其他人收集的調查數據，請確保您已閱讀實際調查問卷。如果您要創建自己的問卷，我有四個建議。首先，我建議你閱讀更多關於問卷設計的內容（例如， Bradburn, Sudman, and Wansink (2004) ）;除了我在這裡描述之外，還有更多內容。其次，我建議你從高質量的調查中復制單詞。例如，如果您想詢問受訪者的種族/民族，您可以復制大規模政府調查中使用的問題，例如人口普查。雖然這可能聽起來像是抄襲，但在調查研究中鼓勵複製問題（只要你引用原始調查）。如果您從高質量的調查中復制問題，您可以確定它們已經過測試，您可以將調查的答案與其他調查的答案進行比較。第三，如果您認為您的問卷可能包含重要的問題措辭效果或問題形式效果，您可以進行調查實驗 ，其中一半的受訪者收到一個版本的問題，另一半收到另一個版本(Krosnick 2011) 。最後，我建議你與你的框架人群中的一些人一起試驗你的問題;調查研究人員將這一過程稱為預測試 (Presser et al. 2004) 。我的經驗是，調查預測試非常有用。