3.3.2测量

衡量标准是根据他们所说的内容推断出受访者的想法和行为。

除了代表性问题之外，总调查错误框架还表明错误的第二个主要来源是衡量 ：我们如何根据受访者对我们问题的答案做出推论。事实证明，我们收到的答案，以及我们所做出的推论，可以严格地 - 有时是令人惊讶的方式 - 取决于我们究竟的要求。也许没有什么说明了这重要的一点比精彩的书问诺曼·布拉德，西摩Sudman和布赖恩万辛克问题一个笑话更好的(2004)

两个牧师，一个多明尼加和耶稣会士，都在讨论它是否吸烟，并在同一时间祈祷赎罪。未能得出结论后，每个熄灭征询他的各自优越。该多明尼加说：“那你的上司说？”

耶稣会回应，“他说，这是正常的。”

“这很有趣”的多明尼加回答说，“我的导师说，这是一种罪过。”

耶稣会说，“你问过他吗？”多明尼加回答说，“我问他，如果它是好的，同时祈祷抽烟。”“哦”耶稣会说，“我问，如果它是确定吸烟时祈祷。”

除了这个特定的笑话，调查研究人员已经记录了许多系统的方法，你学到的东西取决于你的要求。事实上，这个笑话根源的问题在调查研究界有一个名称： 问题形式效应 (Kalton and Schuman 1982) 。要了解问题形式效果如何影响实际调查，请考虑以下两个非常相似的调查问题：

• “多少钱你用下面的说法： 个人均超过了在这个国家的犯罪和违法的社会条件惹的祸。”
• “多少钱你同意以下说法： 社会条件超过了在这个国家的犯罪和违法个人惹的祸。”

虽然这两个问题似乎都是相同的，但它们在真实的调查实验中产生了不同的结果(Schuman and Presser 1996) 。当被问到一种方式时，大约60％的受访者表示个人更应该为犯罪负责，但当被问到另一种方式时，大约60％的受访者表示社会状况更为严重（图3.3）。换句话说，这两个问题之间的微小差异可能会导致研究人员得出不同的结论。

图3.3：调查实验的结果显示，研究人员可以根据他们提出问题的确切方式获得不同的答案。大多数受访者都认为，个人比犯罪和无法无天的社会条件更容易受到指责。大多数受访者都赞同相反的观点：社会条件比个人更负责任。改编自Schuman and Presser (1996) ，表8.1。

除了问题的结构，受访者还可以根据所使用的具体词语给出不同的答案。例如，为了衡量有关政府优先事项的意见，受访者阅读了以下提示：

“我们正面临着这个国家的许多问题，其中没有一个可以很容易地或廉价地得到解决。我将列举一些的这些问题，并为每一个我希望你能告诉我，你是否认为我们花太多钱在上面，钱太少，或约适量“。

接下来，一半的受访者被问及“福利”，一半被问及“为穷人提供帮助。”虽然这些看起来像两个不同的短语同样的事情，但他们引出了截然不同的结果（图3.4）;美国人报告说，他们更多地支持“对贫困人口的援助”而不是“福利” (Smith 1987; Rasinski 1989; Huber and Paris 2013) 。

图3.4：调查实验的结果显示受访者更多地支持“对穷人的援助”而不是“福利”。这是问题措辞效果的一个例子，研究人员得到的答案取决于他们在他们的问题。改编自Huber and Paris (2013) ，表A1。

正如这些关于问题形式效果和措辞效果的例子所示，研究人员得到的答案可能会受到他们提出问题的方式的影响。这些例子有时会让研究人员怀疑询问调查问题的“正确”方式。虽然我认为提问有一些明显错误的方法，但我认为总有一种方法是正确的。也就是说，询问“福利”或“为穷人提供援助”显然不是更好;这是两个不同的问题，衡量两个不同的事情，关于受访者的态度。这些例子有时也会使研究人员得出结论，不应该使用调查。不幸的是，有时别无选择。相反，我认为从这些例子中得出的正确教训是，我们应该认真地构建我们的问题，不应该不加批判地接受回应。

最具体地说，这意味着如果您正在分析其他人收集的调查数据，请确保您已阅读实际调查问卷。如果您要创建自己的问卷，我有四个建议。首先，我建议你阅读更多关于问卷设计的内容（例如， Bradburn, Sudman, and Wansink (2004) ）;除了我在这里描述之外，还有更多内容。其次，我建议你从高质量的调查中复制单词。例如，如果您想询问受访者的种族/民族，您可以复制大规模政府调查中使用的问题，例如人口普查。虽然这可能听起来像是抄袭，但在调查研究中鼓励复制问题（只要你引用原始调查）。如果您从高质量的调查中复制问题，您可以确定它们已经过测试，您可以将调查的答案与其他调查的答案进行比较。第三，如果您认为您的问卷可能包含重要的问题措辞效果或问题形式效果，您可以进行调查实验 ，其中一半的受访者收到一个版本的问题，另一半收到另一个版本(Krosnick 2011) 。最后，我建议你与你的框架人群中的一些人一起试验你的问题;调查研究人员将这一过程称为预测试 (Presser et al. 2004) 。我的经验是，调查预测试非常有用。