4.4超越简单的实验

让我们超越简单的实验。三个概念丰富的实验有用：有效性，治疗效果的异质性和机制。

研究人员谁是新的实验往往集中在一个非常具体，狭窄的问题：这是否处理“工作”？例如，从没有一个志愿者打来的电话鼓励人投票？是否从蓝色更改网页按钮，绿色增长点击率？不幸的是，什么“作品”松措辞掩盖的事实是狭隘的实验没有真正告诉你一个治疗是否“工程”在一般意义上。相反，狭隘的实验回答一个更具体的问题：这是什么特殊的治疗与此具体实施在这个时候这部分人群的参与者的平均影响？我会打电话给专注于这条狭窄的问题， 简单的实验实验。

简单的实验可以提供有价值的信息，但他们不能回答许多是既重要又有趣，如问题：是否有一些人对他们的治疗有一个或大或小的影响？;有这将是更有效的另一种治疗?;以及如何做这个实验涉及到更广泛的社会理论？

为了表现超越简单的实验的价值，让我们考虑一下我最喜欢的模拟现场实验之一，由P.韦斯利·舒尔茨和社会规范与能源消耗之间的关系同事的一项研究(Schultz et al. 2007)舒尔茨和他的同事挂在圣马科斯，加利福尼亚州300户doorhangers，而这些doorhangers交付，旨在鼓励节约能源不同的信息。然后，Schultz和同事测量电力消耗这些消息的效果，既一周，三周后;见图4.3为实验设计的更详细的说明。

图4.3：从设计原理Schultz et al. (2007)现场实验是在八周的时间参观约300户圣马科斯，加利福尼亚五倍。在每个参观的研究人员手工把从家里的电表读数。在其中两个访问的研究人员将房子提供有关能源使用的一些信息doorhangers。这项研究的问题是如何，这些邮件的内容会影响能源的使用。

实验有两个条件。在第一个条件，家庭领到普通节能技巧（如使用风扇代替空调）相比，平均在他们的邻里能源的使用对他们家庭的能源使用信息。舒尔茨和他的同事，因为关于他们的邻里能源使用的信息提供了有关典型行为（例如，一个描述性规范）的信息，这款名为描述性规范的条件。当Schultz和他的同事们在该组中所得到的能量使用，治疗似乎没有任何效果，无论是在短期或长期的;换句话说，治疗似乎并没有“工作”（图4.4）。

不过，幸运的是， Schultz et al. (2007)并没有满足于这个简单的分析。实验开始之前，他们的理由是，电力-人以上的重度用户均可能会减少他们的消费 ，低于电力，人光用户均可能实际上增加他们的消费。当他们看了看数据，这正是他们发现了（图4.4）。因此，看起来像是被无效果实际上是有两个抵消影响的治疗处理。研究人员称光为用户之间的这种适得其反增加自食其果的效果 。

图4.4：从结果Schultz et al. (2007)第一面板显示描述性规范治疗的估计零平均治疗效果。然而，第二面板显示，该平均处理效应实际上是由两个抵消作用。对于重度使用者，治疗减少使用，但光的用户，治疗使用量增加。最后，第三个面板显示第二次治疗，它使用描述性和强制规范，有大约重度用户相同的效果，但对缓解轻度使用者回旋镖效果。

进一步，Schultz和同事预料这种可能性，并且在第二条件下它们部署在略微不同的治疗，我们明确地旨在消除飞去效果。人低于平均消费中，研究人员增加了:)和：相比于他们的邻居 - 一个小小的除了在第二个条件的家庭收到了关于他们的家庭的能源使用完全相同的待遇，一般的节能技巧和信息人高于平均消费他们增加了:(。这些表情符号旨在触发什么研究员称禁令规范 。禁制令规范指的是通常认可的（和不赞成），而描述性规范是指什么是常见的做看法看法(Reno, Cialdini, and Kallgren 1993)

通过添加这一个很小的表情，研究人员大大减少回旋镖效应（图4.4）。因此，通过这一简单的变化，一个，是由一个抽象的社会心理学理论的启发变化(Cialdini, Kallgren, and Reno 1991) -the研究人员能够从一个打开的程序似乎没有工作到一个工作，并同时他们能够有助于规范社会是如何影响人类行为的一般理解。

在这一点上，但是，您可能会注意到的东西是这个实验有点不同。特别是，舒尔茨和他的同事的实验中并没有真正在随机对照实验，做同样的方式对照组。这样的设计和雷斯蒂沃和范·德Rijt的设计之间的对比来说明由研究人员用两个主要的设计之间的差异。在主体之间的设计 ，如雷斯蒂沃和van德Rijt，有一个治疗组和对照组，并在主体内设计参与者的行为治疗前和治疗后进行比较(Greenwald 1976; Charness, Gneezy, and Kuhn 2012)在受试者内实验这是因为如果每个参与者作为自己的对照组。中试间设计的优势在于，它提供了对混杂的保护（如我前面所述），以及试内的实验强度的增加估计精度。当作为自己的控制，参与者之间的变异被消除每个参与者的行为（见技术附录）。预示了这将留待以后当我有关设计的数字实验提供建议，有一个最终的设计，称为混合设计 ，结合试内设计的提高精度和对主体间的设计混杂的保护。

图4.5：三个实验设计。标准的随机对照实验用试间设计。一个主体间设计的一个例子是雷斯蒂沃和范·德·Rijt的(2012)上barnstars和贡献维基百科的实验：研究人员随机分为参与者分为治疗组和对照组，治疗组为与会者提供一个barnstar，并比较结果的两个组。第二种类型的设计是一个试内设计。在舒尔茨和他的同事的两个实验(2007)的社会规范和能源利用的研究说明了试内设计：研究人员比较了用电量的参与者之前和接受治疗。试内设计，通过主题方差（参见技术附录）之间的消除提供了更好的统计精度，但他们是开放的可能的混杂因素（例如，变化的天气治疗前和治疗期之间） (Greenwald 1976; Charness, Gneezy, and Kuhn 2012)试内设计有时也称为重复测量设计。最后， 混合设计相结合的试内设计改进的精度和对主体间的设计混杂的保护。在混合设计，研究人员比较了人在治疗组和对照组中的结果的变化。当研究人员已经有前处理信息，这在许多数字实验的情况下，混合设计是最好的，因为在精密收益主体间设计（见技术附录）。

总体来说，在设计和结果Schultz et al. (2007)表现超越简单的实验价值。幸运的是，你不需要成为一个天才创造这样的实验。社会科学家已经开发了三个概念，将引导你走向更丰富，更有创意的实验：1）的有效性; 2）治疗效果的异质性，以及3）机制。也就是说，如果你牢记这三个想法，而你正在设计实验，你自然会创造出更多有趣和有益的尝试。为了说明在行动这三个概念，我将描述了若干建立在优雅的设计和令人振奋的成果后续部分数码领域的实验Schultz et al. (2007)正如你所看到的，通过更精心的设计，执行，分析和解释，你也可以超越简单的实验移动。