4.3实验两个方面：实验场和模数

实验室实验提供了控制，现场实验提供了现实主义，以及数字现场试验规模化相结合的控制和真实感。

实验有许多不同的形状和大小。但是，尽管有这些差异，研究人员发现它有助于沿着实验室实验和现场实验之间的连续举办实验。但是现在，研究人员还应组织实验模拟以及实验和数字实验之间的连续性。这种二维设计空间将帮助您了解的优势和不同方法的弱点和建议的最大机会区（图4.1）。

图4.1：对实验设计空间示意图。在过去，实验沿着实验室字段尺寸变化。现在，他们也各不相同的模数维。在我看来，最伟大的机会面积为数码领域的实验。

在过去，研究者组织实验的主要途径是沿实验室字段尺寸。大多数在社会科学实验都只是实验室的实验 ，其中本科生在实验室完成的任务怪课程学分。这种类型的实验中占主导地位的心理学研究，因为它使研究人员能够创建旨在测试有关的社会行为非常具体的理论非常具体的治疗方法。对于某些问题，但是，有什么感觉如何绘制大约从这种不同寻常的人执行在这样一个不同寻常的环境等不寻常的任务，人的行为强烈结论有点怪怪的。这些担忧导致走向田间试验的运动。田间试验相结合的随机对照实验强大的设计与参会的比较有代表性的团体，表演更常见的任务，在更自然的设置。

虽然有些人认为的实验室和田间试验的竞争方式，最好是把它们具有不同的优势和劣势互补的方法。例如， Correll, Benard, and Paik (2007)同时使用实验室实验，企图找到来源“母亲的惩罚。”在美国，一个现场实验，母亲挣不到钱比没有孩子的女性，即使比较妇女在类似职位的工作类似的技能。有这种模式很多可能的解释，一个是雇主是针对母亲的偏见。 （有趣的是，相反，似乎对父亲是真实的：他们往往以赚取比同类孩子的男人更多）。为了评估对母亲的可能的偏差，科雷尔和他的同事跑了两个实验：一个在实验室中，一个在外地。

首先，在实验室实验和科雷尔同事告诉参加者，谁是大学本科生，一个总部设在加州的初创通信公司正在进行一个人领导其新的东海岸市场营销部门的寻找就业机会。学生们被告知，该公司希望他们在招聘过程中提供帮助，他们被要求审查的几个潜在的候选人简历，并在许多方面的候选人，如他们的智慧，温暖，并承诺工作率。此外，学生们被问及是否会建议雇佣申请人以及他们会建议作为起薪。不知道的学生，但是，简历是专门构建的是除了一点相似：一些简历母亲信号（通过列出的家长教师协会的参与），有些没有。科雷尔发现，学生不太可能建议雇佣母亲和为他们提供较低的起薪。此外，通过收视率和雇佣有关的决定两者的统计分析，科雷尔发现，母亲的缺点主要是由一个事实，即母亲是在能力和承诺方面评级较低解释。换句话说，科雷尔认为，这些特征是通过其母亲是不利的机制 。因此，这个实验室实验允许科雷尔和他的同事来衡量一个因果关系，并提供该效应可能的解释。

当然，有人可能会怀疑得出关于基于几百本科生谁可能已经从来没有一份全职工作，更不用说雇用人的决定了整个美国劳动力市场的结论。因此，科雷尔和他的同事还进行了互补的现场实验。研究人员通过虚假求职信和简历发送回应数百公布的职位空缺。类似证明本科生的材料，有的简历暗示母亲和一些没有。科雷尔和他的同事发现，母亲是不太可能得到被召回面试比同等资格的孩子的妇女。换句话说，真正的雇主在天然环境中作出相应的决策行为很像大学生。难道他们做出同样的原因，类似的决定？不幸的是，我们不知道。研究人员无法要求用人单位进行评分候选人或解释自己的决定。

这对实验揭示了很多关于一般的实验室和现场实验。实验室实验，提供在参与者决策环境总量控制研究人员附近。因此，例如，在实验室实验中，科雷尔能够确保所有的简历都在一个安静的阅读环境;在田间试验，一些简历可能没有，甚至被读取。此外，由于参加者在实验室环境中知道，他们正在研究中，研究人员往往能够收集更多的数据，可以帮助他们理解为什么参与者都做出他们的决定。例如，科雷尔要求参赛者在实验室实验中评价不同维度的候选人。这种过程数据可以帮助研究人员了解参与者如何对待简历背后的差异的机制。

另一方面，我刚才描述的优点，这些完全相同的特性也有时被认为是缺点。谁喜欢野外实验研究人员认为，当他们正在密切观察参与者在室内实验能演戏非常不同。例如，在实验室实验参与者可能已​​经猜到了研究的目标和改变自己的行为，以免出现偏差。此外，谁喜欢田间试验可能会认为在简历小的差异研究人员只能站在了一个非常干净，无菌的实验室环境中，从而在实验室实验将高估母亲的真实聘用决定的影响。最后，现场实验众多支持者批评怪异参加实验室实验的依赖：主要是学生从西方的，受过教育，工业化，丰富和民主的国家(Henrich, Heine, and Norenzayan 2010)通过科雷尔和他的同事的实验(2007)说明在实验室场连续两个极端。在这两个极端之间有多种混合的设计，包括的方法，例如使非学生成实验室或进入现场，但仍具有参与者执行一个不寻常的任务。

除了在过去已经存在实验室场尺寸，数字时代意味着研究人员现在具有第二主要尺寸沿着该实验可以变化：模拟数字。正如有纯粹的实验室实验中，纯现场实验和各种之间杂交的，有纯模拟实验中，纯数字的实验，以及各类杂交种。这是棘手提供这一方面的正式定义，而是一个有用的工作定义是完全数字化的实验是实验证明，利用数字化基础设施的招募参与者，随机，提供治疗，并测量结果。例如，雷斯蒂沃和范·德Rijt的(2012) barnstars的研究和维基百科是一个全数字化的实验，因为它使用的数字系统的这些步骤全部四个。同样， 完全模拟实验是实验不使用数字基础设施的任何这四个步骤。很多心理学的经典实验是模拟实验。在这两个极端之间存在部分地使用了四个步骤的模拟和数字系统的组合的数字实验 。

关键的是，机会来运行实验，数字不只是在网上。研究人员可以通过在物理世界中的数字设备，以提供治疗或测量结果的运行部分的数字实验。例如，研究人员可以利用智能手机提供治疗或传感器在建筑环境测量结果。事实上，正如我们将在本章后面看到，研究人员已经使用的家用功率计测量有关的社会规范和能源消耗，涉及850万家庭的实验结果(Allcott 2015)随着数字设备日益融入人们的生活和传感器融入建筑环境，这些机会在物理世界中运行数字部分实验将显着增加。换句话说，数字实验不只是在线实验。

数字系统创建沿着实验室场连续无处不在实验新的可能性。在纯实验室的实验，例如，研究人员可以使用的参与者的行为更精细的测量数字系统;这种类型的改进的测量的一个例子是眼睛跟踪设备，它提供的注视位置的精确和连续的措施。数字时代也创造了在线运行的实验室般的实验的可能性。例如，研究人员已迅速采用亚马逊的Mechanical Turk（MTurk）招考在线实验参与者（图4.2）。 MTurk匹配“雇主”谁都有需要与谁愿意完成这些任务钱“工人”来完成的任务。不同于传统的劳动力市场，但是，通常涉及的任务只需要几分钟的时间才能完成，雇主和工人之间的全部互动是虚拟的。由于传统的室内实验，支付人MTurk模仿方面来完成，他们不会为做任务免费 - 这自然是适合某些类型的实验。从本质上讲，MTurk创造了管理与会者-招聘池和支付人员和研究人员已经采取了基础设施的优势，进军参与者的始终可用池的基础设施。

图4.2：使用数据发表论文从亚马逊的Mechanical Turk（MTurk） (Bohannon 2016) MTurk和其他网上劳动力市场研究人员提供了一个方便的方式招收学员进行实验。

数字实验创建现场​​般的实验，甚至更多的可能性。数字现场实验可以提供严密的控制和处理数据，以了解可能的机制（如实验室的实验），更多样化的参与者在一个自然的环境（如野外实验）作出真正的决定。除了的早期实验良好的特性这样的组合，数字现场实验还提供了分别在模拟实验室和现场实验困难三次机会。

第一，而大多数模拟实验室和田间试验有数百人参加，数码领域的实验可以有上百万的参与者。这种变化在规模上是因为有些数字实验可以以零可变成本产生的数据。也就是说，一旦研究人员已经创建了一个实验的基础设施，增加参与者的数量通常不增加成本。以100倍以上增加参与者的人数不只是一个量变 ，这是一个质的变化，因为它使研究人员能够从实验中（例如，治疗效果异质性），然后运行完全不同的实验设计（学到不同的东西例如，大集团实验）。这一点是非常重要的，当我有关创建数字实验提供建议，我会回到它朝章的结尾。

其次，而大多数模拟实验室和田间试验对待参与者区分窗口小部件，数字现场实验经常使用有关参与研究的设计和分析阶段的背景信息。这个背景信息，这被称为前处理信息 ，是数字的实验经常使用，因为它们需要在充分测定环境的地方。例如，在Facebook上的研究员具有比研究者设计一个标准实验室实验，大学生更预处理信息。这种治疗前的信息使研究人员能够超越对待参与者区分小部件。更具体地讲，前处理信息能够更高效的实验设计，如阻塞(Higgins, Sävje, and Sekhon 2016)和与会者针对性的招聘(Eckles, Kizilcec, and Bakshy 2016) -和更深入的分析，如异质性的估计的治疗效果(Athey and Imbens 2016a)以及提高精度协变量调整(Bloniarz et al. 2016)

第三，而许多模拟实验室和现场实验中的时间相对压缩量递送治疗和测量的结果，一些数字现场实验涉及可在一段时间内递送和效果，也可以随时间测量处理。例如，雷斯蒂沃和范·德Rijt的实验有每天测量为90天的结果，和实验之一，我会告诉你在本章的后面(Ferraro, Miranda, and Price 2011)在基本上3年以上的跟踪结果没有成本。当实验在之上运行这三个机会大小，治疗前的信息，和纵向的治疗和结果数据是最常见的永远在线测量系统（见第2章以获得更多关于不间断的测量系统）。

而数字田间试验提供了很多可能性，他们也分享模拟实验室和田间试验一些弱点。例如，实验不能用来研究在过去，它们只能估计的能够被操纵的治疗效果。此外，虽然实验无疑是指导政策有用，他们可以提供精确的引导是因为并发症，如环境依赖性，合规性问题，以及平衡效果比较有限(Banerjee and Duflo 2009; Deaton 2010)最后，数字现场实验放大由现场实验产生的伦理问题。现场试验支持者大肆宣扬他们悄悄地随机介入调查以百万计的人作出相应决定的能力。这些特性提供一定的科研优势，但他们也可以让现场实验伦理复杂（想想研究人员待人像“小白鼠”大规模）。此外，除了可能受到损害的参与者，数码领域的实验，因为他们的规模，还可以提高人们对工作的社会制度的破坏的担忧（例如关于破坏维基百科的奖励制度，如果雷斯蒂沃和van der Rijt给了太多barnstars关注） 。