实验测量发生了什么。机制解释为何以及如何发生的。
超越简单实验的第三个关键思想是机制 。机制告诉我们治疗为何或如何产生影响。搜索机制的过程有时也被称为寻找干预变量或调解变量 。尽管实验对于估计因果效应是有益的,但它们通常不是为揭示机制而设计的。数字实验可以帮助我们以两种方式识别机制:(1)它们使我们能够收集更多的过程数据;(2)它们使我们能够测试许多相关的治疗方法。
因为正式定义机制很棘手(Hedström and Ylikoski 2010) ,我将从一个简单的例子开始:酸橙和坏血病(Gerber and Green 2012) 。在十八世纪,医生们非常清楚地意识到,当水手吃酸橙时,他们并没有得到坏血病。坏血病是一种可怕的疾病,所以这是有力的信息。但这些医生不知道为什么酸橙会预防坏血病。直到1932年,差不多200年后,科学家才能可靠地证明维生素C是石灰防止坏血病的原因(Carpenter 1988, 191) 。在这种情况下,维生素C是石灰防止坏血病的机制 (图4.10)。当然,识别机制在科学上也是非常重要的 - 许多科学都是关于理解事情发生的原因。实际上,识别机制也非常重要。一旦我们理解为什么治疗有效,我们就可以开发出更好的治疗方法。
不幸的是,隔离机制非常困难。与酸橙和坏血病不同,在许多社会环境中,治疗可能通过许多相互关联的途径进行。然而,在社会规范和能源使用的情况下,研究人员试图通过收集过程数据和测试相关治疗来分离机制。
测试可能机制的一种方法是收集有关治疗如何影响可能机制的过程数据。例如,回想一下Allcott (2011)表明家庭能源报告导致人们降低用电量。但这些报告是如何降低用电量的呢?机制是什么?在一项后续研究中, Allcott and Rogers (2014)与一家电力公司合作,该电力公司通过折扣计划获得了有关哪些消费者将其电器升级为更节能型号的信息。 Allcott and Rogers (2014)发现接受家庭能源报告的人数略多,他们的设备升级了。但这种差异非常小,只能占受治疗家庭能源使用量减少的2%。换句话说,家电升级不是家庭能源报告降低电力消耗的主要机制。
研究机制的第二种方法是使用稍微不同的治疗版本进行实验。例如,在Schultz et al. (2007)的实验中Schultz et al. (2007)和所有随后的家庭能源报告实验,参与者获得了一个治疗,其中包括两个主要部分(1)节能技巧和(2)相对于同龄人的能源使用信息(图4.6)。因此,节能技巧可能是导致变化的原因,而不是同伴信息。为了评估单独提示可能已足够的可能性, Ferraro, Miranda, and Price (2011)与乔治亚州亚特兰大附近的一家自来水公司合作,并开展了涉及约100,000户家庭的水资源保护相关实验。有四个条件:
研究人员发现,在短期(一年),中期(两年)和长期(三年)期间,仅提示治疗对用水量没有影响。提示和上诉处理导致参与者减少用水量,但仅限于短期。最后,提示加上诉和同伴信息处理导致短期,中期和长期使用减少(图4.11)。这些带有非捆绑式治疗的实验是一种很好的方法,可以找出治疗的哪个部分 - 或哪些部分在一起 - 是导致这种效果的部分(Gerber and Green 2012, sec. 10.6) 。例如,Ferraro及其同事的实验告诉我们,单靠节水技巧不足以减少用水量。
理想情况下,人们会超越组件的层次(提示;提示加上诉;提示加上诉和同行信息)到完整的因子设计 - 有时也称为\(2^k\)因子设计 - 其中每个可能的组合测试了三个要素(表4.1)。通过测试每种可能的组分组合,研究人员可以完全评估每种组分在隔离和组合中的效果。例如,费拉罗及其同事的实验并没有揭示出同行比较是否足以导致行为的长期变化。过去,这些全因子设计难以运行,因为它们需要大量参与者,并且他们需要研究人员能够精确控制和提供大量治疗。但是,在某些情况下,数字时代消除了这些后勤限制。
治疗 | 特点 |
---|---|
1 | 控制 |
2 | 提示 |
3 | 上诉 |
4 | 同行信息 |
五 | 提示+上诉 |
6 | 提示+同行信息 |
7 | 上诉+同伴信息 |
8 | 提示+上诉+同行信息 |
总之,机制 - 治疗产生影响的途径 - 非常重要。数字时代实验可以帮助研究人员通过以下方式了解机制:(1)收集过程数据;(2)实现全因子设计。然后可以通过专门设计用于测试机制的实验直接测试这些方法提出的机制(Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) 。
总的来说,这三个概念 - 治疗效果的有效性,异质性和机制 - 为设计和解释实验提供了一套强有力的思想。这些概念有助于研究人员超越简单的实验,将“工作”的内容转移到与理论有更紧密联系的更丰富的实验,揭示治疗的工作地点和原因,甚至可以帮助研究人员设计更有效的治疗方法。鉴于这个关于实验的概念背景,我现在将转向如何实际实现您的实验。