实验通常测量平均效果,但效果可能并不是每个人都一样。
超越简单实验的第二个关键思想是治疗效果的异质性 。 Schultz et al. (2007)的实验Schultz et al. (2007)有力地说明了相同的治疗如何对不同类型的人产生不同的影响(图4.4)。然而,在大多数模拟实验中,研究人员关注的是平均治疗效果,因为参与者数量很少,而且很少有人知道。然而,在数字实验中,通常会有更多的参与者,并且对它们了解更多。在这种不同的数据环境中,继续仅估计平均治疗效果的研究人员将错过对治疗效果异质性的估计可以提供关于治疗如何起作用,如何改善以及如何定位的线索的方法。对那些最有可能受益的人。
治疗效果异质性的两个例子来自对家庭能源报告的进一步研究。首先, Allcott (2011)使用大样本量(600,000个家庭)进一步分割样本,并通过治疗前能量使用的十分位数估算家庭能源报告的影响。而Schultz et al. (2007)发现重度和轻度用户之间存在差异, Allcott (2011)发现重度和轻度用户群之间也存在差异。例如,最重的用户(最高十分位数的用户)减少了两倍于重度用户群中间人的能量使用量(图4.8)。此外,通过预处理行为估计效果还表明,即使对于最轻的用户,也没有回旋镖效应(图4.8)。
在一项相关研究中, Costa and Kahn (2013)推测,家庭能源报告的有效性可能因参与者的政治意识形态而异,并且治疗可能实际上会导致某些意识形态的人增加用电量。换句话说,他们推测家庭能源报告可能会为某些类型的人创造回旋镖效应。为了评估这种可能性,Costa和Kahn将Opower数据与从第三方聚合器购买的数据合并,其中包括政党登记,向环保组织捐款和家庭参与可再生能源计划等信息。通过这个合并的数据集,Costa和Kahn发现家庭能源报告为具有不同意识形态的参与者产生了大致相似的效果;没有证据表明任何一组都表现出回旋镖效应(图4.9)。
正如这两个例子所示,在数字时代,我们可以从估计平均治疗效果转变为估计治疗效果的异质性,因为我们可以有更多的参与者,我们对这些参与者了解得更多。了解治疗效果的异质性可以使治疗目标最有效,提供刺激新理论发展的事实,并提供关于可能机制的提示,我现在转向的主题。