您可以利用现有的环境中运行实验,往往没有任何编码或伙伴关系。
从逻辑上讲,进行数字化实验的最简单方法是将实验覆盖在现有环境之上。这样的实验可以以相当大的规模进行,并且不需要与公司合作或进行广泛的软件开发。
例如,Jennifer Doleac和Luke Stein (2013)利用类似于Craigslist的在线市场来进行一项衡量种族歧视的实验。他们宣传了成千上万的iPod,通过系统地改变卖家的特征,他们能够研究种族对经济交易的影响。此外,他们使用他们的实验规模来估计效果何时更大(治疗效果的异质性)并提供关于效果可能发生的原因(机制)的一些想法。
Doleac和Stein的iPod广告在三个主要方面有所不同。首先,研究人员改变了卖家的特征,这是通过拿着iPod拍摄的手牌[白色,黑色,白色带纹身]发出的信号(图4.13)。其次,他们改变了要价[90美元,110美元,130美元]。第三,它们改变了广告文本的质量[高质量和低质量(例如,cApitalization错误和spelin错误)]。因此,作者有一个3 \(\times\) 3 \(\times\) 2设计,它被部署在300多个本地市场,从城镇(例如科科莫,印第安纳和北普拉特,内布拉斯加州)到大型城市 -城市(例如,纽约和洛杉矶)。
在所有条件下平均,白人卖家的结果比黑人卖家好,纹身卖家有中间结果。例如,白色卖家收到更多优惠并且最终销售价格更高。除了这些平均效应,Doleac和Stein估计了影响的异质性。例如,早期理论的一个预测是,在买家之间存在更多竞争的市场中,歧视会更少。利用该市场的报价数量来衡量买方竞争的数量,研究人员发现,黑人卖家在竞争程度较低的市场确实收到了更差的报价。此外,通过比较广告与高质量和低质量文本的结果,Doleac和Stein发现广告质量并未影响黑色和纹身卖家所面临的劣势。最后,利用广告被放置在300多个市场中的事实,作者发现黑人卖家在犯罪率高和住宅隔离度高的城市中处于更加不利的地位。这些结果都没有让我们准确地理解为什么黑人卖家有更糟糕的结果,但是,当与其他研究的结果相结合时,他们可以开始为不同类型的经济交易中的种族歧视的原因提供理论。
另一个显示研究人员在现有系统中进行数字现场实验的能力的例子是Arnout van de Rijt及其同事(2014)关于成功的关键的研究。在生活的许多方面,看似相似的人最终会得到截然不同的结果。对这种模式的一种可能的解释是,小的和基本上随机的优势可以锁定并随着时间的推移而增长,这是研究人员称之为累积优势的过程 。为了确定小的初始成功是锁定还是消失,van de Rijt及其同事(2014)介入了四个不同的系统,使随机选择的参与者获得成功,然后测量这种任意成功的后续影响。
更具体地说,van de Rijt及其同事(1)承诺在众筹网站Kickstarter上随机选择项目; (2)积极评价Epinions的随机选择评论,一个产品评论网站; (3)对随机选择的维基百科贡献者给予奖励; (4)在change.org上签名随机选择的请愿书。他们在所有四个系统中发现了非常相似的结果:在每种情况下,随机获得一些早期成功的参与者继续获得比其他完全无法区分的同行更多的后续成功(图4.14)。在许多系统中出现相同模式的事实增加了这些结果的外部有效性,因为它降低了该模式是任何特定系统的工件的可能性。
总之,这两个例子表明,研究人员可以进行数字现场实验,而无需与公司合作或构建复杂的数字系统。此外,表4.2提供了更多示例,显示了当研究人员使用现有系统的基础设施来提供治疗和/或测量结果时可能的范围。这些实验对于研究人员来说相对便宜,并且它们提供了高度的真实性。但它们为研究人员提供了对参与者,治疗和结果的有限控制。此外,对于仅在一个系统中进行的实验,研究人员需要担心这些影响可能是由系统特定的动态驱动的(例如,Kickstarter对项目进行排名的方式或者change.org对请愿进行排序的方式;有关更多信息,请参阅第2章中有关算法混淆的讨论。最后,当研究人员干预工作系统时,会出现棘手的道德问题,即可能对参与者,非参与者和系统造成伤害。我们将在第6章中更详细地考虑这些道德问题,并在van de Rijt等人的附录中对它们进行了很好的讨论。 (2014) 。在现有系统中进行的权衡并不是每个项目的理想选择,因此,一些研究人员会建立自己的实验系统,我将在下面进行说明。
话题 | 参考 |
---|---|
巴恩斯塔对维基百科贡献的影响 | Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014) |
反骚扰信息对种族主义推文的影响 | Munger (2016) |
拍卖方式对销售价格的影响 | Lucking-Reiley (1999) |
声誉对网上拍卖价格的影响 | Resnick et al. (2006) |
卖家种族对eBay上棒球卡销售的影响 | Ayres, Banaji, and Jolls (2015) |
卖方种族对iPod销售的影响 | Doleac and Stein (2013) |
客人的比赛对Airbnb租赁的影响 | Edelman, Luca, and Svirsky (2016) |
捐赠对Kickstarter项目成功的影响 | Rijt et al. (2014) |
种族和民族对住房租金的影响 | Hogan and Berry (2011) |
正面评价对未来评级的影响 | Rijt et al. (2014) |
签名对请愿成功的影响 | Vaillant et al. (2015) ; Rijt et al. (2014) ; Rijt et al. (2016) |