随机对照实验中有四个主要成分:招募参加者,治疗的随机化,交付处理和结果的测量。
随机对照实验有四个主要成分:参与者的招募,治疗的随机化,治疗的提供和结果的测量。数字时代并没有改变实验的基本性质,但它确实使后勤更容易。例如,在过去,可能很难衡量数百万人的行为,但现在许多数字系统中经常发生这种情况。能够弄清楚如何利用这些新机会的研究人员将能够进行以前无法实现的实验。
为了使这一切更加具体 - 保持不变和改变的地方 - 让我们考虑Michael Restivo和Arnout van de Rijt (2012) 。他们希望了解非正式同伴奖励对维基百科编辑贡献的影响。特别是,他们研究了barnstars的影响,这是任何维基百科可以给予任何其他维基人的奖励,以表彰他们的辛勤工作和尽职调查。 Restivo和van de Rijt向100名值得维系的人提供了barnstars。然后,他们跟踪接收者在接下来的90天内对维基百科的后续贡献。令他们惊讶的是,他们获得barnstars的人往往会在收到编辑后做出更少的编辑。换句话说,巴恩斯坦似乎是令人沮丧而不是鼓励贡献。
幸运的是,Restivo和van de Rijt没有进行“扰动和观察”实验;他们正在进行随机对照实验。因此,除了选择100名顶级贡献者来接收一个谷仓之星外,他们还挑选了100名顶级贡献者,但他们没有给出一名。这100个作为对照组。而且,关键的是,谁在治疗组和谁在对照组是随机确定的。
当Restivo和van de Rijt观察对照组中人们的行为时,他们发现他们的贡献也在下降。此外,当Restivo和van de Rijt将治疗组中的人(即接受过的barnstars)与对照组的人进行比较时,他们发现治疗组中的人贡献了大约60%。换句话说,两组的贡献都在减少,但对照组的贡献却快得多。
正如本研究所示,实验中的对照组在某种程度上是至关重要的。为了精确测量巴恩斯塔的影响,Restivo和van de Rijt需要观察那些没有接受过巴恩斯塔的人。很多时候,不熟悉实验的研究人员无法理解对照组令人难以置信的价值。如果Restivo和van de Rijt没有控制组,他们就会得出错误的结论。控制组非常重要,一家大型赌场公司的首席执行官表示,只有三种方式可以解雇员工:盗窃,性骚扰,或没有控制组的实验(Schrage 2011) 。
Restivo和van de Rijt的研究说明了实验的四个主要成分:招募,随机化,干预和结果。这四种成分共同使科学家能够超越相关性并测量治疗的因果效应。具体而言,随机化意味着治疗组和对照组中的人将是相似的。这很重要,因为这意味着两组之间的结果差异可归因于治疗,而不是混淆。
除了作为实验力学的一个很好的例证,Restivo和van de Rijt的研究还表明,数字实验的物流可以与模拟实验完全不同。在Restivo和van de Rijt的实验中,很容易将barnstar给予任何人,并且很容易在很长一段时间内跟踪结果 - 编辑数量(因为编辑历史由维基百科自动记录)。与过去的实验不同,这种免费提供治疗和测量结果的能力是定性的。虽然这个实验涉及200人,但它本可以运行2000人甚至20,000人。阻止研究人员将实验扩大100倍的主要因素不是成本;这是道德规范。也就是说,Restivo和van de Rijt不想让barnstars给不值得编辑,他们不希望他们的实验破坏维基百科社区(Restivo and Rijt 2012, 2014) 。我将回到本章后面和第6章中通过实验提出的一些道德考虑。
总之,Restivo和van de Rijt的实验清楚地表明,虽然实验的基本逻辑没有改变,但数字时代实验的物流可能会有很大的不同。接下来,为了更清楚地隔离这些变化带来的机会,我将比较研究人员现在可以做的实验和过去已经完成的实验。