要运行大型实验的关键是驾驶你的可变成本为零。要做到这一点,最好的方法是自动化和设计令人愉快的实验。
数字实验可以有显着不同的成本结构,这使研究人员能够运行,在过去是不可能的实验。更具体地讲,实验通常有两种主要类型的成本:固定成本和可变成本固定成本是取决于你有多少参与者都不会改变的成本。例如,在实验室实验中,固定成本可能是租用空间和买家具的费用。这取决于你有多少参与者有可变成本 ,而另一方面,改变。例如,在实验室实验中,可变成本可能来自支付工作人员和参与者。一般情况下,模拟实验具有较低的固定成本和可变较高成本,以及数字实验具有高固定成本,低可变成本(图4.18)。有了适当的设计,你可以驾驶实验的可变成本一路到零,这样就可以创造令人兴奋的研究机会。
有工作人员可变成本付款分为两个主要部分,并支付给参与者和每个这些可以使用不同的策略驱动到零。付款从工作人员题干研究助理做招募参加者,提供护理和测量结果。例如,舒尔茨和他的同事的模拟现场试验(2007)的社会规范和用电需要研究助理前往每个家庭提供治疗和读取电表(图4.3)。所有这一切努力,通过研究助理,意味着增加一个新的家庭的研究将增加的成本。在另一方面,对于雷斯蒂沃和范·德Rijt数字田间试验(2012)在维基百科的奖励,研究人员可以在几乎没有成本增加更多的参与者。降低可变行政成本的一般策略是代替人的工作(这是昂贵的)用电脑工作(这是便宜)。粗略地说,你可以问问自己:可以在大家对我的研究团队正在睡觉运行这个实验?如果答案是肯定的,你做的自动化一项伟大的工作。
可变成本的第二个主要类型是参与者付款。一些研究人员已经使用亚马逊的Mechanical Turk和其他在线的劳动力市场,以减少所需要参与者支付。来驱动可变成本为零一路,但是,需要不同的方法。长期以来,研究人员设计实验证明是如此无聊,他们要付出的人参与。但是,如果你能创造什么人想在实验?这可能听起来遥不可及,但我会在下面给你一个我自己的工作为例,有表4.4更多的例子。注意,这种方法来设计实验享受一些呼应主题的第3章中关于设计更愉快的调查,并在第5章关于大规模协作的设计。因此,我认为,参与者的享受,还有什么可能被称为用户体验,将是研究设计的数字化时代的一个日益重要的组成部分。
赔偿金 | 引文 |
---|---|
网站与健康信息 | Centola (2010) |
运动方案 | Centola (2011) |
免费音乐 | Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b) |
好玩的游戏 | Kohli et al. (2012) |
电影推荐 | Harper and Konstan (2015) |
如果你想创建零可变成本实验,你会想,以确保一切是完全自动化的,并且参与者无需支付任何款项。为了说明这怎么可能,我将介绍对文化产品的成功和失败我的论文研究。这个例子也说明,零可变成本数据不只是做东西便宜。更确切地说,它是关于使实验,将是不可能的,否则。
我的论文是由成功的文化产品的性质令人费解的动机。金曲,最畅销的书籍和电影大片都多,比平均水平更加成功。正因为如此,这些产品的市场通常被称为“赢家通吃”的市场。然而,与此同时,其特定的歌曲,书籍或电影将成为成功是令人难以置信的不可预知的。编剧威廉·戈德曼(1989)说,当涉及到预测的成功,优雅总结了大量的学术研究的“没有人知道任何事情。”不可预测赢家通吃的市场,让我不知道有多少成功的是一个结果质量和多少的只是运气。或者,表达略有不同,如果我们能够创造平行的世界,并把它们都独立发展,将相同的歌曲在每个世界变得受欢迎?并且,如果没有,可能是什么导致这些差异的机制?
为了回答这些问题,我们 - 彼得•多兹邓肯瓦(我的毕业论文导师)和I-进行了一系列的网上现场试验。特别是,我们建立了一个名为MusicLab网站,人们可以发现新的音乐,而我们用它进行了一系列的实验。我们通过在青少年利益的网站上投放横幅广告(图4.19),并通过提到媒体招募参与者。到达本网站提供的知情同意参加,完成了一个简短的背景调查问卷,并随机分配到两个实验条件独立和社会影响力之一。在独立的情况下,参与者只给出了乐队和歌曲的名称作出决定哪些歌曲来听。一边听着一首歌,参与者被要求之后,他们有机会(但没有义务),以下载歌曲给它。在社会影响力的情况下,参加过同样的经历,除非他们也可以看到多少次每首歌曲已经由以前的参与者下载。此外,参与者的社会影响力条件被随机分配到八个平行世界每个独立进化(图4.20)之一。采用这种设计,我们跑了两个相关的实验。首先,我们提出了与会者的歌曲在未排序的网格,这为他们提供了流行的微弱信号。在第二个实验中,我们提出在排名名单,其中提供普及更强的信号歌曲(图4.21)。
我们发现,歌曲的受欢迎程度等世界表明运气了重要的作用不同。例如,在一个世界的歌曲“锁定”的52Metro是第1名,并在另一个世界里排在第40出48首歌曲。这正是同一首歌对所有相同的歌曲竞争,但在一个世界里,很幸运,并在其他事实并非如此。另外,通过比较在两个实验的结果,我们发现,社会影响导致更多不等的成功,这或许会创建预测的外观。但是,看着对面的世界(不能这种平行世界的实验之外进行),我们发现,社会影响力实际上增加了不可预测性。此外,令人惊讶地,它是具有最不可预测的结果(图4.22)最高上诉的歌曲。
MusicLab能够在基本运行,因为它被设计的方式零可变成本。首先,一切都被完全自动化,因此能够在我熟睡的运行。二,补偿是免费的音乐,所以没有参加可变薪酬费用。使用音乐作为补偿还示出了如何有有时固定成本和可变成本之间的折衷。因为我不得不花时间从带固定许可,并准备有关参与者的反应,他们的音乐乐队报表中使用的音乐增加了固定成本。但是,在这种情况下,为了降低变量成本增加固定成本是正确的事;这就是使我们能够运行一个实验,这是不是一个标准的实验室实验中大100倍左右。
另外,MusicLab实验表明零可变成本不必须是在本身的端部;相反,它可以是运行新样的实验手段。请注意,我们没有使用我们所有的参与者的运行标准的社会影响力的实验室实验的100倍。相反,我们做了一些不同的东西,你能想到的是从心理实验切换到社会学的实验(Hedström 2006)而不是专注于个人决策,我们将重点放在普及我们的实验中,一个集体的成果。此开关到集体的结果意味着我们需要约700参与者生成一个单一数据点(有700人在每一个平行世界的)。该比例只是可能的,因为在实验的成本结构。一般情况下,如果研究人员想要研究的结果如何从集体个人决策产生的,实验组如MusicLab都非常精彩。在过去,他们已经后勤困难,但这些困难的,因为零可变成本数据的可能性褪色。
除了展示零可变成本数据的好处时,MusicLab实验还表明这种方法的一个挑战:高额的固定成本。就我而言,我是非常幸运能够与名叫彼得Hausel约六个月来构建实验一个有才华的Web开发人员的工作。因为我的导师,邓肯瓦,已经收到了一些补助来支持这方面的研究,这是唯一可行的。自从我们在2004年建成MusicLab技术的提高,这将是容易得多,现在建立这样一个实验。但是,高固定成本的战略,实际上只可能为研究人员谁可以以某种方式支付这些费用。
总之,数字化实验可以有比模拟实验显着不同的成本结构。如果你想运行真正的大实验,你应该尽量减少你的可变成本尽可能,最好一路0。您可以通过自动化实验力学做到这一点(例如,用电脑的时间来换时间的人)和设计,人们希望在实验中,谁可以使用这些功能设计实验的研究人员将能够运行的新种类的人不可能在过去的实验。