无论你是做自己或与合作伙伴的合作,我想提供两点建议,我已经找到了我自己的工作特别有帮助。首先,所有数据被收集之前想尽可能多地。这个建议可能看起来很明显,以习惯了运行试验的研究人员,但对于习惯了大数据源工作的研究人员很重要(见第二章)。随着大数据源大部分的工作情况,您得数据之后 ,但实验是相反的;您收集数据之前 ,大部分的工作应该发生。其中一个强迫自己仔细考虑您的设计和分析的最佳方法是创建并注册为您的实验分析计划。幸运的是,许多最佳实践实验数据的分析已经被正式纳入报告准则,而这些准则是一个伟大的地方创建您的分析计划时开始(Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011)
建议的第二条是,没有一个实验将是完美的,正因为如此,你应该尝试设计了一系列相互强化的实验。我甚至听说过这个描述为舰队战略 ;而不是试图打造一台庞大的战舰,你可能是建筑用地更好的小型船只与优势互补。这些种类的多实验研究的是在心理常规,但它们是罕见的别处。幸运的是,一些数字实验成本低,使这类多的实验研究更容易。
另外,我想提供两点建议,现在是不太常见,但对于设计数字时代的实验尤为重要:创建零边际成本数据,并建立道德到您的设计。