無論你是做自己或與合作夥伴的合作,我想提供兩點建議,我已經找到了我自己的工作特別有幫助。首先,所有數據被收集之前想盡可能多地。這個建議可能看起來很明顯,以習慣了運行試驗的研究人員,但對於習慣了大數據源工作的研究人員很重要(見第二章)。隨著大數據源大部分的工作情況,您得數據之後 ,但實驗是相反的;您收集數據之前 ,大部分的工作應該發生。其中一個強迫自己仔細考慮您的設計和分析的最佳方法是創建並註冊為您的實驗分析計劃。幸運的是,許多最佳實踐實驗數據的分析已經被正式納入報告準則,而這些準則是一個偉大的地方創建您的分析計劃時開始(Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011)
建議的第二條是,沒有一個實驗將是完美的,正因為如此,你應該嘗試設計了一系列相互強化的實驗。我甚至聽說過這個描述為艦隊戰略 ;而不是試圖打造一台龐大的戰艦,你可能是建築用地更好的小型船隻與優勢互補。這些種類的多實驗研究的是在心理常規,但它們是罕見的別處。幸運的是,一些數字實驗成本低,使這類多的實驗研究更容易。
另外,我想提供兩點建議,現在是不太常見,但對於設計數字時代的實驗尤為重要:創建零邊際成本數據,並建立道德到您的設計。