Если вы делаете это самостоятельно или работать с партнером, я хотел бы предложить две части советов, которые я нашел особенно полезными в моей работе. Во-первых, думать, насколько это возможно, прежде чем какие-либо данные были собраны. Этот совет, вероятно, кажется очевидным для исследователей, привыкших к проведении экспериментов, но это очень важно для исследователей, привыкших работать с большими источниками данных (см главу 2). С большими источниками данных большая часть работы происходит после того, как у вас есть данные, но эксперименты наоборот; большая часть работы должно произойти , прежде чем собирать данные. Один из лучших способов заставить себя тщательно продумать ваш дизайн и анализ заключается в создании и зарегистрировать план анализа для эксперимента. К счастью, многие из передовых методов для анализа экспериментальных данных были формализованы в руководящих принципах представления докладов, и эти принципы являются отличным местом , чтобы начать при создании плана анализа (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) и (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) и (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .
Второй совет, что ни один эксперимент не будет совершенным, и из-за этого, вы должны попытаться разработать серию экспериментов, которые усиливают друг друга. Я даже слышал это описано как стратегия армада; вместо того чтобы пытаться построить один массивный корабль, вы могли бы быть лучше здания много мелких судов с дополняющими друг друга силами. Такого рода исследования нескольких экспериментов рутинны в психологии, но они очень редки в других местах. К счастью, низкая стоимость некоторых цифровых экспериментов делает такого рода мульти-эксперимента изучает проще.
Кроме того, я хотел бы предложить два совета, которые являются менее распространенными в настоящее время, но особенно важны для проектирования цифровых экспериментов по возрасту: создать нулевые предельные данные о затратах и строить этику в ваш дизайн.