Se você está fazendo as coisas sozinho ou trabalhando com um parceiro, gostaria de oferecer quatro conselhos que considero particularmente úteis em meu próprio trabalho. Os dois primeiros conselhos se aplicam a qualquer experimento, enquanto os outros dois são muito mais específicos para experimentos com a era digital.
Meu primeiro conselho para quando você está fazendo um experimento é que você deve pensar o máximo possível antes de qualquer dado ser coletado. Isso provavelmente parece óbvio para os pesquisadores acostumados a fazer experimentos, mas é muito importante para aqueles acostumados a trabalhar com grandes fontes de dados (veja o capítulo 2). Com essas fontes, a maior parte do trabalho é feita depois de você ter os dados, mas os experimentos são o oposto: a maior parte do trabalho deve ser feita antes da coleta de dados. Uma das melhores maneiras de se forçar a pensar cuidadosamente antes de coletar dados é criar e registrar um plano de pré-análise para o seu experimento no qual você basicamente descreve a análise que você irá conduzir (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .
Meu segundo conselho geral é que nenhum experimento único será perfeito e, por isso, você deve pensar em criar uma série de experimentos que se reforcem mutuamente. Eu já ouvi isso descrito como a estratégia da armada ; em vez de tentar construir um enorme navio de guerra, você deve construir muitos navios menores com forças complementares. Esses tipos de estudos multi-experimentais são rotineiros em psicologia, mas são raros em outros lugares. Felizmente, o baixo custo de alguns experimentos digitais torna os estudos com múltiplos experimentos mais fáceis.
Tendo em vista esse contexto geral, gostaria de oferecer dois conselhos mais específicos para a criação de experimentos com a era digital: criar dados de custo variável zero (seção 4.6.1) e criar ética em seu design (seção 4.6.2).