4.6 Conselhos

Se você está fazendo isso sozinho ou trabalhar com um parceiro, eu gostaria de oferecer dois conselhos que eu encontrei especialmente útil no meu próprio trabalho. Em primeiro lugar, acho que, tanto quanto possível antes de qualquer dado foi coletado. Este conselho, provavelmente, parece óbvio para pesquisadores acostumados a realizar experiências, mas é muito importante para pesquisadores acostumados a trabalhar com fontes de dados grandes (ver Capítulo 2). Com fontes de dados grandes maior parte do trabalho acontece depois você tem os dados, mas as experiências são o oposto; maior parte do trabalho deve acontecer antes de recolher dados. Uma das melhores maneiras de forçar-se a pensar cuidadosamente sobre o seu projeto e análise é criar e registrar um plano de análise para a sua experiência. Felizmente, muitas das melhores práticas para a análise de dados experimentais foram formalizados em diretrizes para relatórios, e essas diretrizes são um ótimo lugar para começar ao criar seu plano de análise (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

O segundo conselho é que ninguém experimento vai ser perfeito, e por causa disso, você deve tentar projetar uma série de experimentos que se reforçam mutuamente. Eu mesmo ouvi essa descrita como a estratégia armada; ao invés de tentar construir um navio de guerra massiva, você pode ser melhor lotes de construção de navios menores com forças complementares. Esses tipos de estudos multi-experimentais são rotineiras em psicologia, mas eles são raros em outros lugares. Felizmente, o baixo custo de algumas experiências digitais torna este tipo de multi-experimento estuda mais fácil.

Além disso, eu gostaria de oferecer dois conselhos que são menos comuns, mas agora são particularmente importantes para a concepção de experiências era digital: criar zero de dados de custos marginais e construir a ética em seu design.