4.6 Conselhos

Se você está fazendo as coisas sozinho ou trabalhando com um parceiro, gostaria de oferecer quatro conselhos que considero particularmente úteis em meu próprio trabalho. Os dois primeiros conselhos se aplicam a qualquer experimento, enquanto os outros dois são muito mais específicos para experimentos com a era digital.

Meu primeiro conselho para quando você está fazendo um experimento é que você deve pensar o máximo possível antes de qualquer dado ser coletado. Isso provavelmente parece óbvio para os pesquisadores acostumados a fazer experimentos, mas é muito importante para aqueles acostumados a trabalhar com grandes fontes de dados (veja o capítulo 2). Com essas fontes, a maior parte do trabalho é feita depois de você ter os dados, mas os experimentos são o oposto: a maior parte do trabalho deve ser feita antes da coleta de dados. Uma das melhores maneiras de se forçar a pensar cuidadosamente antes de coletar dados é criar e registrar um plano de pré-análise para o seu experimento no qual você basicamente descreve a análise que você irá conduzir (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .

Meu segundo conselho geral é que nenhum experimento único será perfeito e, por isso, você deve pensar em criar uma série de experimentos que se reforcem mutuamente. Eu já ouvi isso descrito como a estratégia da armada ; em vez de tentar construir um enorme navio de guerra, você deve construir muitos navios menores com forças complementares. Esses tipos de estudos multi-experimentais são rotineiros em psicologia, mas são raros em outros lugares. Felizmente, o baixo custo de alguns experimentos digitais torna os estudos com múltiplos experimentos mais fáceis.

Tendo em vista esse contexto geral, gostaria de oferecer dois conselhos mais específicos para a criação de experimentos com a era digital: criar dados de custo variável zero (seção 4.6.1) e criar ética em seu design (seção 4.6.2).