4.6 Савети

Било да радите ствари сами или да радите са партнером, желео бих да понудим четири савета које сам пронашао нарочито корисне у свом раду. Прва два савета односе се на било који експеримент, док су друге две много специфичније за експерименте дигиталног доба.

Мој први савет за време експеримента је да требате размишљати колико год је могуће прије него што су прикупљени подаци. Ово вероватно изгледа очито истраживачима навикнутим да покрећу експерименте, али је веома важно за оне који су навикли да раде са великим изворима података (види поглавље 2). Са таквим изворима већина посла се врши након што имате податке, али експерименти су супротни: већина посла треба урадити пре него што прикупите податке. Један од најбољих начина да се присилите да пажљиво размислите пре него што прикупите податке је да креирате и региструјете план пред-анализе за ваш експеримент у којем у основи описујете анализу коју ћете водити (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .

Мој други комад општег савета је да ниједан експеримент неће бити савршен, и због тога треба размислити о пројектовању серије експеримената који се међусобно подупиру. Чуо сам ово описано као стратегију Армада ; уместо да покушавате да изградите један велики бојни брод, требало би да изградите много мањих бродова са комплементарним снагама. Ове врсте студија са више експеримената су рутине у психологији, али су ретке на другим местима. Срећом, ниски трошкови неких дигиталних експеримената олакшавају студије са више експеримената.

С обзиром на то уопштено, сада бих желео да понудим два савета који су специфичнији за дизајн експеримената дигиталног доба: креирајте нулте податке о варијабилним трошковима (одељак 4.6.1) и изградите етику у свој дизајн (одељак 4.6.2).