4.6 Poradenstvo

Či už robíte to sami, alebo pracovať s partnerom, rád by som ponúknuť dva kusy rád, ktoré som našiel užitočné najmä v mojej vlastnej práce. Po prvé, myslím, že v maximálnej možnej miere, než bola zhromaždená žiadne dáta. Táto rada zrejme zdá byť zrejmé, výskumníkom zvyknutí na beh experimentov, ale je to pre výskumníkov zvyknutí pracovať s veľkými dátovými zdrojmi veľmi dôležité (pozri kapitolu 2). S veľkými dátovými zdrojmi väčšinu práce sa stane potom, čo máte k dispozícii dáta, ale experimenty sú opakom; Väčšinu práce by malo dôjsť skôr, ako budete zbierať dáta. Jedným z najlepších spôsobov, ako prinútiť sami starostlivo premýšľať o svojom návrhu a analýzy je vytvoriť a zaregistrovať plán analýzy pre váš experiment. Našťastie mnohé z osvedčených postupov pre analýzu experimentálnych dát boli formalizovaná do smerov podávania správ, a tieto pokyny sú skvelé miesto pre štart pri vytváraní plánu analýzy (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Druhý kus poradenstvo je, že nikto experiment bude perfektný, a kvôli tomu, mali by ste sa pokúsiť navrhnúť sériu experimentov, ktoré sa navzájom posilňujú. Dokonca som počul opísaná ako stratégia Armada; skôr než sa snažiť vybudovať jednu masívne bojové, tie by mohli byť lepšie stavebné veľa menších lodí s doplnkovými silné stránky. Tieto druhy multi-experimentálnych štúdií sú bežné v psychológii, ale oni sú vzácni inde. Našťastie, nízke náklady na niektorých digitálnych experimentov je tento druh multi-experimente štúdie jednoduchšie.

Tiež by som chcel ponúknuť dva kusy rád, ktoré sú menej časté, ale teraz sú obzvlášť dôležité pre navrhovanie digitálnom veku experimentov: vytvoriť nulové údaje o medzným nákladom a vybudovať etiku do svojho návrhu.