4.6 Poradenství

Ať už děláte to sami, nebo pracovat s partnerem, rád bych nabídnout dva kusy rad, které jsem našel užitečné zejména v mé vlastní práce. Za prvé, myslím, že v maximální možné míře, než byla shromážděna žádná data. Tato rada zřejmě zdá být zřejmé, výzkumným pracovníkům zvyklí na běh experimentů, ale je to pro výzkumníky zvyklí pracovat s velkými datovými zdroji velmi důležité (viz kapitola 2). S velkými datovými zdroji většinu práce se stane poté, co máte k dispozici data, ale experimenty jsou opakem; Většinu práce by mělo dojít dříve, než budete sbírat data. Jedním z nejlepších způsobů, jak přinutit sami pečlivě přemýšlet o svém návrhu a analýzy je vytvořit a zaregistrovat plán analýzy pro váš experiment. Naštěstí mnohé z osvědčených postupů pro analýzu experimentálních dat byly formalizována do směrů podávání zpráv, a tyto pokyny jsou skvělé místo pro start při vytváření plánu analýzy (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Druhý kus poradenství je, že nikdo experiment bude perfektní, a kvůli tomu, měli byste se pokusit navrhnout sérii experimentů, které se navzájem posilují. Dokonce jsem slyšel popsána jako strategie Armada; spíše než se snažit vybudovat jednu masivní bitevní, ty by mohly být lepší stavební spousta menších lodí s doplňkovými silné stránky. Tyto druhy multi-experimentálních studií jsou běžné v psychologii, ale oni jsou vzácní jinde. Naštěstí, nízké náklady na některých digitálních experimentů je tento druh multi-experimentu studie jednodušší.

Také bych chtěl nabídnout dva kusy rad, které jsou méně časté, ale teď jsou zvláště důležité pro navrhování digitálním věku experimentů: vytvořit nulové údaje o mezním nákladům a vybudovat etiku do svého návrhu.