4.6 Poradenstvo

Či už robíte veci sami alebo pracujete s partnerom, rád by som ponúkol štyri rady, ktoré som našiel vo svojej vlastnej práci zvlášť užitočnú. Prvé dve rady sa vzťahujú na akýkoľvek experiment, zatiaľ čo druhé dva sú oveľa špecifickejšie pre experimenty v digitálnom veku.

Moja prvá rada, keď vykonávate experiment, je, že by ste mali premyslieť čo najviac predtým, ako sa zhromaždia všetky údaje. Pravdepodobne to zrejme je zrejmé pre výskumníkov zvyknutých na experimenty, ale je veľmi dôležité pre tých, ktorí sú zvyknutí pracovať s veľkými zdrojmi údajov (pozri kapitolu 2). S takýmito zdrojmi sa väčšina práce vykonáva po tom, čo máte údaje, ale experimenty sú opačné: väčšina práce by sa mala vykonať skôr, ako zhromažďujete údaje. Jedným z najlepších spôsobov, ako si nútiť, aby ste starostlivo premýšľali pred zhromažďovaním údajov, je vytvoriť a zaregistrovať plán predbežnej analýzy vášho experimentu, v ktorom v podstate opisujete analýzu, ktorú vykonáte (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .

Mojou druhou časťou všeobecných odporúčaní je, že žiaden jediný experiment nebude dokonalý a kvôli tomu by ste mali zvážiť navrhnutie série experimentov, ktoré sa navzájom posilňujú. Počul som to, čo je opísané ako stratégia armády ; skôr než sa pokúšate postaviť jednu masívnu bojovú loď, mali by ste stavať veľa menších lodí s komplementárnymi silnými stránkami. Tieto druhy multi-experimentálnych štúdií sú rutinné v psychológii, ale sú zriedkavé inde. Našťastie nízke náklady na niektoré digitálne experimenty uľahčujú štúdiu s viacerými experimentmi.

Vzhľadom na všeobecné zázemie by som teraz rád ponúkol dve rady, ktoré sú špecifickejšie pre navrhovanie experimentov v digitálnom veku: vytvoriť nulové údaje o variabilných nákladoch (časť 4.6.1) a budovať etiku vo svojom dizajne (časť 4.6.2).