4.6 Råd

Enten du gjør det selv eller jobbe med en partner, vil jeg gjerne tilby to stykker av råd som jeg har funnet særlig nyttig i mitt eget arbeid. Først tror så mye som mulig før noen data har blitt samlet inn. Dette rådet sannsynligvis synes opplagt til forskere som er vant til å kjøre eksperimenter, men det er svært viktig for forskere som er vant til å jobbe med store datakilder (se kapittel 2). Med store datakilder meste av arbeidet skjer etter at du har data, men eksperimenter er det motsatte; det meste av arbeidet bør skje før du samler inn data. En av de beste måtene å tvinge deg selv til å tenke nøye gjennom design og analyse er å opprette og registrere en analyse plan for eksperimentet. Heldigvis mange av de beste praksis for analyse av eksperimentelle data har vært formalisert i retningslinjene for rapportering, og disse retningslinjene er et flott sted å starte når du oppretter din analyse plan (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Den andre råd er at ingen eksperiment kommer til å være perfekt, og på grunn av det, bør du prøve å lage en serie eksperimenter som forsterker hverandre. Jeg har selv hørt dette beskrevet som armada strategi; heller enn å prøve å bygge en massiv slagskip, kan det være bedre å bygge mange mindre skip med komplementære styrker. Slike flereksperimentstudier er rutine i psykologi, men de er sjeldne andre steder. Heldigvis den lave kostnaden for noen digitale eksperimenter gjør disse slags multi-eksperiment studier enklere.

Også vil jeg gjerne gi to stykker av råd som er mindre vanlig nå, men er spesielt viktig for å designe digitale alder eksperimenter: skape null marginale kostnadsdata og bygge etikk i ditt design.