4.6 Råd

Oavsett om du gör det själv eller arbeta med en partner, skulle jag vilja ge två råd som jag har hittat särskilt användbart i mitt eget arbete. Först tror så mycket som möjligt innan alla data har samlats in. Detta råd verkar troligen uppenbart för forskare vana att köra experiment, men det är mycket viktigt för forskare vana att arbeta med stora datakällor (se kapitel 2). Med stora datakällor mesta av arbetet sker efter att du har data, men experiment är motsatsen; det mesta av arbetet bör ske innan du samlar in data. En av de bästa sätten att tvinga dig själv att tänka igenom din design och analys är att skapa och registrera en analysplan för experimentet. Lyckligtvis många av de bästa praxis för analys av experimentella data har formaliserats i riktlinjerna för rapportering, och dessa riktlinjer är ett bra ställe att börja när du skapar din analys planen (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Den andra råd är att ingen experiment kommer att vara perfekt, och på grund av detta, bör du försöka att utforma en serie experiment som förstärker varandra. Jag har även hört detta beskrivas som armada strategi; snarare än att försöka bygga en massiv slagskepp, kan du vara bättre att bygga massor av mindre fartyg med kompletterande styrkor. Dessa typer av flera experiment studier är rutin i psykologi, men de är sällsynta på andra håll. Lyckligtvis, den låga kostnaden för vissa digitala experiment gör denna typ av flera experiment studerar lättare.

Även jag vill erbjuda två råd som är mindre vanliga nu, men är särskilt viktiga för att utforma digitala tidsåldern experiment: skapa noll marginalkostnadsdata och bygga etik i din design.