4.6 Råd

Oavsett om du gör saker själv eller arbetar med en partner, skulle jag vilja erbjuda fyra råd som jag har funnit särskilt bra i mitt eget arbete. De två första rådgivningarna gäller alla experiment, medan de andra två är mycket mer specifika för digitala åldersexperiment.

Mitt första tips för när du gör ett experiment är att du borde tänka så mycket som möjligt innan någon data har samlats in. Det verkar förmodligen tydligt för forskare vana att springa experiment, men det är mycket viktigt för dem som är vana vid att arbeta med stora datakällor (se kapitel 2). Med sådana källor görs det mesta av arbetet efter att du har data, men experiment är motsatt: det mesta av arbetet ska ske innan du samlar in data. Ett av de bästa sätten att tvinga dig att tänka noggrant innan du samlar in data är att skapa och registrera en föranalysplan för ditt experiment där du i grund och botten beskriver den analys du ska genomföra (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .

Mitt andra generella råd är att inget enda experiment kommer att vara perfekt, och därför bör du överväga att utforma en serie experiment som förstärker varandra. Jag har hört detta beskrivet som armada-strategin ; snarare än att försöka bygga ett massivt slagskepp, borde du bygga många mindre fartyg med komplementära styrkor. Dessa typer av experiment med flera experiment är rutinmässiga inom psykologi, men de är sällsynta någon annanstans. Lyckligtvis gör den låga kostnaden för några digitala experiment enklare experiment med flera experiment.

Med tanke på den allmänna bakgrunden skulle jag nu vilja erbjuda två råd som är mer specifika för att designa digitala åldersexperiment: skapa nollvariabelkostnadsdata (avsnitt 4.6.1) och bygga etik i din design (avsnitt 4.6.2).