4.6 Savjeti

Bilo da se radi sebe ili radi s partnerom, želio bih ponuditi dva komada savjet koji sam pronašao osobito korisno u svom poslu. Prvo, mislim da koliko god je to moguće prije nego što bilo podaci prikupljeni. Ovaj savjet je vjerojatno čini očitim istraživačima navikli na trčanje eksperimente, ali to je vrlo važno za istraživače navikli na rad s velikim izvorima podataka (vidi poglavlje 2). S velikim izvorima podataka najveći dio posla se događa nakon što ste podatke, no eksperimenti su suprotno; najveći dio posla trebalo dogoditi prije nego što ste prikupiti podatke. Jedan od najboljih načina da se prisiljava da dobro razmislite o svom dizajnu i analize je stvoriti i registrirajte analize plana za probu. Srećom, mnogi od najbolje prakse za analizu eksperimentalnih podataka su formalizirana u smjernice za izvješćivanje, a ove smjernice su dobro mjesto za početak prilikom izrade analize plana (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Drugi savjet je da nitko eksperiment će biti savršen, i zbog toga, trebali biste pokušati osmisliti niz eksperimenata koji učvršćuju jedni druge. Čak sam čuo to opisao kao strategija Armada; nego pokušava izgraditi jedan masivni bojni, možda će biti bolje zgrada puno manjih brodova s ​​komplementarnim snagama. Ove vrste multi-eksperimentalnim studijama su rutinski u psihologiji, ali oni su rijetki drugdje. Srećom, niske cijene nekih digitalnih eksperimenata čini ove vrste multi-pokus proučava lakše.

Također, želio bih ponuditi dva savjeta koje su manje uobičajene sada, ali su posebno važni za projektiranje digitalnih pokusa dobi: stvoriti nula marginalne podatke o troškovima i izgraditi etiku u svoj dizajn.