4.6 Savjeti

Bilo da su to sami rade ili rade sa partnerom, voleo bih da ponudi dva komada savjet koji sam pronašao posebno korisna u mom radu. Prvo, mislim da što je više moguće prije nego što bilo koji podaci su prikupljeni. Ovaj savjet vjerojatno izgleda očigledno da istraživači navikli da radi eksperimente, ali to je vrlo važno za istraživače navikli da rade sa velikim izvorima podataka (vidi Poglavlje 2). Sa velikim izvora podataka najveći dio posla se događa nakon što ste podatke, ali eksperimenti su suprotno; većinu posla treba da se dogodi prije nego što se prikupe podaci. Jedan od najboljih načina da prisili sebe da pažljivo razmislite o svom dizajnu i analize je stvaranje i registrirati plan analize za svoj eksperiment. Srećom, mnogi od najbolje prakse za analizu eksperimentalnih podataka su formaliziran u Smjernicama za izvještavanje, i ove smjernice su odlično mjesto za početak prilikom kreiranja svoj ​​plan analize (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Drugi savet je da niko eksperiment će biti savršen, i zbog toga, trebalo bi pokušati osmisliti niz eksperimenata koji pojačavaju jedni druge. Čak sam čuo ovo opisao kao strategija armada; umesto da se izgradi jedan masivni bojni, možda ćete biti bolje građevinske parcele od manjih brodova sa komplementarnim snagama. Ove vrste multi-eksperimenta studije su rutinski u psihologiji, ali oni su rijetki drugdje. Srećom, niske cijene nekih digitalnih eksperimenata čini ove vrste multi-eksperimenta proučava lakše.

Također, želio bih ponuditi dva savjeta koje su manje uobičajene sada, ali su posebno važni za dizajniranje digitalno doba eksperimenti: stvoriti nula marginalne podataka o troškovima i izgraditi etiku u svoj dizajn.