4.6 Consigli

Sia che si sta facendo da soli o lavorare con un partner, vorrei offrire due consigli che ho trovato particolarmente utile nel mio lavoro. In primo luogo, pensare il più possibile prima che i dati sono stati raccolti. Questo consiglio probabilmente sembra ovvio ricercatori abituati a correre esperimenti, ma è molto importante per i ricercatori abituati a lavorare con le grandi fonti di dati (vedi capitolo 2). Con grandi fonti di dati la maggior parte del lavoro succede dopo che avete i dati, ma gli esperimenti sono il contrario; la maggior parte del lavoro dovrebbe avvenire prima di raccogliere i dati. Uno dei modi migliori per sforzatevi di pensare con attenzione il vostro disegno e l'analisi è quello di creare e registrare un piano di analisi per l'esperimento. Fortunatamente, molte delle best practice per l'analisi dei dati sperimentali sono stati formalizzati in linee guida di rendicontazione, e queste linee guida sono un ottimo punto di partenza durante la creazione del piano di analisi (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Il secondo consiglio è che nessuno esperimento sta per essere perfetto, e per questo motivo, si dovrebbe cercare di progettare una serie di esperimenti che si rafforzano a vicenda. Ho anche sentito questo descritto come la strategia di flotta; piuttosto che cercare di costruire una corazzata di massa, potrebbe essere meglio lotti edificabili di navi più piccole, con punti di forza complementari. Questi tipi di studi multi-esperimento sono di routine in psicologia, ma sono rari altrove. Fortunatamente, il basso costo di alcuni esperimenti digitali rende questo tipo di multi-esperimento studia più facile.

Inoltre, vorrei offrire due pezzi di consulenza che sono meno comuni, ma ora sono particolarmente importanti per la progettazione di esperimenti nell'era digitale: creare dati di costo marginale zero e di costruire l'etica nel vostro disegno.