4.6 Saran

Apakah Anda melakukannya sendiri atau bekerja dengan pasangan, saya ingin menawarkan dua lembar saran yang saya temukan sangat membantu dalam pekerjaan saya sendiri. Pertama, pikirkan sebanyak mungkin sebelum data telah dikumpulkan. Saran ini mungkin tampak jelas bagi peneliti terbiasa menjalankan percobaan, tapi sangat penting bagi para peneliti terbiasa bekerja dengan sumber data yang besar (lihat Bab 2). Dengan sumber data besar sebagian besar pekerjaan yang terjadi setelah Anda memiliki data, tetapi percobaan adalah sebaliknya; sebagian besar pekerjaan harus terjadi sebelum Anda mengumpulkan data. Salah satu cara terbaik untuk memaksa diri untuk berpikir hati-hati tentang desain dan analisis adalah untuk menciptakan dan mendaftarkan rencana analisis untuk percobaan. Untungnya, banyak dari praktek-praktek terbaik untuk analisis data eksperimen telah diformalkan menjadi pedoman pelaporan, dan pedoman ini adalah tempat yang bagus untuk memulai ketika membuat rencana analisis Anda (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Bagian kedua dari saran adalah bahwa tidak ada satu eksperimen akan menjadi sempurna, dan karena itu, Anda harus mencoba untuk merancang serangkaian percobaan yang memperkuat satu sama lain. Aku bahkan pernah mendengar ini digambarkan sebagai strategi armada; daripada mencoba untuk membangun satu kapal perang besar, Anda mungkin akan lebih banyak membangun kapal yang lebih kecil dengan kekuatan yang saling melengkapi. Studi jenis ini multi-percobaan yang rutin di bidang psikologi, tetapi mereka jarang di tempat lain. Untungnya, biaya rendah beberapa eksperimen digital membuat semacam ini multi-percobaan studi lebih mudah.

Juga, saya ingin menawarkan dua lembar saran yang kurang umum sekarang tapi sangat penting untuk merancang percobaan era digital: membuat nol data biaya marginal dan membangun etika ke dalam desain Anda.