Sama ada anda melakukan perkara sendiri atau bekerja dengan rakan kongsi, saya ingin menawarkan empat nasihat yang saya dapati amat membantu dalam kerja saya sendiri. Dua nasihat pertama berlaku untuk setiap eksperimen, sementara kedua kedua adalah lebih khusus untuk eksperimen usia digital.
Nasihat pertama saya apabila anda melakukan eksperimen ialah anda perlu berfikir sebanyak mungkin sebelum sebarang data telah dikumpulkan. Ini mungkin kelihatan jelas kepada penyelidik yang biasa menjalankan eksperimen, tetapi sangat penting bagi mereka yang biasa bekerja dengan sumber data besar (lihat bab 2). Dengan sumber semacam itu kebanyakan kerja dilakukan setelah anda memiliki data, namun eksperimen adalah sebaliknya: kebanyakan pekerjaan harus dilakukan sebelum anda mengumpulkan data. Salah satu cara terbaik untuk memaksa diri anda untuk berfikir dengan teliti sebelum anda mengumpulkan data adalah untuk membuat dan mendaftarkan pelan pra-analisis untuk percubaan anda di mana anda pada dasarnya menerangkan analisis yang akan anda lakukan (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .
Nasihat umum saya kedua adalah bahawa tiada percubaan tunggal akan menjadi sempurna, dan, oleh kerana itu, anda harus mempertimbangkan untuk merekabentuk satu siri eksperimen yang menguatkan satu sama lain. Saya pernah mendengar ini yang digambarkan sebagai strategi armada ; dan bukannya cuba membina satu kapal perang besar, anda perlu membina banyak kapal kecil dengan kekuatan pelengkap. Pelbagai kajian eksperimen ini adalah rutin dalam psikologi, tetapi jarang terdapat di tempat lain. Nasib baik, kos rendah beberapa percubaan digital membuat kajian multi-eksperimen lebih mudah.
Memandangkan latar belakang umum, saya kini ingin menawarkan dua keping nasihat yang lebih spesifik untuk merancang eksperimen usia digital: mencipta data kos pembolehubah sifar (seksyen 4.6.1) dan membina etika ke dalam reka bentuk anda (seksyen 4.6.2).