Cho dù bạn đang làm điều đó cho mình hoặc làm việc với một đối tác, tôi muốn cung cấp hai mảnh lời khuyên mà tôi đã tìm thấy đặc biệt hữu ích trong công việc của tôi. Đầu tiên, hãy nghĩ càng nhiều càng tốt trước khi dữ liệu đã được thu thập. Lời khuyên này có thể có vẻ hiển nhiên đối với các nhà nghiên cứu quen với việc chạy thí nghiệm, nhưng nó là rất quan trọng đối với các nhà nghiên cứu quen làm việc với các nguồn dữ liệu lớn (xem Chương 2). Với nguồn dữ liệu lớn nhất trong công việc xảy ra sau khi bạn có dữ liệu, nhưng các thí nghiệm là những đối diện; hầu hết công việc nên xảy ra trước khi bạn thu thập dữ liệu. Một trong những cách tốt nhất để buộc mình phải suy nghĩ cẩn thận về thiết kế và phân tích của bạn là tạo ra và đăng ký một kế hoạch phân tích cho thử nghiệm. May mắn thay, rất nhiều các thực hành tốt nhất để phân tích các dữ liệu thực nghiệm đã được chính thức hóa vào nguyên tắc báo cáo, và những nguyên tắc này là nơi tuyệt vời để bắt đầu khi tạo ra kế hoạch phân tích của bạn (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .
Phần thứ hai của lời khuyên là không có một thử nghiệm sẽ được hoàn hảo, và vì lý do đó, bạn nên cố gắng thiết kế một loạt thí nghiệm củng cố lẫn nhau. Tôi thậm chí đã nghe điều này được mô tả như là chiến lược hạm đội; chứ không phải là cố gắng xây dựng một chiến hạm lớn, bạn có thể có rất nhiều tòa nhà tốt hơn các tàu nhỏ hơn với thế mạnh bổ sung. Những loại nghiên cứu đa thí nghiệm là thói quen trong tâm lý học, nhưng họ là rất hiếm ở những nơi khác. May mắn thay, chi phí thấp của một số thí nghiệm kỹ thuật số làm cho các loại đa thí nghiệm nghiên cứu dễ dàng hơn.
Ngoài ra, tôi muốn cung cấp hai mảnh của lời khuyên đó là ít phổ biến hơn, nhưng bây giờ là đặc biệt quan trọng đối với việc thiết kế các thí nghiệm đại kỹ thuật số: tạo không dữ liệu chi phí cận biên và xây dựng đạo đức vào thiết kế của bạn.