चाहे आप स्वयं चीजें कर रहे हों या साथी के साथ काम कर रहे हों, मैं सलाह के चार टुकड़े पेश करना चाहता हूं जो मुझे अपने काम में विशेष रूप से सहायक पाया गया है। सलाह के पहले दो टुकड़े किसी भी प्रयोग पर लागू होते हैं, जबकि दूसरे दो डिजिटल-आयु प्रयोगों के लिए अधिक विशिष्ट होते हैं।
जब आप एक प्रयोग कर रहे हैं तो सलाह के लिए मेरा पहला भाग यह है कि आपको किसी डेटा को एकत्र करने से पहले जितना संभव हो सके सोचना चाहिए। यह शायद प्रयोगों को चलाने के आदी शोधकर्ताओं के लिए स्पष्ट प्रतीत होता है, लेकिन बड़े डेटा स्रोतों के साथ काम करने के आदी लोगों के लिए यह बहुत महत्वपूर्ण है (अध्याय 2 देखें)। ऐसे स्रोतों के साथ अधिकांश डेटा आपके पास डेटा के बाद किया जाता है, लेकिन प्रयोग विपरीत हैं: डेटा एकत्र करने से पहले अधिकांश काम किया जाना चाहिए। डेटा एकत्र करने से पहले सावधानीपूर्वक सोचने के लिए खुद को मजबूर करने के सर्वोत्तम तरीकों में से एक है अपने प्रयोग के लिए पूर्व-विश्लेषण योजना बनाना और पंजीकरण करना जिसमें आप मूल रूप से उस विश्लेषण का वर्णन करते हैं जिसका आप संचालन करेंगे (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) ।
सामान्य सलाह का मेरा दूसरा टुकड़ा यह है कि कोई भी प्रयोग सही नहीं होगा, और इसके कारण, आपको उन प्रयोगों की एक श्रृंखला तैयार करने पर विचार करना चाहिए जो एक-दूसरे को मजबूती देते हैं। मैंने इसे आर्मडा रणनीति के रूप में वर्णित सुना है; एक विशाल युद्धपोत बनाने की कोशिश करने के बजाय, आपको पूरक शक्तियों के साथ बहुत से छोटे जहाजों का निर्माण करना चाहिए। इस प्रकार के बहु-प्रयोग अध्ययन मनोविज्ञान में नियमित हैं, लेकिन वे कहीं और दुर्लभ हैं। सौभाग्य से, कुछ डिजिटल प्रयोगों की कम लागत बहु-प्रयोग अध्ययनों को आसान बनाता है।
सामान्य पृष्ठभूमि को देखते हुए, अब मैं सलाह के दो टुकड़े पेश करना चाहता हूं जो डिजिटल युग प्रयोगों को डिजाइन करने के लिए अधिक विशिष्ट हैं: शून्य परिवर्तनीय लागत डेटा (सेक्शन 4.6.1) बनाएं और अपने डिज़ाइन (अनुभाग 4.6.2) में नैतिकता बनाएं।