प्रतिभागियों की भर्ती, इलाज के randomization, उपचार के वितरण, और परिणामों की माप: यादृच्छिक नियंत्रित प्रयोगों चार मुख्य तत्व है।
यादृच्छिक नियंत्रित प्रयोगों में चार मुख्य तत्व होते हैं: प्रतिभागियों की भर्ती, उपचार का यादृच्छिकरण, उपचार की डिलीवरी, और परिणामों का माप। डिजिटल युग प्रयोग की मौलिक प्रकृति को नहीं बदलेगी, लेकिन यह इसे आसानी से आसान बनाता है। उदाहरण के लिए, अतीत में, लाखों लोगों के व्यवहार को मापना मुश्किल हो सकता था, लेकिन अब यह कई डिजिटल सिस्टम में नियमित रूप से हो रहा है। शोधकर्ता जो इन नए अवसरों का उपयोग कैसे कर सकते हैं, वे पहले से असंभव प्रयोगों को चलाने में सक्षम होंगे।
इसे सब कुछ और ठोस बनाने के लिए- दोनों ने क्या किया है और क्या बदल गया है-चलो माइकल रेस्टिवो और अर्नाउट वैन डी रिजट (2012) द्वारा एक प्रयोग पर विचार करें। वे विकिपीडिया में संपादकीय योगदान पर अनौपचारिक सहकर्मी पुरस्कारों के प्रभाव को समझना चाहते थे। विशेष रूप से, उन्होंने बर्नस्टार के प्रभावों का अध्ययन किया, यह एक पुरस्कार है कि कोई भी विकिपीडिया किसी भी अन्य विकिपीडिया को कड़ी मेहनत और सावधानी बरतने के लिए दे सकता है। रेस्टिवो और वैन डी रिजट ने 100 योग्य विकिपीडिया लोगों को बर्नस्टार दिए। फिर, उन्होंने अगले 90 दिनों में प्राप्तकर्ताओं के विकिपीडिया में बाद के योगदानों को ट्रैक किया। उनके आश्चर्य की बात है कि जिन लोगों को उन्होंने बर्नस्टार से सम्मानित किया, वे एक प्राप्त करने के बाद कम संपादन करने के लिए इच्छुक थे। दूसरे शब्दों में, बर्नस्टार योगदान को प्रोत्साहित करने के बजाय निराशाजनक लग रहा था।
सौभाग्य से, रेस्टिवो और वैन डी रिजेट "परेशान और निरीक्षण" प्रयोग नहीं चला रहे थे; वे एक यादृच्छिक नियंत्रित प्रयोग चला रहे थे। इसलिए, बार्नस्टार प्राप्त करने के लिए 100 शीर्ष योगदानकर्ताओं को चुनने के अलावा, उन्होंने 100 शीर्ष योगदानकर्ता भी चुने, जिनके लिए उन्होंने एक नहीं दिया। ये 100 नियंत्रण समूह के रूप में कार्यरत थे। और, गंभीर रूप से, जो उपचार समूह में थे और जो नियंत्रण समूह में थे, यादृच्छिक रूप से निर्धारित किए गए थे।
जब रेस्टिवो और वैन डी रिजट ने नियंत्रण समूह में लोगों के व्यवहार को देखा, तो उन्होंने पाया कि उनके योगदान भी कम हो रहे थे। इसके अलावा, जब रेसिवो और वैन डी रिजेट ने नियंत्रण समूह में लोगों को उपचार समूह (यानी, बर्नस्टार प्राप्त किए) में लोगों की तुलना की, तो उन्होंने पाया कि उपचार समूह के लोगों ने 60% अधिक योगदान दिया। दूसरे शब्दों में, दोनों समूहों के योगदान खतरे में थे, लेकिन नियंत्रण समूह के लोग इतनी तेजी से कर रहे थे।
जैसा कि इस अध्ययन से पता चलता है, प्रयोगों में नियंत्रण समूह इस तरह से महत्वपूर्ण है कि कुछ हद तक विरोधाभासी है। बर्नस्टार के प्रभाव को मापने के लिए, रेस्टिवो और वैन डी रिजट को उन लोगों का निरीक्षण करने की आवश्यकता थी जिन्हें बर्नस्टार नहीं मिला था। कई बार, शोधकर्ता जो प्रयोग से परिचित नहीं हैं नियंत्रण समूह के अविश्वसनीय मूल्य की सराहना करने में विफल रहते हैं। यदि रेस्टिवो और वैन डी रिजट का नियंत्रण समूह नहीं था, तो वे वास्तव में गलत निष्कर्ष निकाल लेते थे। नियंत्रण समूह इतने महत्वपूर्ण हैं कि एक प्रमुख कैसीनो कंपनी के सीईओ ने कहा है कि कर्मचारियों को उनकी कंपनी से निकाल दिया जा सकता है: चोरी के लिए, यौन उत्पीड़न के लिए या नियंत्रण समूह के बिना प्रयोग चलाने के लिए (Schrage 2011) ।
रेस्टिवो और वैन डी रिजेट का अध्ययन एक प्रयोग के चार मुख्य तत्वों को दर्शाता है: भर्ती, यादृच्छिकरण, हस्तक्षेप, और परिणाम। साथ में, ये चार अवयव वैज्ञानिकों को सहसंबंध से आगे बढ़ने और उपचार के कारण प्रभाव को मापने की अनुमति देते हैं। विशेष रूप से, यादृच्छिकरण का मतलब है कि उपचार और नियंत्रण समूहों में लोग समान होंगे। यह महत्वपूर्ण है क्योंकि इसका मतलब है कि दोनों समूहों के बीच परिणामों में कोई अंतर उपचार के लिए जिम्मेदार ठहराया जा सकता है, न कि एक confounder।
प्रयोगों के यांत्रिकी के एक अच्छे चित्रण के अलावा, रेस्टिवो और वैन डी रिजेट के अध्ययन से यह भी पता चलता है कि डिजिटल प्रयोगों की रसद एनालॉग प्रयोगों से पूरी तरह अलग हो सकती है। रेस्टिवो और वैन डी रिजेट के प्रयोग में, बार्नस्टार को किसी को भी देना आसान था, और परिणामों की संख्या को ट्रैक करना आसान था - विस्तारित अवधि के दौरान (क्योंकि संपादन इतिहास स्वचालित रूप से विकिपीडिया द्वारा दर्ज किया जाता है)। बिना किसी कीमत पर इलाज और माप परिणामों को वितरित करने की यह क्षमता अतीत में प्रयोगों के विपरीत गुणात्मक रूप से है। यद्यपि इस प्रयोग में 200 लोग शामिल थे, लेकिन यह 2,000 या 20,000 लोगों के साथ चलाया जा सकता था। शोधकर्ताओं को 100 के कारक द्वारा अपने प्रयोग को स्केल करने से रोकने की मुख्य बात लागत नहीं थी; यह नैतिकता थी। यही है, रेस्टिवो और वैन डी रिजेट संपादकों को अवांछित करने के लिए बार्नस्टार नहीं देना चाहते थे, और वे नहीं चाहते थे कि उनका प्रयोग विकिपीडिया समुदाय (Restivo and Rijt 2012, 2014) को बाधित करे। मैं बाद में इस अध्याय में और अध्याय 6 में प्रयोगों द्वारा उठाए गए कुछ नैतिक विचारों पर वापस आऊंगा।
अंत में, रेस्टिवो और वैन डी रिजट का प्रयोग स्पष्ट रूप से दिखाता है कि प्रयोग के मूल तर्क में बदलाव नहीं हुआ है, डिजिटल-आयु प्रयोगों की रसद नाटकीय रूप से भिन्न हो सकती है। इसके बाद, इन परिवर्तनों द्वारा बनाए गए अवसरों को और स्पष्ट रूप से अलग करने के लिए, मैं उन प्रयोगों की तुलना करूंगा जो शोधकर्ता अब अतीत में किए गए प्रयोगों के साथ कर सकते हैं।