प्रतिभागियों की भर्ती, इलाज के randomization, उपचार के वितरण, और परिणामों की माप: यादृच्छिक नियंत्रित प्रयोगों चार मुख्य तत्व है।
यादृच्छिक नियंत्रित प्रयोगों कई रूपों ले सकते हैं और व्यवहार के कई प्रकार के अध्ययन के लिए इस्तेमाल किया जा सकता है। प्रतिभागियों की भर्ती, इलाज के randomization, उपचार के वितरण, और परिणामों की माप: लेकिन, उनके मूल में, यादृच्छिक नियंत्रित प्रयोगों चार मुख्य तत्व है। डिजिटल युग प्रयोग के मौलिक स्वभाव नहीं बदलता है, लेकिन यह उन्हें आसानी से logistically पड़ता है। उदाहरण के लिए, अतीत में यह मुश्किल हो गया है हो सकता है लोगों के लाखों लोगों के व्यवहार को मापने के लिए, लेकिन लगता है कि अब नियमित रूप से कई डिजिटल सिस्टम में हो रहा है। शोधकर्ताओं ने यह पता लगाने कर सकते हैं इन नए अवसरों का दोहन करने के लिए कैसे प्रयोगों है कि पहले असंभव थे चलाने के लिए सक्षम हो जाएगा।
यह सब थोड़ा और अधिक ठोस-दोनों क्या ही रह गया है और क्या बदल जाने के माइकल Restivo और Arnout वैन डे Rijt चलो विचार करने के लिए (2012) । शोधकर्ताओं विकिपीडिया के संपादकीय योगदान पर अनौपचारिक सहकर्मी पुरस्कार के प्रभाव को समझने के लिए करना चाहता था। विशेष रूप से, वे barnstars के प्रभाव का अध्ययन, एक पुरस्कार है कि किसी भी विकिपीडिया की कड़ी मेहनत और परिश्रम के कारण स्वीकार करने के लिए किसी अन्य विकिपीडिया करने के लिए दे सकते हैं। Restivo और वैन डे Rijt 100 योग्य विकिपीडिया को barnstars दे दी है। फिर, Restivo और वैन डे Rijt अगले 90 दिनों में विकिपीडिया के प्राप्तकर्ताओं के बाद के योगदान पर नज़र रखी। उनके आश्चर्य करने के लिए बहुत है, लोग जिसे वे barnstars से सम्मानित एक प्राप्त करने के बाद कम संपादन करने के लिए जाती थी। दूसरे शब्दों में, barnstars बजाय हतोत्साहित किया जा करने के लिए योगदान को प्रोत्साहित करने के लिए लग रहा था।
सौभाग्य से, Restivo और वैन डे Rijt एक "उपद्रव और निरीक्षण" प्रयोग नहीं चल रहे थे; वे एक यादृच्छिक नियंत्रित प्रयोग चल रहे थे। तो, एक barnstar प्राप्त करने के लिए 100 शीर्ष योगदानकर्ताओं के चयन के अलावा, वे भी 100 शीर्ष योगदानकर्ताओं जिसे वे एक barnstar नहीं दिया उठाया। ये सौ एक नियंत्रण समूह के रूप में सेवा की है, और जो एक barnstar मिला है और जो बेतरतीब ढंग से निर्धारित किया गया था नहीं था। जब Restivo और वैन डे Rijt नियंत्रण समूह को देखा उन्होंने पाया है कि यह बहुत योगदान में भारी गिरावट थी। अंत में, जब शोधकर्ताओं ने नियंत्रण समूह में और इलाज के समूह में लोगों (यानी, barnstars प्राप्त) लोगों की तुलना में, उन्होंने पाया कि barnstar वजह से संपादकों के बारे में 60% से अधिक योगदान करने के लिए। लेकिन, योगदान में इस वृद्धि के दोनों समूहों में एक समग्र गिरावट के हिस्से के रूप में जगह ले जा रहा था।
इस अध्ययन दिखाता है, प्रयोगों में नियंत्रण समूह एक तरीका है कि कुछ उलटा है में महत्वपूर्ण है। आदेश ठीक barnstars के प्रभाव को मापने के लिए, Restivo और वान डेर Rijt है कि लोगों को barnstars प्राप्त नहीं किया निरीक्षण करने की जरूरत है। कई बार शोधकर्ताओं ने प्रयोगों से परिचित नहीं हैं नियंत्रण समूह की अविश्वसनीय मूल्य की सराहना करने में विफल है। Restivo और वैन डे Rijt एक नियंत्रण समूह के लिए नहीं था, वे बिल्कुल गलत निष्कर्ष तैयार होता है। चोरी, यौन उत्पीड़न, और एक प्रयोग चल रहे एक नियंत्रण समूह के बिना: नियंत्रण समूहों इतना महत्वपूर्ण एक प्रमुख कैसीनो कंपनी के सीईओ वहाँ केवल तीन तरीके है कि कर्मचारियों को उनकी कंपनी से निकाल दिया जा सकता है कि कहा गया है कि कर रहे हैं (Schrage 2011) ।
भर्ती, यादृच्छिकीकरण, हस्तक्षेप, और परिणाम: Restivo और वैन डे Rijt के अध्ययन के लिए एक प्रयोग के चार मुख्य सामग्री को दिखाता है। साथ में, इन चार तत्व वैज्ञानिकों सहसंबंध से परे ले जाने और उपचार के कारण प्रभाव को मापने के लिए अनुमति देते हैं। विशेष रूप से, randomization मतलब यह है कि जब आप उपचार और नियंत्रण समूहों के लिए परिणामों की तुलना आप प्रतिभागियों की है कि सेट के लिए है कि हस्तक्षेप के कारण प्रभाव के एक अनुमान मिलता है। दूसरे शब्दों में, एक यादृच्छिक नियंत्रित प्रयोग के साथ आपको लगता है कि परिणामों में कोई मतभेद हस्तक्षेप और नहीं द्वारा एक confounder, एक का दावा है कि मैं संभावित परिणामों के ढांचे का उपयोग तकनीकी परिशिष्ट में सटीक बनाने के कारण कर रहे हैं हो सकता है।
प्रयोगों के यांत्रिकी का एक अच्छा उदाहरण होने के अलावा, Restivo और वैन डे Rijt के अध्ययन से यह भी पता चलता है कि डिजिटल प्रयोगों की रसद अनुरूप प्रयोगों से पूरी तरह से अलग हो सकता है। Restivo और वैन डे Rijt के प्रयोग में, यह दुनिया में किसी को barnstar देने के लिए आसान था और यह संपादन ओवर के परिणाम संख्या समय की एक विस्तारित अवधि (क्योंकि संपादित इतिहास स्वचालित रूप से विकिपीडिया द्वारा दर्ज की गई है) को ट्रैक करने के लिए आसान था। यह कोई भी कीमत पर उपचार देने और परिणामों को मापने की क्षमता गुणात्मक अतीत में प्रयोगों के विपरीत है। हालांकि इस प्रयोग के 200 लोगों को शामिल किया, यह हो सकता है 2,000 या 20,000 लोगों के साथ चलाया जा रहा है। 100 का एक पहलू से उनके प्रयोग को स्केलिंग भी खर्च नहीं किया गया था से शोधकर्ताओं को रोकने मुख्य बात यह नैतिकता था। यही है, Restivo और वैन डे Rijt अयोग्य संपादकों को barnstars देने के लिए नहीं करना चाहता था और वे अपने प्रयोग विकिपीडिया समुदाय को बाधित नहीं करना चाहता था (Restivo and Rijt 2012; Restivo and Rijt 2014) । तो, हालांकि Restivo और वैन डे Rijt का प्रयोग अपेक्षाकृत सरल है, यह स्पष्ट रूप से पता चलता है कि प्रयोगों के बारे में कुछ बातें ही रह गए हैं और कुछ बदल गया है। विशेष रूप से, प्रयोग के बुनियादी तर्क ही है, लेकिन रसद बदल दिया है। इसके बाद, क्रम में अधिक स्पष्ट रूप से इस बदलाव के द्वारा बनाई गई अवसरों के अलग करने के लिए, मैं प्रयोगों है कि शोधकर्ताओं ने प्रयोगों के प्रकार है कि अतीत में किया गया है करने के लिए अब क्या कर सकते हैं की तुलना करेंगे।