4.4.1 वैधता

वैधता कितना एक प्रयोग के परिणाम एक अधिक सामान्य निष्कर्ष का समर्थन करने के लिए संदर्भित करता है।

कोई प्रयोग एकदम सही है, और शोधकर्ताओं संभव समस्याओं का वर्णन करने के लिए एक व्यापक शब्दावली का विकास किया है। वैधता हद तक एक विशेष प्रयोग के परिणाम कुछ और सामान्य निष्कर्ष का समर्थन करने के लिए जो करने के लिए संदर्भित करता है। सामाजिक वैज्ञानिकों यह चार मुख्य प्रकार में विभाजित करने के लिए वैधता मददगार मिल गया है: सांख्यिकीय निष्कर्ष वैधता, आंतरिक वैधता, वैधता का निर्माण, और बाहरी वैधता (Shadish, Cook, and Campbell 2001, Ch 2) । इन अवधारणाओं माहिर आप critiquing और डिजाइन और एक प्रयोग के विश्लेषण के सुधार के लिए एक मानसिक सूची प्रदान करेगा, और यह आप अन्य शोधकर्ताओं के साथ संवाद करने में मदद करेगा।

सांख्यिकीय निष्कर्ष वैधता के आसपास प्रयोग के सांख्यिकीय विश्लेषण सही ढंग से किया गया था कि क्या केंद्रित है। के संदर्भ में Schultz et al. (2007) में इस तरह के सवाल यह है कि वे अपने पी मूल्यों को सही ढंग से अभिकलन पर केंद्र हो सकता है। सांख्यिकीय विश्लेषण इस पुस्तक के दायरे से बाहर है, लेकिन मैं कह सकता हूँ कि सांख्यिकीय सिद्धांतों डिजाइन और प्रयोगों का विश्लेषण करने की जरूरत डिजिटल युग में नहीं बदला है। हालांकि, डिजिटल प्रयोगों में विभिन्न डेटा पर्यावरण नए सांख्यिकीय अवसर पैदा करता है (जैसे, मशीन सीखने के तरीकों का उपयोग कर उपचार प्रभाव का अनुमान लगाने के लिए विविधता (Imai and Ratkovic 2013) ) और नई चुनौतियों कम्प्यूटेशनल (जैसे, बड़े पैमाने पर प्रयोगों में अवरुद्ध (Higgins, Sävje, and Sekhon 2016) )।

आंतरिक वैधता के आसपास प्रयोगात्मक प्रक्रियाओं को सही ढंग से प्रदर्शन किया गया है कि क्या केंद्रित है। का प्रयोग करने के लिए रिटर्निंग Schultz et al. (2007) , आंतरिक वैधता के बारे में सवाल, परिणामों के इलाज के वितरण, और माप randomization के आसपास केंद्र सकता है। उदाहरण के लिए, यदि आप चिंतित हैं कि अनुसंधान सहायक के बिजली के मीटर मज़बूती से नहीं पढ़ा जा सकता है। वास्तव में, शुल्ज़ और उनके सहयोगियों ने इस समस्या के बारे में चिंतित थे और वे दो बार पढ़ा मीटर का एक नमूना था; सौभाग्य से, परिणाम अनिवार्य रूप से समान थे। सामान्य तौर पर, शुल्ज़ और 'सहयोगियों प्रयोग उच्च आंतरिक वैधता हो गया लगता है, लेकिन यह हमेशा मामला नहीं है; जटिल क्षेत्र और ऑनलाइन प्रयोगों अक्सर वास्तव में सही लोगों को सही इलाज करने वाले और हर किसी के लिए परिणामों को मापने समस्याओं में चलाते हैं। सौभाग्य से, डिजिटल युग आंतरिक वैधता के बारे में चिंताओं को कम करने में मदद कर सकते हैं क्योंकि यह आसान सुनिश्चित करने के लिए कि इलाज के रूप में जो लोग इसे प्राप्त करने के लिए और सभी प्रतिभागियों के लिए परिणामों को मापने के लिए चाहिए रहे हैं के लिए डिज़ाइन दिया जाता है बनाता है।

डेटा और सैद्धांतिक निर्माणों के बीच मैच के आसपास वैधता केन्द्रों का निर्माण। जैसा कि अध्याय 2 में चर्चा की, निर्माणों अमूर्त अवधारणाओं कि सामाजिक वैज्ञानिकों के बारे में कारण हैं। दुर्भाग्य से, इन अमूर्त अवधारणाओं हमेशा स्पष्ट परिभाषा और माप की जरूरत नहीं है। रिटर्निंग करने के लिए Schultz et al. (2007) , का दावा है कि सामाजिक मानदंडों बिजली का उपयोग कम कर सकते हैं निषेधाज्ञा एक इलाज है कि हेरफेर होगा "निषेधाज्ञा सामाजिक मानदंडों" (जैसे, एक इमोटिकॉन) और "बिजली का उपयोग" को मापने के लिए डिजाइन करने के लिए शोधकर्ताओं की आवश्यकता है। एनालॉग प्रयोगों में, कई शोधकर्ताओं ने अपने स्वयं के उपचार के लिए बनाया गया है और अपने स्वयं के परिणामों को मापा। यह दृष्टिकोण है कि, जितना संभव हो सके, प्रयोगों से मेल सार निर्माणों अध्ययन किया जा रहा है। डिजिटल प्रयोगों जहां कंपनियों या सरकारों के साथ शोधकर्ताओं साथी उपचार देने और परिणामों को मापने के लिए हमेशा पर उपयोग करने के डेटा सिस्टम के लिए, प्रयोग और सैद्धांतिक निर्माणों के बीच मैच कम तंग हो सकता है। इस प्रकार, मुझे उम्मीद है कि निर्माण वैधता अनुरूप प्रयोगों से डिजिटल प्रयोगों में एक बड़ी चिंता का विषय हो जाते हैं जाएगा।

अंत में, बाहरी वैधता के आसपास इस प्रयोग के परिणाम अन्य स्थितियों के सामान्यीकरण होगा कि क्या केंद्रित है। रिटर्निंग करने के लिए Schultz et al. (2007) , एक, पूछ सकते हैं करेंगे उनके साथियों के संबंध में अपनी ऊर्जा के उपयोग और निषेधाज्ञा मानदंडों (जैसे, एक इमोटिकॉन) -reduce ऊर्जा के उपयोग में अगर यह एक अलग तरीके से किया गया था की एक संकेत के बारे में यह एक ही विचार-प्रदान करने के लिए लोगों को जानकारी एक अलग सेटिंग? सबसे अच्छी तरह से डिजाइन और अच्छी तरह से चलाने के प्रयोगों के लिए, बाहरी वैधता के बारे में चिंताओं का समाधान करने के लिए बहुत मुश्किल हैं। अतीत में, बाहरी वैधता के बारे में इन बहसों में अक्सर सिर्फ एक कमरे में बैठे कल्पना करने के लिए अगर प्रक्रियाओं एक अलग तरीके से किया गया था, या एक अलग जगह में, या अलग अलग लोगों के साथ क्या हुआ होगा कोशिश कर रहे लोगों का एक गुच्छा रहे थे। सौभाग्य से, डिजिटल युग इन आंकड़ों से मुक्त अटकलों से परे ले जाने और अनुभव से बाहरी वैधता का आकलन करने के लिए शोधकर्ताओं सक्षम बनाता है।

से परिणाम क्योंकि Schultz et al. (2007) बहुत रोमांचक थे, Opower नामक एक कंपनी और अधिक व्यापक रूप से उपचार तैनात करने के लिए संयुक्त राज्य अमेरिका में उपयोगिताओं के साथ भागीदारी की। के डिजाइन पर आधारित Schultz et al. (2007) , Opower अनुकूलित बनाया होम ऊर्जा रिपोर्ट है कि दो मुख्य मॉड्यूल, एक दिखा एक इमोटिकॉन के साथ अपने पड़ोसियों के लिए एक घर के बिजली के उपयोग रिश्तेदार और एक ऊर्जा के उपयोग को कम करने के लिए सुझाव प्रदान किया था (चित्रा 4.6)। फिर, शोधकर्ताओं के साथ साझेदारी में, Opower नियंत्रित प्रयोगों बेतरतीब भागा होम ऊर्जा रिपोर्ट के प्रभाव का आकलन करने के लिए। हालांकि इन प्रयोगों में उपचार आमतौर पर पुराने जमाने घोंघा के माध्यम से शारीरिक रूप से आम तौर पर वितरित किए गए मेल-परिणाम भौतिक दुनिया में डिजिटल उपकरणों (जैसे, बिजली मीटर) का उपयोग मापा गया था। बल्कि स्वयं प्रत्येक घर पर जाकर शोध सहायकों के साथ इस जानकारी एकत्रित की तुलना में, Opower प्रयोगों सभी बिजली रीडिंग का उपयोग करने में सक्षम करने के लिए शोधकर्ताओं ने बिजली कंपनियों के साथ साझेदारी में किया गया। इस प्रकार, इन आंशिक रूप से डिजिटल क्षेत्र प्रयोगों कम परिवर्तनीय लागत पर एक भारी पैमाने पर चलाए जा रहे थे।

चित्रा 4.6: में होम ऊर्जा रिपोर्ट Allcott (2011) एक सामाजिक तुलना मॉड्यूल और एक कार्रवाई के लिए कदम मॉड्यूल था।

600000 घरों के आसपास यूनाइटेड स्टेट्स 10 उपयोगिता कंपनियों द्वारा सेवा कर से जुड़े प्रयोगों की एक पहले सेट में, Allcott (2011) पाया होम ऊर्जा की रिपोर्ट 1.7% से बिजली की खपत को कम कर दिया। दूसरे शब्दों में, बहुत बड़ा है, और अधिक भौगोलिक दृष्टि से विभिन्न अध्ययन के परिणामों से गुणात्मक रूप से परिणामों के समान थे Schultz et al. (2007) । लेकिन, प्रभाव आकार छोटा था: में Schultz et al. (2007) वर्णनात्मक और injective मानदंडों हालत (इमोटिकॉन के साथ एक) में घरों 5% द्वारा अपने बिजली के उपयोग कम हो। इस अंतर के लिए सटीक कारण अज्ञात है, लेकिन Allcott (2011) ने अनुमान लगाया है कि एक विश्वविद्यालय द्वारा प्रायोजित एक अध्ययन के हिस्से के रूप में एक हस्तलिखित इमोटिकॉन प्राप्त करने के लिए एक से एक बड़े पैमाने पर उत्पादन की रिपोर्ट के हिस्से के रूप में एक मुद्रित इमोटिकॉन प्राप्त करने से व्यवहार पर एक बड़ा प्रभाव हो सकता है पॉवर कंपनी।

इसके अलावा, बाद में अनुसंधान में, Allcott (2015) एक अतिरिक्त 101 एक अतिरिक्त 8 लाख परिवारों से जुड़े प्रयोगों को सूचना दी। इन अगले 101 प्रयोगों में होम ऊर्जा की रिपोर्ट लोग अपने बिजली की खपत को कम करने के लिए प्रेरित करने के लिए जारी रखा, लेकिन प्रभाव भी छोटे थे। इस गिरावट के लिए सटीक कारण ज्ञात नहीं है, लेकिन Allcott (2015) ने अनुमान लगाया है कि इस रिपोर्ट के प्रभाव को समय के साथ घट रही हो सकता है क्योंकि यह वास्तव में प्रतिभागियों के विभिन्न प्रकार के लिए लागू किया जा रहा था दिखाई दिया। अधिक विशेष रूप से, और अधिक पर्यावरणविद् क्षेत्रों में उपयोगिताओं अधिक होने की संभावना थे कार्यक्रम पहले अपनाने के लिए और अपने ग्राहकों को उपचार के लिए उत्तरदायी थे। के रूप में कम पर्यावरणीय ग्राहकों के साथ उपयोगिताओं कार्यक्रम अपनाया, अपने प्रभाव को अस्वीकार करने के लिए दिखाई दिया। इस प्रकार, बस के रूप में प्रयोग में randomization सुनिश्चित करता है कि उपचार और नियंत्रण समूह के समान हैं, अनुसंधान साइटों में randomization सुनिश्चित करता है कि अनुमान प्रतिभागियों में से एक एक समूह से एक अधिक सामान्य आबादी के सामान्यीकरण नहीं किया जा सकता है (वापस नमूने के बारे में अध्याय 3 करने के लिए लगता है)। अनुसंधान साइटों बेतरतीब ढंग से जांचा नहीं कर रहे हैं, तो सामान्यीकरण भी से एक पूरी तरह से बनाया गया है और आयोजित प्रयोग कर सकते हैं-समस्याग्रस्त हो।

साथ में, इन 111 प्रयोगों-10 में Allcott (2011) और 101 में Allcott (2015) संयुक्त राज्य भर से लगभग 85 लाख परिवारों -involved। वे लगातार चलता है कि होम ऊर्जा रिपोर्टें औसत बिजली की खपत, एक परिणाम है कि कैलिफोर्निया में 300 घरों से शुल्ज़ के मूल निष्कर्षों और उनके सहयोगियों का समर्थन करता है कम। बस इन मूल परिणाम नकल से परे है, अनुवर्ती प्रयोगों यह भी पता चलता है कि प्रभाव के आकार के स्थान से भिन्न होता है। प्रयोगों का यह सेट भी आंशिक रूप से डिजिटल क्षेत्र प्रयोगों के बारे में दो और सामान्य अंक दिखाता है। सबसे पहले, शोधकर्ताओं बाहरी वैधता के बारे में पता करने के लिए जब चिंताओं अनुभव से प्रयोगों को चलाने की लागत कम है में सक्षम हो जाएगा, और यह हो सकता है यदि परिणाम पहले से ही एक डेटा सदा ऑन सिस्टम द्वारा मापा जा रहा है। इसलिए, यह पता चलता है कि अनुसंधान के अन्य रोचक और महत्वपूर्ण व्यवहार है कि पहले से ही दर्ज किया जा रहा है के लिए देखो बाहर पर होना चाहिए, और फिर इस मौजूदा मापने के बुनियादी ढांचे के शीर्ष पर प्रयोगों के डिजाइन। दूसरा, प्रयोगों के इस सेट हमें याद दिलाता है कि डिजिटल क्षेत्र प्रयोगों सिर्फ ऑनलाइन नहीं कर रहे हैं; तेजी से मुझे उम्मीद है कि वे निर्माण पर्यावरण में सेंसर द्वारा मापा कई परिणामों के साथ हर जगह हो जाएगा।

वैधता-सांख्यिकीय निष्कर्ष वैधता, आंतरिक वैधता के चार प्रकार, वैधता का निर्माण, बाहरी वैधता-प्रदान करने में मदद करने के लिए शोधकर्ताओं का आकलन एक विशेष प्रयोग से परिणाम एक अधिक सामान्य निष्कर्ष का समर्थन है कि क्या एक मानसिक सूची। एनालॉग उम्र प्रयोगों की तुलना में, डिजिटल युग प्रयोगों में यह अनुभव से बाहरी वैधता को संबोधित करने के लिए आसान होना चाहिए और यह आंतरिक वैधता सुनिश्चित करने के लिए आसान होना चाहिए। दूसरी ओर, निर्माण वैधता के मुद्दों शायद डिजिटल युग प्रयोगों में अधिक चुनौतीपूर्ण हो सकता है (हालांकि उस Opower प्रयोगों के मामले में ऐसा नहीं था)।