4.4.1 वैधता

वैधता एक प्रयोग परिणाम एक अधिक सामान्य निष्कर्ष किती समर्थन संदर्भित.

कोणताही प्रयोग परिपूर्ण नाही, आणि संशोधकांनी संभाव्य समस्या वर्णन करण्यासाठी एक व्यापक शब्दसंग्रह विकसित केला आहे. वैधता म्हणजे एका विशिष्ट प्रयोगाचे परिणाम कित्येक सामान्य निष्कर्षांचे समर्थन करतात. सामाजिक शास्त्रज्ञांनी वैधता चार मुख्य प्रकारांमध्ये विभाजित केली आहे: संख्याशास्त्रीय निष्कर्ष वैधता, अंतर्गत वैधता, वैधता निर्माण करणे आणि बाह्य वैधता (Shadish, Cook, and Campbell 2001, chap. 2) . या संकल्पनांचे मास्टरींग केल्याने तुम्हाला प्रयोगाचे डिझाइन आणि विश्लेषण समृद्ध करण्यासाठी आणि सुधारण्यासाठी एक मानसिक चेकलिस्ट प्रदान करेल आणि हे इतर संशोधकांशी संवाद साधण्यात मदत करेल.

प्रयोगशाळेचे सांख्यिकीय विश्लेषण योग्यरित्या केले आहे किंवा नाही याविषयी सांख्यिकी निष्कर्ष वैधता केंद्रे आहेत. Schultz et al. (2007) च्या संदर्भात Schultz et al. (2007) , असा एखादा प्रश्न कदाचित त्यांच्याकडे \(p\) -मूल्यांची योग्यरीतीने गणना करत असावा. प्रयोगशाळेतील सिद्धांतांची रचना आणि विश्लेषण करण्याची आवश्यकता आहे या पुस्तकाच्या व्याप्ति बाहेर आहेत, परंतु त्यांनी डिजिटल युगात मूलभूत बदल केला नाही. काय बदलले आहे, तथापि, डिजिटल प्रयोगांमधील डेटा पर्यावरणाने नवीन उपचारांना तयार केले आहे जसे की उपचारांच्या प्रभावांच्या विविधतेचा अंदाज घेण्यासाठी मशीन शिकण्याची पद्धती वापरणे (Imai and Ratkovic 2013) .

प्रायोगिक प्रक्रियांची योग्यरितीने कार्यप्रदर्शन झाली आहे किंवा नाही याबद्दल अंतर्गत वैधता केंद्रे Schultz et al. (2007) च्या Schultz et al. (2007) परतणे Schultz et al. (2007) , अंतर्गत वैधतेबद्दल प्रश्न रँडमाइजेशन, उपचार डिलिव्हरी, आणि मापन परिमेयभोवती केंद्रित होऊ शकतात. उदाहरणार्थ, आपल्याला काळजी वाटू शकते की संशोधन सहाय्यकांनी मीटरचा विश्वसनीय वापर वाचला नाही खरं तर, शूल्त्झ आणि त्यांच्या सहकर्म्यांना या समस्येबद्दल चिंता होती, आणि त्यांच्यामध्ये दोन वेळा नमुन्यांची संख्या होती; सुदैवाने, परिणाम मूलत: एकसारखे होते. सर्वसाधारणपणे, शल्ट्झ आणि सहकर्मींच्या प्रयोगांमध्ये उच्च आंतरिक वैधता दिसून येत आहे परंतु हे असे नेहमीच नसते: जटिल क्षेत्र आणि ऑनलाइन प्रयोग बहुतेकदा योग्य लोकांसाठी योग्य उपचार प्रदान करीत असतात आणि प्रत्येकासाठी परिणाम मोजतात. सुदैवाने, डिजिटल वय अंतर्गत वैधतेबद्दल चिंता कमी करण्यास मदत करू शकते कारण हे सुनिश्चित करणे अधिक सोपे आहे की जे उपचार प्राप्त केले पाहिजेत आणि सर्व सहभागींच्या परिणामांचे मोजमाप करतील.

डेटा आणि सैद्धांतिक constructs दरम्यान सामन्यात सुमारे वैधता केंद्रे तयार. अध्याय 2 मध्ये चर्चा केल्याप्रमाणे, रचना हे अमूर्त संकल्पना आहेत ज्या सामाजिक शास्त्रज्ञांच्या कारणास्तव आहेत. दुर्दैवाने, या अमूर्त संकल्पनांमध्ये नेहमी स्पष्ट परिभाषा आणि मोजमाप नसतात. Schultz et al. (2007) परत येणे Schultz et al. (2007) , सामाजिक हक्क रोखण्यासाठी दावा करणारे वीजेच्या वापरास कमी करू शकतात असा दावा संशोधकांना "इंजेक्टीव्ह सामाजिक मानदंड" (उदा. इमोटिकॉन) चा उपयोग करण्यासाठी आणि "वीज वापर" मापन करण्याच्या हेतूंसाठी डिझाइन करण्याची आवश्यकता आहे. अॅनालॉग प्रयोगांमध्ये, अनेक संशोधकांनी स्वतःचे उपचार डिझाइन केले आणि स्वतःचे परिणाम मोजले. हा दृष्टिकोन खात्री करतो की, जितके शक्य असेल तितके जास्त, प्रयोगांचा अभ्यास अमूततत्त्वाच्या रचनाशी जुळतात. डिजिटल प्रयोगांमध्ये संशोधक कंपन्या किंवा सरकारांसोबत उपचार देण्यासाठी आणि डेटाचा वापर करण्यासाठी नेहमीच्या डेटा सिस्टमचा वापर करतात, प्रयोग आणि सैद्धांतिक कंत्राट यांच्यामधील जुळणी कमी कडक असू शकते. याप्रमाणे, मी अशी अपेक्षा करतो की अनुरूपतेच्या प्रयोगांपेक्षा डिजिटल प्रॉफीमध्ये वैद्यता तयार करणे ही मोठी चिंता असेल.

अखेरीस, बाह्य वैधता या अभ्यासाचे परिणाम इतर घटनांमध्ये सामान्यीकृत केल्या जाऊ शकतात. Schultz et al. (2007) परत येणे Schultz et al. (2007) , हे विचारू शकेल की लोकांना त्यांच्या समस्यांशी संबंधीत त्यांच्या ऊर्जेचा उपयोग आणि अंमलबजावणी नियमांचे सिग्नल (उदा. एखादा इमोटिकॉन) याबद्दल लोकांना माहिती असेल तर ते वेगळ्या प्रकारे केले जाईल भिन्न सेटिंगमध्ये बर्याच सु-रचनात्मक आणि उत्तम-चालविण्यांसाठी, बाह्य वैधतांबद्दल चिंता संबोधित करणे कठीण आहे. भूतकाळामध्ये, बाह्य वैधतेबद्दल ही वादविवाद नेहमी वारंवार त्यात असलेल्या गोष्टींच्या कल्पना करण्याच्या प्रयत्नात असलेल्या एखाद्या खोलीत बसलेल्या लोकांच्या एका गटापासून काहीच करत नाही जर कार्यपद्धती वेगळ्या प्रकारे किंवा वेगळ्या ठिकाणी किंवा भिन्न सहभागींसोबत केली गेली असतील तर . सुदैवाने, डिजिटल वय संशोधकांना डेटा-मुक्त अंदाजांपेक्षा पलीकडे जाण्यास सक्षम करते आणि empirically बाह्य वैधतेचे मूल्यांकन करतात.

Schultz et al. (2007) पासून परिणाम कारण Schultz et al. (2007) इतके उत्साही होते, की ऑपरेटर नावाची कंपनी युनायटेड स्टेट्समधील युटिलिटीसह अधिक व्यापकपणे उपचारासाठी उपयोजन करून भागीदारी केली. Schultz et al. (2007) च्या डिझाईनवर आधारित Schultz et al. (2007) , ऑपरेटरने स्विकारित मुख्यपृष्ठ ऊर्जा अहवालाची रचना केली ज्यामध्ये दोन मुख्य मॉड्यूल्स होत्या: ज्यामध्ये आपल्या शेजारील कुटुंबातील विजेचा वापर इमोटिकॉनशी संबंधित आहे आणि एक ऊर्जा वापर कमी करण्यासाठी टिपा प्रदान करीत आहे (आकृती 4.6). नंतर, संशोधकांबरोबर भागीदारीमध्ये, विपुल घरगुती ऊर्जा अहवालांचा प्रभाव पडताळण्यासाठी यादृच्छिक नियंत्रित प्रयोगांनी पटकावला. जरी या प्रयोगांमधील उपचारांचा प्रत्यक्षरित्या जुन्या-पद्धतींचा गोगलगाय मेलद्वारे शारीरिकरित्या वितरित केला जात असला तरी-परिणाम भौतिक विश्वात डिजिटल उपकरणांद्वारे मोजले (उदा., पावर मीटर). पुढे, प्रत्येक घरात जाताना संशोधन सहाय्यकांसोबत व्यक्तिचलितपणे ही माहिती गोळा करण्यापेक्षा, ओपरर प्रयोग सर्व वीज कंपन्यांबरोबर सादरीकरणाने केले गेले ज्यायोगे संशोधकांना ऊर्जा रीडिंग्स ऍक्सेस करण्यास सक्षम केले. अशा प्रकारे, कमी वेरियेबल खर्चात हे अंशतः डिजिटल फील्ड प्रयोग मोठ्या प्रमाणावर चालवले गेले.

आकृती 4.6: होम एनर्जी रिपोर्टमध्ये सामाजिक तुलना मॉड्यूल आणि कृती पायरी मॉड्यूल होते. Allcott (2011) परवानगीने पुनरुत्पादित, अंक 1 आणि 2.

10 वेगवेगळ्या संकेतस्थळांमधून 600,000 घरांना Allcott (2011) प्रयोगांच्या पहिल्या Allcott (2011) आढळले की होम एनर्जी रिपोर्टमध्ये विजेचा खर्च कमी होतो. दुसऱ्या शब्दांत, खूप मोठ्या, अधिक भौगोलिकदृष्ट्या भिन्न अभ्यास परिणाम Schultz et al. (2007) पासून परिणाम गुणात्मक समान होते Schultz et al. (2007) . पुढे, 101 वेगवेगळ्या संकेतस्थळांमधून आठ दशलक्षांपेक्षा अधिक कुटुंबांना समाविष्ट असलेल्या Allcott (2015) पुन्हा असे आढळले की गृह ऊर्जा अहवालामध्ये सातत्याने वीज खपत Allcott (2015) . या मोठ्या प्रमाणावरील प्रयोगांनी एक नवीन नमुना देखील प्रकट केला आहे जो कोणत्याही एका प्रयोगामध्ये दिसणार नाही: नंतरच्या प्रयोगांमधील प्रभावाचा आकार घटला (आकृती 4.7). Allcott (2015) अनुमान काढले आहे की या घटनेमुळे घडले कारण कालांतराने हे उपचार वेगवेगळ्या प्रकारचे सहभागींना लागू केले जात होते. अधिक विशेषतया, अधिक पर्यावरणास केंद्रित असलेल्या ग्राहकांबरोबर उपयोगिते पूर्वी कार्यक्रम स्वीकारण्याची अधिक शक्यता होती, आणि त्यांचे ग्राहक उपचारास अधिक प्रतिसाद देणारे होते. कमी पर्यावरणास केंद्रित ग्राहकांनी उपयोगित केलेल्या प्रयत्नांनी त्याचा स्वीकार केला, त्याचा परिणाम कमी होऊ लागला. म्हणून ज्याप्रमाणे प्रयोगात रँडमायझेशन हे सुनिश्चित करते की उपचार आणि नियंत्रण गट समान आहेत, संशोधन साइटवरील रँडमायझेशन हे सुनिश्चित करते की एका सहभागी समूहाचा एक समूह अधिक सामान्य लोकसंख्या (नमुना बद्दल अध्याय 3 वर परत विचार करणे) मध्ये सामान्यीकृत केले जाऊ शकते. संशोधन साइटना यादृच्छिकपणे नमूना दिलेली नसल्यास सामान्यतः - अगदी एखाद्या प्रकारे डिझाइन केलेले आणि आयोजित केलेल्या प्रयोगापेक्षा - सामान्यीकरण - समस्याप्रधान असू शकते.

आकृती 4.7: वीज वापरावरील होम एनर्जी रिपोर्टच्या प्रभावाची चाचणी घेत 111 प्रयोगांचे निकाल. ज्या ठिकाणी कार्यक्रम नंतर स्वीकारण्यात आला त्या ठिकाणी त्यातील लहान प्रभाव पडले. Allcott (2015) असा युक्तिवाद करतो की या नमुन्याचे एक प्रमुख स्त्रोत हे आहे की पर्यावरणविषयक केंद्रित ग्राहक असलेल्या साइट पूर्वी यापूर्वीच प्रोग्राम स्वीकारण्याची शक्यता अधिक होती. Allcott (2015) , आकृती 3 मधील Allcott (2015)

एकत्रितपणे, या 111 प्रयोग - Allcott (2011) मध्ये 10 आणि Allcott (2011) 101 Allcott (2015) -सर्व संयुक्त राज्य अमेरिकामधून 85 दशलक्षांपर्यंत घरे घेण्यात आली. ते नेहमीच असे दर्शविते की होम ऊर्जा अहवालात सरासरी विजेचा वापर कमी होतो, परिणामी कॅलिफोर्नियातील 300 घरांत शूल्त्झ आणि त्यांचे सहकाऱ्यांच्या मूळ निष्कर्षांचे समर्थन केले जाते. हे मूळ परिणामांचे प्रतिकृतीकरण न करता, फॉलो-अप प्रयोग देखील दर्शवितो की प्रभावाचा आकार स्थानानुसार बदलतो. अंशतः डिजिटल फील्ड प्रयोगांबद्दलच्या या आणखी दोन सामान्य बिंदूंचे प्रयोग या प्रयोगांवरून स्पष्ट होते. प्रथम, संशोधक सक्षमपणे बाह्य वैधतेबद्दल चिंता व्यक्त करतील जेव्हा प्रयोग चालूच राहण्याची किंमत कमी असेल आणि परिणाम आधीपासूनच नेहमीच्या डेटा सिस्टमद्वारे मोजला जात असल्यास हे होऊ शकते. म्हणूनच, असे सूचित करते की संशोधकांनी आधीपासूनच नोंदवलेल्या इतर मनोरंजक आणि महत्त्वपूर्ण आचरणांच्या शोधात असणे आवश्यक आहे आणि नंतर या मोजमापच्या पायाभूत सुविधांवरील प्रयोगांची रचना करावी. दुसरे म्हणजे, प्रयोगांचे हे सेट्स आम्हाला आठवण करून देतात की डिजिटल फील्ड प्रयोग केवळ ऑनलाइन नाहीत; वाढत्या, मी बांधले वातावरणात सेंसर द्वारे मोजली अनेक परिणाम सह सर्वत्र असतील की अपेक्षा.

चार प्रकारच्या वैधता-सांख्यिकीय निष्कर्ष वैधता, अंतर्गत वैधता, वैधता तयार करणे, आणि बाह्य वैधता - संशोधकांना विशिष्ट प्रयोगांमधील परिणाम अधिक सामान्य निष्कर्ष लावण्यास मदत करण्यासाठी मानसिक तपासणी सूची प्रदान करते. डिजिटल-युग प्रयोगांमध्ये एनालॉग-युग प्रयोगांच्या तुलनेत, बाह्य वैधता समजावून घेणे सोपे असले पाहिजे आणि अंतर्गत वैधता सुनिश्चित करणे देखील सोपे जावे. दुसरीकडे, डिजिटल वयातील प्रयोगांमध्ये बांधकाम वैधतेचे प्रश्न कदाचित जास्त आव्हानात्मक असतील, विशेषत: डिजिटल फील्ड प्रयोग ज्यामध्ये कंपन्यांसोबत भागीदारी करणे समाविष्ट आहे.