4.4.1 वैधता

वैधता एक प्रयोग परिणाम एक अधिक सामान्य निष्कर्ष किती समर्थन संदर्भित.

नाही प्रयोग योग्य आहे, आणि संशोधक शक्य समस्या वर्णन करण्यासाठी एक व्यापक शब्दसंग्रह विकसित केली आहे. वैधता एक विशिष्ट प्रयोग परिणाम काही अधिक सामान्य निष्कर्ष समर्थन जे प्रमाणात संदर्भित. सामाजिक शास्त्रज्ञ तो उपयुक्त चार मुख्य प्रकार वैधता विभाजन आढळले नाही, संख्याशास्त्रीय निष्कर्ष वैधता अंतर्गत वैधता वैधता बांधकाम, आणि बाह्य वैधता (Shadish, Cook, and Campbell 2001, Ch 2) . या संकल्पना प्रभुत्व आपण critiquing आणि एक प्रयोग रचना आणि विश्लेषण सुधारित करण्यासाठी मानसिक चेकलिस्ट प्रदान करेल, आणि तो आपण इतर संशोधक संप्रेषण करण्यास मदत करेल.

सांख्यिकी निष्कर्ष वैधता सुमारे प्रयोग संख्याशास्त्रीय विश्लेषण योग्यरित्या पूर्ण होते की नाही केंद्रे. संदर्भात Schultz et al. (2007) अशा प्रश्न त्यांना त्यांच्या पी मूल्ये योग्य गणना की नाही हे केंद्र शकते. संख्याशास्त्रीय विश्लेषण या पुस्तकात पलिकडे आहे, पण मी डिझाइन आणि प्रयोग विश्लेषण आवश्यक संख्याशास्त्रीय तत्त्वे डिजिटल युगात बदलली नाहीत की म्हणू शकता. तथापि, डिजिटल प्रयोग विविध डेटा वातावरण नवीन संख्याशास्त्रीय संधी निर्माण नाही (उदा, उपचार प्रभाव धक्का बसला असून रहिवासातील अंदाज मशीन शिक्षण पद्धती वापरून (Imai and Ratkovic 2013) ) आणि नवीन संगणकीय आव्हाने (उदा, भव्य प्रयोग इन अवरोधित करणे व्यवस्थापित (Higgins, Sävje, and Sekhon 2016) ).

अंतर्गत वैधता प्रायोगिक पद्धती योग्य करण्यात आले की नाही हे सुमारे केंद्रे. प्रयोग परत Schultz et al. (2007) , अंतर्गत वैधता प्रश्न यादृच्छिक सुमारे मध्यभागी शकते, परिणाम उपचार वितरण आणि मापन. उदाहरणार्थ, आपण संशोधन सहाय्यक विश्वसनीयरित्या विद्युत मीटर वाचलेले नाही संबंधित असू शकते. खरं तर, शूल्त्झ आणि आप्तेष्टांना या समस्या बद्दल भिती वाटत होते आणि ते दोनदा वाचा मीटर नमुना होते; सुदैवाने, परिणाम मूलत: समान होते. साधारणतया, शूल्त्झ आणि सहकारी 'प्रयोग उच्च अंतर्गत वैधता दिसते, पण नेहमीच नाही; जटिल क्षेत्र आणि ऑनलाइन प्रयोग अनेकदा समस्या प्रत्यक्षात योग्य लोकांना योग्य उपचार वितरण आणि प्रत्येकासाठी परिणाम मोजण्यासाठी येवू. सुदैवाने, डिजिटल वय तो सोपे प्राप्त करण्यासाठी आणि सर्व सहभागी परिणाम मोजण्यासाठी पाहिजे ज्यांनी डिझाइन उपचार दिले जाते, याची खात्री करण्यासाठी करते कारण अंतर्गत वैधता बद्दल चिंता कमी करण्यास मदत करू शकता.

डेटा आणि सैद्धांतिक बांधकाम यांच्यात सामना सुमारे वैधता केंद्र. Chapter 2 मध्ये आपण चर्चा केली, बांधकाम सामाजिक शास्त्रज्ञ कारण गोषवारा संकल्पना आहेत. दुर्दैवाने, हे सार संकल्पना नेहमी स्पष्ट व्याख्या मोजमाप नाही. परत Schultz et al. (2007) , सामाजिक रुढी विजेचा वापर कमी करू शकता हुकमी की हक्क "हुकमी सामाजिक रुढी" (उदा, एक भावनादर्शक) हाताळू, असे आणि मोजण्यासाठी "विजेचा वापर" एक उपचार डिझाइन संशोधक आवश्यक आहे. analog प्रयोग मध्ये, अनेक संशोधक त्यांच्या स्वत: च्या उपचार रचना आणि त्यांच्या स्वत: च्या परिणाम मोजमाप घेतले. हा दृष्टिकोन, हे शक्य आहे की तितकी, प्रयोग अभ्यास जात गोषवारा बांधकाम जुळत मिळण्याची हमी. जेथे कंपन्या सरकार किंवा संशोधक भागीदार उपचार वितरीत आणि परिणाम मोजण्यासाठी-नेहमी वापर डेटा प्रणाली डिजिटल प्रयोग मध्ये, प्रयोग आणि सैद्धांतिक बांधकाम यांच्यात सामना कमी घट्ट असू शकते. अशा प्रकारे, मी बांधकाम वैधता analog प्रयोग पेक्षा डिजिटल प्रयोग एक मोठा चिंता कल होईल, अशी अपेक्षा.

शेवटी, बाह्य वैधता या प्रयोगाचे परिणाम इतर घटनांमध्ये सामान्य विधान करणे की नाही हे सुमारे केंद्रे. परत Schultz et al. (2007) , एक, विचारू शकतो होईल त्यांच्या तोलामोलाचा संबंध त्यांच्या ऊर्जा वापर आणि हुकमी नियम (उदा, एक भावनादर्शक) -reduce ऊर्जा वापर त्यात वेगळ्या प्रकारे केले तर एक सिग्नल या समान कल्पना-प्रदान लोक माहिती वेगळी संयोजना? सर्वात चांगले-रचना आणि तसेच चालवा प्रयोग, बाह्य वैधता बद्दल चिंता संबोधित कठीणही आहे. पूर्वी, बाह्य वैधता या वादविवाद वारंवार लोक पद्धती भिन्न ठिकाणी, किंवा वेगवेगळ्या लोकांबरोबर वेगळ्या प्रकारे केले होते तर, किंवा झाले असते काय कल्पना करणे प्रयत्न खोलीत बसून फक्त एक घड होते. सुदैवाने, डिजिटल वय या डेटा मुक्त अंदाज हलण्यास आणि empirically बाह्य वैधता मूल्यांकन करण्यासाठी संशोधक सक्षम करते.

कारण परिणाम Schultz et al. (2007) म्हणून रोमांचक होते Opower नावाचा एक कंपनी अधिक प्रमाणात उपचार उपयोजित युनायटेड स्टेट्स मध्ये उपयुक्तता भागीदारी केली. रचना आधारित Schultz et al. (2007) , Opower सानुकूलित तयार होते की दोन प्रमुख भाग, एक इमिटिकॉन त्याच्या शेजारी घरगुती वीज वापर नातेवाईक दर्शवणे आणि एक ऊर्जा वापर कमी टिपा प्रदान मुख्यपृष्ठ ऊर्जा अहवाल (आकृती 4.6). मग, संशोधक भागीदारी, Opower नियंत्रित प्रयोग मुख्यपृष्ठ ऊर्जा अहवाल परिणाम मुल्यांकन करण्याची यादृच्छिकीकृत आलं. या प्रयोगांमुळे मध्ये उपचार विशेषत: जुन्या पद्धतीचा गोगलगाय माध्यमातून शारीरिक-सहसा दिले आली, तरी मेल परिणाम भौतिक जगात डिजिटल उपकरण (उदा, वीज मीटर) वापरून मोजली होती. उलट स्वतः प्रत्येक घराच्या भेट संशोधन सहाय्यकांना ही माहिती गोळा पेक्षा, Opower प्रयोग सर्व वीज कंपन्या संशोधक शक्ती वाचन प्रवेश घेण्यासाठी आपल्याला सक्षम करणे भागीदारी केली. त्यामुळे, या अंशतः डिजिटल क्षेत्रात प्रयोग कमी चल खर्च एक मोठ्या प्रमाणावर चालविण्यात येत होते.

आकृती 4.6: मुख्यपृष्ठ ऊर्जा अहवाल Allcott (2011) एक सामाजिक तुलना मॉड्यूल आणि कृती पायऱ्या विभाग होते.

युनायटेड स्टेट्स सुमारे 10 उपयुक्तता कंपन्या सेवा 600,000 कुटुंबे समावेश या प्रयोगाची पहिल्या सेटमध्ये, Allcott (2011) मुख्यपृष्ठ ऊर्जा अहवाल 1.7% वीज वापर खालावली आढळले. दुसऱ्या शब्दांत, किती मोठ्या, अधिक भौगोलिकदृष्ट्या विविध अभ्यास परिणाम पासून निकाल गुणवत्ता समान Schultz et al. (2007) . पण, परिणाम आकार कमी होता मध्ये Schultz et al. (2007) वर्णनात्मक आणि injective नियम अट (emoticon एक) घरांमध्ये 5% त्यांच्या वीज वापर कमी केला. हा फरक करीता योग्य कारण अज्ञात आहे, पण Allcott (2011) एक विद्यापीठ यांनी प्रायोजित अभ्यास भाग म्हणून एक हस्तलिखीत इमिटिकॉन प्राप्त पासून एक वस्तुमान उत्पादन अहवाल एक भाग म्हणून एक छापील इमिटिकॉन प्राप्त पेक्षा वर्तन मोठ्या परिणाम आहे, यासाठी की speculated शक्ती कंपनी.

पुढे, त्यानंतरच्या संशोधन, Allcott (2015) अतिरिक्त 8 कोटी कुटुंबे समावेश अतिरिक्त 101 प्रयोग अहवाल. या पुढील 101 प्रयोग मुख्यपृष्ठ ऊर्जा अहवाल लोक त्यांच्या वीज वापर कमी होऊ सुरू, पण प्रभाव अगदी लहान होते. घट झाली आहे करीता योग्य कारण माहीत नाही, पण Allcott (2015) अहवाल परिणामकारकता तो प्रत्यक्षात सहभागी विविध प्रकारचे लागू जात होते कारण कालांतराने कमी होत करणे दिसू speculated. अधिक विशेषतः, अधिक पर्यावरणवादी भागात सोयी सुविधा अधिक शक्यता होते पूर्वी कार्यक्रम अवलंब आणि त्यांच्या ग्राहकांना उपचार अधिक प्रतिसाद होते. कमी पर्यावरण ग्राहकांना उपयुक्तता कार्यक्रम दत्तक म्हणून, त्याच्या प्रभावी नाकारण्यासाठी दिसू लागले. त्यामुळे प्रयोग यादृच्छिक उपचार आणि नियंत्रण गट समान आहेत याची खात्री फक्त म्हणून, संशोधन साइट्स मध्ये यादृच्छिक अंदाज अधिक सामान्य लोकसंख्या सहभागी एक एक गट पासून सामान्य केले जाऊ शकते (धडा 3 नमूना बद्दल विचार) मिळण्याची हमी. एक उत्तम प्रकारे रचना आयोजित प्रयोग-शकता समस्याप्रधान असू आणि संशोधन साइट सहजगत्या नमुनाकृत नाही असाल तर सामान्य विधान-अगदी.

हे दोन्ही 111 प्रयोग 10 मध्ये Allcott (2011) आणि 101 Allcott (2015) सर्व युनायटेड स्टेट्स पासून 8.5 कोटी कुटुंबे -involved. ते सातत्याने मुख्यपृष्ठ ऊर्जा अहवाल सरासरी वीज वापर, 300 कॅलिफोर्निया मध्ये घरे पासून शूल्त्झ मूळ निष्कर्ष आणि सहकारी समर्थन परिणाम कमी की दाखवा. फक्त या मूळ परिणाम प्रतिकृती पलीकडे, पाठपुरावा प्रयोग देखील परिणाम आकार स्थान बदलते की दाखवा. प्रयोग या संच देखील अंशतः डिजिटल क्षेत्रात प्रयोग अधिक दोन सर्वसाधारण गुण स्पष्ट होते. प्रथम, संशोधक प्रयोग चालू खर्च कमी असते तेव्हा बाह्य वैधता बद्दल पत्ता चिंता empirically सक्षम असेल, आणि परिणाम आधीच डेटा नेहमी प्रणाली द्वारे मोजली जात आहे तर हे होऊ शकते. त्यामुळे, संशोधन आधीच रेकॉर्ड केले जात आहेत की इतर मनोरंजक आणि महत्वाचे आचरण साठी देखावा आऊट वर पाहिजे, आणि नंतर सध्याच्या भिंतीचा पायाभूत सुविधा वर प्रयोग डिझाइन असे सूचित करते की. दुसरी गोष्ट म्हणजे, प्रयोग या संच आम्हाला स्मरण करून देणारे डिजिटल क्षेत्रात प्रयोग फक्त ऑनलाइन नाही नाही; वाढत्या मी ते बांधले वातावरणात सेन्सर्स मोजण्यात अनेक परिणाम सर्वत्र होईल, अशी अपेक्षा.

वैधता-संख्याशास्त्रीय निष्कर्ष वैधता अंतर्गत वैधता चार प्रकारच्या, कायदेशीर मान्यता बांधकाम, बाह्य वैधता-प्रदान संशोधक एक विशिष्ट प्रयोग परिणाम एक अधिक सामान्य निष्कर्ष समर्थन हे मुल्यांकन मदत करण्यासाठी एक मानसिक चेकलिस्ट. analog वय प्रयोग तुलनेत, डिजिटल वय प्रयोग मध्ये empirically बाह्य वैधता पत्ता सोपे असावे आणि अंतर्गत वैधता याची खात्री करणे सोपे असावे. दुसरीकडे, (की Opower प्रयोग बाबतीत होते नाही, तरी) बांधकाम वैधता समस्या कदाचित डिजिटल वय प्रयोग अधिक आव्हानात्मक असेल.