4.4.1 वैद्यता

वैधता एक प्रयोग को परिणाम एक अधिक सामान्य निष्कर्षमा कति समर्थन जनाउँछ।

कुनै प्रयोग सिद्ध छैन, र शोधकर्ताले सम्भव समस्याहरूको वर्णन गर्न एक व्यापक शब्द संग्रह विकसित गरेका छन्। वैधताले सीमालाई बुझाउँछ जुन एक विशेष प्रयोगको नतीजा केही थप निष्कर्षमा समर्थन गर्दछ। सामाजिक वैज्ञानिकहरूले यो वैधतालाई चार मुख्य प्रकारमा विभाजित गर्न उपयोगी पाएका छन्: सांख्यिकीय निष्कर्ष वैधता, आन्तरिक वैधता, वैधता निर्माण र बाह्य वैधता (Shadish, Cook, and Campbell 2001, chap. 2) । यी अवधारणाहरू समझाएर तपाइँलाई आलोचना गर्ने र एक प्रयोगको डिजाइन र विश्लेषण सुधार गर्न मानसिक चेकलिस्ट प्रदान गर्नेछ, र यसले तपाईंलाई अन्य शोधकर्ताहरूसँग कुराकानी गर्न मद्दत गर्नेछ।

सांख्यिकीय निष्कर्ष वैधता केन्द्रहरू वरिपरि प्रयोगको सांख्यिकीय विश्लेषण सही ढंगले गरियो। Schultz et al. (2007) को संदर्भ मा Schultz et al. (2007) , यस्तो प्रश्न हुन सक्छ कि उनीहरूले उनीहरूको \(p\) साइजहरू सही रूपमा गणना गरेका छन्। सांख्यिकीय सिद्धान्तहरू प्रयोग यस डिजाइनको दायराभन्दा डिजाइन र विश्लेषण गर्न आवश्यक छ, तर तिनीहरू मौलिक रूपमा डिजिटल उमेरमा परिवर्तन गरेका छैनन्। तथापि, के परिवर्तन भएको छ कि डिजिटल प्रयोगहरूमा डाटा वातावरणले नयाँ अवशेषहरू सिर्जना गरेको छ जस्तै उपचारको प्रभाव (Imai and Ratkovic 2013) विरूपणता अनुमान गर्न मेशिन सिकाउने तरिकाहरू प्रयोग गर्दै।

आन्तरिक वैधता केन्द्रहरू वरिपरि प्रयोगात्मक प्रक्रियाहरू सही तरिकाले प्रदर्शन गरिसकेका थिए। Schultz et al. (2007) को प्रयोगमा फर्किँदै Schultz et al. (2007) , आन्तरिक वैधता बारे प्रश्नहरू अनियमितता, उपचारको वितरण, र परिणामहरूको परिमार्जन गर्न सकिन्छ। उदाहरणका लागि, तपाईं चिन्तित हुन सक्नुहुनेछ कि अनुसन्धान सहायकहरूले विद्युतीय मीटरलाई सुदृढ रुपमा पढ्न सकेनन्। वास्तवमा, Schultz र सहयोगिहरु यस समस्या को बारे मा चिंतित थिए, र तिनीहरूले दुई पल्ट मिटर को एक नमूना थियो; सौभाग्य देखि, परिणामहरू अनिवार्य रूपमा समान थिए। सामान्यतः, Schultz र सहयोगिहरु को प्रयोग उच्च आन्तरिक वैधता प्रतीत हुन्छ, तर यो संधै मामला छैन: जटिल क्षेत्र र अनलाइन प्रयोग अक्सर समस्याहरु मा वास्तव मा सही मान्छे को सही उपचार र हरेकको लागि परिणाम को मापने मा समस्याहरु मा रहन्छ। सौभाग्य देखि, डिजिटल युगले आन्तरिक वैधता बारे चिन्तालाई कम गर्न मद्दत गर्दछ किनभने यो अब यो सजिलो छ कि यो उपचार प्राप्त गर्नका लागी उपचार र सबै प्रतिभागिहरु को लागि परिणाम को माप गर्न सजिलो छ।

डाटा र सैद्धान्तिक निर्माणहरू बीचको मिलानको वरिपरि वैधता केन्द्रहरू निर्माण गर्नुहोस्। अध्याय 2 मा छलफल गरिसकेपछि निर्माणहरू सारैतिक अवधारणाहरू हुन् जसले समाजवादी वैज्ञानिकहरूको बारेमा जानकारी दिन्छ। दुर्भाग्यवश, यो सार अवधारणाहरूसँग स्पष्ट परिभाषाहरू र मापनहरू छैनन्। Schultz et al. (2007) , निषेध सामाजिक मानदण्डको दाबी गर्ने बिजुलीको प्रयोग कम गर्न सक्छ भन्ने दाबी गर्न को लागी शोधकर्ताहरुलाई "उपचार को लागी सामाजिक मानदण्डहरू" (उदाहरणार्थ, एक इमोटिकन) हेरफेर गर्ने र "बिजुलीको प्रयोग" मापन गर्ने उपायलाई डिजाइन गर्न आवश्यक छ। एनालॉग प्रयोगहरूमा, धेरै शोधकर्ताहरूले आफ्नै उपचारको डिजाइन गरे र उनीहरूको आफ्नै नतीजाहरू मापा। यो दृष्टिकोणले यो सुनिश्चित गर्दछ कि, जितना सम्भव छ, प्रयोगहरूले सार सार निर्माणहरू अध्ययन गरे। डिजिटल प्रयोगहरूमा जहाँ शोधकर्ताहरू कम्पनीहरू वा सरकारहरूसँग उपचार गर्न र सँधै-मा डेटा प्रणालीहरू परिणामहरू निर्धारण गर्न प्रयोग गर्छन्, प्रयोग र सैद्धान्तिक निर्माणहरू बीचको मिलान कम तङ्ग हुन सक्छ। यसकारण, म आशा गर्दछु कि वैधता निर्माण हुनेछ डिजिटल प्रयोगहरूमा एनालॉग प्रयोगहरूमा भन्दा ठूलो चिन्ता हुन सक्छ।

अन्तमा, बाह्य वैधता केन्द्रहरू वरपर यो प्रयोगको नतीजा अन्य परिस्थितिहरूमा सामान्य हुन सक्छ। Schultz et al. (2007) , कसैले सोध्न सक्छ कि यो यो विचारले मानिसहरूलाई आफ्नो साथीहरूको सम्बन्धमा उनीहरूको ऊर्जा उपयोगको बारेमा जानकारी प्रदान गर्दछ र injunctive मानदण्डहरूको संकेत (उदाहरणार्थ, एक इमोटिकन) को संकेत - यदि एक फरक तरिकामा गरियो भने ऊर्जा उपयोग को कम एक फरक सेटिङमा। धेरै राम्ररी डिजाइन गरिएको र राम्ररी चलाउने प्रयोगहरूको लागि, बाह्य वैधताको बारेमा चिन्ता सबै भन्दा सजिलो हो। अतीतमा, बाह्य वैधताको बारेमा यी बहसहरू अक्सर प्रायः एक कोठामा बसेर एक समूह भन्दा बढी केहि पनि समावेश गर्न कल्पना गर्न चाहन्थे कि प्रक्रियाले फरक तरिकामा गरेको वा फरक फरक ठाउँमा, वा फरक सहभागीहरू । सौभाग्यवश, डिजिटल युगले शोधकर्ताहरूलाई यी डेटा-मुक्त आक्रोशहरूभन्दा बढि उत्प्रेरित गर्न र इमानदारीपूर्वक बाह्य वैधताको मूल्यांकन गर्न सक्षम बनाउँछ।

किनभने Schultz et al. (2007) परिणामहरू Schultz et al. (2007) धेरै रोमाञ्चक थिए, ओपेवर नामक एक कम्पनीले संयुक्त राज्य अमेरिकामा उपयोगिताहरु लाई यस उपचार को लागी अधिक व्यापक रूपमा नियुक्ति गर्न सहयोग गर्यो। Schultz et al. (2007) को डिजाइन को आधार मा Schultz et al. (2007) , ओप्वरले दुई मुख्य मोडलहरू भएको अनुकूल गृह गृह रिपोर्टहरू सिर्जना गरे: एकले घरको बिजुलीको उपयोगलाई छिमेकीसँग इमोटिकनसँग तुलना गर्दछ र एकले ऊर्जा उपयोगलाई कम गर्नका लागि सुझावहरू प्रदान गर्दछ। त्यसपछि, शोधकर्ताहरूसँग साझेदारीमा, Opower यी गृह ऊर्जा रिपोर्टहरूको प्रभावको मूल्यांकन गर्न randomized controlled experiments चला्यो। यद्यपि यी प्रयोगहरूमा उपचार सामान्यतया भौतिक रूपमा सामान्यतया डेलिभर गरिएको थियो - सामान्यतया पुरानो-प्रेमी स्नेल मेल मार्फत यो परिणाम शारीरिक संसारमा (जस्तै, बिजुली मीटर) मा डिजिटल यन्त्रहरू प्रयोग गरी मापन गरिएको थियो। यसबाहेक, प्रत्येक घरको भ्रमणमा अनुसन्धान सहयोगीहरूसँग म्यानुअल रूपमा यो जानकारी एकत्रित गर्न, ओभरभर प्रयोगहरू सबै पावर कम्पनीहरूसँग साझेदारीमा गरेका थिए जसले शोधकर्ताहरूलाई पावर रीडिंगहरू पहुँच गर्न सक्षम पारे। यसैले, यी आंशिक डिजिटल क्षेत्र प्रयोगहरू कम चर मूल्यमा ठूलो मात्रामा चल्दै थिए।

चित्रा 4.6: गृह ऊर्जा प्रतिवेदन एक सामाजिक तुलना मोड्युल र एक कार्य चरण मोड्युल थियो। Allcott (2011) अनुमति द्वारा पुनरुत्थान, तथ्याङ्क 1 र 2।

प्रयोगको पहिलो सेट 600,000 परिवारमा 10 विभिन्न साइटहरु बाट, Allcott (2011) पाएको छ कि गृह ऊर्जा रिपोर्ट बिजुली को खपत कम भयो। अर्को शब्दमा, धेरै ठूला, अधिक भौगोलिक विविध अध्ययनको नतिजाहरू Schultz et al. (2007) नतिजाको तुलनात्मक रूपमा समान थियो Schultz et al. (2007) । यसबाहेक, पछिल्ला अनुसन्धानमा 8 लाख थप घरहरू 101 वटा विभिन्न स्थलहरूबाट आएका थिए, Allcott (2015) फेरि फेरि फेला पर्यो कि गृह ऊर्जा रिपोर्टले लगातार बिजुली खपत कम गर्यो। प्रयोगहरूको यो धेरै ठूलो सेटले पनि एक रोचक नयाँ ढाँचालाई पत्ता लगायो जुन कुनै पनि प्रयोगमा देखिने छैन। प्रभावको आकार पछि प्रयोगहरूमा निस्किएको (4.7 अंक)। Allcott (2015) यो अनुमान लगाएको छ कि यो गिरावट भयो किनकी, समय संग, उपचार को विभिन्न प्रकार को प्रतिभागिहरु मा लागू गरियो। विशेष गरी, अधिक पर्यावरणीय केन्द्रित ग्राहकहरूसँग उपयोगिताहरू अधिक सम्भावना कार्यक्रम अघि बढाउने सम्भावना थियो, र तिनीहरूका ग्राहकहरू उपचारका लागि अधिक उत्तरदायी थिए। कम पर्यावरणीय-केंद्रित ग्राहकहरु संग उपयोगिताहरु को कार्यक्रम को रूप मा अपनाया, यसको प्रभावकारिता गिरावट प्रकट भयो। यस प्रकार, प्रयोगमा अनियमितता जस्तै कि यो उपचार र नियन्त्रण समूह समान हो भनेर, यो सुनिश्चित अनुसन्धान साइटहरूमा अनियमितता सुनिश्चित गर्दछ कि अनुमानहरू प्रतिभागिको एक समूहबाट सामान्य जनसंख्यामा सामान्यतया मानिन्छ (पछि नमूना बारे अध्याय 3 लाई सोच्नुहोस्)। यदि अनुसन्धान साइटहरू अनियमित रूपमा नमूना भएन भने, सामान्यता - पूर्ण रूपमा डिजाइन गरिएको र प्रयोग गरिएको प्रयोगबाट पनि समस्या हुन सक्छ।

चित्रा 4.7: बिजुलीको खपतमा गृह ऊर्जा प्रतिवेदनको प्रभाव परीक्षण गर्ने 111 परिणामहरूको परिणाम। साइटहरूमा जहाँ कार्यक्रम पछि लागिएको थियो, यसलाई सानो प्रभाव पार्ने कोटिन्छ। Allcott (2015) तर्क गर्दछ कि यो ढाँचाको एक प्रमुख स्रोत यो हो कि अधिक पर्यावरणीय-केंद्रित ग्राहकहरु को साथ साइट पहिले देखि नै कार्यक्रम को लागी को लागी अधिक संभावना थियो। Allcott (2015) , अंक 3।

एकैसाथ, यी 111 प्रयोगहरू - 10 Allcott (2011) र Allcott (2015) 101 Allcott (2015) 10 वटा संयुक्त राज्य अमेरिकाबाट 8.5 मिलियन परिवारको विकास। तिनीहरूले निरन्तर रूपमा देखाउँछन् कि गृह ऊर्जा रिपोर्टहरू औसत बिजुलीको खपत घटाउँछन्, जसले परिणामस्वरूप कि क्यालिफोर्नियाको 300 घरबाट Schultz र सहकर्मीहरूको वास्तविक निष्कर्षहरू समर्थन गर्दछ। यस मूल नतिजाहरु लाई दोहोरो को बावजूद, अनुवर्ती प्रयोगहरु लाई पनि दिखािन्छ कि प्रभाव को आकार स्थान द्वारा भिन्न हुन्छ। प्रयोगका यो सेट आंशिक डिजिटल क्षेत्र प्रयोगहरूको बारेमा दुई थप सामान्य बिन्दुहरू पनि वर्णन गर्दछ। पहिलो, शोधकर्ताहरू बाह्य वैधता बारेमा चिन्तापूर्वक अनुभव गर्न सक्षम हुनेछन् जब चलिरहेको प्रयोगहरूको लागत कम छ, र यदि परिणाम पहिले देखि नै डाटा प्रणाली द्वारा मापन मापन हुन्छ भने यो हुन सक्छ। यसैले, यो सुझाव दिन्छ कि शोधकर्ताहरु लाई अन्य रोचक र महत्वपूर्ण व्यवहार को लागी खोज मा हुनु पर्छ जुन पहिले रेकर्ड गरिएको छ, र त्यसपछि यस मौजूदा मापदंड को आधारभूत संरचना को माथि प्रयोग को प्रयोग गर्नुहोस। दोस्रो, प्रयोगका यो सेटले हामीलाई सम्झाउँछ कि डिजिटल क्षेत्र प्रयोगहरू अनलाइन मात्र होइन; बढ्दो, म आशा गर्दछु कि उनि निर्माण वातावरणमा सेन्सर द्वारा मापा धेरै परिणामहरु संग हरेक ठाउँमा हुनेछ।

चार प्रकारहरूको वैधता-सांख्यिकीय निष्कर्ष वैधता, आन्तरिक वैधता, वैधता निर्माण र बाह्य वैधता-शोधकर्ताहरूलाई मद्दत गर्न सहयोग पुर्याउन मानसिक चेकलिस्ट प्रदान गर्नुहोस् कि एक विशेष प्रयोगको नतीजा बढी सामान्य निष्कर्ष समर्थन गर्दछ कि। एनालग-उमेर प्रयोगहरूको तुलनामा, डिजिटल-उमेर प्रयोगहरूमा, यो व्यावहारिक बाह्य वैधतालाई सम्बोधन गर्न सजिलो हुनुपर्दछ, र यो आन्तरिक वैधता सुनिश्चित गर्न सजिलो हुन्छ। अर्कोतर्फ, वैधता निर्माणको समस्या शायद डिजिटल-उमेर अनुभवहरूमा अधिक चुनौतीपूर्ण हुनेछ, विशेष गरी डिजिटल क्षेत्र प्रयोगहरू जुन कम्पनीहरूसँग साझेदारी हुन सक्छ।