4.4.1 वैद्यता

वैधता एक प्रयोग को परिणाम एक अधिक सामान्य निष्कर्षमा कति समर्थन जनाउँछ।

कुनै प्रयोग सिद्ध छ, र अनुसन्धानकर्ताहरूले सम्भव समस्या वर्णन गर्न व्यापक शब्दावली विकास गरेका छन्। वैद्यता एक विशेष प्रयोग को परिणाम केही थप सामान्य निष्कर्षमा समर्थन जो गर्न हदसम्म बुझाउँछ। सामाजिक वैज्ञानिकहरूले यसलाई उपयोगी चार मुख्य प्रकार मा वैधता विभाजित गरेका छन्: तथ्याङ्क निष्कर्षमा वैधता, आन्तरिक वैधता वैधता निर्माण र बाह्य वैधता (Shadish, Cook, and Campbell 2001, Ch 2) । यी अवधारणाहरु mastering तपाईं critiquing र एक प्रयोग को डिजाइन र विश्लेषण सुधार को लागि एक मानसिक सूचीबारे प्रदान गर्नेछ, र यो तपाईं अन्य अनुसन्धानकर्ताहरूले संवाद गर्न मद्दत गर्नेछ।

तथ्याङ्क निष्कर्षमा वैधता कि प्रयोग को तथ्याङ्क विश्लेषण सही गरेको थियो वरिपरि केन्द्रित छ। को सन्दर्भ मा Schultz et al. (2007) यस्तो प्रश्न तिनीहरूले पृ-मान सही गणना कि मा केन्द्र हुन सक्छ। तथ्याङ्क विश्लेषण यस पुस्तकको दायरा बाहिर छ, तर म प्रयोगहरू डिजाइन र विश्लेषण गर्न आवश्यक तथ्याङ्क सिद्धान्तहरू डिजिटल युगमा परिवर्तन भएको छैन भनेर भन्न सकिन्छ। तर, डिजिटल प्रयोगहरू मा विभिन्न डाटा वातावरण नयाँ तथ्याङ्क अवसर सिर्जना गर्छ (जस्तै, उपचार प्रभाव heterogeneity अनुमान गर्न मेशिन शिक्षाका विधिहरू प्रयोग (Imai and Ratkovic 2013) ) र नयाँ गणना चुनौतीहरू (जस्तै, विशाल प्रयोगहरू मा अवरुद्ध (Higgins, Sävje, and Sekhon 2016) )।

आन्तरिक वैधता प्रयोगात्मक प्रक्रियाहरु सही प्रदर्शन गरेका थिए कि वरिपरि केन्द्रित छ। को प्रयोग फर्केपछि Schultz et al. (2007) , आन्तरिक वैधता बारेमा प्रश्नहरू पनि randomization वरिपरि केन्द्र सक्छ, परिणाम को उपचार को वितरण, र मापन। उदाहरणका लागि, तपाईं कि अनुसन्धान सहायक मजबूती विद्युत मिटर पढ्न थिएन चिन्तित हुन सक्छ। वास्तवमा, Schultz र सहयोगिहरु यो समस्या चिन्तित थिए र तिनीहरूले दुई पटक पढ्न मीटर को एक नमूना थियो; खुसीको कुरा, परिणाम अनिवार्य समान थिए। सामान्य मा, Schultz र सहयोगिहरु 'प्रयोग उच्च आन्तरिक वैधता छ जस्तो देखिन्छ, तर यो सधैं मामला छ; जटिल क्षेत्र र अनलाइन प्रयोगहरू अक्सर समस्या वास्तवमा सही मान्छे सही उपचार प्रदान र सबैका लागि परिणाम नाप्ने चलान। यो सजिलो प्राप्त गर्न र सबै सहभागीहरू लागि परिणाम मापन मानिन्छ भएकाहरूलाई डिजाइन रूपमा उपचार बुझाइएको छ सुनिश्चित बनाउँछ किनभने खुसीको कुरा, डिजिटल उमेर आन्तरिक वैधता बारेमा चिन्ता कम गर्न मद्दत गर्न सक्छ।

डाटा र सैद्धान्तिक constructs बीच मिलान वरिपरि वैधता केन्द्र निर्माण। अध्याय 2 मा छलफल रूपमा, constructs सार अवधारणाहरु सामाजिक वैज्ञानिकहरूले बारेमा कारण हो। दुर्भाग्यवश, यी अमूर्त अवधारणाहरु सधैं स्पष्ट परिभाषा र माप छन्। फर्केपछि Schultz et al. (2007) , सामाजिक मान्यता पनि बिजुली प्रयोग कम गर्न सक्छन् injunctive भनेर दावी "injunctive सामाजिक मान्यता पनि" हेरफेर भनेर (जस्तै, एक इमोटिकन) र "बिजुली प्रयोग" मापन गर्न एक उपचार डिजाइन अनुसन्धानकर्ताहरूले आवश्यक छ। एनालग प्रयोगहरू मा, धेरै अनुसन्धानकर्ताहरूले आफ्नै उपचार डिजाइन र आफ्नै परिणाम मापन। यो दृष्टिकोण सकेसम्म, को प्रयोगहरू गर्ने अमूर्त constructs अध्ययन भइरहेको मेल, सुनिश्चित गर्दछ। कम्पनीहरु वा सरकारको संग साझेदार अनुसन्धानकर्ताहरूले उपचार छुटकारा र परिणाम मापन गर्न डाटा प्रणाली सधैं-प्रयोग गर्न कहाँ डिजिटल प्रयोगहरू मा प्रयोग र सैद्धान्तिक constructs बीच मिलान, कम तंग हुन सक्छ। तसर्थ, म निर्माण वैधता अनुरूप प्रयोगहरू भन्दा डिजिटल प्रयोगहरू मा एक ठूलो चासो हुन गर्छन हुनेछ आशा।

अन्तमा, बाह्य वैधता यो प्रयोग को परिणाम अन्य परिस्थिति generalize हुनेछ कि वरिपरि केन्द्रित छ। फर्केपछि Schultz et al. (2007) , एक सोध्न सक्छ, हुनेछ आफ्नो साथीहरूले गर्न सम्बन्ध मा आफ्नो ऊर्जा उपयोग र injunctive मान्यता (जस्तै, एक इमोटिकन) -reduce ऊर्जा यदि यो एक भिन्न तरिकामा गर्नुभएको थियो उपयोग को एक संकेत बारेमा यो नै विचार-प्रदान मान्छे जानकारी एक फरक सेटिङ? सबैभन्दा राम्रो डिजाइन र राम्रो सञ्चालन प्रयोगहरू लागि, बाह्य वैधता बारेमा चिन्ता सम्बोधन गर्न मुश्किल हुन्छन्। विगतमा, बाह्य वैधता यी विवादहरु प्राय मान्छे एक कोठा मा बसेर पनि प्रक्रियाहरु फरक गरेका थिए भने, वा एक फरक ठाउँमा, वा विभिन्न व्यक्तिसँग भयो होला के कल्पना गर्न प्रयास को बस एक गुच्छा थिए। खुसीको कुरा, डिजिटल उमेर अनुसन्धानकर्ताहरूले यी डाटा-मुक्त speculations परे सार्न र empirically बाह्य वैधता आकलन गर्न सक्षम बनाउँछ।

देखि परिणाम किनभने Schultz et al. (2007) Opower नाउँ कम्पनी थप व्यापक उपचार फैलिनु संयुक्त राज्य अमेरिका मा उपयोगिताओं साथ सहयोगी, त्यसैले रोमाञ्चक थिए। को डिजाइन मा आधारित Schultz et al. (2007) , Opower घर ऊर्जा रिपोर्टहरू दुई मुख्य मोड्युलहरू, एक घरेलू गरेको बिजुली उपयोग ईमोटिकन यसको छिमेकी सापेक्षित देखाउन र एक ऊर्जा उपयोग lowering लागि सुझाव प्रदान थियो (चित्रा 4.6) अनुकूलित सिर्जित। त्यसपछि, अनुसन्धानकर्ताहरूले साझेदारीमा, Opower नियन्त्रण प्रयोगहरू गृह ऊर्जा रिपोर्टहरू को प्रभाव आकलन गर्न बेतरतीब भाग्यो। यी प्रयोगहरूले मा उपचार सामान्यतया पुरानो जमानाको चिप्लेकिरो मार्फत शारीरिक-सामान्यतया बुझाइएको थियो तापनि मेल-को शारीरिक संसारमा डिजिटल उपकरणहरू (जस्तै, बिजुली मीटर) को प्रयोग गरेर नतिजा मापन गरिएको थियो। बरु म्यानुअल प्रत्येक घर गएर अनुसन्धान सहायक संग यो जानकारी सङ्कलन भन्दा, को Opower प्रयोगहरू शक्ति अध्ययनहरू पहुँच शोधकर्ताओं सक्षम शक्ति कम्पनीहरु साझेदारीमा सबै गरेको थियो। तसर्थ, यी आंशिक डिजिटल क्षेत्र प्रयोगहरू कम लागत चर मा एक विशाल मात्रा मा चलान थिए।

चित्रा 4.6: मा घर ऊर्जा रिपोर्टहरू Allcott (2011) एक सामाजिक तुलना मोड्युल र कार्य चरण मोड्युल थियो।

6,00,000 घरपरिवारले संयुक्त राज्य अमेरिका लगभग 10 उपयोगिता कम्पनीहरु द्वारा सेवा मुछिएको प्रयोगहरू को पहिलो सेटमा, Allcott (2011) गृह ऊर्जा रिपोर्ट 1.7% द्वारा बिजुली खपत कम फेला परेन। अर्को शब्दमा, धेरै ठूलो, अधिक भौगोलिक विविध अध्ययन देखि परिणाम देखि परिणाम गर्न गुणात्मक समान थिए Schultz et al. (2007) । तर, प्रभाव आकार सानो थियो: मा Schultz et al. (2007) गरेको वर्णनात्मक र injective मान्यता अवस्था (भावप्रतिमा संग एक) मा घरपरिवारले 5% द्वारा आफ्नो बिजुली उपयोग कम। यो फरक लागि सटीक कारण अज्ञात छ, तर Allcott (2011) विश्वविद्यालय द्वारा प्रायोजित एक अध्ययन भागको रूपमा एक हस्तलिखित इमोटिकन प्राप्त एक देखि एक ठूलो उत्पादन रिपोर्ट को भाग रूपमा छापिएको इमोटिकन प्राप्त भन्दा व्यवहारमा ठूलो प्रभाव हुन सक्छ कि speculated पावर कम्पनी।

यसबाहेक, पछि अनुसन्धान मा, Allcott (2015) एक अतिरिक्त 101 थप 8 लाख घरपरिवारले मुछिएको प्रयोगहरू मा रिपोर्ट। यी अर्को 101 प्रयोगहरू मा घर ऊर्जा रिपोर्ट मानिसहरू बिजुली खपत कम गराउन जारी, तर प्रभाव पनि सानो थियो। यो गिरावट लागि सटीक कारण ज्ञात छैन, तर Allcott (2015) रिपोर्ट को प्रभावकारिता यो वास्तवमा सहभागी विभिन्न प्रकारका लागू भइरहेको थियो किनभने समय घट्दो जस्तो देखियो कि speculated। थप विशेष, अधिक पर्यावरणविद् क्षेत्रमा उपयोगिताओं थिए बढी सम्भावना पहिले कार्यक्रम अपनाउने र आफ्नो ग्राहकहरु उपचार गर्न थप उत्तरदायी थिए। कम पर्यावरण ग्राहकहरु संग उपयोगिताओं कार्यक्रम अपनाए रूपमा, यसको प्रभावकारिता अस्वीकार देखियो। त्यसैले, प्रयोग मा randomization उपचार र नियन्त्रण समूह समान छन् भन्ने सुनिश्चित जस्तै, अनुसन्धान साइटहरु मा randomization को अनुमान एक अधिक सामान्य जनसंख्या गर्न सहभागी एक समूहबाट सामान्यिकृत गर्न सकिन्छ कि (विचार फिर्ता नमूना बारेमा अध्याय 3) सुनिश्चित गर्दछ। अनुसन्धान साइटहरु अनियमित नमूना गर्दै छन् भने, त्यसपछि सामान्यकरण-पनि एक पूर्ण डिजाइन र सञ्चालन प्रयोग-गर्न सक्नुहुन्छ समस्याग्रस्त हुन।

सँगै, यी 111 प्रयोगहरू-10 मा Allcott (2011) र 101 मा Allcott (2015) सबै संयुक्त राज्य अमेरिका भन्दा देखि बारेमा 8.5 करोड घरपरिवारले -involved। तिनीहरूले लगातार घर ऊर्जा रिपोर्टहरू औसत बिजुली खपत, एक परिणाम क्यालिफोर्निया मा 300 घरमा देखि Schultz को मूल निष्कर्ष र सहयोगिहरु समर्थन कम भनेर देखाउँछ। बस यी मूल परिणाम replicating परे, पालन-अप प्रयोगहरू पनि प्रभाव को आकार स्थान द्वारा भिन्न छ भनेर देखाउँछ। प्रयोगहरू को यो सेट पनि आंशिक डिजिटल क्षेत्र प्रयोगहरू बारेमा थप दुई सामान्य अंक देखाउँछ। पहिलो, अनुसन्धानकर्ताहरूले चलिरहेको प्रयोगहरू को लागत कम हुँदा बाह्य वैधता बारे ठेगाना चिन्ता empirically गर्न सक्षम हुनेछ, र यदि नतिजा पहिले देखि नै एक डाटा सधैं-प्रणाली द्वारा भइरहेको मापन छ यो उत्पन्न हुन सक्छ। तसर्थ, यो अनुसन्धान पहिले नै रेकर्ड भइरहेका अन्य रोचक र महत्त्वपूर्ण व्यवहार लागि नजर-बाहिर हुनुपर्छ, र त्यसपछि यो अवस्थित नाप्ने पूर्वाधार माथि प्रयोगहरू डिजाइन सुझाव। दोस्रो, प्रयोग को यो सेट सम्झना गराउँछ डिजिटल क्षेत्र प्रयोगहरू बस अनलाइन छैनन् भनेर; झन् म तिनीहरूले निर्माण वातावरणमा सेन्सर मापन धेरै परिणाम संग सबैतिर हुनेछ भन्ने आशा।

वैधता-तथ्याङ्क निष्कर्षमा वैधता, आन्तरिक वैधता चार प्रकार, वैधता निर्माण, बाह्य वैधता-प्रदान अनुसन्धानकर्ताहरूले एक विशेष प्रयोग देखि परिणाम एक अधिक सामान्य निष्कर्षमा समर्थन कि आकलन गर्न मद्दत गर्न एक मानसिक सूचीबारे। एनालग उमेर प्रयोगहरू तुलना, डिजिटल उमेर प्रयोगहरू मा सजिलो empirically बाह्य वैधता सम्बोधन हुनुपर्छ र यसलाई आन्तरिक वैधता सुनिश्चित गर्न सजिलो हुनुपर्छ। (कि Opower प्रयोगहरू संग मामला थिएन हुनत) अर्कोतर्फ, निर्माण वैधता को मुद्दाहरू शायद डिजिटल उमेर प्रयोगहरू मा थप चुनौतीपूर्ण हुनेछ।