4.4.1 ஏற்றுக்கொள்ளக்கூடிய

ஏற்றுக்கொள்ளக் கூடிய ஒரு சோதனையின் முடிவுகள் ஒரு பொது முடிவுக்கு ஆதரவு எவ்வளவு குறிக்கிறது.

இல்லை சோதனை சரியான, மற்றும் ஆராய்ச்சியாளர்கள் சாத்தியமான பிரச்சினைகள் விவரிக்க ஒரு விரிவான சொல்லகராதி உருவாக்கப்பட்டது. ஏற்றுக்கொள்ளக் கூடிய ஒரு குறிப்பிட்ட சோதனையின் முடிவுகள் இன்னும் சில பொது முடிவுக்கு ஆதரவு எந்த அளவிற்கு குறிக்கிறது. சமூக விஞ்ஞானிகள் அது பயனுள்ளதாக நான்கு முக்கிய வகைகளாக செல்லுபடியாகும் பிரித்து கிடைத்துவிட்டது:, புள்ளிவிவர முடிவுக்கு செல்லுபடியாகும், உள் செல்லுபடியாகும் செல்லுபடியாகும் அமைக்க, மற்றும் வெளிப்புற செல்லுபடியாகும் (Shadish, Cook, and Campbell 2001, Ch 2) . இந்த கருத்துக்கள் மாஸ்டரிங், நீங்கள் விமரிசிப்பதைச் மற்றும் ஒரு பரிசோதனையின் வடிவமைப்பு மற்றும் பகுப்பாய்வு மேம்படுத்த ஒரு மன சரிபார்ப்பு பட்டியல் வழங்கும் மற்றும் அதை நீங்கள் மற்ற ஆராய்ச்சியாளர்கள் தொடர்பு உதவும்.

புள்ளி முடிவுக்கு செல்லுபடியாகும் சோதனையின் புள்ளிவிவர பகுப்பாய்வு சரியாக என்பதையும் சுற்றி மையங்கள். சூழலில் Schultz et al. (2007) போன்ற கேள்வியை அவர்கள் சரியாக தங்கள் p- மதிப்பீடுகள் கணக்கிடப்படுகிறது என்பதை மையமாகக் வேண்டும். புள்ளிவிவர பகுப்பாய்வு இந்த புத்தகம் நோக்கத்துக்கு அப்பாற்பட்டது, ஆனால் நான் சோதனைகள் வடிவமைத்து ஆய்வு செய்ய தேவை புள்ளிவிவர கொள்கைகளை டிஜிட்டல் வயது மாறவில்லை என்று சொல்ல முடியாது. எனினும், டிஜிட்டல் சோதனைகள் வெவ்வேறு தரவு சூழலில் புதிய புள்ளிவிவர வாய்ப்புகளை உருவாக்க முடியாது (எ.கா., சிகிச்சை விளைவுகள் பலபடித்தான மதிப்பிட இயந்திர கற்றல் முறைகளை பயன்படுத்தி (Imai and Ratkovic 2013) ) மற்றும் புதிய கணக்கீட்டு சவால்களை (எ.கா., பாரிய பரிசோதனைகளில் தடுப்பதை (Higgins, Sävje, and Sekhon 2016) ).

உள்நாட்டு செல்லுபடியாகும் சோதனை நடைமுறைகள் சரியாக நடத்தப்பட்டன என்பதை சுற்றி மையங்கள். சோதனை திரும்பிய Schultz et al. (2007) , உள் நம்பகத்தன்மை குறித்து கேள்விகள் விளைவுகளை சிகிச்சை அளிப்பு, மற்றும் அளவீட்டு, அமைத்தல் சுற்றி சென்டர் முடியும். உதாரணமாக, நீங்கள் ஆராய்ச்சி உதவியாளர்கள் நம்பத்தகுந்த மின்சார மீட்டர் படிக்க முடியவில்லை என்று கவலை இருக்கலாம். உண்மையில், ஷூல்ட்ஸ் மற்றும் சக இந்த பிரச்சனை பற்றி கவலை மற்றும் அவர்கள் இரண்டு முறை படிக்க மீட்டர் ஒரு மாதிரி இருந்தது; அதிர்ஷ்டவசமாக, முடிவுகளை அடிப்படையில் ஒரே மாதிரியாக இருந்தன. பொதுவாக, ஷூல்ட்ஸ் மற்றும் சக 'பரிசோதனையை உயர் உட்புற செல்லுபடியாகும் வேண்டும் தோன்றுகிறது, ஆனால் இந்த எப்போதும் வழக்கு அல்ல; சிக்கலான துறையில் மற்றும் ஆன்லைன் சோதனைகள் அடிக்கடி பிரச்சினைகள் உண்மையில் வலது மக்கள் சரியான சிகிச்சை வழங்கும் மற்றும் அனைவருக்கும் விளைவுகளை அளவிடும் ஒரு ரன். அதிர்ஷ்டவசமாக, டிஜிட்டல் வயது அது எளிதாக அதை பெறும் மற்றும் அனைத்து பங்கேற்பாளர்கள் விளைவுகளை அளவிட வேண்டும் என்று யார் அந்த வடிவமைக்கப்பட்டுள்ளது சிகிச்சை வழங்கப்படும் என்று உறுதி செய்கிறது, ஏனெனில் உள் நம்பகத்தன்மை குறித்து கவலைகள் குறைக்க உதவும்.

தரவு மற்றும் தத்துவார்த்த கட்டமைப்புகளை இடையே போட்டி சுற்றி செல்லுபடியாகும் மையங்கள் கட்ட. பாடம் 2 விவாதிக்கப்படும் என, கட்டமைப்புகளை சுருக்கம் கருத்துக்கள் என்று சமூக விஞ்ஞானிகள் பற்றி காரணம். துரதிருஷ்டவசமாக, இந்த சுருக்கம் கருத்துக்கள் எப்போதும் தெளிவாக வரையறைகள் மற்றும் அளவீடுகள் இல்லை. திரும்பிய Schultz et al. (2007) , சமூக நெறிகள் மின்சாரம் பயன்படுத்த குறைக்க முடியும் தடை உத்தரவு என்ற கூற்று (எ.கா. உணர்ச்சித்திரம்) "தடை உத்தரவு சமூக நெறிகள்" கையாள எனவும், "மின்சாரம் பயன்படுத்த" அளவிட ஒரு சிகிச்சை வடிவமைக்க ஆராய்ச்சியாளர்கள் தேவைப்படுகிறது. அனலாக் பரிசோதனைகள், பல ஆராய்ச்சியாளர்கள் தங்கள் சொந்த சிகிச்சைகள் வடிவமைக்கப்பட்ட மற்றும் தங்கள் சொந்த விளைவுகளை அளவிடப்படுகிறது. இந்த அணுகுமுறை முடிந்தவரை, சோதனைகள் சுருக்கம் கட்டமைப்புகளை ஆய்வு செய்யப்படும் பொருத்த, என்பதை உறுதி செய்கிறது. சிகிச்சைகள் வழங்க மற்றும் விளைவுகளை அளவிட எப்போதும் பயன்படுத்த தரவு அமைப்புகள் அங்கு நிறுவனங்கள் அல்லது அரசாங்கங்கள் ஆராய்ச்சியாளர்கள் பங்குதாரர் டிஜிட்டல் சோதனைகள் இல், சோதனை மற்றும் கோட்பாட்டு கட்டமைப்புகளை இடையே போட்டியில் குறைந்த இறுக்கமான இருக்கலாம். இவ்வாறு, நான் கட்டமைப்பாக செல்லுபடியாகும் அனலாக் பரிசோதனைகள் மேற்பட்ட டிஜிட்டல் பரிசோதனைகளில் பெரிய கவலை இருக்கும் என்று எதிர்பார்க்கலாம்.

இறுதியாக, வெளிப்புற செல்லுபடியாகும் இந்த சோதனையின் முடிவுகள் மற்ற சூழ்நிலைகளுக்கு பொதுமைப்படுத்த வேண்டும் என்பதை சுற்றி மையங்கள். திரும்பிய Schultz et al. (2007) , ஒரு, கேட்க முடியும் சாப்பிடுவேன் அவர்களுடைய சகாக்கள் உறவு தங்கள் ஆற்றல் பயன்பாடு மற்றும் தடை உத்தரவு விதிமுறைகளை (எ.கா. உணர்ச்சித்திரம்) அதை வேறு வழியில் செய்யப்பட்டது என்றால் -reduce ஆற்றல் பயன்பாடு ஒரு சமிக்ஞை பற்றி இதே கருத்துதான் வழங்கும் மக்கள் தகவல் ஒரு வித்தியாசமான அமைப்பில்? மிகவும் நன்கு வடிவமைக்கப்பட்ட மற்றும் நன்கு இயக்க சோதனைகள், வெளிப்புற நம்பகத்தன்மை குறித்து கவலைகளை கடினமான உள்ளன. கடந்த காலத்தில், வெளி நம்பகத்தன்மை குறித்து இந்த விவாதங்கள் அடிக்கடி மக்கள் நடைமுறைகள் வேறு வழியில் செய்யப்பட்டது, அல்லது வேறு ஒரு இடத்தில், அல்லது வேறு மக்கள் என்றால் என்ன நடந்திருக்கும் என்பதை கற்பனை முயற்சி ஒரு அறையில் உட்கார்ந்து ஒரு மொத்தமாக இருந்தது. அதிர்ஷ்டவசமாக, டிஜிட்டல் வயது இந்த தரவு-இலவச யூகங்கள் அப்பால் செல்ல, அனுபவச் வெளி ஏற்புடைமையை மதிப்பிட ஆராய்ச்சியாளர்கள் செயல்படுத்துகிறது.

இருந்து முடிவுகளை ஏனெனில் Schultz et al. (2007) Opower என்ற ஒரு நிறுவனம் இன்னும் பரவலாக சிகிச்சை வரிசைப்படுத்த அமெரிக்காவில் பயன்பாடுகள் கூட்டுசேர்ந்து மிகவும் பரபரப்பான இருந்தது. வடிவமைப்பு அடிப்படையில் Schultz et al. (2007) , Opower இரண்டு முக்கிய தொகுதிகள், ஒரு எமோடிகானைச் அதன் அண்டை நாடுகளுக்கு வீட்டு மின்சார பயன்பாடு உறவினர் காண்பிக்கப்படுகிறது மற்றும் ஒரு ஆற்றல் பயன்பாடு குறைப்பது குறிப்புகள் வழங்கும் என்று வீட்டு எரிசக்தி அறிக்கைகள் (படம் 4.6) அமைத்துக்கொள்ள உருவாக்கப்பட்டது. பின்னர், ஆராய்ச்சியாளர்கள் இணைந்து, Opower கட்டுப்படுத்தப்பட்ட சோதனைகள் வீட்டு எரிசக்தி அறிக்கைகள் தாக்கத்தை மதிப்பிட சமவாய்ப்பிட்ட இயங்கின. இந்த சோதனைகள் உள்ள சிகிச்சைகள் பொதுவாக பழங்காலத்து நத்தை மூலம் உடல் வழக்கமாக வழங்கப்படுகின்றன கூட மெயில்-விளைவு டிஜிட்டல் (எ.கா., சக்தி மீட்டர்) உடல் உலகின் சாதனங்களை பயன்படுத்தி அளவிடப்படுகிறது. மாறாக கைமுறையாக ஒவ்வொரு வீட்டில் செல்லும் ஆராய்ச்சி உதவியாளர்கள் இந்த தகவல்களை சேகரிக்கும் விட, Opower சோதனைகள் அனைத்து சக்தி நிறுவனங்கள் சக்தி அளவீடுகள் அணுக ஆராய்ச்சியாளர்கள் செயல்படுத்த இணைந்து செய்யப்பட்டன. இதனால், இந்த பகுதி டிஜிட்டல் துறையில் சோதனைகள் குறைந்த மாறி செலவில் மிகப் பெரிய அளவில் ரன்.

படம் 4.6: உள்ள வீட்டு எரிசக்தி அறிக்கைகள் Allcott (2011) ஒரு சமூக ஒப்பீடு தொகுதி மற்றும் ஒரு அதிரடி படிகள் தொகுதி இருந்தது.

அமெரிக்காவில் சுமார் 10 நிறுவனங்களில் பணியாற்றினார் 600,000 குடும்பங்கள் சம்பந்தப்பட்ட சோதனைகள் முதல் தொகுப்பில், Allcott (2011) வீட்டு எரிசக்தி அறிக்கை 1.7% மின்சார நுகர்வு குறைக்கப்பட காணப்படும். வேறு வார்த்தைகளில் கூறுவதானால், மிகவும் பெரிய, அதிக புவியியல் பல்வேறு ஆய்வு முடிவுகள் இருந்து முடிவுகளை தரத்திலே போன்ற இருந்தன Schultz et al. (2007) . ஆனால், விளைவு அளவு சிறியதாக இருந்தது: உள்ள Schultz et al. (2007) விளக்க மற்றும் injective விதிமுறைகளை நிலை (எமோடிகான்களை ஒன்று) குடும்பங்களில் 5% தங்கள் மின்சாரம் பயன்பாடு குறைக்கப்பட்டது. இந்த வேறுபாடு துல்லியமான காரணம் தெரியவில்லை, ஆனால் Allcott (2011) ஒரு பல்கலைக்கழகம் வழங்கிய ஒரு படிப்பின் ஒரு பகுதியாக ஒரு கையால் எழுதப்பட்ட எமோடிகான்களை பெறும் ஒரு வெகுஜன உற்பத்தி அறிக்கை ஒரு பகுதியாக ஒரு அச்சிடப்பட்ட எமோடிகான்களை பெறும் காட்டிலும் நடத்தை ஒரு பெரிய விளைவை என்று ஊகிக்கப்பட்டது மின் உற்பத்தி நிறுவனம்.

மேலும், அடுத்தடுத்த ஆராய்ச்சியில், Allcott (2015) ஒரு கூடுதல் 8 மில்லியன் குடும்பங்கள் சம்பந்தப்பட்ட ஒரு கூடுதல் 101 சோதனைகள் பதிவாகும். இந்த அடுத்த 101 பரிசோதனைகள் வீட்டு எரிசக்தி அறிக்கை மக்கள் தங்கள் மின்சார நுகர்வு குறைக்க ஏற்படும் தொடர்ந்தது, ஆனால் விளைவுகள் கூட சிறியதாக இருந்தன. இந்த சரிவு துல்லியமான காரணம் அறியப்படவில்லை, ஆனால் Allcott (2015) அறிக்கை திறன் அது உண்மையில் பங்கேற்பாளர்கள் பல்வேறு வகையான தடவப்படுகிறது ஏனெனில் காலப்போக்கில் குறைந்து தோன்றியது என்று ஊகிக்கப்படுகிறது. மேலும் குறிப்பாக, இன்னும் சுற்றுச்சூழல்வாதியாக பகுதிகளில் பயன்பாடுகள் அதிகமாக இருந்தது முந்தைய நடவடிக்கை எடுப்பதை தங்கள் வாடிக்கையாளர்களுக்கு சிகிச்சை இன்னும் பதிலளிக்க இருந்தன. குறைந்த சுற்றுச்சூழல் வாடிக்கையாளர்கள் பயன்பாடுகள் நிரல் ஏற்றுக்கொண்டதால், அதன் செயல்திறனை குறைய தோன்றினார். இவ்வாறு, பரிசோதனைகள் அமைத்தல் சிகிச்சை மற்றும் கட்டுப்பாட்டு குழு போன்ற உள்ளன என்பதை உறுதி போலவே, ஆராய்ச்சி தளங்கள் அமைத்தல் மதிப்பீடுகள் (மீண்டும் பாடம் 3 மாதிரி பற்றி நினைக்கிறேன்) ஒரு பொது மக்கள் பங்கேற்பாளர்கள் ஒரு குழு இருந்து பொதுமைப்படுத்த முடியும் என்று உறுதி. ஆராய்ச்சி தளங்கள் தோராயமாக மாதிரிகளாக இல்லை என்றால், பொதுமைப்படுத்தல்-கூட இருந்து ஒரு செய்தபின் வடிவமைக்கப்பட்டுள்ளது மற்றும் நடத்தப்பட்ட பரிசோதனை முடியும் சிக்கல் இருக்க.

ஒன்றாக, இந்த 111 சோதனைகள்-10 Allcott (2011) மற்றும் 101 Allcott (2015) அனைத்து அமெரிக்கா முழுவதும் இருந்து சுமார் 8.5 மில்லியன் குடும்பங்கள் -involved. அவர்கள் தொடர்ந்து வீட்டு எரிசக்தி அறிக்கைகள் சராசரி மின்சார நுகர்வு, கலிபோர்னியா 300 வீடுகளில் இருந்து ஷூல்ட்ஸ் அசல் கண்டுபிடிப்புகள் மற்றும் சக ஆதரிக்கும் ஒரு முடிவை குறைக்க என்று காட்ட. இந்த அசல் முடிவுகள் பெருக்காமல் அப்பால், பின்தொடர் சோதனைகள் மேலும் விளைவின் அளவு இடம் மூலம் வேறுபடுகிறது என்று காட்ட. சோதனைகள் இந்த தொகுப்பு ஓரளவு டிஜிட்டல் துறையில் சோதனைகள் பற்றி மேலும் இரண்டு பொது புள்ளிகள் விளக்குகிறது. முதல், ஆராய்ச்சியாளர்கள் வெளி நம்பகத்தன்மை குறித்து முகவரியை கவலைகள் அனுபவத்தால் சோதனைகள் இயங்கும் செலவு குறைவாக இருக்கும் போது முடியும், அதன் விளைவு ஏற்கனவே ஒரு எப்போதும் தரவு அமைப்பு மூலம் அளவிடப்படுகிறது வருகிறது என்றால் இந்த ஏற்படலாம். எனவே, அதை ஆராய்ச்சி, ஏற்கனவே பதிவு வருகின்றன என்று சுவாரஸ்யமான மற்றும் முக்கியமான நடத்தைகள் தோற்றம்-அவுட் இருக்க வேண்டும் என்று பின்னர் இந்த இருக்கும் அளவீட்டு உள்கட்டமைப்பு மேல் சோதனைகள் வடிவமைக்க அறிவுறுத்துகிறது. இரண்டாவது, சோதனைகள் இந்த தொகுப்பு டிஜிட்டல் துறையில் சோதனைகள் இல்லை என்று ஆன்லைன் நமக்கு நினைவூட்டுகிறது; பெருகிய முறையில் நான் அவர்கள் கட்டிய சூழலில் சென்சார்கள் மூலம் அளவிடப்படுகிறது பல விளைவுகளை கொண்ட எல்லா இடங்களிலும் இருக்க வேண்டும் என்று எதிர்பார்க்கிறோம்.

செல்லுபடியாகும்-புள்ளிவிவர முடிவுக்கு செல்லுபடியாகும், உள் செல்லுபடியாகும் நான்கு வகையான, செல்லுபடியாகும் அமைக்க, வெளிப்புற செல்லுபடியாகும் வழங்கும் ஆராய்ச்சியாளர்கள் ஒரு குறிப்பிட்ட பரிசோதனைக்கு இருந்து முடிவுகளை ஒரு பொது முடிவுக்கு ஆதரவு என்பதை மதிப்பிட உதவும் ஒரு மன சரிபார்ப்பு பட்டியல். அனலாக் வயது சோதனைகள் ஒப்பிடும்போது, டிஜிட்டல் வயது சோதனைகள் அதை அனுபவத்தால் வெளி செல்லுபடியாகும் உரையாற்ற எளிதாக இருக்க வேண்டும் மற்றும் அது உள் மதிப்பை உறுதிபடுத்த எளிதாக இருக்க வேண்டும். மறுபுறம், கட்டமைப்பாக செல்லுபடியாகும் பிரச்சினைகள் ஒருவேளை (என்று Opower சோதனைகள் கொண்ட வழக்கில் இல்லை என்றாலும்) டிஜிட்டல் வயது சோதனைகள் மிகவும் சவாலான இருக்கும்.