സാധുത ഒരു പരീക്ഷണത്തിന്റെ ഫലങ്ങൾ ഒരു കൂടുതൽ പൊതുവായ നിഗമനത്തിൽ പിന്തുണയ്ക്കാൻ എത്ര പരാമർശിക്കുന്നു.
ഒരു പരീക്ഷണവുമില്ല, സാധ്യതയുള്ള പ്രശ്നങ്ങളെ വിശദീകരിക്കുന്നതിന് ഗവേഷകർ ഒരു വിപുലമായ പദസങ്കേതം വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്. സാധുത ഒരു പ്രത്യേക പരീക്ഷണം ഫലങ്ങൾ ചില കൂടുതൽ പൊതുവായ നിഗമനത്തിൽ പിന്തുണ എത്രമാത്രം സൂചിപ്പിക്കുന്നു. സാധുതയെ നാല് പ്രധാന തരങ്ങളായി വിഭജിക്കാൻ സഹായിക്കുന്നതായി സാമൂഹ്യശാസ്ത്രജ്ഞന്മാർ കണ്ടെത്തിയിട്ടുണ്ട്: സ്റ്റാറ്റിസ്റ്റിക്കൽ തീർപ്പിലെ സാധുത സാധുത, ആന്തരിക സാധുത, നിർമ്മാണ സാധുത, പുറം സാധുത (Shadish, Cook, and Campbell 2001, chap. 2) . ഈ ആശയങ്ങൾ മാസ്റ്റേറ്റുചെയ്യുന്നത് ഒരു പരീക്ഷണത്തിന്റെ രൂപകൽപ്പനയും വിശകലനവും തടയുന്നതിനും മെച്ചപ്പെടുത്തുന്നതിനും നിങ്ങൾക്ക് ഒരു മാനസിക പരിശോധനാ പട്ടിക നൽകും, മറ്റ് ഗവേഷകരുമായി ആശയവിനിമയം നടത്താൻ ഇത് നിങ്ങളെ സഹായിക്കും.
ഈ പരീക്ഷണങ്ങളുടെ സ്ഥിതിവിവര വിശകലനം ശരിയായി ചെയ്തതാണോ എന്നതിനെപ്പറ്റിയാണ് സ്റ്റാറ്റിസ്റ്റിക്കൽ തീർപ്പാക്കൽ സാധുത . Schultz et al. (2007) , അത്തരം ഒരു ചോദ്യം അവർ കണക്കുകൂട്ടുന്നത് എന്ന് കേന്ദ്രം വേണ്ടി \(p\) ശരിയായി -വലുഎസ്. പരീക്ഷണങ്ങളുടെ രൂപകല്പനയും വിശകലനവും ഈ പുസ്തകത്തിന്റെ പരിധിക്ക് അപ്പുറമാണ്, എന്നാൽ ഡിജിറ്റൽ യുഗത്തിൽ അവർ അടിസ്ഥാനപരമായി മാറ്റിയിട്ടില്ല. ഡിജിറ്റൽ പരീക്ഷണങ്ങളിലെ ഡേറ്റാ സാഹചര്യം പരിസ്ഥിതി ചികിത്സാ രീതികൾ (Imai and Ratkovic 2013) കണക്കാക്കാൻ മെഷീൻ പഠന രീതികൾ ഉപയോഗപ്പെടുത്തി പുതിയ അവസരങ്ങൾ സൃഷ്ടിച്ചു എന്നതാണ് ഇതിൻറെ (Imai and Ratkovic 2013) .
പരീക്ഷണാത്മക നടപടിക്രമങ്ങൾ കൃത്യമായി നടപ്പിലാക്കണമോയെന്ന് ആന്തരിക സാധുത കേന്ദ്രീകരിക്കുന്നു. Schultz et al. (2007) പരീക്ഷണത്തിലേക്ക് മടങ്ങി Schultz et al. (2007) , ആന്തരിക സാധുതയെക്കുറിച്ചുള്ള ചോദ്യങ്ങൾ റാൻഡം ചെയ്യൽ, ചികിത്സയുടെ വിതരണം, ഫലങ്ങളുടെ അളവുകൾ എന്നിവയെല്ലാം കേന്ദ്രീകരിച്ചു. ഉദാഹരണത്തിന്, ഗവേഷണ സഹായികൾ ഇലക്ട്രോണിക് മീറ്ററുകൾ വിശ്വസനീയമായി വായിക്കുന്നില്ലെന്ന് നിങ്ങൾ ആശങ്കപ്പെടുന്നു. വാസ്തവത്തിൽ, ഷൂൾസും സഹപ്രവർത്തകരും ഈ പ്രശ്നത്തെക്കുറിച്ച് ആശങ്കാകുലരായി. അവർ രണ്ടു തവണ മില്ല്യൺ വായനക്കാരനായിരുന്നു. ഭാഗ്യവശാൽ, ഫലങ്ങൾ പ്രധാനമായും ഒരേപോലെയായിരുന്നു. പൊതുവേ, ഷൂൾസും സഹപ്രവർത്തകരും നടത്തുന്ന പരീക്ഷണങ്ങൾ ഉയർന്ന ആന്തരിക സാധുത ഉള്ളതായി തോന്നുന്നു, പക്ഷേ ഇത് എല്ലായ്പോഴും അങ്ങനെയല്ല: ശരിയായ മേഖലയിലെ ശരിയായ സംവിധാനത്തെ പ്രതിഷ്ഠിക്കുന്നതും എല്ലാവർക്കുമുള്ള നേട്ടങ്ങൾ അളക്കുന്നതും വളരെ സങ്കീർണമായ ഫീൽഡുകളും ഓൺലൈൻ പരീക്ഷണങ്ങളും പലപ്പോഴും പ്രശ്നങ്ങൾക്ക് ഇടയാക്കുന്നു. ഭാഗ്യവശാൽ, ഡിജിറ്റൽ പ്രായം ആന്തരിക സാധുതയെക്കുറിച്ചുള്ള ആശങ്കകൾ കുറയ്ക്കാൻ സഹായിക്കും, കാരണം അത് സ്വീകരിക്കുന്നവർക്കായി കരുതുകയും എല്ലാ പങ്കാളികൾക്കുമുള്ള ഫലങ്ങൾ അളക്കുന്നതിനുള്ള പരിഹാരം ഉറപ്പാക്കുകയും ചെയ്യുന്നത് എളുപ്പമാണ്.
ഡാറ്റ സൈദ്ധാന്തിക തയ്യാറാക്കിയതായിരുന്നു തമ്മിലുള്ള മത്സരം ചുറ്റും സാധുത കേന്ദ്രങ്ങൾ നിർമിച്ചു. അദ്ധ്യായം 2 ൽ ചർച്ച ചെയ്തതുപോലെ, സോഷ്യൽ ശാസ്ത്രജ്ഞരുടെ കാരണം സംബന്ധിച്ച അമൂർത്ത ആശയങ്ങളുണ്ട്. നിർഭാഗ്യവശാൽ, ഈ അമൂർത്ത സങ്കൽപങ്ങൾക്ക് വ്യക്തമായ നിർവചനങ്ങളും അളവുകളും ഇല്ല. Schultz et al. (2007) , നിർദ്ദിഷ്ടമായ സോഷ്യൽ മാനദണ്ഡങ്ങൾ വൈദ്യുതി ഉപയോഗം കുറയ്ക്കാനാകുമെന്ന വാദം ഗവേഷകർക്ക് "നിരോധന സാമൂഹിക മാനദണ്ഡങ്ങൾ" (ഉദാ: ഒരു ഇമോട്ടിക്കോൺ) കൈകാര്യം ചെയ്യുക, "വൈദ്യുതി ഉപയോഗം" അളക്കാനുള്ള ഒരു ചികിത്സ രൂപകൽപ്പന ചെയ്യേണ്ടതുണ്ട്. അനലോഗ് പരീക്ഷണങ്ങളിൽ അനേകം ഗവേഷകർ സ്വന്തം ചികിത്സാരീതികൾ രൂപകല്പന ചെയ്യുകയും സ്വന്തം നേട്ടങ്ങൾ വിലയിരുത്തുകയും ചെയ്തു. ഈ സമീപനം ഉറപ്പാക്കുമെന്നത് എത്രത്തോളം കഴിയുന്നോ അത്തരം പരീക്ഷണങ്ങൾ അമൂർത്ത നിർമ്മിതികളെ പഠനവുമായി പൊരുത്തപ്പെടുത്തുന്നു. കമ്പനികൾ അല്ലെങ്കിൽ ഗവൺമെൻറുമാരായ ഗവേഷക പങ്കാളികൾ ചികിത്സകൾ കൈമാറുന്നതിനും എല്ലായ്പ്പോഴും ഡേറ്റാസിസ്റ്റം സിസ്റ്റംസ് ഉപയോഗിക്കുമെന്നും, ഡിജിറ്റൽ പരീക്ഷണങ്ങളിൽ പരീക്ഷണങ്ങളും സൈദ്ധാന്തികമായ നിർമ്മിതികളും തമ്മിലുള്ള പൊരുത്തം കുറയുന്നു. അങ്ങനെ, അനലോഗ് പരീക്ഷണങ്ങളേക്കാൾ ഡിസൈൻ സാധുത ഡിജിറ്റൽ പരീക്ഷണങ്ങളിൽ വലിയ ആശങ്കയായിരിക്കുമെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.
അന്തിമമായി, ഈ പരീക്ഷണത്തിന്റെ ഫലങ്ങൾ മറ്റ് സാഹചര്യങ്ങൾക്ക് പൊതുവായുള്ളതാണോ എന്നതിന് ചുറ്റും ബാഹ്യ കാലതാമസം കേന്ദ്രീകരിക്കുന്നു. Schultz et al. (2007) , ഒരാൾ ഇതേ ആശയം നൽകുന്നുണ്ടോ-അവരെ തങ്ങളുടെ ഊർജ്ജോപകരണത്തെപ്പറ്റിയുള്ള വിവരങ്ങളുമായി ആളുകളോട് സംസാരിക്കുന്നുണ്ടോ എന്നതും ചോദിച്ചാൽ, ഒരു ഇമോട്ടിക്കോൺ മാനദണ്ഡത്തിന്റെ സൂചന (ഉദാഹരണത്തിന്, ഒരു ഇമോട്ടിക്കോൺ) -അത് മറ്റൊരു രീതിയിൽ ചെയ്തെങ്കിൽ ഊർജ്ജ ഉപയോഗം കുറയ്ക്കുമോ മറ്റൊരു ക്രമീകരണത്തിൽ. നന്നായി രൂപകൽപ്പന ചെയ്തതും നന്നായി പ്രവർത്തിക്കുന്നതുമായ പരീക്ഷണങ്ങൾക്ക്, ബാഹ്യമായ സാധുതയെക്കുറിച്ചുള്ള ആശങ്കകൾ പരിഹരിക്കുന്നതിനുള്ള ബുദ്ധിമുട്ടാണ്. കഴിഞ്ഞ കാലങ്ങളിൽ, ബാഹ്യമായ സാധുതയെക്കുറിച്ചുള്ള ഈ സംവാദങ്ങൾ പതിവായി മറ്റൊരു രീതിയിലും അല്ലെങ്കിൽ മറ്റൊരു സ്ഥലത്ത് അല്ലെങ്കിൽ വ്യത്യസ്ത പങ്കാളികളുമായി നടന്നാൽ എന്തു സംഭവിക്കുമായിരുന്നുവെന്ന് സങ്കല്പിക്കാൻ ശ്രമിക്കുന്ന ഒരു മുറിയിൽ ഇരുന്നുകൊണ്ട് ഒരു കൂട്ടം ആളുകൾ . ഭാഗ്യവശാൽ, ഡിജിറ്റൽ പ്രായം ഈ ഡാറ്റ-സ്വതന്ത്ര ഊഹാപോഹങ്ങൾക്ക് അപ്പുറത്തേക്ക് ഗവേഷണം സാധ്യമാക്കുകയും ബാഹ്യ സാധുത പരീക്ഷണാടിസ്ഥാനത്തിൽ വിലയിരുത്തുകയും ചെയ്യുന്നു.
Schultz et al. (2007) നിന്നുള്ള ഫലങ്ങൾ Schultz et al. (2007) വളരെ ആവേശഭരിതരായിരുന്നു, ഒപ്പേരു എന്ന പേരിലുള്ള ഒരു കമ്പനിയാണ് അമേരിക്കയിലെ യൂട്ടിലിറ്റികളുമായി കൂടുതൽ വ്യാപകമാകുന്നതെന്ന് കണ്ടെത്തി. Schultz et al. (2007) രൂപകല്പനയുടെ അടിസ്ഥാനത്തിലാണ് Schultz et al. (2007) , ഒപ്പുവെക്കൽ ഇഷ്ടാനുസൃത ഹോം എനർജി റിപ്പോർട്ടുകളുടെ രൂപത്തിൽ രണ്ട് പ്രധാന മൊഡ്യൂളുകളുണ്ടായിരുന്നു. ഒരാളുടെ ഇമോട്ടിക്കോണിനെ അപേക്ഷിച്ച് വീടുകളുടെ വൈദ്യുതി ഉപഭോഗം കാണിക്കുന്നു, ഊർജ്ജ ഉപയോഗം കുറയ്ക്കുന്നതിനുള്ള നുറുങ്ങുകൾ നൽകുന്ന ഒരാൾ (ചിത്രം 4.6). പിന്നീട് ഗവേഷകരുമായി പങ്കുചേർന്ന് ഒബാമ ഈ ഹോം എനർജി റിപ്പോർട്ടുകളുടെ ആഘാതം വിലയിരുത്തുന്നതിന് ക്രമരഹിതമായ നിയന്ത്രിത പരീക്ഷണങ്ങൾ നടത്തി. ഈ പരീക്ഷണങ്ങളിലെ ചികിത്സാരീതികൾ ശാരീരികമായി സാധാരണഗതിയിൽ നൽകിയിരുന്നു- സാധാരണഗതിയിൽ പഴയ രീതിയിലുള്ള ഫെയ്ലൽ മെയിൽ വഴി-ഫിസിക്കൽ ലോകത്തിലെ ഡിജിറ്റൽ ഡിവൈസുകൾ (ഉദാ: പവർ മീറ്റർ) ഉപയോഗിച്ച് അളക്കുന്നത് അളക്കുകയായിരുന്നു. കൂടാതെ ഓരോ വീടിനും സന്ദർശിക്കുന്ന ഗവേഷണ സഹായികളോടൊപ്പം ഈ വിവരം സ്വമേധയാ ശേഖരിക്കുകയും ചെയ്യുന്നതിനൊപ്പം, ഗവേഷകരെ വൈദ്യുത വായനക്കാരെ സമീപിക്കാൻ വൈദ്യുതി കമ്പനികളുമായി സഹകരിച്ച് ഒപോവർ പരീക്ഷണങ്ങൾ നടത്തി. അങ്ങനെ, ഭാഗികമായ ഈ ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ കുറഞ്ഞ വിലയിൽ വലിയ തോതിൽ പ്രവർത്തിച്ചു.
Allcott (2011) സൈറ്റുകളിൽ നിന്നുള്ള 600,000 വീടുകളിൽ ഉൾപ്പെട്ട ആദ്യ പരീക്ഷണങ്ങളിൽ, Allcott (2011) ഗാർഹിക ഊർജ്ജ റിപ്പോർട്ട് വൈദ്യുതി ഉപഭോഗം കുറച്ചതായി കണ്ടെത്തി. മറ്റു വാക്കുകളിൽ പറഞ്ഞാൽ, വളരെ വലിയ, കൂടുതൽ ഭൂമിശാസ്ത്രപരമായ വൈജ്ഞാനിക പഠനങ്ങളുടെ ഫലം ഗുണപരമായ രീതിയിൽ Schultz et al. (2007) . കൂടാതെ, 101 വ്യത്യസ്ത സൈറ്റുകളിൽ നിന്നും എട്ട് ദശലക്ഷം കൂടുതൽ കുടുംബങ്ങൾ ഉൾപ്പെട്ട ഗവേഷണങ്ങളിൽ, Allcott (2015) വീണ്ടും വൈദ്യുതി ഉപഭോഗം കുറച്ചതായി കണ്ടെത്തി. വളരെ വലിയ പരീക്ഷണങ്ങളുടെ ഒരു സെറ്റ് പോലും ഒറ്റ പരീക്ഷണങ്ങളിൽ കാണാനാകാത്ത രസകരമായ ഒരു പാറ്റേൺ വെളിപ്പെടുത്തി: പിന്നീടുള്ള പരീക്ഷണങ്ങളിൽ ഫലത്തിന്റെ വലിപ്പം കുറഞ്ഞു (ചിത്രം 4.7). Allcott (2015) ഈ തകർച്ച സംഭവിച്ചെന്ന് ഊഹിച്ചു, കാരണം, കാലക്രമേണ, വിവിധ രീതിയിലുള്ള പങ്കാളികൾക്ക് ചികിത്സ നൽകിയിരുന്നു. കൂടുതൽ വ്യക്തമായി, കൂടുതൽ പരിസ്ഥിതി ഫോളുക കസ്റ്റമർമാരായുള്ള സൗകര്യങ്ങൾ മുൻപ് പ്രോഗ്രാമിനെ കൂടുതൽ പ്രാവർത്തികമാക്കിയിരുന്നു, കൂടാതെ അവരുടെ ഉപഭോക്താക്കൾ ചികിത്സയ്ക്ക് കൂടുതൽ പ്രതികരിക്കുകയും ചെയ്തു. പരിസ്ഥിതിക്ക് പ്രാമുഖ്യം നൽകുന്ന ഉപഭോക്താക്കളെ അപേക്ഷിച്ച് പരിപാടികൾ സ്വീകരിച്ചതോടെ അതിന്റെ ഫലപ്രാപ്തി താഴ്ന്നു. അതിനാൽ, പരീക്ഷണങ്ങളിൽ റാൻഡമൈസേഷൻ പോലെ, ട്രീറ്റ്മെന്റ് നിയന്ത്രണ ഗ്രൂപ്പുകളും സമാനമാണെന്നും, ഗവേഷണ സൈറ്റുകളിലെ റാൻഡമൈസേഷൻ, ഒരു കൂട്ടം പങ്കാളികളിൽ നിന്ന് കൂടുതൽ ജനസംഖ്യയുള്ളവർക്ക് (സാംപ്ളിങ് സംബന്ധിച്ച് മൂന്നാമതായി ചിന്തിക്കൂ) വിശകലനം ചെയ്യാൻ സാധിക്കുന്നു. ഗവേഷണ സൈറ്റുകൾ ക്രമരഹിതമായി പരിശോധിക്കുന്നില്ലെങ്കിൽ, പിന്നെ തികച്ചും രൂപകൽപ്പന ചെയ്തതും പരീക്ഷിച്ചതും ആയ പരീക്ഷണങ്ങളിൽ നിന്നുമാത്രമാണ് സാധാരണവൽക്കരണം.
Allcott (2011) , Allcott (2011) 111 പരീക്ഷണങ്ങളും 10 Allcott (2015) 101 ഉം Allcott (2015) നിന്ന് 8.5 മില്ല്യണ് ജനങ്ങളെ പിന്തള്ളി. ആഭ്യന്തര ഊർജ്ജ റിപ്പോർട്ടുകൾ ശരാശരി വൈദ്യുതി ഉപഭോഗം കുറയ്ക്കാൻ കഴിയുമെന്ന് സ്ഥിരതയോടെ കാണിക്കുന്നു. കാലിഫോർണിയയിലെ 300 വീടുകളിൽ നിന്നുള്ള ഷൂൾസ്, സഹപ്രവർത്തകർ എന്നിവയുടെ യഥാർത്ഥ കണ്ടുപിടിത്തങ്ങളെ പിന്തുണയ്ക്കുന്നു. ഈ ഒറിജിനൽ ഫലങ്ങൾ മാത്രം പകർത്തുന്നതിനുമപ്പുറം, തുടർന്നുള്ള പരീക്ഷണങ്ങളും പ്രാബല്യത്തിന്റെ വലിപ്പം വ്യത്യാസപ്പെടുത്തുന്നത് കാണിക്കുന്നു. ഈ പരീക്ഷണ സമിതി ഭാഗികമായി ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ സംബന്ധിച്ച് രണ്ട് പൊതു പോയിന്റുകൾ ചിത്രീകരിക്കുന്നു. ആദ്യത്തേത്, പരീക്ഷണങ്ങളുടെ ചെലവ് കുറവാണെങ്കിൽ, ബാഹ്യമായ സാധുതയെക്കുറിച്ചുള്ള ആശങ്കകളെ അഭിമുഖീകരിക്കാൻ കഴിയുമെന്ന് ഗവേഷകർക്ക് മനസ്സിലാകും, ഒപ്പം എല്ലായ്പ്പോഴും ഒരു എല്ലായ്പ്പോഴും ഡാറ്റ സംവിധാനത്തിലൂടെ ഫലം കണക്കിലെടുക്കുമ്പോൾ ഇത് സംഭവിക്കാം. അതിനാൽ, ഇതിനകം തന്നെ റെക്കോർഡ് ചെയ്യപ്പെടുന്ന മറ്റ് രസകരമായ, സുപ്രധാന സ്വഭാവങ്ങളുടെ ലുക്കൗട്ടിലെ ഗവേഷകരായിരിക്കണമെന്ന് ഗവേഷകർ നിർദ്ദേശിക്കുന്നു. കൂടാതെ നിലവിലുള്ള നിലവിലുള്ള അടിസ്ഥാന സൗകര്യങ്ങളുടെ മുകളിൽ പരീക്ഷണ രൂപകൽപന നടത്തുകയും ചെയ്യുന്നു. രണ്ടാമതായി, പരീക്ഷണങ്ങളുടെ ഈ സെറ്റ് ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ ഓൺലൈനിൽ മാത്രമല്ല എന്ന് നമ്മെ ഓർമ്മിപ്പിക്കുന്നു. വളർന്നുവരുന്ന പരിതസ്ഥിതിയിൽ സെൻസറുകളുടെ അളവുകൾ പല അളവുകളിലൂടെയും അവർ എല്ലായിടത്തും ഉണ്ടാകും എന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.
ഒരു പ്രത്യേക പരീക്ഷണത്തിൽ നിന്നുള്ള ഫലം കൂടുതൽ പൊതുവായ തീരുമാനമാണോ എന്ന് പരിശോധിക്കുന്നതിനായി ഗവേഷകർക്ക് സഹായിക്കാൻ ഒരു മാനസിക പരിശോധനാ പട്ടിക ലഭ്യമാക്കുന്ന നാല് തരം സാധുത-സ്റ്റാറ്റിസ്റ്റിക്കൽ തീർപ്പിലെ സാധുത, ആന്തരിക സാധുത, നിർമ്മാണ സാധുത, പുറം സാധുത എന്നിവ. അനലോഗ് പ്രായപരിധിയുള്ള പരീക്ഷണങ്ങളുമായി താരതമ്യം ചെയ്തുകൊണ്ട്, ഡിജിറ്റൽ വയസ്സ് പരീക്ഷണങ്ങളിൽ, ബാഹ്യമായ സാധുതയെ അഭിമുഖീകരിക്കാൻ എളുപ്പമാണ്, മാത്രമല്ല ആന്തരിക സാധുത ഉറപ്പാക്കാൻ ഇത് കൂടുതൽ എളുപ്പമായിരിക്കണം. മറുവശത്ത് ഡിജിറ്റൽ വയലിനുള്ള പരീക്ഷണങ്ങൾ, പ്രത്യേകിച്ച് ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ, കമ്പനികളുമായി പങ്കാളിത്തം തുടങ്ങിയവയിൽ, നിർമ്മാണ സാധുതയുടെ പ്രശ്നങ്ങൾ കൂടുതൽ വെല്ലുവിളിക്കുകയാണ്.