4.4.1 സാധുത

സാധുത ഒരു പരീക്ഷണത്തിന്റെ ഫലങ്ങൾ ഒരു കൂടുതൽ പൊതുവായ നിഗമനത്തിൽ പിന്തുണയ്ക്കാൻ എത്ര പരാമർശിക്കുന്നു.

ഇല്ല പരീക്ഷണം അത്യുത്തമം, ഗവേഷകരും സാധ്യത പ്രശ്നങ്ങൾ വിശദീകരിക്കാനുള്ള വിപുലമായ പദാവലി വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്. സാധുത ഒരു പ്രത്യേക പരീക്ഷണം ഫലങ്ങൾ ചില കൂടുതൽ പൊതുവായ നിഗമനത്തിൽ ആധാരമാക്കിയ എത്രമാത്രം പരാമർശിക്കുന്നു. സ്ഥിതിവിവര നിഗമനത്തിൽ സാധുത, ആന്തരിക സാധുത, സാധുത നിർമിക്കുക, എക്സ്റ്റേണൽ സാധുത: സാമൂഹിക ശാസ്ത്രജ്ഞന്മാർ നാലു പ്രധാന തരം തിരിച്ചു സാധുത വിഭജിക്കാൻ സഹായകരമായ കണ്ടെത്തിയിരിക്കുന്നു (Shadish, Cook, and Campbell 2001, Ch 2) . ഈ സങ്കൽപ്പങ്ങൾ ഹൃദിസ്ഥമാക്കി നിങ്ങൾ critiquing ഒരു പരീക്ഷണം രൂപകൽപന വിശകലനം മെച്ചപ്പെടുത്തണമെങ്കിൽ ചെക്ക്പ്പ് നൽകും അതു നിങ്ങളെ ഗവേഷകർ ആശയവിനിമയം സഹായിക്കും.

സ്റ്റാറ്റിസ്റ്റിക്കൽ നിഗമനത്തിൽ സാധുത പരീക്ഷണം സ്റ്റാറ്റിസ്റ്റിക്കൽ വിശകലനം ശരിയായി സംഭവിച്ചതു ഇല്ലയോ ചുറ്റും കേന്ദ്രീകരിച്ചാണ്. പശ്ചാത്തലത്തിൽ Schultz et al. (2007) അത്തരം ചോദ്യം അവ ശരിയായ തങ്ങളുടെ പി-മൂല്യങ്ങൾ കണക്കുകൂട്ടുന്നത് വേണ്ടയോ നടുവിലേക്ക് വേണ്ടി. സ്റ്റാറ്റിസ്റ്റിക്കൽ വിശകലനം ഈ പുസ്തകത്തിൻറെ പാഠത്ത് ആണ്, പക്ഷേ എനിക്ക് പരീക്ഷണങ്ങൾ ഡിസൈനും വിശകലനം ആവശ്യമായ സ്ഥിതിവിവര തത്ത്വങ്ങൾ ഡിജിറ്റൽ യുഗത്തിൽ മാറിയിട്ടില്ല എന്ന് പറയാം. എന്നാൽ, ഡിജിറ്റൽ പരീക്ഷണങ്ങളിൽ മറ്റൊരു ഡാറ്റ പരിസ്ഥിതി പുതിയ സ്റ്റാറ്റിസ്റ്റിക്കൽ അവസരങ്ങൾ (ഉദാ, ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity കണക്കാക്കാൻ മെഷീൻ ലേണിംഗ് രീതികൾ ഉപയോഗിച്ച് സൃഷ്ടിക്കാൻ എങ്ങനെ (Imai and Ratkovic 2013) ) പുതിയ കമ്പ്യൂട്ടേഷണൽ വെല്ലുവിളികൾ (ഉദാ, വൻ പരീക്ഷണങ്ങളിൽ തടയുന്നത് (Higgins, Sävje, and Sekhon 2016) ).

ആന്തരിക സാധുത പരീക്ഷണാത്മക നടപടിക്രമങ്ങൾ ശരിയായി നടത്തിയിരുന്നത് എന്നത് ചുറ്റും കേന്ദ്രീകരിച്ചാണ്. അനുഭവം മടങ്ങുന്നത് Schultz et al. (2007) , ആന്തരിക സാധുത സംബന്ധിച്ച ചോദ്യങ്ങൾക്ക് റാൻഡമൈസേഷനും, ചികിത്സയുടെ വിതരണം, പാടുന്നവർ അളവ് ചുറ്റും മധ്യഭാഗത്ത് കഴിഞ്ഞില്ല. ഉദാഹരണത്തിന്, നിങ്ങൾ ഗവേഷണ സഹായികൾ വിശ്വസനീയമായി വൈദ്യുത മീറ്റർ വായിക്കാത്ത ബന്ധപ്പെട്ട ആകേണ്ടതിന്നു. വാസ്തവത്തിൽ, ഷൂട്സ് സഹപ്രവർത്തകരും ഈ പ്രശ്നവുമായി സംശയിച്ചിരുന്നു അവർ രണ്ടുതവണ വായിച്ചു മീറ്റർ സാമ്പിൾ ഉണ്ടായിരുന്നു; ഭാഗ്യവശാൽ, ഫലങ്ങള് അടിസ്ഥാനപരമായി അളവും ആയിരുന്നു. പൊതുവേ, ഷൂട്സ് സഹപ്രവർത്തകരും 'പരീക്ഷണം ഉയർന്ന ആന്തരിക സാധുത ഉള്ളതായി തോന്നുന്നു, എന്നാൽ ഈ എല്ലായ്പ്പോഴും അങ്ങനെയായിരിക്കില്ല; സങ്കീർണ്ണമായ ഫീൽഡ് ഓൺലൈൻ പരീക്ഷണങ്ങളും പലപ്പോഴും പ്രശ്നങ്ങൾ യഥാർത്ഥത്തിൽ ശരിയായ ആളുകൾക്ക് ശരിയായ ചികിത്സ ഏല്പിച്ചും എല്ലാവർക്കും പാടുന്നവർ അളന്നു നേരിടും. ഭാഗ്യവശാൽ, ഡിജിറ്റൽ യുഗത്തിൽ അത് എളുപ്പം സ്വീകരിക്കുന്നതിനും എല്ലാ പങ്കാളികൾക്കും പാടുന്നവർ അളക്കാൻ .അലഞ്ഞുതിരിഞ്ഞ് ചെയ്തവർക്ക് രൂപകൽപ്പന ചികിത്സ ഏല്പിച്ചു എന്ന് ഉറപ്പാക്കാൻ കാരണം ആന്തരിക സാധുത കുറിച്ച് ആശങ്കകൾ കുറയ്ക്കാൻ സഹായിക്കും.

ഡാറ്റയും സൈദ്ധാന്തിക രീതികളായ തമ്മിലുള്ള മത്സരം ചുറ്റും സാധുത കേന്ദ്രങ്ങൾ നിർമിച്ചു. അദ്ധ്യായം 2 ചർച്ച ചെയ്തതുപോലെ, രീതികളായ അമൂർത്തമോ സങ്കൽപ്പങ്ങൾ സാമൂഹ്യ ശാസ്ത്രജ്ഞർ കാരണം ആകുന്നു. നിർഭാഗ്യവശാൽ, ഈ അബ്സ്ട്രാക്റ്റ് സങ്കല്പങ്ങൾ എപ്പോഴും വ്യക്തമായ നിർവ്വചനങ്ങളും അളവുകളും ഇല്ല. മടങ്ങുന്നു Schultz et al. (2007) , സോഷ്യൽ മാനദണ്ഡങ്ങൾ വൈദ്യുതി ഉപയോഗം ഒതുക്കുകയും കഴിയും നിരോധന വാദം "നിരോധന സോഷ്യൽ മാനദണ്ഡങ്ങൾ" (ഉദാ, ഇമോട്ടിക്കോൺ) കൈകാര്യം "വൈദ്യുതി ഉപയോഗം" അളക്കാൻ തന്നെ ഒരു ചികിത്സ രൂപകല്പന ഗവേഷകർ ആവശ്യമാണ്. അനലോഗ് പരീക്ഷണങ്ങൾ പല ഗവേഷകർ സ്വന്തം ചികിത്സകൾ രൂപകല്പന സ്വന്തം പാടുന്നവർ അളന്നു. ഈ സമീപനം കഴിയുന്നിടത്തോളം, പരീക്ഷണങ്ങൾ അമൂർത്തമായ രീതികളായ പഠിച്ച ചെയ്തുകൊണ്ടിരിക്കുന്നു പൊരുത്തപ്പെടുന്നില്ല, ഉറപ്പുവരുത്തുകയും. കമ്പനികൾ അല്ലെങ്കിൽ സർക്കാരുകൾ പങ്കാളി എവിടെ ഗവേഷകർ ചികിത്സാരീതികൾ വിടുവിപ്പാനും പാടുന്നവർ അളക്കുന്നതിന് എപ്പോഴും ഉപയോഗിക്കാൻ ഡാറ്റ സംവിധാനങ്ങൾ ഡിജിറ്റൽ പരീക്ഷണങ്ങളിൽ, എന്നിവ സൈദ്ധാന്തിക രീതികളായ തമ്മിലുള്ള മത്സരം കുറവ് ഇറുകിയ ആയിരിക്കാം. ഇപ്രകാരം, ഞാൻ പരവലയങ്ങൾക്കു് സാധുത അനലോഗ് പരീക്ഷണങ്ങൾ അധികം ഡിജിറ്റൽ പരീക്ഷണങ്ങളിൽ ഒരു വലിയ ആശങ്ക പ്രവണത ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

അവസാനമായി, ബാഹ്യ സാധുത ഈ പരീക്ഷണത്തിന്റെ ഫലങ്ങൾ മറ്റു സാഹചര്യങ്ങൾക്കും സാമാന്യവത്കരിക്കുകയെന്നാൽ എത്തുമോ എന്ന് ചുറ്റും കേന്ദ്രീകരിച്ചാണ്. മടങ്ങുന്നു Schultz et al. (2007) , അതിൽ മറ്റൊരു രീതിയിൽ സംഭവിച്ചതു എങ്കിൽ ഇതേ ആശയം-നൽകുന്നത് ആളുകൾക്ക് ബന്ധം ഊർജ്ജം ഉപയോഗ വിവരങ്ങൾ .കുറചോരഹങ്കാര ഒരു നിരോധന മാനദണ്ഡങ്ങൾ സിഗ്നൽ (ഉദാ, ഇമോട്ടിക്കോൺ) -reduce ഊർജ്ജ ഉപയോഗം ഉദ്ദേശിക്കുന്നവരെ ചോദിക്കാം മറ്റൊരു ക്രമീകരണം? ഏറ്റവും നന്നായി രൂപകല്പന നന്നായി റൺ പരീക്ഷണങ്ങളിൽ, ബാഹ്യ സാധുത കുറിച്ച് ആശങ്കകൾ .അതെ ആകുന്നു. കഴിഞ്ഞ, ബാഹ്യ സാധുത കുറിച്ച് ഈ സംവാദത്തിൽ ജനങ്ങളെ നടപടിക്രമങ്ങൾ മറ്റൊരു രീതിയിൽ, അല്ലെങ്കിൽ മറ്റൊരു സ്ഥലത്തു, അല്ലെങ്കിൽ വ്യത്യസ്ത ആളുകളുമായി സംഭവിച്ചു എങ്കിൽ സംഭവിച്ച അയാൾ ചോദിച്ചു ശ്രമിക്കുന്ന ഒരു മുറിയിൽ ഇരിക്കുന്ന വെറും ഒരു കൂട്ടം ആയിരുന്നു. ഭാഗ്യവശാൽ, ഡിജിറ്റൽ യുഗത്തിൽ ഈ ഡാറ്റ-സ്വതന്ത്ര ഊഹങ്ങൾ അപ്പുറം നീക്കാൻ ആശങ്കകളെ ബാഹ്യ സാധുത വിലയിരുത്താൻ ഗവേഷകർ പ്രാപ്തമാക്കുന്നു.

കാരണം നിന്ന് ഫലങ്ങൾ Schultz et al. (2007) .കാതു ആയിരുന്നു Opower പേരിൽ ഒരു കമ്പനി വ്യാപകമായി ചികിത്സ വിന്യസിക്കാൻ യുണൈറ്റഡ് സ്റ്റേറ്റ്സ് യൂട്ടിലിറ്റികൾ പങ്കാളിത്തത്തിൽ. രൂപകല്പന അടിസ്ഥാനത്തിൽ Schultz et al. (2007) , Opower രണ്ടു പ്രധാന ഘടകങ്ങൾ, ഇമോട്ടിക്കോൺ ഊർജ്ജ ഉപയോഗം (ചിത്രം 4.6) നിർണയിക്കുക നുറുങ്ങുകൾ നൽകുന്നത് ഒറ്റ അതിന്റെ അയൽക്കാർക്കും വീട്ടുകാർക്കും ന്റെ വൈദ്യുതി ഉപയോഗ ആപേക്ഷിക കാണിക്കുന്ന ഉണ്ടായിരുന്നുവെങ്കിൽ കസ്റ്റമൈസ്ഡ് ഹോം എനർജി റിപ്പോർട്ടുകൾ സൃഷ്ടിച്ചു. പിന്നെ, ഗവേഷകർ ചേർന്ന് Opower ക്രമരഹിതമായ നിയന്ത്രിത പരീക്ഷണങ്ങൾ ഹോം എനർജി റിപ്പോർട്ടുകൾ ആഘാതം വിലയിരുത്താൻ ഓടി. ഈ പരീക്ഷണങ്ങളിൽ ചികിത്സകൾ സാധാരണ പഴയ കൊലയാളി തപാലിൽ-ഫലമാണ് വഴി ശാരീരികമായി-സാധാരണയായി ഏല്പിച്ചു പോലും സാധാരണ ലോകത്തെ (ഉദാ വൈദ്യുതി മീറ്റർ,) ഡിജിറ്റൽ ഉപകരണങ്ങൾ ഉപയോഗിച്ച് കണക്കാക്കിയിട്ടുണ്ട്. അല്ല അല്ലങ്കിൽ ഓരോ വീട്ടിൽ സന്ദർശിച്ച് ഗവേഷണ സഹായികളും ഈ വിവരങ്ങൾ ശേഖരിച്ച് അധികം, Opower പരീക്ഷണങ്ങൾ എല്ലാ വൈദ്യുതി കമ്പനികൾ വൈദ്യുതി റീഡിംഗുകൾ ആക്സസ് ശാസ്ത്രജ്ഞരെ പ്രാപ്തരാക്കുകയും പങ്കാളിത്തത്തോടെ സംഭവിച്ചു. ഇപ്രകാരം, ഈ ഭാഗികമായെങ്കിലും ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ കുറഞ്ഞ വേരിയബിൾ ചെലവിൽ ഒരു വലിയ അളവിൽ നടന്നിരുന്നു.

ചിത്രം 4.6: ഹോം എനർജി റിപ്പോർട്ടുകൾ Allcott (2011) ഒരു സാമൂഹ്യ താരതമ്യം മൊഡ്യൂൾ ഒരു ആക്ഷൻ നടപടികൾ മൊഡ്യൂൾ ഉണ്ടായിരുന്നു.

യുണൈറ്റഡ് സ്റ്റേറ്റ്സ് 10 കമ്പനികളുമായി ശുശ്രൂഷ 600,000 കുടുംബങ്ങളുടെ ഉൾപ്പെട്ട പരീക്ഷണത്തിന്റെ ആദ്യ സെറ്റിൽ, Allcott (2011) ഹോം എനർജി റിപ്പോർട്ട് 1.7% വൈദ്യുതി ഉപഭോഗം കുറച്ചിരുന്നു കണ്ടെത്തി. മറ്റു വാക്കുകളിൽ, വളരെ ബൃഹത്തായ, കൂടുതൽ ഭൂമിശാസ്ത്രപരമായി വിഭിന്ന പഠനത്തിന് നിന്നുള്ള ഫലങ്ങൾ ലേക്ക് ഗുണപരമായി സമാനമായ ആയിരുന്നു Schultz et al. (2007) . എന്നാൽ, പ്രഭാവം വലിപ്പം കുറവായിരുന്നു: ഇൻ Schultz et al. (2007) വിവരണാത്മകവുമായിരിക്കുക injective മാനദണ്ഡങ്ങൾ കണ്ടീഷൻ കുടുംബങ്ങളുടെ (ഇമോട്ടിക്കോൺ ഉപയോഗിച്ച് ഒന്ന്) 5% അവരുടെ വൈദ്യുതി ഉപയോഗ കുറച്ചിട്ടുണ്ട്. ഈ വ്യത്യാസം കൃത്യമായ കാരണം അജ്ഞാതമാണ്, എന്നാൽ Allcott (2011) ഒരു സർവകലാശാല സ്പോൺസർ ഒരു പഠനത്തിന്റെ ഭാഗമായി ഒരു കൈയ്യൊപ്പ് ഇമോട്ടിക്കോൺ ലഭിക്കുന്നത് ഒരു നിന്ന് ഒരു ബഹുജന പുറത്തിറക്കിയ റിപ്പോർട്ട് ഭാഗമായി ഒരു അച്ചടിച്ച ഇമോട്ടിക്കോൺ ലഭിക്കുന്നത് അധികം പെരുമാറ്റം ഒരു വലിയ പ്രഭാവം സാധിച്ചെങ്കിൽ കരുതപ്പെടുന്നത് വൈദ്യുതി കമ്പനി.

മാത്രവുമല്ല, തുടർന്നുള്ള ഗവേഷണത്തിൽ, Allcott (2015) അധിക 8 ദശലക്ഷം കുടുംബങ്ങൾക്ക് ഉൾപ്പെട്ട ഒരു അധിക 101 പരീക്ഷണങ്ങളിൽ റിപ്പോർട്ട്. ഈ അടുത്ത 101 പരീക്ഷണങ്ങളിൽ ഹോം എനർജി റിപ്പോർട്ട് ജനം തങ്ങളുടെ വൈദ്യുത ഉപഭോഗം കുറയ്ക്കാനുള്ള കാരണമാകും തുടർന്നെങ്കിലും, ഇഫക്റ്റുകൾ പോലും ചെറിയ ആയിരുന്നു. ഈ നിരസിക്കലിന്റെ കൃത്യമായ കാരണം അറിവായിട്ടില്ല, പക്ഷേ Allcott (2015) റിപ്പോർട്ട് ഫലപ്രാപ്തി യഥാർത്ഥത്തിൽ പങ്കെടുക്കുന്നവരിൽ വ്യത്യസ്ത തരം പ്രയോഗിക്കുന്നു ഇവൾക്കു കാലക്രമത്തിൽ കുറയുകയും പ്രത്യക്ഷനായി ഊഹങ്ങളും. പോരാഞ്ഞ്, കൂടുതൽ പരിസ്ഥിതി മേഖലകളിൽ യൂട്ടിലിറ്റികൾ കൂടുതൽ സാധ്യത നേരത്തെ സ്വീകരിക്കാൻ ചെയ്തു അവരുടെ ഉപഭോക്താക്കളുമായി ചികിത്സ പ്രതികരിക്കാൻ ആയിരുന്നു. കുറവ് പരിസ്ഥിതി ഉപഭോക്താക്കളുമായി യൂട്ടിലിറ്റികൾ പ്രോഗ്രാം ദത്തെടുത്ത പോലെ, അതിന്റെ ഫലപ്രാപ്തി നിരസിക്കാൻ പ്രത്യക്ഷനായി. ഇപ്രകാരം, വെറും പരീക്ഷണങ്ങളിൽ റാൻഡമൈസേഷനും ചികിത്സ നിയന്ത്രണവും ഗ്രൂപ്പ് സമാനമായ ഉറപ്പുവരുത്തുകയും പോലെ ഗവേഷണ സൈറ്റുകളിലും റാൻഡമൈസേഷനും എസ്റ്റിമേറ്റുകൾ (തിരികെ അദ്ധ്യായം 3 ഒരുപറ്റം കുറിച്ച് വിചാരിക്കുന്നു) ഒരു കൂടുതൽ പൊതുവായ ജനസംഖ്യയിൽ പങ്കാളികളുടെ ഒരു ഒറ്റ ഗ്രൂപ്പിൽ നിന്നും ആദർശ കഴിയും ഉറപ്പുവരുത്തുകയും. ഗവേഷണ സൈറ്റുകൾ ക്രമരഹിതമായി സാമ്പിളുകൾ അല്ല എങ്കിൽ, സാമാന്യമായ-പോലും തികച്ചും രൂപകൽപ്പന നടത്തിയ നിന്ന് പ്രശ്നാമാകാം പരീക്ഷണം-കഴിയും.

അതോടൊപ്പം, ഈ 111 പരീക്ഷണങ്ങൾ-10 Allcott (2011) ഉം 101 Allcott (2015) എല്ലാ യുണൈറ്റഡ് സ്റ്റേറ്റ്സ് മീതെ നിന്ന് 8.5 ദശലക്ഷം കുടുംബങ്ങൾക്ക് പേരടങ്ങിയ. അവർ സ്ഥിരതയാർന്ന ഹോം എനർജി റിപ്പോർട്ടുകൾ ശരാശരി വൈദ്യുതി ഉപഭോഗം കാലിഫോർണിയയിലെ 300 വീടുകളിൽ നിന്ന് ഷൂട്സ് സഹപ്രവർത്തകരും യഥാർത്ഥ കണ്ടെത്തലുകൾ പിന്തുണയ്ക്കുന്ന ഒരു ഫലം കുറയ്ക്കാൻ കാണിക്കുന്നത്. വെറും ഈ യഥാർത്ഥ ഫലങ്ങൾ പകർപ്പെടുക്കുന്ന ബിയോണ്ട്, ഫോളോ-അപ്പ് പരീക്ഷണങ്ങൾ പുറമേ പ്രാബല്യത്തിൽ വലുപ്പം ലൊക്കേഷൻ വഴി മാറുന്നു എന്ന് കാണിക്കുന്നു. പരീക്ഷണങ്ങളുടെ ഈ ഒരുകൂട്ടം ഭാഗികമായും ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ കുറിച്ച് രണ്ട് കൂടുതൽ പൊതുവായ പോയിന്റ് വ്യക്തമാക്കുന്നു. ആദ്യം, ഗവേഷകർ ബാഹ്യ സാധുത കുറിച്ച് വിലാസം ആശങ്കകൾ ആശങ്കകളെ പരീക്ഷണങ്ങളെ പ്രവർത്തിക്കുന്ന ചെലവ് കുറയുമ്പോൾ കഴിയും ഫലമാണ് ഇതിനകം എല്ലായ്പോഴും ഡാറ്റ സിസ്റ്റം അളക്കുന്നത് ചെയ്യുകയാണ് എങ്കിൽ ഈ സംഭവിക്കാം. അതുകൊണ്ടു അതു ഗവേഷണം ഇതിനകം രേഖപ്പെടുത്തി; അതു, തുടർന്ന് ഇതു നിലവിലുള്ള അളന്നു അടിസ്ഥാനസൗകര്യങ്ങൾ മുകളിൽ പരീക്ഷണങ്ങൾ ഡിസൈൻ മറ്റുള്ളവ രസകരമായ പ്രധാനപ്പെട്ട സ്വഭാവങ്ങൾക്കുമായി ലുക്ക് ഔട്ട് ആയിരിക്കണം സൂചിപ്പിക്കുന്നത്. രണ്ടാമത്തേത്, പരീക്ഷണങ്ങൾ ഈ സെറ്റ് ഡിജിറ്റൽ ഫീൽഡ് പരീക്ഷണങ്ങൾ അല്ല വെറും ഓൺലൈൻ നമ്മെ ഓർമിപ്പിക്കുന്നു; കൂടുതലായി അവർ പണിത പരിതസ്ഥിതിയിൽ സെൻസറുകൾ അളന്നു പല പാടുന്നവർ എല്ലായിടത്തും ആയിരിക്കും പ്രതീക്ഷിക്കാം.

സാധുത-സ്റ്റാറ്റിസ്റ്റിക്കൽ നിഗമനത്തിൽ സാധുത നാല് തരത്തിലുള്ള, ആന്തരിക സാധുത, സാധുത നിർമിക്കുക ഗവേഷകർ ഒരു പ്രത്യേക പരീക്ഷണം ഫലങ്ങൾ ഒരു കൂടുതൽ പൊതുവായ നിഗമനത്തിൽ പിന്തുണയ്ക്കുന്നില്ല വിലയിരുത്താൻ സഹായിക്കുന്ന ഒരു ചെക്ക്പ്പ് ബാഹ്യ സാധുത-നൽകുക. അനലോഗ് പ്രായം പരീക്ഷണങ്ങൾ അപേക്ഷിച്ച് ഡിജിറ്റൽ യുഗത്തിൽ പരീക്ഷണങ്ങളിൽ അതു ആശങ്കകളെ ബാഹ്യ സാധുത അഭിസംബോധന എളുപ്പം ആയിരിക്കണം അതു ആന്തരിക സാധുത ഉറപ്പാക്കാൻ എളുപ്പം ആയിരിക്കണം. അതേസമയം, പരവലയങ്ങൾക്കു് സാധുത പ്രശ്നങ്ങൾ ഒരുപക്ഷേ കൂടുതൽ വെല്ലുവിളി ഡിജിറ്റൽ യുഗത്തിൽ പരീക്ഷണങ്ങളിൽ (ആ Opower പരീക്ഷണങ്ങൾ കേസ് ആയിരുന്നില്ലെങ്കിലും) ആയിരിക്കും.