ವಾಯಿದೆ ಒಂದು ಪ್ರಯೋಗದ ಫಲಿತಾಂಶಗಳು ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ನಿರ್ಣಯವನ್ನು ಎಷ್ಟು ಸೂಚಿಸುತ್ತದೆ.
ಯಾವುದೇ ಪ್ರಯೋಗವು ಪರಿಪೂರ್ಣವಲ್ಲ, ಮತ್ತು ಸಂಭವನೀಯ ಸಮಸ್ಯೆಗಳನ್ನು ವಿವರಿಸಲು ಸಂಶೋಧಕರು ವ್ಯಾಪಕ ಶಬ್ದಕೋಶವನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದಾರೆ. ನಿರ್ದಿಷ್ಟ ಪ್ರಯೋಗದ ಫಲಿತಾಂಶಗಳು ಕೆಲವು ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ತೀರ್ಮಾನಕ್ಕೆ ಬೆಂಬಲಿಸುವ ಮಟ್ಟಿಗೆ ಮಾನ್ಯತೆಯು ಸೂಚಿಸುತ್ತದೆ. ನ್ಯಾಯಸಮ್ಮತತೆಯನ್ನು ನಾಲ್ಕು ಪ್ರಮುಖ ವಿಧಗಳಾಗಿ ವಿಂಗಡಿಸಲು ಸಹಾಯಕವಾಗಿದೆಯೆಂದು ಸಾಮಾಜಿಕ ವಿಜ್ಞಾನಿಗಳು ಕಂಡುಕೊಂಡಿದ್ದಾರೆ: ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ತೀರ್ಮಾನದ ಮಾನ್ಯತೆ, ಆಂತರಿಕ ಸಿಂಧುತ್ವ, ಸಿಂಧುತ್ವವನ್ನು ನಿರ್ಮಿಸುವುದು, ಮತ್ತು ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು (Shadish, Cook, and Campbell 2001, chap. 2) . ಈ ಪರಿಕಲ್ಪನೆಗಳು ಮಾಸ್ಟರಿಂಗ್ ನೀವು ಒಂದು ಪ್ರಯೋಗದ ವಿನ್ಯಾಸ ಮತ್ತು ವಿಶ್ಲೇಷಣೆ ವಿಮರ್ಶೆ ಮತ್ತು ಸುಧಾರಣೆಗೆ ಮಾನಸಿಕ ಪರಿಶೀಲನಾಪಟ್ಟಿ ಒದಗಿಸುತ್ತದೆ, ಮತ್ತು ಇದು ಇತರ ಸಂಶೋಧಕರು ಸಂವಹನ ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಪ್ರಯೋಗದ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಸರಿಯಾಗಿ ಮಾಡಲಾಗಿದೆಯೇ ಎಂಬ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ತೀರ್ಮಾನದ ಮಾನ್ಯತೆ ಕೇಂದ್ರಗಳು. Schultz et al. (2007) ಸನ್ನಿವೇಶದಲ್ಲಿ Schultz et al. (2007) , ಅಂತಹ ಪ್ರಶ್ನೆ ಅವರು ತಮ್ಮ \(p\) ಮೌಲ್ಯವನ್ನು ಸರಿಯಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡಿದ್ದರ ಮೇಲೆ ಕೇಂದ್ರವಾಗಿರಬಹುದು. ಸಂಖ್ಯಾಶಾಸ್ತ್ರದ ತತ್ವಗಳು ಈ ಪುಸ್ತಕದ ವ್ಯಾಪ್ತಿಯನ್ನು ಮೀರಿ ಪ್ರಯೋಗಗಳನ್ನು ವಿನ್ಯಾಸ ಮತ್ತು ವಿಶ್ಲೇಷಿಸುವ ಅಗತ್ಯವಿದೆ, ಆದರೆ ಅವುಗಳು ಡಿಜಿಟಲ್ ಯುಗದಲ್ಲಿ ಮೂಲಭೂತವಾಗಿ ಬದಲಾಗಿಲ್ಲ. ಏನು ಬದಲಾಗಿದೆ, ಆದಾಗ್ಯೂ, ಡಿಜಿಟಲ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ ದತ್ತಾಂಶ ಪರಿಸರವು ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ (Imai and Ratkovic 2013) ವೈವಿಧ್ಯತೆಯನ್ನು ಅಂದಾಜು ಮಾಡಲು ಯಂತ್ರ ಕಲಿಕಾ ವಿಧಾನಗಳನ್ನು ಬಳಸುವಂತಹ ಹೊಸ ಅವಕಾಶಗಳನ್ನು ಸೃಷ್ಟಿಸಿದೆ.
ಪ್ರಾಯೋಗಿಕ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಸರಿಯಾಗಿ ನಡೆಸಲಾಗಿದೆಯೇ ಎಂಬ ಆಂತರಿಕ ಮಾನ್ಯತೆ ಕೇಂದ್ರಗಳು. Schultz et al. (2007) ಪ್ರಯೋಗಕ್ಕೆ Schultz et al. (2007) , ಆಂತರಿಕ ಸಿಂಧುತ್ವವನ್ನು ಕುರಿತು ಪ್ರಶ್ನೆಗಳು ಯಾದೃಚ್ಛೀಕರಣ, ಚಿಕಿತ್ಸೆಯ ಸರಬರಾಜು, ಮತ್ತು ಫಲಿತಾಂಶಗಳ ಮಾಪನದ ಸುತ್ತ ಕೇಂದ್ರೀಕರಿಸಬಲ್ಲವು. ಉದಾಹರಣೆಗೆ, ಸಂಶೋಧನಾ ಸಹಾಯಕರು ವಿದ್ಯುತ್ ಮೀಟರ್ಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಓದಲಿಲ್ಲ ಎಂದು ನೀವು ಕಾಳಜಿ ವಹಿಸಬಹುದು. ವಾಸ್ತವವಾಗಿ, ಷುಲ್ಟ್ಜ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು ಈ ಸಮಸ್ಯೆಯ ಬಗ್ಗೆ ಆತಂಕ ವ್ಯಕ್ತಪಡಿಸಿದರು, ಮತ್ತು ಅವರು ಎರಡು ಬಾರಿ ಓದುವ ಮೀಟರ್ ಮಾದರಿಯನ್ನು ಹೊಂದಿದ್ದರು; ಅದೃಷ್ಟವಶಾತ್, ಫಲಿತಾಂಶಗಳು ಮೂಲಭೂತವಾಗಿ ಒಂದೇ ಆಗಿವೆ. ಸಾಮಾನ್ಯವಾಗಿ, ಷುಲ್ಟ್ಜ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳ ಪ್ರಯೋಗವು ಹೆಚ್ಚಿನ ಆಂತರಿಕ ಸಿಂಧುತ್ವವನ್ನು ಹೊಂದಿದೆಯೆಂದು ತೋರುತ್ತದೆ, ಆದರೆ ಇದು ಯಾವಾಗಲೂ ಅಲ್ಲ: ಸಂಕೀರ್ಣ ಕ್ಷೇತ್ರ ಮತ್ತು ಆನ್ಲೈನ್ ಪ್ರಯೋಗಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಸರಿಯಾದ ಜನರಿಗೆ ಸರಿಯಾದ ಚಿಕಿತ್ಸೆಯನ್ನು ನೀಡುವುದು ಮತ್ತು ಎಲ್ಲರಿಗೂ ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆಯುವ ಸಮಸ್ಯೆಗಳನ್ನು ಎದುರಿಸುತ್ತವೆ. ಅದೃಷ್ಟವಶಾತ್, ಡಿಜಿಟಲ್ ಯುಗವು ಆಂತರಿಕ ಸಿಂಧುತ್ವವನ್ನು ಕಾಳಜಿ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ ಏಕೆಂದರೆ ಇದು ಚಿಕಿತ್ಸೆಯನ್ನು ಸ್ವೀಕರಿಸುವವರಿಗೆ ಮತ್ತು ಅದರಲ್ಲಿ ಪಾಲ್ಗೊಳ್ಳುವವರಿಗೆ ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆಯಲು ಅನುವು ಮಾಡಿಕೊಡುವುದು ಸುಲಭವಾಗಿದೆ.
ಡೇಟಾ ಮತ್ತು ಸೈದ್ಧಾಂತಿಕ ರಚನೆಗಳ ನಡುವಿನ ಪಂದ್ಯದ ಸುತ್ತಲೂ ಸಿಂಧುತ್ವ ಕೇಂದ್ರಗಳನ್ನು ನಿರ್ಮಿಸಿ. ಅಧ್ಯಾಯ 2 ರಲ್ಲಿ ಚರ್ಚಿಸಿದಂತೆ, ರಚನೆಗಳು ಅಮೂರ್ತ ಪರಿಕಲ್ಪನೆಗಳು, ಅವು ಸಾಮಾಜಿಕ ವಿಜ್ಞಾನಿಗಳು ಕಾರಣವಾಗುತ್ತವೆ. ದುರದೃಷ್ಟವಶಾತ್, ಈ ಅಮೂರ್ತ ಪರಿಕಲ್ಪನೆಗಳು ಯಾವಾಗಲೂ ಸ್ಪಷ್ಟವಾದ ವ್ಯಾಖ್ಯಾನಗಳು ಮತ್ತು ಅಳತೆಗಳನ್ನು ಹೊಂದಿರುವುದಿಲ್ಲ. Schultz et al. (2007) ಹಿಂತಿರುಗುವುದು Schultz et al. (2007) , ಪ್ರತಿಬಂಧಕ ಸಾಮಾಜಿಕ ರೂಢಿಗಳನ್ನು ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು ಕಡಿಮೆಗೊಳಿಸಬಹುದು ಎಂಬ ವಾದವು ಸಂಶೋಧಕರಿಗೆ "ತಡೆಗಟ್ಟುವ ಸಾಮಾಜಿಕ ರೂಢಿಗಳನ್ನು" (ಉದಾಹರಣೆಗೆ, ಎಮೋಟಿಕಾನ್) ಮತ್ತು "ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು" ಅಳೆಯಲು ಬಳಸುವ ಚಿಕಿತ್ಸೆಯನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಅಗತ್ಯವಾಗಿರುತ್ತದೆ. ಅನಲಾಗ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ, ಅನೇಕ ಸಂಶೋಧಕರು ತಮ್ಮದೇ ಆದ ಚಿಕಿತ್ಸೆಯನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿದರು ಮತ್ತು ತಮ್ಮ ಸ್ವಂತ ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆಯುತ್ತಾರೆ. ಈ ವಿಧಾನವು ಸಾಧ್ಯವಾದಷ್ಟು, ಪ್ರಯೋಗಗಳು ಅಮೂರ್ತ ರಚನೆಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡುತ್ತವೆ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಸಂಶೋಧಕರು ಕಂಪೆನಿಗಳು ಅಥವಾ ಸರ್ಕಾರಗಳೊಂದಿಗೆ ಪಾಲುದಾರರು ಚಿಕಿತ್ಸೆಯನ್ನು ನೀಡಲು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಅಳತೆ ಮಾಡಲು ಯಾವಾಗಲೂ ಆನ್-ಡೇಟ್ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಬಳಸಿಕೊಳ್ಳುವ ಡಿಜಿಟಲ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ, ಪ್ರಯೋಗ ಮತ್ತು ಸೈದ್ಧಾಂತಿಕ ರಚನೆಗಳ ನಡುವಿನ ಹೊಂದಾಣಿಕೆ ಕಡಿಮೆ ಬಿಗಿಯಾಗಿರಬಹುದು. ಹೀಗಾಗಿ, ಅನಲಾಗ್ ಪ್ರಯೋಗಗಳಲ್ಲಿನ ಡಿಜಿಟಲ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ ರಚನಾತ್ಮಕ ಮಾನ್ಯತೆಯು ಒಂದು ದೊಡ್ಡ ಕಾಳಜಿಯೆಂದು ನಾನು ನಿರೀಕ್ಷಿಸುತ್ತೇನೆ.
ಅಂತಿಮವಾಗಿ, ಬಾಹ್ಯ ಸಿಂಧುತ್ವವು ಈ ಪ್ರಯೋಗದ ಫಲಿತಾಂಶಗಳು ಇತರ ಪರಿಸ್ಥಿತಿಗಳಿಗೆ ಸಾಮಾನ್ಯವಾಗಬಹುದೆ ಎಂಬುದರ ಸುತ್ತ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ. Schultz et al. (2007) ಹಿಂತಿರುಗುವುದು Schultz et al. (2007) , ಒಬ್ಬರು ತಮ್ಮ ಸಮಾನಾರ್ಥಕ ಬಳಕೆಯ ಬಗ್ಗೆ ಜನರಿಗೆ ಅವರ ಸಹವರ್ತಿಗಳೊಂದಿಗಿನ ಸಂಬಂಧ ಮತ್ತು ತಡೆಗಟ್ಟುವ ಮಾನದಂಡಗಳ (ಉದಾ, ಎಮೋಟಿಕಾನ್) ಸಂಕೇತಗಳನ್ನು ಒದಗಿಸುವುದರ ಬಗ್ಗೆ ಜನರನ್ನು ಒದಗಿಸುವುದರ ಬಗ್ಗೆ - ಒಂದು ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಮಾಡಿದಲ್ಲಿ ಶಕ್ತಿಯ ಬಳಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು ಬೇರೆ ಸೆಟ್ಟಿಂಗ್ಗಳಲ್ಲಿ. ಉತ್ತಮವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲ್ಪಟ್ಟ ಮತ್ತು ಉತ್ತಮವಾಗಿ ನಡೆಸಿದ ಪ್ರಯೋಗಗಳಿಗೆ, ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ಕುರಿತು ಕಳವಳಿಸುವುದು ಕಷ್ಟಕರವಾಗಿದೆ. ಹಿಂದೆ, ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ಕುರಿತಾದ ಈ ಚರ್ಚೆಗಳು ಆಗಾಗ್ಗೆ ಒಂದು ವಿಧಾನದಲ್ಲಿ ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಅಥವಾ ವಿಭಿನ್ನ ಸ್ಥಳದಲ್ಲಿ ಅಥವಾ ವಿವಿಧ ಭಾಗವಹಿಸುವವರು ಮಾಡಿದರೆ ಏನಾಗಬಹುದು ಎಂದು ಊಹಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವ ಕೋಣೆಯಲ್ಲಿ ಕುಳಿತುಕೊಳ್ಳುವ ಜನರ ಗುಂಪನ್ನು ಹೊರತುಪಡಿಸಿ ಏನೂ ಇಲ್ಲ. . ಅದೃಷ್ಟವಶಾತ್, ಡಿಜಿಟಲ್ ವಯಸ್ಸು ಸಂಶೋಧಕರು ಈ ಡೇಟಾ-ಮುಕ್ತ ಊಹಾಪೋಹಗಳನ್ನು ಮೀರಿ ಚಲಿಸುವಂತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ನಿರ್ಣಯಿಸುತ್ತದೆ.
ಏಕೆಂದರೆ Schultz et al. (2007) ಫಲಿತಾಂಶಗಳು Schultz et al. (2007) ಅತ್ಯಾಕರ್ಷಕವಾಗಿದ್ದವು, ಒಪವರ್ ಎಂಬ ಕಂಪೆನಿಯು ಯುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್ನಲ್ಲಿ ಉಪಯುಕ್ತತೆಗಳೊಂದಿಗೆ ಸಹಭಾಗಿತ್ವದಲ್ಲಿ ತೊಡಗಿತು, ಈ ಚಿಕಿತ್ಸೆಯನ್ನು ಹೆಚ್ಚು ವ್ಯಾಪಕವಾಗಿ ನಿಯೋಜಿಸಲಾಯಿತು. Schultz et al. (2007) ವಿನ್ಯಾಸದ ಆಧಾರದ ಮೇಲೆ Schultz et al. (2007) , ಓಪವರ್ ಕಸ್ಟಮೈಸ್ಡ್ ಹೋಮ್ ಎನರ್ಜಿ ರಿಪೋರ್ಟ್ಸ್ಅನ್ನು ಎರಡು ಪ್ರಮುಖ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ರಚಿಸಿದರು: ಅದರಲ್ಲಿ ನೆರೆಹೊರೆಯವರಿಗೆ ಎಮೋಟಿಕಾನ್ ಮತ್ತು ವಿದ್ಯುತ್ ಬಳಕೆ (ಫಿಗರ್ 4.6) ಕಡಿಮೆ ಮಾಡಲು ಸಲಹೆಗಳನ್ನು ಒದಗಿಸುವ ಮನೆಯ ವಿದ್ಯುತ್ ಬಳಕೆ. ನಂತರ, ಸಂಶೋಧಕರ ಸಹಭಾಗಿತ್ವದಲ್ಲಿ, ಈ ಹೋಮ್ ಎನರ್ಜಿ ವರದಿಗಳ ಪ್ರಭಾವವನ್ನು ನಿರ್ಣಯಿಸಲು ಓಪವರ್ ಯಾದೃಚ್ಛಿಕ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳನ್ನು ಮಾಡಿದರು. ಈ ಪ್ರಯೋಗಗಳಲ್ಲಿನ ಚಿಕಿತ್ಸೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ ದೈಹಿಕವಾಗಿ-ಸಾಮಾನ್ಯವಾಗಿ ಹಳೆಯ-ಶೈಲಿಯ ಬಸವನ ಮೇಲ್ ಮೂಲಕ ವಿತರಿಸಲ್ಪಟ್ಟಿದ್ದರೂ, ಭೌತಿಕ ಜಗತ್ತಿನಲ್ಲಿ ಡಿಜಿಟಲ್ ಸಾಧನಗಳನ್ನು ಬಳಸಿಕೊಂಡು (ಉದಾಹರಣೆಗೆ, ವಿದ್ಯುತ್ ಮೀಟರ್ಗಳು) ಫಲಿತಾಂಶವನ್ನು ಅಳೆಯಲಾಗುತ್ತದೆ. ಮತ್ತಷ್ಟು, ಕೈಯಾರೆ ಪ್ರತಿ ಮಾಹಿತಿಯನ್ನು ಭೇಟಿ ಸಂಶೋಧನಾ ಸಹಾಯಕರು ಈ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುವ ಬದಲು, Opower ಪ್ರಯೋಗಗಳು ಎಲ್ಲಾ ಸಂಶೋಧಕರು ವಿದ್ಯುತ್ ವಾಚನಗಳನ್ನು ಪ್ರವೇಶಿಸಲು ಶಕ್ತಗೊಳಿಸುವ ವಿದ್ಯುತ್ ಕಂಪನಿಗಳು ಪಾಲುದಾರಿಕೆಯಲ್ಲಿ ಮಾಡಲಾಗುತ್ತದೆ. ಹೀಗಾಗಿ, ಈ ಭಾಗಶಃ ಡಿಜಿಟಲ್ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪ್ರಯೋಗಗಳು ಭಾರಿ ಪ್ರಮಾಣದಲ್ಲಿ ಕಡಿಮೆ ವೇರಿಯಬಲ್ ವೆಚ್ಚದಲ್ಲಿ ರನ್ ಆಗುತ್ತಿವೆ.
10 ವಿವಿಧ ಸೈಟ್ಗಳಿಂದ 600,000 ಮನೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಪ್ರಯೋಗಗಳ ಮೊದಲ ಸೆಟ್ನಲ್ಲಿ, Allcott (2011) ಹೋಮ್ ಎನರ್ಜಿ ರಿಪೋರ್ಟ್ ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು ಕಡಿಮೆಗೊಳಿಸಿದೆ ಎಂದು ಕಂಡುಹಿಡಿದಿದೆ. ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ಹೆಚ್ಚು ದೊಡ್ಡದಾದ, ಹೆಚ್ಚು ಭೌಗೋಳಿಕವಾಗಿ ವಿಭಿನ್ನವಾದ ಅಧ್ಯಯನದ ಫಲಿತಾಂಶಗಳು Schultz et al. (2007) ಫಲಿತಾಂಶಗಳನ್ನು ಗುಣಾತ್ಮಕವಾಗಿ ಹೋಲುತ್ತವೆ Schultz et al. (2007) . ಮತ್ತಷ್ಟು, 101 ವಿವಿಧ ಸೈಟ್ಗಳಿಂದ ಎಂಟು ಮಿಲಿಯನ್ ಹೆಚ್ಚುವರಿ ಮನೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ನಂತರದ ಸಂಶೋಧನೆಗಳಲ್ಲಿ, Allcott (2015) ಮತ್ತೆ ಹೋಮ್ ಎನರ್ಜಿ ರಿಪೋರ್ಟ್ ಸ್ಥಿರವಾಗಿ ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಿದೆ ಎಂದು ಕಂಡುಹಿಡಿದಿದೆ. ಈ ಹೆಚ್ಚಿನ ದೊಡ್ಡ ಪ್ರಯೋಗಗಳು ಸಹ ಒಂದು ಏಕೈಕ ಪ್ರಯೋಗದಲ್ಲಿ ಕಾಣಿಸದ ಆಸಕ್ತಿದಾಯಕ ಹೊಸ ಮಾದರಿಯನ್ನು ಬಹಿರಂಗಪಡಿಸಿದವು: ನಂತರದ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಪರಿಣಾಮದ ಗಾತ್ರವು ನಿರಾಕರಿಸಲ್ಪಟ್ಟಿತು (ಚಿತ್ರ 4.7). Allcott (2015) ಈ ಕುಸಿತ ಸಂಭವಿಸಿದೆ ಎಂದು ಊಹಿಸಲಾಗಿದೆ ಏಕೆಂದರೆ, ಕಾಲಾನಂತರದಲ್ಲಿ, ಚಿಕಿತ್ಸೆಯನ್ನು ವಿವಿಧ ರೀತಿಯ ಭಾಗವಹಿಸುವವರಿಗೆ ಅನ್ವಯಿಸಲಾಗುತ್ತಿದೆ. ಹೆಚ್ಚು ನಿರ್ದಿಷ್ಟವಾಗಿ, ಹೆಚ್ಚು ಪರಿಸರ ಕೇಂದ್ರೀಕೃತ ಗ್ರಾಹಕರೊಂದಿಗೆ ಉಪಯುಕ್ತತೆಗಳು ಕಾರ್ಯಕ್ರಮವನ್ನು ಮುಂಚಿತವಾಗಿ ಅಳವಡಿಸಿಕೊಂಡವು, ಮತ್ತು ಅವರ ಗ್ರಾಹಕರು ಚಿಕಿತ್ಸೆಯಲ್ಲಿ ಹೆಚ್ಚು ಸ್ಪಂದಿಸಿದ್ದರು. ಕಡಿಮೆ ಪರಿಸರ-ಕೇಂದ್ರಿತ ಗ್ರಾಹಕರೊಂದಿಗೆ ಕಾರ್ಯಸೂಚಿಗಳು ಕಾರ್ಯಕ್ರಮವನ್ನು ಅಳವಡಿಸಿಕೊಂಡಾಗ, ಇದರ ಪರಿಣಾಮಕಾರಿತ್ವವು ಕುಸಿತಕ್ಕೆ ಒಳಗಾಯಿತು. ಆದ್ದರಿಂದ, ಪ್ರಯೋಗಗಳಲ್ಲಿ ಯಾದೃಚ್ಛಿಕತೆಯು ಚಿಕಿತ್ಸಾ ಮತ್ತು ನಿಯಂತ್ರಣ ಗುಂಪುಗಳು ಒಂದೇ ರೀತಿಯಾಗಿವೆಯೆಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ, ಸಂಶೋಧನಾ ಸ್ಥಳಗಳಲ್ಲಿ ಯಾದೃಚ್ಛೀಕರಣವು ಭಾಗವಹಿಸುವ ಒಂದು ಗುಂಪಿನಿಂದ ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ಜನಸಂಖ್ಯೆಗೆ (ಮಾದರಿ ಬಗ್ಗೆ 3 ನೇ ಅಧ್ಯಾಯಕ್ಕೆ ಆಲೋಚಿಸಿ) ಯೋಚಿಸುವುದು ಸಾಮಾನ್ಯವೆಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಸಂಶೋಧನಾ ತಾಣಗಳು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಮಾದರಿಯಿಲ್ಲದಿದ್ದರೆ, ನಂತರ ಸಂಪೂರ್ಣವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲ್ಪಟ್ಟ ಮತ್ತು ನಡೆಸಿದ ಪ್ರಯೋಗದಿಂದ ಸಹ ಸಾಮಾನ್ಯೀಕರಣವು ಸಮಸ್ಯಾತ್ಮಕವಾಗಿರುತ್ತದೆ.
ಒಟ್ಟಾರೆಯಾಗಿ, Allcott (2011) ಮತ್ತು 101 ರಲ್ಲಿ Allcott (2015) ನಲ್ಲಿ ಈ 111 ಪ್ರಯೋಗಗಳು -10 ಒಟ್ಟಾಗಿ 8.5 ದಶಲಕ್ಷದಷ್ಟು ಮನೆಗಳನ್ನು ಅಮೆರಿಕ ಸಂಯುಕ್ತ ಸಂಸ್ಥಾನದಿಂದಲೂ ಪಡೆದುಕೊಂಡಿದೆ. ಹೋಮ್ ಎನರ್ಜಿ ವರದಿಗಳು ಸರಾಸರಿ ವಿದ್ಯುತ್ ಬಳಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ, ಕ್ಯಾಲಿಫೋರ್ನಿಯಾದ 300 ಮನೆಗಳಿಂದ ಷುಲ್ಟ್ಜ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳ ಮೂಲ ಶೋಧನೆಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಪರಿಣಾಮವಾಗಿ ಅವು ಸತತವಾಗಿ ತೋರಿಸುತ್ತವೆ. ಈ ಮೂಲ ಫಲಿತಾಂಶಗಳನ್ನು ಪುನರಾವರ್ತಿಸುವುದಕ್ಕೆ ಮೀರಿ, ಪರಿಣಾಮದ ಗಾತ್ರ ಸ್ಥಳದಿಂದ ಬದಲಾಗುತ್ತದೆ ಎಂದು ಮುಂದಿನ ಪ್ರಯೋಗಗಳು ತೋರಿಸುತ್ತವೆ. ಪ್ರಯೋಗಗಳ ಈ ಸೆಟ್ ಭಾಗಶಃ ಡಿಜಿಟಲ್ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪ್ರಯೋಗಗಳ ಬಗ್ಗೆ ಎರಡು ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ಅಂಶಗಳನ್ನು ವಿವರಿಸುತ್ತದೆ. ಮೊದಲನೆಯದಾಗಿ, ಚಾಲನೆಯಲ್ಲಿರುವ ಪ್ರಯೋಗಗಳ ವೆಚ್ಚ ಕಡಿಮೆಯಾದಾಗ ಸಂಶೋಧಕರು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ಬಗೆಹರಿಸುವಲ್ಲಿ ಸಮರ್ಥರಾಗುತ್ತಾರೆ, ಮತ್ತು ಫಲಿತಾಂಶವನ್ನು ಈಗಾಗಲೇ ಯಾವಾಗಲೂ ಆನ್-ಡೇಟ್ ಸಿಸ್ಟಮ್ನಿಂದ ಅಳೆಯಲಾಗುತ್ತದೆಯಾದಲ್ಲಿ ಇದು ಸಂಭವಿಸಬಹುದು. ಆದ್ದರಿಂದ, ಸಂಶೋಧಕರು ಈಗಾಗಲೇ ಆಸಕ್ತಿದಾಯಕ ಮತ್ತು ಪ್ರಮುಖ ನಡವಳಿಕೆಗಳಿಗಾಗಿ ಉಸ್ತುವಾರಿಯಲ್ಲಿರಬೇಕು ಮತ್ತು ಈಗಿರುವ ಅಳತೆ ಮೂಲಸೌಕರ್ಯದ ಮೇಲೆ ವಿನ್ಯಾಸದ ಪ್ರಯೋಗಗಳನ್ನು ಮಾಡಬೇಕೆಂದು ಸೂಚಿಸುತ್ತದೆ. ಎರಡನೆಯದಾಗಿ, ಈ ಪ್ರಯೋಗ ಪ್ರಯೋಗಗಳು ಡಿಜಿಟಲ್ ಕ್ಷೇತ್ರದ ಪ್ರಯೋಗಗಳು ಕೇವಲ ಆನ್ಲೈನ್ನಲ್ಲಿಲ್ಲ ಎಂದು ನಮಗೆ ನೆನಪಿಸುತ್ತದೆ; ಹೆಚ್ಚುತ್ತಿರುವಂತೆ, ಅವರು ನಿರ್ಮಿಸಿದ ಪರಿಸರದಲ್ಲಿ ಸಂವೇದಕಗಳು ಅಳತೆ ಮಾಡಿದ ಅನೇಕ ಫಲಿತಾಂಶಗಳೊಂದಿಗೆ ಎಲ್ಲೆಡೆ ಇರುತ್ತದೆ ಎಂದು ನಾನು ನಿರೀಕ್ಷಿಸುತ್ತೇನೆ.
ನಿರ್ದಿಷ್ಟ ಪ್ರಯೋಗದಿಂದ ಫಲಿತಾಂಶಗಳು ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ತೀರ್ಮಾನವನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆಯೇ ಎಂದು ಸಂಶೋಧಕರು ನಿರ್ಣಯಿಸಲು ಸಹಾಯ ಮಾಡುವ ನಾಲ್ಕು ವಿಧದ ಸಿಂಧುತ್ವ-ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ನಿರ್ಣಯದ ಸಿಂಧುತ್ವ, ಆಂತರಿಕ ಮಾನ್ಯತೆ, ಸಿಂಧುತ್ವವನ್ನು ಮತ್ತು ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು-ಮಾನಸಿಕ ಪರಿಶೀಲನಾಪಟ್ಟಿ ಒದಗಿಸಿ. ಅನಲಾಗ್-ಯುಗ ಪ್ರಯೋಗಗಳೊಂದಿಗೆ ಹೋಲಿಸಿದರೆ, ಡಿಜಿಟಲ್-ವಯಸ್ಸು ಪ್ರಯೋಗಗಳಲ್ಲಿ, ಪ್ರಾಯೋಗಿಕವಾಗಿ ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ಪರಿಹರಿಸಲು ಸುಲಭವಾಗಿರಬೇಕು ಮತ್ತು ಆಂತರಿಕ ಸಿಂಧುತ್ವವನ್ನು ಖಾತ್ರಿಪಡಿಸಿಕೊಳ್ಳುವುದು ಸುಲಭವಾಗುತ್ತದೆ. ಮತ್ತೊಂದೆಡೆ, ಡಿಜಿಟಲ್ ವಯಸ್ಸಿನ ಪ್ರಯೋಗಗಳಲ್ಲಿ ರಚನಾತ್ಮಕ ಮೌಲ್ಯಮಾಪನದ ಸಮಸ್ಯೆಗಳು ಬಹುಶಃ ಹೆಚ್ಚು ಸವಾಲಾಗುವುದು, ವಿಶೇಷವಾಗಿ ಕಂಪನಿಗಳೊಂದಿಗೆ ಪಾಲುದಾರಿಕೆಯನ್ನು ಒಳಗೊಂಡಿರುವ ಡಿಜಿಟಲ್ ಫೀಲ್ಡ್ ಪ್ರಯೋಗಗಳು.