ಮುಂದಿನದನ್ನು ಓದುವುದು ಏನು

• ಪೀಠಿಕೆ (ವಿಭಾಗ 4.1)

ಸಾಮಾಜಿಕ ಸಂಶೋಧನೆಯಲ್ಲಿ ಕಾರಣವಾದ ಕಾರಣಗಳ ಬಗ್ಗೆ ಪ್ರಶ್ನೆಗಳು ಸಂಕೀರ್ಣ ಮತ್ತು ಸಂಕೀರ್ಣವಾಗಿದೆ. ಸಾಂದರ್ಭಿಕ ಗ್ರಾಫ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಉಂಟಾಗುವ ಕಾರಣಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ಒಂದು ಮೂಲಭೂತ ವಿಧಾನಕ್ಕಾಗಿ, Pearl (2009) ಮತ್ತು ಸಂಭವನೀಯ ಫಲಿತಾಂಶಗಳ ಆಧಾರದ ಮೇಲೆ ಒಂದು ಅಡಿಪಾಯ ವಿಧಾನವನ್ನು ನೋಡಿ, Imbens and Rubin (2015) . ಈ ಎರಡು ವಿಧಾನಗಳ ನಡುವೆ ಹೋಲಿಕೆಗಾಗಿ, Morgan and Winship (2014) . VanderWeele and Shpitser (2013) ವ್ಯಾಖ್ಯಾನಿಸುವ ಔಪಚಾರಿಕ ಮಾರ್ಗಕ್ಕಾಗಿ, VanderWeele and Shpitser (2013) .

ಈ ಅಧ್ಯಾಯದಲ್ಲಿ, ಪ್ರಾಯೋಗಿಕ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ಡೇಟಾದಿಂದ ಸಾಂದರ್ಭಿಕ ಅಂದಾಜು ಮಾಡುವ ನಮ್ಮ ಸಾಮರ್ಥ್ಯದ ನಡುವಿನ ಪ್ರಕಾಶಮಾನವಾದ ರೇಖೆಯಂತೆ ನಾನು ಕಾಣಿಸಿಕೊಂಡಿದ್ದೇನೆ. ಆದರೆ, ವಾಸ್ತವದಲ್ಲಿ, ವ್ಯತ್ಯಾಸವು ಹೆಚ್ಚು ಮಸುಕಾಗಿದೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ. ಉದಾಹರಣೆಗೆ, ಧೂಮಪಾನವು ಕ್ಯಾನ್ಸರ್ಗೆ ಕಾರಣವಾಗುತ್ತದೆ ಎಂದು ಪ್ರತಿಯೊಬ್ಬರೂ ಒಪ್ಪಿಕೊಳ್ಳುತ್ತಾರೆ, ಜನರು ಧೂಮಪಾನ ಮಾಡುವ ಯಾವುದೇ ಯಾದೃಚ್ಛಿಕ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗವನ್ನು ಮಾಡದೆ ಇದ್ದರೂ ಸಹ. Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , ಮತ್ತು Dunning (2012) ಪ್ರಾಯೋಗಿಕ ಡೇಟಾದಿಂದ ಸಾಂದರ್ಭಿಕ ಅಂದಾಜು ಮಾಡುವ ಅತ್ಯುತ್ತಮ ಪುಸ್ತಕ-ಉದ್ದದ ಚಿಕಿತ್ಸೆಗಳಿಗೆ ನೋಡಿ.

Freedman, Pisani, and Purves (2007) ಅಧ್ಯಾಯಗಳು 1 ಮತ್ತು 2 ಪ್ರಯೋಗಗಳು, ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳು, ಮತ್ತು ಯಾದೃಚ್ಛಿಕ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸಗಳಿಗೆ ಸ್ಪಷ್ಟವಾದ ಪರಿಚಯವನ್ನು ನೀಡುತ್ತವೆ.

Manzi (2012) ಯಾದೃಚ್ಛಿಕ ನಿಯಂತ್ರಿತ ಪ್ರಯೋಗಗಳ ತತ್ತ್ವಚಿಂತನೆಯ ಮತ್ತು ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಅಂಡರ್ಪಿನ್ನಿಂಗ್ಗಳಿಗೆ ಒಂದು ಆಕರ್ಷಕ ಮತ್ತು ಓದಬಲ್ಲ ಪರಿಚಯವನ್ನು ಒದಗಿಸುತ್ತದೆ. ವ್ಯವಹಾರದಲ್ಲಿ ಪ್ರಯೋಗದ ಶಕ್ತಿಗೆ ಇದು ಆಸಕ್ತಿದಾಯಕ ನೈಜ ಜಗತ್ತಿನ ಉದಾಹರಣೆಗಳನ್ನು ಕೂಡಾ ನೀಡುತ್ತದೆ. Issenberg (2012) ರಾಜಕೀಯ ಪ್ರಚಾರಗಳಲ್ಲಿ ಪ್ರಯೋಗದ ಬಳಕೆಗೆ ಒಂದು ಆಕರ್ಷಕ ಪರಿಚಯವನ್ನು ಒದಗಿಸುತ್ತದೆ.

• ಪ್ರಯೋಗಗಳು ಯಾವುವು? (ವಿಭಾಗ 4.2)

Box, Hunter, and Hunter (2005) , @ ಕ್ಯಾಸೆಲ್ಲಾ_ಸ್ಟಟಿಸ್ಟಿಕಲ್_2008, ಮತ್ತು Athey and Imbens (2016b) ಪ್ರಾಯೋಗಿಕ ವಿನ್ಯಾಸ ಮತ್ತು ವಿಶ್ಲೇಷಣೆಯ ಅಂಕಿಅಂಶಗಳ ಅಂಶಗಳನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ. ಇದಲ್ಲದೆ, ವಿವಿಧ ಕ್ಷೇತ್ರಗಳಲ್ಲಿನ ಪ್ರಯೋಗಗಳ ಬಳಕೆಯ ಅತ್ಯುತ್ತಮ ಚಿಕಿತ್ಸೆಗಳು: ಅರ್ಥಶಾಸ್ತ್ರ (Bardsley et al. 2009) , ಸಮಾಜಶಾಸ್ತ್ರ (Willer and Walker 2007; Jackson and Cox 2013) , ಸೈಕಾಲಜಿ (Aronson et al. 1989) , ರಾಜಕೀಯ ವಿಜ್ಞಾನ (Morton and Williams 2010) , ಮತ್ತು ಸಾಮಾಜಿಕ ನೀತಿ (Glennerster and Takavarasha 2013) .

ಭಾಗವಹಿಸುವವರ ನೇಮಕಾತಿಯ ಪ್ರಾಮುಖ್ಯತೆ (ಉದಾ., ಮಾದರಿ) ಪ್ರಾಯೋಗಿಕ ಸಂಶೋಧನೆಯಲ್ಲಿ ಹೆಚ್ಚಾಗಿ ಪ್ರಶಂಸಿಸಲ್ಪಡುತ್ತದೆ. ಹೇಗಾದರೂ, ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮವು ಜನಸಂಖ್ಯೆಯಲ್ಲಿ ವೈವಿಧ್ಯಮಯವಾಗಿದ್ದರೆ, ನಂತರ ಮಾದರಿ ಕಠಿಣವಾಗಿದೆ. Longford (1999) ಸ್ಯಾಂಪಲಿಂಗ್ನ ಜನಸಂಖ್ಯಾ ಸಮೀಕ್ಷೆಯಂತೆ ಪ್ರಯೋಗಗಳ ಕುರಿತು ಸಂಶೋಧಕರು ಯೋಚಿಸುತ್ತಿರುವಾಗ Longford (1999) ಈ ವಿಷಯವನ್ನು ಸ್ಪಷ್ಟಪಡಿಸುತ್ತಾನೆ.

• ಪ್ರಯೋಗಗಳ ಎರಡು ಆಯಾಮಗಳು: ಲ್ಯಾಬ್ ಕ್ಷೇತ್ರ ಮತ್ತು ಅನಲಾಗ್-ಡಿಜಿಟಲ್ (ವಿಭಾಗ 4.3)

ಲ್ಯಾಬ್ ಮತ್ತು ಫೀಲ್ಡ್ ಪ್ರಯೋಗಗಳ ನಡುವೆ ನಿರಂತರತೆ ಇದೆ ಎಂದು ನಾನು ಸಲಹೆ ನೀಡಿದ್ದೇನೆ ಮತ್ತು ಇತರ ಸಂಶೋಧಕರು ಹೆಚ್ಚಿನ ವಿವರವಾದ ಮುದ್ರಣಗಳನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದ್ದಾರೆ, ಅವುಗಳು ವಿವಿಧ ಕ್ಷೇತ್ರಗಳ ಪ್ರಯೋಗಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತವೆ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

ಹಲವಾರು ಪತ್ರಿಕೆಗಳು ಅಮೂರ್ತ (Falk and Heckman 2009; Cialdini 2009) ಮತ್ತು ರಾಜಕೀಯ ವಿಜ್ಞಾನ (Coppock and Green 2015) ನಲ್ಲಿನ ನಿರ್ದಿಷ್ಟ ಪ್ರಯೋಗಗಳ ಫಲಿತಾಂಶಗಳ ಪ್ರಕಾರ, ಲ್ಯಾಬ್ ಮತ್ತು ಫೀಲ್ಡ್ ಪ್ರಯೋಗಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಿದೆ, ಅರ್ಥಶಾಸ್ತ್ರ (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ಮತ್ತು ಮನಶಾಸ್ತ್ರ (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ಲ್ಯಾಬ್ ಮತ್ತು ಫೀಲ್ಡ್ ಪ್ರಯೋಗಗಳಿಂದ ಫಲಿತಾಂಶಗಳನ್ನು ಹೋಲಿಸಲು ಉತ್ತಮ ಸಂಶೋಧನಾ ವಿನ್ಯಾಸವನ್ನು ನೀಡುತ್ತವೆ. Parigi, Santana, and Cook (2017) ಲ್ಯಾಬ್ ಮತ್ತು ಫೀಲ್ಡ್ ಪ್ರಯೋಗಗಳ ಕೆಲವು ಗುಣಲಕ್ಷಣಗಳನ್ನು ಹೇಗೆ ಆನ್ಲೈನ್ ​​ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳು ಸಂಯೋಜಿಸಬಹುದು ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.

ಪಾಲ್ಗೊಳ್ಳುವವರು ತಮ್ಮ ನಡವಳಿಕೆಯನ್ನು ಬದಲಾಯಿಸುವ ಬಗ್ಗೆ ಕಳವಳ ವ್ಯಕ್ತಪಡಿಸುವ ಕಾರಣದಿಂದಾಗಿ ಅವುಗಳು ನಿಕಟವಾಗಿ ಗಮನಿಸಲ್ಪಡುತ್ತವೆ ಎಂದು ತಿಳಿದುಬಂದಿದೆ, ಕೆಲವೊಮ್ಮೆ ಅವುಗಳು ಬೇಡಿಕೆಯ ಪರಿಣಾಮಗಳು ಎಂದು ಕರೆಯಲ್ಪಡುತ್ತವೆ, ಮತ್ತು ಅವರು ಮನಶಾಸ್ತ್ರದಲ್ಲಿ (Orne 1962) ಮತ್ತು ಅರ್ಥಶಾಸ್ತ್ರದಲ್ಲಿ ಅಧ್ಯಯನ ಮಾಡಿದ್ದಾರೆ (Zizzo 2010) . ಲ್ಯಾಬ್ ಪ್ರಯೋಗಗಳೊಂದಿಗೆ ಹೆಚ್ಚಾಗಿ ಸಂಬಂಧ ಹೊಂದಿದ್ದರೂ, ಈ ಸಮಸ್ಯೆಗಳು ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳಿಗೆ ಕೂಡ ಸಮಸ್ಯೆಗಳನ್ನು ಉಂಟುಮಾಡಬಹುದು. ವಾಸ್ತವವಾಗಿ, ಬೇಡಿಕೆಯ ಪರಿಣಾಮಗಳನ್ನು ಕೆಲವೊಮ್ಮೆ ಹಾಥೋರ್ನ್ ಪರಿಣಾಮಗಳು ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ, 1924 ರಲ್ಲಿ ಹಾಥಾರ್ನ್ ವರ್ಕ್ಸ್ ಆಫ್ ದಿ ವೆಸ್ಟರ್ನ್ ಎಲೆಕ್ಟ್ರಿಕ್ ಕಂಪೆನಿ (Adair 1984; Levitt and List 2011) ನಲ್ಲಿ ಆರಂಭವಾದ ಪ್ರಖ್ಯಾತ ಬೆಳಕು ಪ್ರಯೋಗಗಳೆಂದು ಕರೆಯಲ್ಪಡುವ ಪದ. ಎರಡೂ ಬೇಡಿಕೆಯ ಪರಿಣಾಮಗಳು ಮತ್ತು ಹಾಥಾರ್ನ್ ಪರಿಣಾಮಗಳು ಅಧ್ಯಾಯ 2 ರಲ್ಲಿ ಚರ್ಚಿಸಲಾದ ಪ್ರತಿಕ್ರಿಯಾತ್ಮಕ ಮಾಪನದ ಪರಿಕಲ್ಪನೆಗೆ ನಿಕಟವಾಗಿ ಸಂಬಂಧಿಸಿವೆ ( Webb et al. (1966) ).

ಅರ್ಥಶಾಸ್ತ್ರದಲ್ಲಿ (Levitt and List 2009) , ರಾಜಕೀಯ ವಿಜ್ಞಾನ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , ಸೈಕಾಲಜಿ (Shadish 2002) , ಮತ್ತು ಸಾರ್ವಜನಿಕ ನೀತಿ (Shadish and Cook 2009) . ಕ್ಷೇತ್ರದ ಪ್ರಯೋಗಗಳು ಶೀಘ್ರವಾಗಿ ಪ್ರಮುಖವಾದ ಸಾಮಾಜಿಕ ವಿಜ್ಞಾನದ ಒಂದು ಕ್ಷೇತ್ರವು ಅಂತರರಾಷ್ಟ್ರೀಯ ಅಭಿವೃದ್ಧಿಯಾಗಿದೆ. ಅರ್ಥಶಾಸ್ತ್ರದಲ್ಲಿ ಆ ಕೆಲಸದ ಸಕಾರಾತ್ಮಕ ವಿಮರ್ಶೆಗಾಗಿ Banerjee and Duflo (2009) , ಮತ್ತು ನಿರ್ಣಾಯಕ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ Deaton (2010) . ರಾಜಕೀಯ ವಿಜ್ಞಾನದಲ್ಲಿ ಈ ಕೆಲಸದ ವಿಮರ್ಶೆಗಾಗಿ Humphreys and Weinstein (2009) . ಅಂತಿಮವಾಗಿ, ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳಿಂದ ಉಂಟಾಗುವ ನೈತಿಕ ಸವಾಲುಗಳನ್ನು ರಾಜಕೀಯ ವಿಜ್ಞಾನದ ಸಂದರ್ಭದಲ್ಲಿ (Humphreys 2015; Desposato 2016b) ಮತ್ತು ಅಭಿವೃದ್ಧಿ ಅರ್ಥಶಾಸ್ತ್ರ (Baele 2013) (Humphreys 2015; Desposato 2016b) .

ಈ ವಿಭಾಗದಲ್ಲಿ, ಅಂದಾಜು ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ನಿಖರತೆಯನ್ನು ಸುಧಾರಿಸಲು ಪೂರ್ವ ಚಿಕಿತ್ಸೆಯ ಮಾಹಿತಿಯನ್ನು ಬಳಸಬಹುದೆಂದು ನಾನು ಸಲಹೆ ನೀಡಿದ್ದೇನೆ, ಆದರೆ ಈ ವಿಧಾನದ ಬಗ್ಗೆ ಚರ್ಚೆ ಇದೆ; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ಮತ್ತು Bloniarz et al. (2016) ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ.

ಅಂತಿಮವಾಗಿ, ಪ್ರಯೋಗಾಲಯ-ಕ್ಷೇತ್ರದ ಆಯಾಮದ ಜೊತೆಗೆ ಅಂದವಾಗಿ ಹೊಂದಿಕೊಳ್ಳದಿರುವ ಸಾಮಾಜಿಕ ವಿಜ್ಞಾನಿಗಳು ನಡೆಸಿದ ಎರಡು ರೀತಿಯ ಪ್ರಯೋಗಗಳು: ಸಮೀಕ್ಷೆಯ ಪ್ರಯೋಗಗಳು ಮತ್ತು ಸಾಮಾಜಿಕ ಪ್ರಯೋಗಗಳು. ಸಮೀಕ್ಷೆಯ ಪ್ರಯೋಗಗಳು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸಮೀಕ್ಷೆಗಳ ಮೂಲಭೂತ ಸೌಕರ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರಯೋಗಗಳು ಮತ್ತು ಅದೇ ಪ್ರಶ್ನೆಗಳ ಪರ್ಯಾಯ ಆವೃತ್ತಿಗಳಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡುತ್ತವೆ (ಕೆಲವು ಸಮೀಕ್ಷೆಯ ಪ್ರಯೋಗಗಳು ಅಧ್ಯಾಯ 3 ರಲ್ಲಿ ನೀಡಲಾಗಿದೆ); ಸಮೀಕ್ಷೆಯ ಪ್ರಯೋಗಗಳ ಕುರಿತು ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ Mutz (2011) . ಸಾಮಾಜಿಕ ಪ್ರಯೋಗಗಳು ಸರ್ಕಾರದ ಮೂಲಕ ಮಾತ್ರ ಜಾರಿಗೆ ತರಬಹುದಾದ ಕೆಲವು ಸಾಮಾಜಿಕ ನೀತಿಯಾಗಿದೆ ಅಲ್ಲಿ ಪ್ರಯೋಗಗಳು. ಸಾಮಾಜಿಕ ಪ್ರಯೋಗಗಳು ಪ್ರೋಗ್ರಾಂ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ನಿಕಟವಾಗಿ ಸಂಬಂಧಿಸಿವೆ. ನೀತಿ ಪ್ರಯೋಗಗಳ ಕುರಿತು ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ, ನೋಡಿ Heckman and Smith (1995) , Orr (1998) , ಮತ್ತು @ ಗ್ಲೆನರ್ಸ್ಟರ್_ರನ್ನಿಂಗ್_2013.

• ಸರಳ ಪ್ರಯೋಗಗಳನ್ನು ಮೀರಿ (ವಿಭಾಗ 4.4)

ನಾನು ಮೂರು ಪರಿಕಲ್ಪನೆಗಳ ಮೇಲೆ ಗಮನ ಕೇಂದ್ರೀಕರಿಸಿದ್ದೇನೆ: ಸಿಂಧುತ್ವ, ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ಭಿನ್ನತೆ, ಮತ್ತು ಯಾಂತ್ರಿಕತೆ. ಈ ಪರಿಕಲ್ಪನೆಗಳು ವಿಭಿನ್ನ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ವಿವಿಧ ಹೆಸರುಗಳನ್ನು ಹೊಂದಿವೆ. ಉದಾಹರಣೆಗೆ, ಮಧ್ಯವರ್ತಿಗಳು ಮತ್ತು ಮಾಡರೇಟರ್ಗಳು (Baron and Kenny 1986) ಅನ್ನು ಕೇಂದ್ರೀಕರಿಸುವ ಮೂಲಕ ಮನೋವಿಜ್ಞಾನಿಗಳು ಸರಳ ಪ್ರಯೋಗಗಳನ್ನು ಮೀರಿ ಹೋಗುತ್ತಾರೆ. ಮಧ್ಯವರ್ತಿಗಳ ಕಲ್ಪನೆಯು ನಾನು ಯಾಂತ್ರಿಕ ವ್ಯವಸ್ಥೆಯನ್ನು ಕರೆಯುವ ಮೂಲಕ ಸೆರೆಹಿಡಿಯಲ್ಪಡುತ್ತದೆ, ಮತ್ತು ಮಾಡರೇಟರ್ಗಳ ಪರಿಕಲ್ಪನೆಯನ್ನು ನಾನು ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ಕರೆಯುವ ಮೂಲಕ ಸೆರೆಹಿಡಿಯಲಾಗುತ್ತದೆ (ಉದಾಹರಣೆಗೆ, ಪ್ರಯೋಗದ ಫಲಿತಾಂಶಗಳು ವಿಭಿನ್ನ ಸಂದರ್ಭಗಳಲ್ಲಿ ರನ್ ಆಗಿದ್ದರೆ ಅದು ವಿಭಿನ್ನವಾಗಿರುತ್ತದೆ) ಮತ್ತು ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ಭಿನ್ನತೆ ( ಉದಾ, ಇತರರಿಗೆ ಹೋಲಿಸಿದರೆ ಕೆಲವು ಜನರಿಗೆ ಪರಿಣಾಮಗಳು ದೊಡ್ಡದಾಗಿವೆ).

Schultz et al. (2007) ಪ್ರಯೋಗ Schultz et al. (2007) ಪರಿಣಾಮಕಾರಿ ಮಧ್ಯಸ್ಥಿಕೆಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು ಹೇಗೆ ಸಾಮಾಜಿಕ ಸಿದ್ಧಾಂತಗಳನ್ನು ಬಳಸಬಹುದು ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಪರಿಣಾಮಕಾರಿ ಮಧ್ಯಸ್ಥಿಕೆಗಳನ್ನು ವಿನ್ಯಾಸಿಸುವಲ್ಲಿ ಸಿದ್ಧಾಂತದ ಪಾತ್ರದ ಬಗ್ಗೆ ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ವಾದಕ್ಕಾಗಿ, Walton (2014) .

• ವಾಯಿದೆ (ವಿಭಾಗ 4.4.1)

Campbell (1957) ಆಂತರಿಕ ಮತ್ತು ಬಾಹ್ಯ ಸಿಂಧುತ್ವದ ಪರಿಕಲ್ಪನೆಗಳನ್ನು ಮೊದಲು ಪರಿಚಯಿಸಲಾಯಿತು. Shadish, Cook, and Campbell (2001) ಅನ್ನು ಹೆಚ್ಚು ವಿವರವಾದ ಇತಿಹಾಸಕ್ಕಾಗಿ ಮತ್ತು ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ತೀರ್ಮಾನದ ಎಚ್ಚರಿಕೆಯ ವಿಸ್ತರಣೆಯು ಸಿಂಧುತ್ವ, ಆಂತರಿಕ ಸಿಂಧುತ್ವ, ಸಿಂಧುತ್ವವನ್ನು ನಿರ್ಮಿಸುವುದು, ಮತ್ತು ಬಾಹ್ಯ ಸಿಂಧುತ್ವವನ್ನು ನೋಡಿ.

ಪ್ರಯೋಗಗಳಲ್ಲಿ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ತೀರ್ಮಾನಕ್ಕೆ ಸಿಂಧುತ್ವಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ವಿಷಯಗಳ ಅವಲೋಕನಕ್ಕಾಗಿ Gerber and Green (2012) (ಸಾಮಾಜಿಕ ವಿಜ್ಞಾನ ದೃಷ್ಟಿಕೋನದಿಂದ) ಮತ್ತು Imbens and Rubin (2015) ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ದೃಷ್ಟಿಕೋನದಿಂದ) ನೋಡಿ. ಆನ್ಲೈನ್ ​​ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳಲ್ಲಿ ನಿರ್ದಿಷ್ಟವಾಗಿ ಉದ್ಭವಿಸುವ ಕೆಲವು ಸಂಖ್ಯಾಶಾಸ್ತ್ರದ ತೀರ್ಮಾನದ ಮಾನ್ಯತೆಯು ಅವಲಂಬಿತ ದತ್ತಾಂಶದೊಂದಿಗೆ ವಿಶ್ವಾಸಾರ್ಹ ಮಧ್ಯಂತರಗಳನ್ನು (Bakshy and Eckles 2013) ಗಣನೀಯವಾಗಿ ಪರಿಣಾಮಕಾರಿ ವಿಧಾನಗಳನ್ನು ಒಳಗೊಂಡಿದೆ (Bakshy and Eckles 2013) .

ಸಂಕೀರ್ಣ ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಆಂತರಿಕ ಮಾನ್ಯತೆ ಕಷ್ಟವಾಗಬಹುದು. ಉದಾಹರಣೆಗೆ, ಮತದಾನದ ಬಗ್ಗೆ ಸಂಕೀರ್ಣ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪ್ರಯೋಗದ ಅನುಷ್ಠಾನದ ಕುರಿತು ಚರ್ಚೆಗಾಗಿ ನೋಡಿ, Gerber and Green (2000) , Imai (2005) , ಮತ್ತು Gerber and Green (2005) . Kohavi et al. (2012) ಮತ್ತು Kohavi et al. (2013) ಆನ್ಲೈನ್ ​​ಕ್ಷೇತ್ರದ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಮಧ್ಯಂತರ ಮೌಲ್ಯಮಾಪನದ ಸವಾಲುಗಳನ್ನು ಪರಿಚಯಿಸಲು.

ಆಂತರಿಕ ಸಿಂಧುತ್ವಕ್ಕೆ ಒಂದು ಪ್ರಮುಖ ಬೆದರಿಕೆ ವಿಫಲವಾದ ಯಾದೃಚ್ಛಿಕತೆಯ ಸಾಧ್ಯತೆಯಾಗಿದೆ. ಯಾದೃಚ್ಛಿಕತೆಯೊಂದಿಗಿನ ಸಮಸ್ಯೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಒಂದು ಸಂಭಾವ್ಯ ಮಾರ್ಗವೆಂದರೆ ಗಮನಿಸಬಹುದಾದ ಗುಣಲಕ್ಷಣಗಳ ಮೇಲೆ ಚಿಕಿತ್ಸೆ ಮತ್ತು ನಿಯಂತ್ರಣ ಗುಂಪುಗಳನ್ನು ಹೋಲಿಸುವುದು. ಈ ರೀತಿಯ ಹೋಲಿಕೆಗಳನ್ನು ಸಮತೋಲನ ಚೆಕ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ. ಸಮತೋಲನ ತಪಾಸಣೆ ಬಗ್ಗೆ Mutz and Pemantle (2015) ಚೆಕ್ Mutz and Pemantle (2015) ಅನ್ನು ಸಮತೋಲನಗೊಳಿಸುವ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ವಿಧಾನಕ್ಕಾಗಿ Hansen and Bowers (2008) ನೋಡಿ. ಉದಾಹರಣೆಗಾಗಿ, ಸಮತೋಲನದ ಚೆಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು, Allcott (2011) ಒಪವರ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಮೂರು ಯಾದೃಚ್ಛಿಕತೆಯನ್ನು ಸರಿಯಾಗಿ ಅಳವಡಿಸಲಾಗಿಲ್ಲ ಎಂದು ಕೆಲವು ಸಾಕ್ಷ್ಯವನ್ನು ಕಂಡುಕೊಂಡರು (ಟೇಬಲ್ 2 ನೋಡಿ; ಸೈಟ್ಗಳು 2, 6, ಮತ್ತು 8). ಇತರ ವಿಧಾನಗಳಿಗೆ, Imbens and Rubin (2015) ಅಧ್ಯಾಯ 21 ನೋಡಿ.

ಆಂತರಿಕ ಸಿಂಧುತ್ವಕ್ಕೆ ಸಂಬಂಧಿಸಿದ ಇತರ ಪ್ರಮುಖ ಕಾಳಜಿಗಳೆಂದರೆ: (1) ಚಿಕಿತ್ಸಕ ಗುಂಪಿನಲ್ಲಿರುವ ಪ್ರತಿಯೊಬ್ಬರೂ ವಾಸ್ತವವಾಗಿ ಚಿಕಿತ್ಸೆಯನ್ನು ಪಡೆಯದಿದ್ದರೆ, (2) ಎರಡು ಬದಲಾಗದ ಅನುವರ್ತನೆ ಇಲ್ಲ, ಅಲ್ಲಿ ಚಿಕಿತ್ಸಾ ತಂಡದಲ್ಲಿರುವ ಪ್ರತಿಯೊಬ್ಬರೂ ಚಿಕಿತ್ಸೆ ಪಡೆಯುತ್ತಾರೆ ಮತ್ತು ಕೆಲವು ಜನರಿಗೆ ನಿಯಂತ್ರಣ ಗುಂಪು ಚಿಕಿತ್ಸೆ ಪಡೆಯುತ್ತದೆ, (3) ಲಘುತೆ, ಫಲಿತಾಂಶಗಳು ಕೆಲವು ಭಾಗವಹಿಸುವವರಿಗೆ ಅಳೆಯಲಾಗುವುದಿಲ್ಲ, ಮತ್ತು (4) ಹಸ್ತಕ್ಷೇಪ, ಚಿಕಿತ್ಸೆಯ ಸ್ಥಿತಿಯಲ್ಲಿ ಜನರಿಗೆ ನಿಯಂತ್ರಣ ಸ್ಥಿತಿಯಲ್ಲಿರುವ ಜನರಿಗೆ ಚಿಕಿತ್ಸೆಯು ಚೆಲ್ಲುತ್ತದೆ. ಈ ಪ್ರತಿಯೊಂದು ಸಮಸ್ಯೆಗಳಲ್ಲೂ ಹೆಚ್ಚಿನದನ್ನು ಮಾಡಲು 5, 6, 7, ಮತ್ತು 8 ನ Gerber and Green (2012) ಅಧ್ಯಾಯಗಳನ್ನು ನೋಡಿ.

ನಿರ್ಮಾಣ ಮೌಲ್ಯಮಾಪನದ ಬಗ್ಗೆ ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ, Westen and Rosenthal (2003) , ಮತ್ತು ದೊಡ್ಡ ಡೇಟಾ ಮೂಲಗಳಲ್ಲಿ ರಚನಾತ್ಮಕ ಮಾನ್ಯತೆಗಾಗಿ, Lazer (2015) ಮತ್ತು ಈ ಪುಸ್ತಕದ 2 ನೇ ಅಧ್ಯಾಯ.

ಬಾಹ್ಯ ಸಿಂಧುತ್ವದ ಒಂದು ಅಂಶವೆಂದರೆ ಒಂದು ಹಸ್ತಕ್ಷೇಪ ಪರೀಕ್ಷೆಗೊಳಪಡಿಸುವ ಸೆಟ್ಟಿಂಗ್. Allcott (2015) ಸೈಟ್ ಆಯ್ಕೆಯ ಪಕ್ಷಪಾತವನ್ನು ಎಚ್ಚರಿಕೆಯ ಸೈದ್ಧಾಂತಿಕ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ಚಿಕಿತ್ಸೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ. ಈ ಸಮಸ್ಯೆಯನ್ನು Deaton (2010) ಚರ್ಚಿಸಿದ್ದಾರೆ Deaton (2010) . ಬಾಹ್ಯ ಸಿಂಧುತ್ವದ ಮತ್ತೊಂದು ಅಂಶವೆಂದರೆ ಅದೇ ಹಸ್ತಕ್ಷೇಪದ ಪರ್ಯಾಯ ಕಾರ್ಯಾಚರಣೆಗಳು ಒಂದೇ ಪರಿಣಾಮವನ್ನು ಬೀರುತ್ತವೆ ಎಂಬುದು. ಈ ಸಂದರ್ಭದಲ್ಲಿ, Schultz et al. (2007) ನಡುವೆ ಹೋಲಿಕೆ Schultz et al. (2007) ಮತ್ತು Allcott (2011) ಪ್ರಕಾರ ಓಪವರ್ ಪ್ರಯೋಗಗಳು ಷುಲ್ಟ್ಜ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು (1.7% ವಿರುದ್ಧ 5%) ಮೂಲ ಪ್ರಯೋಗಗಳಿಗಿಂತ ಕಡಿಮೆ ಅಂದಾಜು ಚಿಕಿತ್ಸೆ ಪರಿಣಾಮವನ್ನು ಹೊಂದಿವೆ. Allcott (2011) ಚಿಕಿತ್ಸೆಯಲ್ಲಿ ಭಿನ್ನವಾದ ವಿಧಾನಗಳ ಕಾರಣದಿಂದಾಗಿ ಫಾಲೋ-ಅಪ್ ಪ್ರಯೋಗಗಳು ಸಣ್ಣ ಪರಿಣಾಮವನ್ನು ಹೊಂದಿವೆ ಎಂದು ಊಹಿಸಲಾಗಿದೆ: ಒಂದು ವಿಶ್ವವಿದ್ಯಾನಿಲಯವು ಪ್ರಾಯೋಜಿಸಿದ ಅಧ್ಯಯನದ ಭಾಗವಾಗಿ ಒಂದು ಕೈಬರಹದ ಎಮೋಟಿಕಾನ್, ಮುದ್ರಿತ ಎಮೋಟಿಕಾನ್ ಅನ್ನು ಸಮೂಹ-ಉತ್ಪಾದನೆಯ ಭಾಗವಾಗಿ ಹೋಲಿಸಿದರೆ ಪವರ್ ಕಂಪನಿಯಿಂದ ವರದಿ.

• ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ಹಿಟೊಜೆನಿಟಿ (ವಿಭಾಗ 4.4.2)

ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ವೈವಿಧ್ಯತೆಯ ಅತ್ಯುತ್ತಮ ಅವಲೋಕನಕ್ಕಾಗಿ, Gerber and Green (2012) ಅಧ್ಯಾಯ 12 ನೋಡಿ. ವೈದ್ಯಕೀಯ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ವೈಪರೀತ್ಯದ ಪರಿಚಯಕ್ಕಾಗಿ, Kent and Hayward (2007) , Longford (1999) , ಮತ್ತು Kravitz, Duan, and Braslow (2004) . ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ವೈವಿಧ್ಯತೆಯ ಪರಿಗಣನೆಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಪೂರ್ವ ಚಿಕಿತ್ಸೆ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಆಧರಿಸಿ ವ್ಯತ್ಯಾಸಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತವೆ. ನಂತರದ ಚಿಕಿತ್ಸೆಯ ಫಲಿತಾಂಶಗಳ ಆಧಾರದ ಮೇಲೆ ನೀವು (Frangakis and Rubin 2002) , ಪ್ರಮುಖ ಸಂಕೀರ್ಣೀಕರಣ (Frangakis and Rubin 2002) ಹೆಚ್ಚು ಸಂಕೀರ್ಣವಾದ ವಿಧಾನಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ; Page et al. (2015) ವಿಮರ್ಶೆಗಾಗಿ.

ರೇಖಾತ್ಮಕ ಹಿಂಜರಿಕೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ವೈವಿಧ್ಯತೆಯನ್ನು ಹಲವು ಸಂಶೋಧಕರು ಅಂದಾಜು ಮಾಡುತ್ತಾರೆ, ಆದರೆ ಹೊಸ ವಿಧಾನಗಳು ಯಂತ್ರ ಕಲಿಕೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿವೆ; ಉದಾಹರಣೆಗೆ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ಮತ್ತು Athey and Imbens (2016a) Taddy et al. (2016) Athey and Imbens (2016a) .

ಅನೇಕ ಹೋಲಿಕೆ ಸಮಸ್ಯೆಗಳು ಮತ್ತು "ಮೀನುಗಾರಿಕೆ" ಕಾರಣದಿಂದಾಗಿ ಪರಿಣಾಮಗಳ ವೈವಿಧ್ಯತೆಯ ಬಗೆಗಿನ ಕೆಲವು ಸಂದೇಹವಿದೆ. ಬಹು ಹೋಲಿಕೆ (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) ಕಾಳಜಿಗಳ ಬಗ್ಗೆ ಕಾಳಜಿಗೆ ಸಹಾಯ ಮಾಡುವ ವಿವಿಧ ಸಂಖ್ಯಾಶಾಸ್ತ್ರದ ವಿಧಾನಗಳಿವೆ. (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . ಮನೋವಿಜ್ಞಾನ (Nosek and Lakens 2014) , ರಾಜಕೀಯ ವಿಜ್ಞಾನ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗುತ್ತಿದೆ "ಮೀನುಗಾರಿಕೆ" , ಮತ್ತು ಅರ್ಥಶಾಸ್ತ್ರ (Olken 2015) .

Costa and Kahn (2013) ನಡೆಸಿದ ಅಧ್ಯಯನದ ಪ್ರಕಾರ, ಪ್ರಯೋಗದಲ್ಲಿ ಅರ್ಧದಷ್ಟು ಕುಟುಂಬಗಳು ಮಾತ್ರ ಜನಸಂಖ್ಯಾ ಮಾಹಿತಿಗೆ ಸಂಬಂಧಿಸಿವೆ. ಈ ವಿವರಗಳಲ್ಲಿ ಆಸಕ್ತಿ ಹೊಂದಿರುವ ಓದುಗರು ಮೂಲ ಕಾಗದವನ್ನು ಉಲ್ಲೇಖಿಸಬೇಕು.

• ಕಾರ್ಯವಿಧಾನಗಳು (ವಿಭಾಗ 4.4.3)

ಕಾರ್ಯವಿಧಾನಗಳು ನಂಬಲಾಗದಷ್ಟು ಮಹತ್ವದ್ದಾಗಿವೆ, ಆದರೆ ಅಧ್ಯಯನ ಮಾಡಲು ಅವು ತುಂಬಾ ಕಷ್ಟಕರವಾಗಿವೆ. ಯಾಂತ್ರಿಕತೆಗಳ ಕುರಿತಾದ ಸಂಶೋಧನೆಯು ಮನೋವಿಜ್ಞಾನದಲ್ಲಿ ಮಧ್ಯವರ್ತಿಗಳ ಅಧ್ಯಯನಕ್ಕೆ ನಿಕಟ ಸಂಬಂಧ ಹೊಂದಿದೆ (ಆದರೆ ಎರಡು ವಿಚಾರಗಳ ನಡುವಿನ ನಿಖರ ಹೋಲಿಕೆಗಾಗಿ VanderWeele (2009) ಸಹ ನೋಡಿ. Baron and Kenny (1986) ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ವಿಧಾನದಂತಹ ಯಾಂತ್ರಿಕತೆಯನ್ನು ಕಂಡುಹಿಡಿಯುವ ಅಂಕಿಅಂಶಗಳ ವಿಧಾನಗಳು ತುಂಬಾ ಸಾಮಾನ್ಯವಾಗಿದೆ. ದುರದೃಷ್ಟವಶಾತ್, ಈ ಕಾರ್ಯವಿಧಾನಗಳು ಕೆಲವು ಬಲವಾದ ಊಹೆಗಳನ್ನು (Bullock, Green, and Ha 2010) ಅವಲಂಬಿಸಿವೆ ಮತ್ತು ಹಲವಾರು ಕಾರ್ಯವಿಧಾನಗಳು ಇರುವಾಗ ಬಳಲುತ್ತಿದ್ದಾರೆ, ಅನೇಕ ಸಂದರ್ಭಗಳಲ್ಲಿ (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) ನಿರೀಕ್ಷಿಸಬಹುದು ಎಂದು ದುರದೃಷ್ಟವಶಾತ್, ಇದು ಹೊರಹೊಮ್ಮುತ್ತದೆ. Imai et al. (2011) ಮತ್ತು Imai and Yamamoto (2013) ಕೆಲವು ಸುಧಾರಿತ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ವಿಧಾನಗಳನ್ನು ನೀಡುತ್ತವೆ. ಇದಲ್ಲದೆ, VanderWeele (2015) ಅನೇಕ ಪ್ರಮುಖ ಫಲಿತಾಂಶಗಳೊಂದಿಗೆ ಪುಸ್ತಕ-ಉದ್ದದ ಚಿಕಿತ್ಸೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ, ಸೂಕ್ಷ್ಮತೆಯ ವಿಶ್ಲೇಷಣೆಗೆ ಸಮಗ್ರವಾದ ಮಾರ್ಗವನ್ನು ಒಳಗೊಂಡಿದೆ.

ಒಂದು ಪ್ರತ್ಯೇಕ ವಿಧಾನವು ನೇರವಾಗಿ ಯಾಂತ್ರಿಕ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ವಹಿಸಲು ಪ್ರಯತ್ನಿಸುವ ಪ್ರಯೋಗಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ (ಉದಾಹರಣೆಗೆ, ನಾವಿಕರು ವಿಟಮಿನ್ C ಯನ್ನು ನೀಡುವ). ದುರದೃಷ್ಟವಶಾತ್, ಅನೇಕ ಸಾಮಾಜಿಕ ವಿಜ್ಞಾನದ ಸೆಟ್ಟಿಂಗ್ಗಳಲ್ಲಿ, ಅನೇಕ ವಿಧಾನಗಳು ಇವೆ, ಮತ್ತು ಇತರರನ್ನು ಬದಲಾಯಿಸದೆಯೇ ಒಂದನ್ನು ಬದಲಿಸುವ ಚಿಕಿತ್ಸೆಗಳನ್ನು ವಿನ್ಯಾಸ ಮಾಡುವುದು ಕಷ್ಟ. ಪ್ರಾಯೋಗಿಕವಾಗಿ ಮಾರ್ಪಡಿಸುವ ಕಾರ್ಯವಿಧಾನಗಳಿಗೆ ಕೆಲವು ವಿಧಾನಗಳನ್ನು Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) ಮತ್ತು Pirlott and MacKinnon (2016) Ludwig, Kling, and Mullainathan (2011) ಮತ್ತು Pirlott and MacKinnon (2016) .

ಸಂಪೂರ್ಣವಾಗಿ ಅಪವರ್ತನೀಯ ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸುವ ಸಂಶೋಧಕರು ಬಹು ಕಲ್ಪಿತ ಪರೀಕ್ಷೆಯ ಬಗ್ಗೆ ಕಾಳಜಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ; ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ Fink, McConnell, and Vollmer (2014) ಮತ್ತು List, Shaikh, and Xu (2016) .

ಅಂತಿಮವಾಗಿ, Hedström and Ylikoski (2010) ವಿವರಿಸಿದಂತೆ, ವಿಜ್ಞಾನದ ತತ್ತ್ವಶಾಸ್ತ್ರದಲ್ಲಿ ಯಾಂತ್ರಿಕತೆಗಳು ಸುದೀರ್ಘ ಇತಿಹಾಸವನ್ನು ಹೊಂದಿವೆ.

• ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪರಿಸರದಲ್ಲಿ ಬಳಸುವುದು (ವಿಭಾಗ 4.5.1)

ತಾರತಮ್ಯವನ್ನು ಅಳೆಯಲು ಪತ್ರವ್ಯವಹಾರದ ಅಧ್ಯಯನಗಳು ಮತ್ತು ಆಡಿಟ್ ಅಧ್ಯಯನಗಳ ಬಳಕೆಗೆ ಹೆಚ್ಚು ನೋಡಿ, Pager (2007) .

• ನಿಮ್ಮ ಸ್ವಂತ ಪ್ರಯೋಗವನ್ನು ನಿರ್ಮಿಸಿ (ವಿಭಾಗ 4.5.2)

ಅಮೆಜಾನ್ ಮೆಕ್ಯಾನಿಕಲ್ ಟರ್ಕ್ (MTurk) ನೀವು ನಿರ್ಮಿಸುವ ಪ್ರಯೋಗಗಳಿಗೆ ಭಾಗಿಗಳನ್ನು ನೇಮಿಸುವ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ವಿಧಾನವಾಗಿದೆ. MTurk ಅವರು ಸಾಂಪ್ರದಾಯಿಕ ಪ್ರಯೋಗಾಲಯಗಳ ಪ್ರಯೋಗಗಳನ್ನು-ಪಾವತಿಸುವ ಜನರ ಅಂಶಗಳನ್ನು ಅವರು ಮುಕ್ತವಾಗಿ ಮಾಡಲಾಗದ ಕಾರ್ಯಗಳನ್ನು ಪೂರೈಸಲು ಕಾರಣ-ಅನೇಕ ಸಂಶೋಧಕರು ಈಗಾಗಲೇ ಟರ್ಕರ್ಗಳನ್ನು (MTurk ಮೇಲೆ ಕಾರ್ಮಿಕರು) ಪ್ರಾಯೋಗಿಕ ಭಾಗವಹಿಸುವವರು ಎಂದು ಪ್ರಾರಂಭಿಸಿವೆ, ಇದರಿಂದಾಗಿ ವೇಗವಾಗಿ ಮತ್ತು ಕಡಿಮೆ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯನ್ನು ಸಾಧಿಸಬಹುದು ಸಾಂಪ್ರದಾಯಿಕ ಆನ್ ಕ್ಯಾಂಪಸ್ ಪ್ರಯೋಗಾಲಯ ಪ್ರಯೋಗಗಳಲ್ಲಿ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

ಸಾಮಾನ್ಯವಾಗಿ, MTurk ನಿಂದ ನೇಮಕಗೊಂಡ ಭಾಗಿಗಳನ್ನು ಬಳಸುವ ದೊಡ್ಡ ಅನುಕೂಲವೆಂದರೆ ವ್ಯವಸ್ಥಾಪನ. ಲ್ಯಾಬ್ ಪ್ರಯೋಗಗಳು ವಾರಗಳ ಸಮಯ ತೆಗೆದುಕೊಳ್ಳಬಹುದು ಮತ್ತು ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳನ್ನು ತಿಂಗಳುಗಳು ತೆಗೆದುಕೊಳ್ಳಬಹುದು, MTurk ನಿಂದ ನೇಮಕಗೊಂಡ ಭಾಗವಹಿಸುವವರ ಪ್ರಯೋಗಗಳು ದಿನಗಳಲ್ಲಿ ನಡೆಯಬಹುದು. ಉದಾಹರಣೆಗೆ, Berinsky, Huber, and Lenz (2012) ಅವರು 8 ದಿನ ಪ್ರಯೋಗದಲ್ಲಿ ಭಾಗವಹಿಸಲು ಒಂದೇ ದಿನದಲ್ಲಿ 400 ವಿಷಯಗಳನ್ನು ಸೇರಿಸಿಕೊಳ್ಳಲು ಸಮರ್ಥರಾಗಿದ್ದರು. ಇದಲ್ಲದೆ, ವಾಸ್ತವಿಕವಾಗಿ ಯಾವುದೇ ಉದ್ದೇಶಕ್ಕಾಗಿ (ಸಮೀಕ್ಷೆಗಳು ಮತ್ತು ಸಮೂಹ ಸಹಯೋಗ ಸೇರಿದಂತೆ, ಈ ಅಧ್ಯಾಯಗಳು 3 ಮತ್ತು 5 ಅಧ್ಯಾಯಗಳಲ್ಲಿ ಚರ್ಚಿಸಿದಂತೆ) ನೇಮಕಗೊಳ್ಳಬಹುದು. ನೇಮಕಾತಿಯ ಈ ಸುಲಭ ಅರ್ಥವೆಂದರೆ ಸಂಶೋಧಕರು ಸಂಬಂಧಿತ ಪ್ರಯೋಗಗಳ ಅನುಕ್ರಮಗಳನ್ನು ಶೀಘ್ರ ಅನುಕ್ರಮವಾಗಿ ಚಲಾಯಿಸಬಹುದು.

ನಿಮ್ಮ ಸ್ವಂತ ಪ್ರಯೋಗಗಳಿಗಾಗಿ MTurk ನಿಂದ ಭಾಗವಹಿಸುವವರನ್ನು ನೇಮಿಸುವ ಮೊದಲು, ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕಾದ ನಾಲ್ಕು ಪ್ರಮುಖ ವಿಷಯಗಳಿವೆ. ಮೊದಲನೆಯದಾಗಿ, ಅನೇಕ ಸಂಶೋಧಕರು ತುರ್ಕರನ್ನು ಒಳಗೊಂಡಿರುವ ಪ್ರಯೋಗಗಳ ಅನಿಶ್ಚಿತ ಸಂಶಯವನ್ನು ಹೊಂದಿದ್ದಾರೆ. ಈ ಸಂದೇಹವಾದವು ನಿರ್ದಿಷ್ಟವಾಗಿಲ್ಲವಾದ್ದರಿಂದ, ಪುರಾವೆಗಳೊಂದಿಗೆ ಎದುರಿಸಲು ಕಷ್ಟವಾಗುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಟರ್ಕರ್ಸ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಹಲವಾರು ವರ್ಷಗಳ ಅಧ್ಯಯನದ ನಂತರ, ಈ ಸಿನಿಕತನವನ್ನು ನಿರ್ದಿಷ್ಟವಾಗಿ ಸಮರ್ಥಿಸಲಾಗಿಲ್ಲ ಎಂದು ನಾವು ಈಗ ತೀರ್ಮಾನಿಸಬಹುದು. ಇತರ ಜನಸಂಖ್ಯೆಗಳಿಂದ ತುರ್ಕಿಯರ ಜನಸಂಖ್ಯಾಶಾಸ್ತ್ರವನ್ನು ಹೋಲಿಸಿದಾಗ ಅನೇಕ ಅಧ್ಯಯನಗಳು ನಡೆದಿವೆ ಮತ್ತು ಇತರ ಜನಸಂಖ್ಯೆಗಳಿಂದ ಬಂದವರು ಟರ್ಕರ್ಸ್ನ ಪ್ರಯೋಗಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ಹೋಲಿಸಿದ ಅನೇಕ ಅಧ್ಯಯನಗಳು. ಈ ಎಲ್ಲಾ ಕೆಲಸಗಳನ್ನೂ ನಾನು ನೀಡಿದ್ದೇನೆಂದರೆ, ಅದರ ಬಗ್ಗೆ ಯೋಚಿಸುವುದು ಉತ್ತಮ ಮಾರ್ಗವಾಗಿದೆ ಎಂದು ಟರ್ಕರ್ಗಳು ಸಮಂಜಸವಾದ ಅನುಕೂಲತೆ (Berinsky, Huber, and Lenz 2012) ವಿದ್ಯಾರ್ಥಿಗಳಂತೆ ಆದರೆ ಸ್ವಲ್ಪ ಹೆಚ್ಚು ವೈವಿಧ್ಯಮಯವಾದ (Berinsky, Huber, and Lenz 2012) . ಹೀಗಾಗಿ, ವಿದ್ಯಾರ್ಥಿಗಳು ಕೆಲವು ಜನರಿಗೆ ಸಮಂಜಸವಾದ ಜನಸಂಖ್ಯೆಯಂತೆಯೇ, ಆದರೆ ಎಲ್ಲಾ ಸಂಶೋಧನೆ ಅಲ್ಲ, ಟರ್ಕರ್ಸ್ ಕೆಲವು ಜನರಿಗೆ ಸಮಂಜಸವಾದ ಜನಸಂಖ್ಯೆ, ಆದರೆ ಎಲ್ಲರೂ ಅಲ್ಲ. ನೀವು ತುರ್ಕರಿಗೆ ಕೆಲಸ ಮಾಡಲಿದ್ದರೆ, ಈ ತುಲನಾತ್ಮಕ ಅಧ್ಯಯನಗಳು ಹಲವುವನ್ನು ಓದಲು ಮತ್ತು ಅವುಗಳ ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಅರ್ಥಪೂರ್ಣವಾಗಿದೆ.

ಎರಡನೆಯದಾಗಿ, MTurk ಪ್ರಯೋಗಗಳ ಆಂತರಿಕ ಸಿಂಧುತ್ವವನ್ನು ಹೆಚ್ಚಿಸಲು ಸಂಶೋಧಕರು ಅತ್ಯುತ್ತಮ ಪದ್ಧತಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದಾರೆ ಮತ್ತು ನೀವು ಈ ಉತ್ತಮ ಆಚರಣೆಗಳನ್ನು (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) ತಿಳಿದುಕೊಳ್ಳಬೇಕು ಮತ್ತು ಅನುಸರಿಸಬೇಕು. ಉದಾಹರಣೆಗೆ, (Berinsky, Margolis, and Sances 2014, 2016) ಭಾಗವಹಿಸುವವರನ್ನು (Berinsky, Margolis, and Sances 2014, 2016) ತೆಗೆದುಹಾಕಲು ಸ್ಕ್ರೀನರ್ಗಳನ್ನು ಬಳಸುವ ಸಂಶೋಧಕರು (ಆದರೆ DJ Hauser and Schwarz (2015b) ಮತ್ತು DJ Hauser and Schwarz (2015a) . ನೀವು ಗಮನಿಸದೆ ಭಾಗವಹಿಸುವವರನ್ನು ತೆಗೆದುಹಾಕದಿದ್ದರೆ, ಅವರು ಪರಿಚಯಿಸುವ ಶಬ್ದದಿಂದ ಚಿಕಿತ್ಸೆಯ ಯಾವುದೇ ಪರಿಣಾಮವನ್ನು ತೊಳೆದುಕೊಳ್ಳಬಹುದು ಮತ್ತು ಆಚರಣೆಯಲ್ಲಿ ಗಮನಿಸದೆ ಇರುವ ಭಾಗವಹಿಸುವವರು ಗಣನೀಯವಾಗಿರಬಹುದು. ಹ್ಯೂಬರ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು (2012) ನಡೆಸಿದ ಪ್ರಯೋಗದಲ್ಲಿ ಸುಮಾರು 30% ಪಾಲ್ಗೊಳ್ಳುವವರು ಮೂಲಭೂತ ಗಮನ ಸ್ಕ್ರೀನರ್ಗಳಿಗೆ ವಿಫಲರಾಗಿದ್ದಾರೆ. ತುರ್ಕರನ್ನು ಬಳಸುವಾಗ ಸಾಮಾನ್ಯವಾಗಿ ಹುಟ್ಟಿಕೊಳ್ಳುವ ಇತರ ಸಮಸ್ಯೆಗಳು ನಾನ್-ನ್ಯಾವಿವ್ ಪಾಲ್ಗೊಳ್ಳುವವರು (Chandler et al. 2015) ಮತ್ತು ಆಕ್ರಮಣಶೀಲತೆ (Zhou and Fishbach 2016) .

ಮೂರನೆಯದಾಗಿ, ಡಿಜಿಟಲ್ ಪ್ರಯೋಗಗಳ ಕೆಲವು ಇತರ ಪ್ರಕಾರಗಳಿಗೆ ಹೋಲಿಸಿದರೆ, MTurk ಪ್ರಯೋಗಗಳು ಅಳೆಯಲಾಗುವುದಿಲ್ಲ; Stewart et al. (2015) ಯಾವುದೇ ಸಮಯದಲ್ಲಿ MTurk ನಲ್ಲಿ ಕೇವಲ 7,000 ಜನರಿದ್ದಾರೆ ಎಂದು ಅಂದಾಜಿಸಲಾಗಿದೆ.

ಅಂತಿಮವಾಗಿ, MTurk ತನ್ನದೇ ಆದ ನಿಯಮಗಳ ಮತ್ತು ನಿಯಮಾವಳಿಗಳೊಂದಿಗೆ (Mason and Suri 2012) ಸಮುದಾಯವನ್ನು ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕು. ನಿಮ್ಮ ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸಲು ನೀವು ಹೋಗುವ ದೇಶದ ಸಂಸ್ಕೃತಿಯ ಬಗ್ಗೆ ನೀವು ಕಂಡುಕೊಳ್ಳುವ ರೀತಿಯಲ್ಲಿಯೇ, ನೀವು ಟರ್ಕರ್ಸ್ನ ಸಂಸ್ಕೃತಿ ಮತ್ತು ರೂಢಿಗಳ ಬಗ್ಗೆ ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳಲು ಪ್ರಯತ್ನಿಸಬೇಕು (Salehi et al. 2015) . ಮತ್ತು ನೀವು ಅನುಚಿತ ಅಥವಾ ಅನೈತಿಕ (Gray et al. 2016) ಏನಾದರೂ ಮಾಡಿದರೆ ಟರ್ಕರ್ಸ್ ನಿಮ್ಮ ಪ್ರಯೋಗದ ಕುರಿತು ಮಾತನಾಡುತ್ತಿದ್ದಾರೆ ಎಂದು ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕು.

ಮೊಬರ್ನ್ Mason and Watts (2009) ಮುಂತಾದ ಹೆಚ್ಚು ಕ್ಷೇತ್ರದಂತಹ Huber, Hill, and Lenz (2012) ಮುಂತಾದ ಪ್ರಯೋಗಾಲಯಗಳಂತೆಯೇ, ನಿಮ್ಮ ಪ್ರಯೋಗಗಳಿಗೆ ಭಾಗವಹಿಸುವವರನ್ನು ನೇಮಕ ಮಾಡಲು ಎಮ್ಟುಕ್ ಒಂದು ಅಚ್ಚರಿಗೊಳಿಸುವ ಅನುಕೂಲಕರ ಮಾರ್ಗವಾಗಿದೆ. , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ಮತ್ತು Mao et al. (2016) .

• ನಿಮ್ಮ ಸ್ವಂತ ಉತ್ಪನ್ನವನ್ನು ನಿರ್ಮಿಸಿ (ವಿಭಾಗ 4.5.3)

ನಿಮ್ಮ ಸ್ವಂತ ಉತ್ಪನ್ನವನ್ನು ರಚಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವುದನ್ನು ನೀವು ಯೋಚಿಸುತ್ತಿದ್ದರೆ, Harper and Konstan (2015) ನಲ್ಲಿನ ಮೂವೀಲಿನ್ಸ್ ಗುಂಪಿನ ಸಲಹೆಯನ್ನು ನೀವು ಓದಲು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ. ಅವರ ಅನುಭವದಿಂದ ಒಂದು ಪ್ರಮುಖ ಒಳನೋಟವೆಂದರೆ ಪ್ರತಿ ಯಶಸ್ವೀ ಯೋಜನೆಗೆ ಹಲವು ವಿಫಲತೆಗಳಿವೆ. ಉದಾಹರಣೆಗೆ, ಮೂವೀಲೆನ್ಸ್ ಗುಂಪು ಗೋಫರ್ಅನ್ಸ್ವೆರ್ಸ್ನಂಥ ಇತರ ಉತ್ಪನ್ನಗಳನ್ನು ಪ್ರಾರಂಭಿಸಿತು, ಅದು ಸಂಪೂರ್ಣ ವೈಫಲ್ಯಗಳು (Harper and Konstan 2015) . ಒಂದು ಉತ್ಪನ್ನವನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿರುವಾಗ ವಿಫಲವಾದ ಸಂಶೋಧಕನ ಮತ್ತೊಂದು ಉದಾಹರಣೆ ಎಡ್ವರ್ಡ್ ಕ್ಯಾಸ್ಟ್ರೊನೊವಾ ಆರ್ಡೆನ್ ಎಂಬ ಆನ್ಲೈನ್ ​​ಆಟವನ್ನು ನಿರ್ಮಿಸುವ ಪ್ರಯತ್ನವಾಗಿದೆ. $ 250,000 ಹಣದ ಸಹಾಯದಿಂದ, ಯೋಜನೆಯು ಫ್ಲಾಪ್ (Baker 2008) . ಗೋಫೆರ್ಆನ್ಸ್ವರ್ಸ್ ಮತ್ತು ಅರ್ಡೆನ್ ನಂತಹ ಯೋಜನೆಗಳು ದುರದೃಷ್ಟವಶಾತ್ ಮೂವಿಲೆನ್ಸ್ನಂತಹ ಯೋಜನೆಗಳಿಗಿಂತ ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗಿದೆ.

• ಪ್ರಬಲವಾದ ಪಾಲುದಾರ (ವಿಭಾಗ 4.5.4)

ಪಾಶ್ಚರ್ನ ಕ್ವಾಡ್ರಾಂಟ್ನ ಆಲೋಚನೆಯು ಟೆಕ್ ಕಂಪೆನಿಗಳಲ್ಲಿ ಆಗಾಗ್ಗೆ ಚರ್ಚಿಸಿದ್ದು, ಮತ್ತು ಗೂಗಲ್ (Spector, Norvig, and Petrov 2012) ನಲ್ಲಿ ಸಂಶೋಧನಾ ಪ್ರಯತ್ನಗಳನ್ನು ಸಂಘಟಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಬಾಂಡ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳ ಅಧ್ಯಯನದ (2012) ಈ ಚಿಕಿತ್ಸೆಗಳ ಪರಿಣಾಮವನ್ನು ಪತ್ತೆಹಚ್ಚಿದವರ ಸ್ನೇಹಿತರ ಮೇಲೆ ಸಹ ಪತ್ತೆಹಚ್ಚಲು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ಪ್ರಯೋಗದ ವಿನ್ಯಾಸದ ಕಾರಣ, ಈ ಸ್ಪಿಲ್ಲೋವರ್ಗಳು ಸರಿಯಾಗಿ ಪತ್ತೆಹಚ್ಚಲು ಕಷ್ಟಕರವಾಗಿದೆ; ಆಸಕ್ತಿ ಓದುಗರು Bond et al. (2012) ನೋಡಬೇಕು Bond et al. (2012) ಹೆಚ್ಚು ಚರ್ಚೆಗಾಗಿ. ಜೋನ್ಸ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು (2017) ಕೂಡ 2012 ರ ಚುನಾವಣೆಯಲ್ಲಿ ಇದೇ ರೀತಿಯ ಪ್ರಯೋಗವನ್ನು ನಡೆಸಿದರು. ಈ ಪ್ರಯೋಗಗಳು ಮತದಾನವನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುವ ಪ್ರಯತ್ನಗಳ ಮೇಲೆ ರಾಜಕೀಯ ವಿಜ್ಞಾನದಲ್ಲಿ ಪ್ರಯೋಗಗಳ ದೀರ್ಘ ಸಂಪ್ರದಾಯದ ಭಾಗವಾಗಿದೆ (Green and Gerber 2015) . ಈ ಹೊರಗುಳಿಯುವ ಪ್ರಯೋಗಗಳು ಸಾಮಾನ್ಯವಾಗಿದೆ, ಭಾಗಶಃ ಅವು ಪಾಶ್ಚರ್ನ ಕ್ವಾಡ್ರಂಟ್ನಲ್ಲಿವೆ. ಅಂದರೆ, ಮತದಾನವನ್ನು ಹೆಚ್ಚಿಸಲು ಪ್ರೇರೇಪಿಸಲ್ಪಟ್ಟ ಅನೇಕ ಜನರಿದ್ದಾರೆ ಮತ್ತು ವರ್ತನೆ ಬದಲಾವಣೆ ಮತ್ತು ಸಾಮಾಜಿಕ ಪ್ರಭಾವದ ಬಗ್ಗೆ ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾದ ಸಿದ್ಧಾಂತಗಳನ್ನು ಪರೀಕ್ಷಿಸುವ ಆಸಕ್ತಿಯು ಆಸಕ್ತಿದಾಯಕ ನಡವಳಿಕೆಯಾಗಿರಬಹುದು.

ರಾಜಕೀಯ ಪಕ್ಷಗಳು, NGO ಗಳು, ಮತ್ತು ವ್ಯವಹಾರಗಳಂತಹ ಪಾಲುದಾರ ಸಂಸ್ಥೆಗಳೊಂದಿಗೆ ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸುವ ಬಗೆಗಿನ ಸಲಹೆಗಾಗಿ Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ಮತ್ತು Gueron (2002) . ಸಂಸ್ಥೆಗಳೊಂದಿಗೆ ಪಾಲುದಾರಿಕೆ ಸಂಶೋಧನಾ ವಿನ್ಯಾಸಗಳನ್ನು ಹೇಗೆ ಪರಿಣಾಮ ಬೀರಬಹುದು ಎಂಬುದರ ಕುರಿತು ಯೋಚಿಸಲು, King et al. (2007) ನೋಡಿ King et al. (2007) ಮತ್ತು Green, Calfano, and Aronow (2014) . Humphreys (2015) ಮತ್ತು Nickerson and Hyde (2016) ಇವರು ಚರ್ಚಿಸಿದಂತೆ ಪಾಲುದಾರಿಕೆಯು ನೈತಿಕ ಪ್ರಶ್ನೆಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು.

• ಡಿಸೈನ್ ಸಲಹೆ (ವಿಭಾಗ 4.6)

ನಿಮ್ಮ ಪ್ರಯೋಗವನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ನೀವು ವಿಶ್ಲೇಷಣಾ ಯೋಜನೆಯನ್ನು ರಚಿಸುತ್ತಿದ್ದರೆ, ವರದಿ ಮಾಡುವ ಮಾರ್ಗಸೂಚಿಗಳನ್ನು ಓದುವ ಮೂಲಕ ನೀವು ಪ್ರಾರಂಭಿಸುವಂತೆ ನಾನು ಸೂಚಿಸುತ್ತೇನೆ. CONSORT (ಟ್ರಯಲ್ಸ್ನ ಕನ್ಸಾಲಿಡೇಟೆಡ್ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ರಿಪೋರ್ಟಿಂಗ್) ಮಾರ್ಗದರ್ಶಿ ಸೂತ್ರಗಳನ್ನು ವೈದ್ಯಕೀಯದಲ್ಲಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿದೆ (Schulz et al. 2010) ಮತ್ತು ಸಾಮಾಜಿಕ ಸಂಶೋಧನೆಗೆ (Mayo-Wilson et al. 2013) . ಜರ್ನಲ್ ಆಫ್ ಎಕ್ಸ್ಪರಿಮೆಂಟಲ್ ಪೊಲಿಟಿಕಲ್ ಸೈನ್ಸ್ (Gerber et al. 2014) Mutz and Pemantle (2015) ನೋಡಿ Mutz and Pemantle (2015) ಮತ್ತು Gerber et al. (2015) ). ಅಂತಿಮವಾಗಿ, ಮನೋವಿಜ್ಞಾನ (APA Working Group 2008) ನಲ್ಲಿ ವರದಿ ಮಾಡುವ ಮಾರ್ಗಸೂಚಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿದೆ ಮತ್ತು Simmons, Nelson, and Simonsohn (2011) .

ನೀವು ಒಂದು ವಿಶ್ಲೇಷಣಾ ಯೋಜನೆಯನ್ನು ರಚಿಸಿದರೆ, ನೀವು ಪೂರ್ವ-ನೋಂದಾಯಿಸಿಕೊಳ್ಳುವಿಕೆಯನ್ನು ಪರಿಗಣಿಸಬೇಕು ಏಕೆಂದರೆ ಪೂರ್ವ-ನೋಂದಣಿ ನಿಮ್ಮ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಇತರರು ಹೊಂದಿರುವ ವಿಶ್ವಾಸವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಇದಲ್ಲದೆ, ನೀವು ಪಾಲುದಾರರೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದರೆ, ಫಲಿತಾಂಶಗಳನ್ನು ನೋಡಿದ ನಂತರ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಬದಲಾಯಿಸಲು ನಿಮ್ಮ ಪಾಲುದಾರನ ಸಾಮರ್ಥ್ಯವನ್ನು ಇದು ಮಿತಿಗೊಳಿಸುತ್ತದೆ. ಮನೋವಿಜ್ಞಾನ (Nosek and Lakens 2014) , ರಾಜಕೀಯ ವಿಜ್ಞಾನ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ಮತ್ತು ಅರ್ಥಶಾಸ್ತ್ರ (Olken 2015) .

ಆನ್ಲೈನ್ ​​ಕ್ಷೇತ್ರದ ಪ್ರಯೋಗಗಳಿಗೆ ನಿರ್ದಿಷ್ಟವಾಗಿ ವಿನ್ಯಾಸ ಸಲಹೆ Konstan and Chen (2007) ಮತ್ತು Chen and Konstan (2015) .

ನಾನು ನೌಕಾಪಡೆ ಕಾರ್ಯತಂತ್ರವನ್ನು ಕೆಲವೊಮ್ಮೆ ಏನು ಪ್ರೋಗ್ರಾಮ್ಯಾಟಿಕ್ ಸಂಶೋಧನೆ ಎಂದು ಕರೆಯುತ್ತಿದ್ದೇನೆ; Wilson, Aronson, and Carlsmith (2010) .

• ಶೂನ್ಯ ವೇರಿಯೇಬಲ್ ವೆಚ್ಚ ಡೇಟಾವನ್ನು ರಚಿಸಿ (ವಿಭಾಗ 4.6.1)

ಸಂಗೀತಲ್ಯಾಬ್ ಪ್ರಯೋಗಗಳ ಬಗ್ಗೆ ಹೆಚ್ಚಿನ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ಮತ್ತು Salganik (2007) . ವಿಜೇತ-ತೆಗೆದುಕೊಳ್ಳುವ-ಎಲ್ಲಾ ಮಾರುಕಟ್ಟೆಗಳಿಗಾಗಿ ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ, Frank and Cook (1996) . ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗಿ, ಅದೃಷ್ಟ ಮತ್ತು ಕೌಶಲ್ಯದ ಬಗ್ಗೆ ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ, Mauboussin (2012) , Watts (2012) , ಮತ್ತು Frank (2016) .

ಸಂಶೋಧಕರು ಎಚ್ಚರಿಕೆಯಿಂದ ಬಳಸಬೇಕಾದ ಪಾಲ್ಗೊಳ್ಳುವಿಕೆಯ ಪಾವತಿಗಳನ್ನು ತೆಗೆದುಹಾಕುವಲ್ಲಿ ಮತ್ತೊಂದು ವಿಧಾನವಿದೆ: ಕಡ್ಡಾಯ. ಅನೇಕ ಆನ್ಲೈನ್ ​​ಕ್ಷೇತ್ರ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಭಾಗವಹಿಸುವವರು ಮೂಲಭೂತವಾಗಿ ಪ್ರಯೋಗಗಳಾಗಿ ರಚಿಸಲ್ಪಡುತ್ತಾರೆ ಮತ್ತು ಪರಿಹಾರವನ್ನು ನೀಡಲಾಗುವುದಿಲ್ಲ. ಈ ವಿಧಾನದ ಉದಾಹರಣೆಗಳು ವಿಕಿಪೀಡಿಯ ಮತ್ತು ಬಾಂಡ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳ (2012) ಪ್ರಯೋಗಗಳಲ್ಲಿನ ಜನರನ್ನು ಮತ ಚಲಾಯಿಸುವಂತೆ ಉತ್ತೇಜಿಸುವುದರಲ್ಲಿನ ಪ್ರತಿಫಲಗಳ ಮೇಲೆ ರೆಸ್ಟ್ವೊ ಮತ್ತು ವ್ಯಾನ್ ಡಿ ರಿಜಟ್ನ (2012) ಪ್ರಯೋಗವನ್ನು ಒಳಗೊಂಡಿದೆ. ಈ ಪ್ರಯೋಗಗಳು ನಿಜವಾಗಿಯೂ ಶೂನ್ಯ ವೇರಿಯಬಲ್ ವೆಚ್ಚವನ್ನು ಹೊಂದಿಲ್ಲ, ಬದಲಿಗೆ ಅವು ಸಂಶೋಧಕರಿಗೆ ಶೂನ್ಯ ವೇರಿಯಬಲ್ ವೆಚ್ಚವನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಅಂತಹ ಪ್ರಯೋಗಗಳಲ್ಲಿ, ಪ್ರತಿ ಸ್ಪರ್ಧಿಗೆ ವೆಚ್ಚವು ತೀರಾ ಚಿಕ್ಕದಾಗಿದ್ದರೂ, ಒಟ್ಟಾರೆ ವೆಚ್ಚವು ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ. ಬೃಹತ್ ಆನ್ಲೈನ್ ​​ಪ್ರಯೋಗಗಳನ್ನು ನಡೆಸುತ್ತಿರುವ ಸಂಶೋಧಕರು ಅನೇಕ ಜನರಿಗೆ ಅನ್ವಯಿಸಿದಾಗ ಈ ಸಣ್ಣ ಪರಿಣಾಮಗಳು ಮುಖ್ಯವಾಗಬಹುದು ಎಂದು ಹೇಳುವುದರ ಮೂಲಕ ಸಣ್ಣ ಅಂದಾಜು ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ಸಮರ್ಥಿಸುತ್ತವೆ. ಸಂಶೋಧಕರು ಭಾಗವಹಿಸುವವರ ಮೇಲೆ ಹೇರುವ ವೆಚ್ಚಗಳಿಗೆ ನಿಖರವಾದ ಅದೇ ಚಿಂತನೆಯು ಅನ್ವಯಿಸುತ್ತದೆ. ನಿಮ್ಮ ಪ್ರಯೋಗವು ಒಂದು ಮಿಲಿಯನ್ ಜನರಿಗೆ ಒಂದು ನಿಮಿಷ ವ್ಯರ್ಥವಾಗುವುದಾದರೆ, ಪ್ರಯೋಗವು ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ವ್ಯಕ್ತಿಗೆ ತುಂಬಾ ಹಾನಿಕಾರಕವಲ್ಲ, ಆದರೆ ಒಟ್ಟಾರೆಯಾಗಿ ಇದು ಸುಮಾರು ಎರಡು ವರ್ಷಗಳಷ್ಟು ವ್ಯರ್ಥವಾಗಿದೆ.

ಭಾಗವಹಿಸುವವರಿಗೆ ಶೂನ್ಯ ವೇರಿಯಬಲ್ ವೆಚ್ಚದ ಪಾವತಿಯನ್ನು ರಚಿಸುವ ಇನ್ನೊಂದು ಮಾರ್ಗವೆಂದರೆ ಲಾಟರಿ ಅನ್ನು ಬಳಸುವುದು, ಸಮೀಕ್ಷೆಯ ಸಂಶೋಧನೆ (Halpern et al. 2011) . ಆಹ್ಲಾದಿಸಬಹುದಾದ ಬಳಕೆದಾರ ಅನುಭವಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುವ ಬಗ್ಗೆ ಹೆಚ್ಚಿನ ಮಾಹಿತಿಗಾಗಿ, Toomim et al. (2011) . ಶೂನ್ಯ ವೇರಿಯಬಲ್ ವೆಚ್ಚದ ಪ್ರಯೋಗಗಳನ್ನು ರಚಿಸಲು ಬಾಟ್ಗಳನ್ನು ಬಳಸುವ ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ( ??? ) .

• ಬದಲಾಯಿಸಿ, ಸಂಸ್ಕರಿಸಿ, ಮತ್ತು ಕಡಿಮೆ ಮಾಡಿ (ವಿಭಾಗ 4.6.2)

Russell and Burch (1959) ಮೂಲತಃ ಮೂರು ಪ್ರಸ್ತಾಪಿಸಿದ ಮೂರು ಆರ್ ಗಳು ಹೀಗಿವೆ:

"ಬದಲಿ insentient ವಸ್ತುಗಳ ಜಾಗೃತ ದೇಶ ಹೆಚ್ಚಿನ ಪ್ರಾಣಿಗಳಿಗೆ ಪರ್ಯಾಯ ಅರ್ಥ. ಕಡಿತ ಒಂದು ನಿರ್ದಿಷ್ಟ ಪ್ರಮಾಣದ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಮಾಹಿತಿಯನ್ನು ಪಡೆಯಲು ಬಳಸಲಾದ ಪ್ರಾಣಿಗಳ ಸಂಖ್ಯೆ ಕಡಿಮೆ ಅರ್ಥ. ಪರಿಷ್ಕರಣ ವ್ಯಾಪ್ತಿಯು ಅಥವಾ ಇನ್ನೂ ಬಳಸಲಾಗುತ್ತದೆ ಹೊಂದಿರುವ ಆ ಪ್ರಾಣಿಗಳು ಅಳವಡಿಸಬಹುದು ಅಮಾನವೀಯತೆ ವಿಧಾನಗಳು ತೀವ್ರತೆಯನ್ನು ಯಾವುದೇ ಇಳಿಕೆ ಎಂದರ್ಥ. "

ನಾನು ಸೂಚಿಸುವ ಮೂರು ಆರ್ ಅಧ್ಯಾಯ 6 ರಲ್ಲಿ ವಿವರಿಸಿರುವ ನೈತಿಕ ತತ್ವಗಳನ್ನು ಅತಿಕ್ರಮಿಸುವುದಿಲ್ಲ. ಬದಲಿಗೆ, ಅವುಗಳು ಹೆಚ್ಚು ತೃಪ್ತಿದಾಯಕವಾದ ಆ ತತ್ವಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ-ಅನುಕೂಲತೆ-ನಿರ್ದಿಷ್ಟವಾಗಿ ಮಾನವ ಪ್ರಯೋಗಗಳ ಸಂಯೋಜನೆಯಲ್ಲಿ.

ಭಾವನಾತ್ಮಕ ಸೋಂಕು ಪ್ರಯೋಗ (Kramer, Guillory, and Hancock 2014) ಮತ್ತು ಹೋಲಿಕೆಯಲ್ಲಿ ಭಾವನಾತ್ಮಕ ಸೋಂಕು ನೈಸರ್ಗಿಕ ಪ್ರಯೋಗವನ್ನು (Lorenzo Coviello et al. 2014) ಹೋಲಿಸಿದಾಗ, ಮೊದಲ ಆರ್ ("ಬದಲಿ") ಪರಿಭಾಷೆಯಲ್ಲಿ, ಒಳಗೊಂಡಿರುವ ವ್ಯಾಪಾರ-ವಹಿವಾಟುಗಳ ಬಗ್ಗೆ ಕೆಲವು ಸಾಮಾನ್ಯ ಪಾಠಗಳನ್ನು ನೀಡುತ್ತದೆ ಪ್ರಯೋಗಗಳಿಂದ ನೈಸರ್ಗಿಕ ಪ್ರಯೋಗಗಳಿಗೆ (ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ದತ್ತಾಂಶದಲ್ಲಿ ಅಂದಾಜು ಪ್ರಯೋಗಗಳಿಗೆ ಆ ಪ್ರಯತ್ನವನ್ನು ಸರಿಹೊಂದಿಸುವುದು ಇತರ ಮಾರ್ಗಗಳು; ಅಧ್ಯಾಯ 2 ನೋಡಿ). ನೈತಿಕ ಪ್ರಯೋಜನಗಳ ಜೊತೆಗೆ ಪ್ರಾಯೋಗಿಕವಲ್ಲದ ಪ್ರಾಯೋಗಿಕ ಅಧ್ಯಯನಗಳು ಬದಲಾಗುವುದರಿಂದ ಸಂಶೋಧಕರು ಅವರು ನಿಯೋಜಿಸಲು ಸಾಧ್ಯವಾಗುವುದಿಲ್ಲ ಎಂದು ಚಿಕಿತ್ಸೆಗಳಿಗೆ ಅಧ್ಯಯನ ಮಾಡಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ. ಈ ನೈತಿಕ ಮತ್ತು ವ್ಯವಸ್ಥಾಪನ ಪ್ರಯೋಜನಗಳು ವೆಚ್ಚದಲ್ಲಿ ಬರುತ್ತವೆ. ನೈಸರ್ಗಿಕ ಪ್ರಯೋಗಗಳೊಂದಿಗೆ ಸಂಶೋಧಕರು ಭಾಗವಹಿಸುವವರ ನೇಮಕಾತಿ, ಯಾದೃಚ್ಛಿಕಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಚಿಕಿತ್ಸೆಯ ಸ್ವಭಾವದಂತಹ ವಿಷಯಗಳ ಮೇಲೆ ಕಡಿಮೆ ನಿಯಂತ್ರಣ ಹೊಂದಿರುತ್ತಾರೆ. ಉದಾಹರಣೆಗೆ, ಒಂದು ಚಿಕಿತ್ಸೆಯಂತೆ ಮಳೆಯ ಒಂದು ಮಿತಿ ಇದು ಎರಡೂ ಸಕಾರಾತ್ಮಕತೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ ಮತ್ತು ಋಣಾತ್ಮಕತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಪ್ರಾಯೋಗಿಕ ಅಧ್ಯಯನದಲ್ಲಿ, ಕ್ರಾಮರ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು ಸಕಾರಾತ್ಮಕತೆ ಮತ್ತು ಋಣಾತ್ಮಕತೆಯನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಸರಿಹೊಂದಿಸಲು ಸಾಧ್ಯವಾಯಿತು. Lorenzo Coviello et al. (2014) ಬಳಸಿದ ನಿರ್ದಿಷ್ಟ ವಿಧಾನ Lorenzo Coviello et al. (2014) L. Coviello, Fowler, and Franceschetti (2014) ಮತ್ತಷ್ಟು ವಿವರಿಸಿದರು. ವಾದ್ಯವೃಂದದ ಅಸ್ಥಿರಗಳ ಪರಿಚಯಕ್ಕಾಗಿ, Lorenzo Coviello et al. (2014) ಬಳಸುವ ವಿಧಾನ Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (ಕಡಿಮೆ ಔಪಚಾರಿಕ) ಅಥವಾ Angrist, Imbens, and Rubin (1996) (ಹೆಚ್ಚು ಔಪಚಾರಿಕ). ವಾದ್ಯಸಂಗೀತ ಅಸ್ಥಿರಗಳ ಒಂದು ಸಂಶಯದ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ, Deaton (2010) , ಮತ್ತು ದುರ್ಬಲ ವಾದ್ಯಗಳೊಂದಿಗೆ ವಾದ್ಯಗಳ ಅಸ್ಥಿರಗಳ ಪರಿಚಯಕ್ಕಾಗಿ (ಮಳೆ ದುರ್ಬಲ ವಾದ್ಯ), ನೋಡಿ Murray (2006) . ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾಗಿ, ನೈಸರ್ಗಿಕ ಪ್ರಯೋಗಗಳ ಉತ್ತಮ ಪರಿಚಯವನ್ನು Dunning (2012) ನೀಡಲಾಗಿದೆ, Rosenbaum (2002) , ( ??? ) , ಮತ್ತು Shadish, Cook, and Campbell (2001) ಪ್ರಯೋಗಗಳಿಲ್ಲದೆ ಕಾರಣವಾದ ಪರಿಣಾಮಗಳನ್ನು ಅಂದಾಜು ಮಾಡುವ ಬಗ್ಗೆ ಉತ್ತಮ ವಿಚಾರಗಳನ್ನು ನೀಡುತ್ತವೆ.

ಪೋಸ್ಟ್ಗಳನ್ನು ಉತ್ತೇಜಿಸಲು ಪೋಸ್ಟ್ಗಳನ್ನು ನಿರ್ಬಂಧಿಸುವುದರಿಂದ ಭಾವನಾತ್ಮಕ ಸೋಂಕುಗಳ ವಿನ್ಯಾಸವನ್ನು ಬದಲಿಸುವಲ್ಲಿ ಎರಡನೇ ಆರ್ ("ಪರಿಷ್ಕರಣ") ಪರಿಭಾಷೆಯಲ್ಲಿ, ವೈಜ್ಞಾನಿಕ ಮತ್ತು ವ್ಯವಸ್ಥಾಪಕ ವ್ಯಾಪಾರ-ವಹಿವಾಟುಗಳಿವೆ. ಉದಾಹರಣೆಗೆ, ನ್ಯೂಸ್ ಫೀಡ್ನ ತಾಂತ್ರಿಕ ಅನುಷ್ಠಾನವು ಅವುಗಳು ಹೆಚ್ಚಾಗುವ ಬದಲು ಪೋಸ್ಟ್ಗಳನ್ನು ನಿರ್ಬಂಧಿಸಲಾಗಿರುವ ಪ್ರಯೋಗವನ್ನು ಮಾಡುವುದು ಗಣನೀಯವಾಗಿ ಸುಲಭವಾಗಿಸುತ್ತದೆ (ಪೋಸ್ಟ್ಗಳನ್ನು ತಡೆಯುವ ಪ್ರಯೋಗವನ್ನು ಜಾರಿಗೆ ತರಬಹುದೆಂದು ಗಮನಿಸಿ) ನ್ಯೂಸ್ ಫೀಡ್ ಸಿಸ್ಟಮ್ನ ಮೇಲೆ ಪದರವಾಗಿ ಆಧಾರವಾಗಿರುವ ಸಿಸ್ಟಮ್ನ ಬದಲಾವಣೆಗಳ ಅಗತ್ಯವಿಲ್ಲದೇ). ಆದಾಗ್ಯೂ, ಪ್ರಾಯೋಗಿಕವಾಗಿ ಉದ್ದೇಶಿಸಿರುವ ಸಿದ್ಧಾಂತವು ಇತರರ ಮೇಲೆ ಒಂದು ವಿನ್ಯಾಸವನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಸೂಚಿಸಲಿಲ್ಲ. ದುರದೃಷ್ಟವಶಾತ್, ಸುದ್ದಿ ಫೀಡ್ನಲ್ಲಿ ವಿಷಯವನ್ನು ನಿರ್ಬಂಧಿಸುವ ಮತ್ತು ಉತ್ತೇಜಿಸುವ ಸಂಬಂಧಿತ ಯೋಗ್ಯತೆಯ ಬಗ್ಗೆ ಗಣನೀಯವಾದ ಪೂರ್ವ ಸಂಶೋಧನೆಯ ಬಗ್ಗೆ ನಾನು ತಿಳಿದಿಲ್ಲ. ಅಲ್ಲದೆ, ಸಂಸ್ಕರಣಾ ಚಿಕಿತ್ಸೆಗಳ ಬಗ್ಗೆ ಹೆಚ್ಚು ಹಾನಿಕಾರಕವಾಗಲು ನಾನು ಹೆಚ್ಚು ಸಂಶೋಧನೆ ಮಾಡಿದ್ದೇನೆ; ಒಂದು ವಿನಾಯಿತಿ B. Jones and Feamster (2015) , ಇದು ಅಂತರ್ಜಾಲ ಸೆನ್ಸಾರ್ಶಿಪ್ (ನಾನು ಎನ್ಕೋರ್ ಅಧ್ಯಯನಕ್ಕೆ ಸಂಬಂಧಿಸಿ 6 ನೇ ಅಧ್ಯಾಯದಲ್ಲಿ ಚರ್ಚಿಸುವ ವಿಷಯ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ) ಅನ್ನು (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) .

ಮೂರನೇ ಆರ್ ("ಕಡಿತ") ಪರಿಭಾಷೆಯಲ್ಲಿ, ಸಾಂಪ್ರದಾಯಿಕ ಶಕ್ತಿ ವಿಶ್ಲೇಷಣೆಗೆ ಉತ್ತಮ ಪರಿಚಯಗಳನ್ನು Cohen (1988) (ಪುಸ್ತಕ) ಮತ್ತು Cohen (1992) (ಲೇಖನ) ನೀಡಲಾಗಿದೆ, ಆದರೆ Gelman and Carlin (2014) ಸ್ವಲ್ಪ ಭಿನ್ನ ದೃಷ್ಟಿಕೋನವನ್ನು ನೀಡುತ್ತವೆ. ಪೂರ್ವ-ಚಿಕಿತ್ಸೆಯ ಕೊವೇರಿಯೇಟ್ಗಳನ್ನು ಪ್ರಯೋಗಗಳ ವಿನ್ಯಾಸ ಮತ್ತು ವಿಶ್ಲೇಷಣಾ ಹಂತದಲ್ಲಿ ಸೇರಿಸಿಕೊಳ್ಳಬಹುದು; Gerber and Green (2012) ಅಧ್ಯಾಯ 4 ಎರಡೂ ವಿಧಾನಗಳಿಗೆ ಉತ್ತಮ ಪರಿಚಯವನ್ನು ಒದಗಿಸುತ್ತದೆ, ಮತ್ತು Casella (2008) ಹೆಚ್ಚು ಆಳವಾದ ಚಿಕಿತ್ಸೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ. ಯಾದೃಚ್ಛಿಕೀಕರಣದಲ್ಲಿ ಈ ಪೂರ್ವ ಚಿಕಿತ್ಸಾ ಮಾಹಿತಿಯನ್ನು ಬಳಸುವ ತಾಂತ್ರಿಕತೆಗಳನ್ನು ವಿಶಿಷ್ಟವಾಗಿ ನಿರ್ಬಂಧಿಸಲಾದ ಪ್ರಾಯೋಗಿಕ ವಿನ್ಯಾಸಗಳು ಅಥವಾ ಶ್ರೇಣೀಕೃತ ಪ್ರಾಯೋಗಿಕ ವಿನ್ಯಾಸಗಳು ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ (ಪರಿಭಾಷೆಯನ್ನು ಸಮುದಾಯಗಳಾದ್ಯಂತ ಸ್ಥಿರವಾಗಿ ಬಳಸಲಾಗುವುದಿಲ್ಲ); ಈ ತಂತ್ರಗಳು ಅಧ್ಯಾಯ 3 ರಲ್ಲಿ ಚರ್ಚಿಸಲಾದ ಶ್ರೇಣೀಕೃತ ಮಾದರಿ ತಂತ್ರಗಳೊಂದಿಗೆ ನಿಕಟವಾಗಿ ಸಂಬಂಧಿಸಿವೆ. ಈ ವಿನ್ಯಾಸಗಳನ್ನು ಬೃಹತ್ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಬಳಸುವುದಕ್ಕಾಗಿ Higgins, Sävje, and Sekhon (2016) ಅನ್ನು ನೋಡಿ. ವಿಶ್ಲೇಷಣೆ ಹಂತದಲ್ಲಿ ಪೂರ್ವ ಚಿಕಿತ್ಸೆಯ ಕೊವೇರಿಯೇಟ್ಗಳನ್ನು ಸಹ ಸೇರಿಸಿಕೊಳ್ಳಬಹುದು. McKenzie (2012) ಕ್ಷೇತ್ರದ ಪ್ರಯೋಗಗಳನ್ನು ಹೆಚ್ಚಿನ ವಿವರವಾಗಿ ವಿಶ್ಲೇಷಿಸಲು ಭಿನ್ನಾಭಿಪ್ರಾಯದ ವ್ಯತ್ಯಾಸವನ್ನು ಪರಿಶೋಧಿಸುತ್ತದೆ. ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಗಳ ಅಂದಾಜುಗಳಲ್ಲಿ ನಿಖರತೆಯನ್ನು ಹೆಚ್ಚಿಸುವ ವಿಭಿನ್ನ ವಿಧಾನಗಳ ನಡುವಿನ ವ್ಯಾಪಾರ-ವಹಿವಾಟಿನ ಕುರಿತು Carneiro, Lee, and Wilhelm (2016) ಅನ್ನು ನೋಡಿ. ಅಂತಿಮವಾಗಿ, ವಿನ್ಯಾಸ ಅಥವಾ ವಿಶ್ಲೇಷಣಾ ಹಂತದಲ್ಲಿ (ಅಥವಾ ಎರಡೂ) ಪೂರ್ವ-ಚಿಕಿತ್ಸೆಯ ಕೊವೇರಿಯೇಟ್ಗಳನ್ನು ಸೇರಿಸಲು ಪ್ರಯತ್ನಿಸಬೇಕೆ ಎಂದು ನಿರ್ಧರಿಸಿದಾಗ, ಪರಿಗಣಿಸಲು ಕೆಲವು ಅಂಶಗಳಿವೆ. ವಿನ್ಯಾಸ ಹಂತದಲ್ಲಿ ಪೂರ್ವ-ಚಿಕಿತ್ಸೆಯ ಕೊವೇರಿಯೇಟ್ಗಳನ್ನು ಬಳಸಿ ಅವರು "ಮೀನುಗಾರಿಕೆ" (Humphreys, Sierra, and Windt 2013) ಅಲ್ಲ ಎಂದು ಸಂಶೋಧಕರು ತೋರಿಸಲು ಬಯಸುವ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ (Higgins, Sävje, and Sekhon 2016) ಸಹಾಯಕವಾಗಬಹುದು. ಭಾಗವಹಿಸುವವರು ಅನುಕ್ರಮವಾಗಿ ತಲುಪುವ ಸಂದರ್ಭಗಳಲ್ಲಿ, ವಿಶೇಷವಾಗಿ ಆನ್ಲೈನ್ ​​ಕ್ಷೇತ್ರದ ಪ್ರಯೋಗಗಳು, ವಿನ್ಯಾಸ ಹಂತದಲ್ಲಿ ಪೂರ್ವ ಚಿಕಿತ್ಸೆಯ ಮಾಹಿತಿಯನ್ನು ಬಳಸಿಕೊಂಡು ವ್ಯವಸ್ಥಿತವಾಗಿ ಕಷ್ಟವಾಗಬಹುದು; ನೋಡಿ, ಉದಾಹರಣೆಗೆ, Xie and Aurisset (2016) .

ಭಿನ್ನಾಭಿಪ್ರಾಯಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವು ಎಷ್ಟು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಬಹುದು ಎಂಬುದರ ಬಗ್ಗೆ ಸ್ವಲ್ಪ ಅರ್ಥವನ್ನು ಸೇರಿಸುವುದು ಯೋಗ್ಯವಾಗಿದೆ. ಅನೇಕ ಆನ್ಲೈನ್ ​​ಫಲಿತಾಂಶಗಳು ಬಹಳ ಹೆಚ್ಚಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಹೊಂದಿವೆ (ಉದಾಹರಣೆಗೆ, RA Lewis and Rao (2015) ಮತ್ತು Lamb et al. (2015) ) ಮತ್ತು ಕಾಲಾಂತರದಲ್ಲಿ ತುಲನಾತ್ಮಕವಾಗಿ ಸ್ಥಿರವಾಗಿರುತ್ತದೆ. ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಬದಲಾವಣೆಯ ಸ್ಕೋರ್ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಪರೀಕ್ಷೆಯ ಶಕ್ತಿಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ, ಗಣನೀಯ ಪ್ರಮಾಣದ ಸಣ್ಣ ವ್ಯತ್ಯಾಸವನ್ನು ಹೊಂದಿರುತ್ತದೆ. ಈ ವಿಧಾನವು ಹೆಚ್ಚಾಗಿ ಬಳಸಲ್ಪಡದ ಕಾರಣವೆಂದರೆ ಡಿಜಿಟಲ್ ಯುಗದ ಮುಂಚೆಯೇ, ಪೂರ್ವ ಚಿಕಿತ್ಸೆ ಫಲಿತಾಂಶಗಳನ್ನು ಹೊಂದಿರುವುದು ಸಾಮಾನ್ಯವಲ್ಲ. ನಿರ್ದಿಷ್ಟ ವ್ಯಾಯಾಮದ ದಿನಚರಿಯು ತೂಕ ನಷ್ಟಕ್ಕೆ ಕಾರಣವಾಗಬಹುದೆಂದು ಅಳೆಯಲು ಪ್ರಯೋಗವನ್ನು ಕಲ್ಪಿಸುವುದು ಇದರ ಬಗ್ಗೆ ಯೋಚಿಸುವುದು ಹೆಚ್ಚು ಕಾಂಕ್ರೀಟ್ ಮಾರ್ಗವಾಗಿದೆ. ನೀವು ಒಂದು ವ್ಯತ್ಯಾಸ-ವಿಧಾನದ ವಿಧಾನವನ್ನು ಅಳವಡಿಸಿಕೊಂಡರೆ, ನಿಮ್ಮ ಅಂದಾಜಿನ ಪ್ರಕಾರ ಜನಸಂಖ್ಯೆಯಲ್ಲಿನ ತೂಕದಲ್ಲಿನ ಬದಲಾವಣೆಯಿಂದಾಗಿ ವ್ಯತ್ಯಾಸವುಂಟಾಗುತ್ತದೆ. ನೀವು ಭಿನ್ನಾಭಿಪ್ರಾಯದ ವ್ಯತ್ಯಾಸವನ್ನು ಮಾಡಿದರೆ, ತೂಕದಲ್ಲಿ ನೈಸರ್ಗಿಕವಾಗಿ ಕಂಡುಬರುವ ಬದಲಾವಣೆಯನ್ನು ತೆಗೆದುಹಾಕಲಾಗುತ್ತದೆ, ಮತ್ತು ಚಿಕಿತ್ಸೆಯಿಂದ ಉಂಟಾದ ವ್ಯತ್ಯಾಸವನ್ನು ನೀವು ಸುಲಭವಾಗಿ ಕಂಡುಹಿಡಿಯಬಹುದು.

ಅಂತಿಮವಾಗಿ, ನಾನು ನಾಲ್ಕನೇ R ಸೇರಿಸುವ ಪರಿಗಣಿಸಲಾಗಿದೆ: "ಪುನರಾವರ್ತನೆ". ಅಂದರೆ, ಸಂಶೋಧಕರು ತಮ್ಮ ಮೂಲವಾದ ಸಂಶೋಧನಾ ಪ್ರಶ್ನೆಗೆ ಅವರು ಅಗತ್ಯಕ್ಕಿಂತ ಹೆಚ್ಚು ಪ್ರಾಯೋಗಿಕ ಡೇಟಾವನ್ನು ಹೊಂದಿದ್ದರೆ, ಅವರು ಹೊಸ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಲು ಡೇಟಾವನ್ನು ಪುನರಾವರ್ತಿಸಬೇಕು. ಉದಾಹರಣೆಗೆ, ಕ್ರಾಮರ್ ಮತ್ತು ಸಹೋದ್ಯೋಗಿಗಳು ಭಿನ್ನಾಭಿಪ್ರಾಯದ ವ್ಯತ್ಯಾಸವನ್ನು ಬಳಸಿದ್ದಾರೆ ಮತ್ತು ತಮ್ಮ ಸಂಶೋಧನಾ ಪ್ರಶ್ನೆಯನ್ನು ಪರಿಹರಿಸಲು ಬೇಕಾದಷ್ಟು ಹೆಚ್ಚು ಡೇಟಾವನ್ನು ಹೊಂದಿದ್ದಾರೆಂದು ಊಹಿಸಿ. ಡೇಟಾವನ್ನು ಸಂಪೂರ್ಣ ಪ್ರಮಾಣದಲ್ಲಿ ಬಳಸದೆ ಇರುವುದರಿಂದ, ಪೂರ್ವ-ಚಿಕಿತ್ಸೆಯ ಭಾವನಾತ್ಮಕ ಅಭಿವ್ಯಕ್ತಿಯ ಕ್ರಿಯೆಯಂತೆ ಅವರು ಪರಿಣಾಮದ ಗಾತ್ರವನ್ನು ಅಧ್ಯಯನ ಮಾಡಬಹುದಿತ್ತು. Schultz et al. (2007) ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮವು ಬೆಳಕು ಮತ್ತು ಭಾರೀ ಬಳಕೆದಾರರಿಗೆ ವಿಭಿನ್ನವಾಗಿದೆ ಎಂದು ಕಂಡುಹಿಡಿದಿದೆ, ಬಹುಶಃ ಸಂತೋಷದ (ಅಥವಾ ದುಃಖ) ಸಂದೇಶಗಳನ್ನು ಪೋಸ್ಟ್ ಮಾಡುವ ಜನರಿಗೆ ನ್ಯೂಸ್ ಫೀಡ್ನ ಪರಿಣಾಮಗಳು ಭಿನ್ನವಾಗಿರುತ್ತವೆ. ಮರುಕಳಿಸುವಿಕೆಯು "ಮೀನುಗಾರಿಕೆ" (Humphreys, Sierra, and Windt 2013) ಮತ್ತು "ಪಿ-ಹ್ಯಾಕಿಂಗ್" (Simmons, Nelson, and Simonsohn 2011) , ಆದರೆ ಇವುಗಳು ಪ್ರಾಮಾಣಿಕ ವರದಿ ಮಾಡುವಿಕೆಯೊಂದಿಗೆ (Simmons, Nelson, and Simonsohn 2011) , ಪೂರ್ವ-ನೋಂದಣಿ (Humphreys, Sierra, and Windt 2013) ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ ವಿಧಾನಗಳು ಹೆಚ್ಚು-ಬಿಗಿಯಾದ ತಪ್ಪಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತವೆ.