ਅੱਗੇ ਕੀ ਪੜ੍ਹਨਾ ਹੈ

• ਜਾਣ ਪਛਾਣ (ਭਾਗ 4.1)

ਸਮਾਜਿਕ ਖੋਜ ਵਿੱਚ ਕਾਰਜਸ਼ੀਲਤਾ ਬਾਰੇ ਪ੍ਰਸ਼ਨ ਅਕਸਰ ਗੁੰਝਲਦਾਰ ਅਤੇ ਗੁੰਝਲਦਾਰ ਹੁੰਦੇ ਹਨ. ਕਾਰਨ ਗਰਾਫਾਂ ਦੇ ਆਧਾਰ ਤੇ ਕਾਰਕੁੰਨ ਦੇ ਬੁਨਿਆਦੀ ਪਹੁੰਚ ਲਈ, Pearl (2009) ਦੇਖੋ, ਅਤੇ ਸੰਭਾਵੀ ਨਤੀਜਿਆਂ 'ਤੇ ਅਧਾਰਿਤ ਇੱਕ ਬੁਨਿਆਦੀ ਪਹੁੰਚ ਲਈ, Imbens and Rubin (2015) . ਇਹਨਾਂ ਦੋ ਤਰੀਕਿਆਂ ਵਿਚਾਲੇ ਤੁਲਨਾ ਲਈ, Morgan and Winship (2014) . ਇੱਕ confounder ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਇੱਕ ਰਸਮੀ ਨਜ਼ਰੀਆ ਲਈ, ਦੇਖੋ VanderWeele and Shpitser (2013) .

ਇਸ ਚੈਪਟਰ ਵਿਚ, ਮੈਂ ਪ੍ਰਯੋਗਾਤਮਕ ਅਤੇ ਗ਼ੈਰ ਪ੍ਰਯੋਗਾ ਡਾਟੇ ਤੋਂ ਕਾਰਨ ਦੇ ਅੰਦਾਜ਼ੇ ਬਣਾਉਣ ਦੀ ਸਾਡੀ ਸਮਰੱਥਾ ਦੇ ਵਿਚ ਇਕ ਚਮਕਦਾਰ ਲਾਈਨ ਦੀ ਤਰ੍ਹਾਂ ਜੋ ਬਣਾਇਆ ਹੈ. ਹਾਲਾਂਕਿ, ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਅਸਲ ਵਿੱਚ, ਇਹ ਫਰਕ ਹੋਰ ਜਿਆਦਾ ਧੁੰਦਲਾ ਹੈ. ਉਦਾਹਰਣ ਦੇ ਲਈ, ਹਰ ਕੋਈ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ ਕਿ ਸਿਗਰਟਨੋਸ਼ੀ ਕੈਂਸਰ ਦਾ ਕਾਰਨ ਬਣਦੀ ਹੈ, ਹਾਲਾਂਕਿ ਕਿਸੇ ਨਿਰੰਤਰ ਤਰੀਕੇ ਨਾਲ ਨਿਯੰਤਰਿਤ ਪ੍ਰਯੋਗ ਜੋ ਲੋਕਾਂ ਨੂੰ ਸਿਗਰਟ ਪੀਣ ਲਈ ਮਜ਼ਬੂਰ ਕਰਦਾ ਹੈ, ਕਦੇ ਵੀ ਕੀਤਾ ਗਿਆ ਹੈ. ਗੈਰ-ਪ੍ਰਯੋਗਾਤਮਕ Shadish, Cook, and Campbell (2001) ਤੋਂ ਕਾਰਨਲ ਅੰਦਾਜ਼ੇ ਬਣਾਉਣ ਲਈ ਸ਼ਾਨਦਾਰ ਪੁਸਤਕ-ਲੰਮਾਈ ਦੇ ਇਲਾਜ ਲਈ Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) ਅਤੇ Dunning (2012) .

Freedman, Pisani, and Purves (2007) ਅਧਿਆਇ 1 ਅਤੇ 2 ਪ੍ਰਯੋਗਾਂ, ਨਿਯੰਤਰਿਤ ਪ੍ਰਯੋਗਾਂ ਅਤੇ ਬੇਤਰਤੀਬੀ ਨਿਯੰਤਰਿਤ ਪ੍ਰਯੋਗਾਂ ਵਿਚਕਾਰ ਫਰਕ ਨੂੰ ਸਪੱਸ਼ਟ ਰੂਪ ਵਿੱਚ ਪੇਸ਼ ਕਰਦੇ ਹਨ.

Manzi (2012) ਬੇਤਰਤੀਬ ਕੀਤੇ ਕੰਟਰੋਲ ਕੀਤੇ ਪ੍ਰਯੋਗਾਂ ਦੇ ਦਾਰਸ਼ਨਿਕ ਅਤੇ ਅੰਕੜਿਆਂ ਦੇ ਆਧਾਰ ਨੂੰ ਇੱਕ ਦਿਲਚਸਪ ਅਤੇ ਪੜ੍ਹਨਯੋਗ ਜਾਣ-ਪਛਾਣ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ. ਇਹ ਵਪਾਰ ਵਿੱਚ ਪ੍ਰਯੋਗ ਦੀ ਸ਼ਕਤੀ ਦੀ ਦਿਲਚਸਪ ਰੀਅਲ-ਸੰਸਾਰ ਦੀਆਂ ਮਿਸਾਲਾਂ ਵੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ. Issenberg (2012) ਰਾਜਨੀਤਿਕ ਮੁਹਿੰਮਾਂ ਵਿਚ ਪ੍ਰਯੋਗ ਦੇ ਵਰਤੋਂ ਲਈ ਇਕ ਦਿਲਚਸਪ ਸ਼ੁਰੂਆਤ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ.

• ਪ੍ਰਯੋਗਾਂ ਕੀ ਹਨ? (ਭਾਗ 4.2)

Box, Hunter, and Hunter (2005) , @ ਕੈਸੇਲਾ_ਸਟੈਟਲਿਸਟਲ 2008, ਅਤੇ Athey and Imbens (2016b) ਪ੍ਰਯੋਗਾਤਮਕ ਡਿਜ਼ਾਇਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਅੰਕੜਾ ਪੱਖ ਦੇ ਚੰਗੇ ਪਹਿਲੂਆਂ ਨੂੰ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ. ਅਰਥਸ਼ਾਸਤਰ: ਹੋਰ, ਬਹੁਤ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਖੇਤਰ 'ਚ ਪ੍ਰਯੋਗ ਦੇ ਵਰਤਣ ਦੀ ਸ਼ਾਨਦਾਰ ਇਲਾਜ ਹਨ (Bardsley et al. 2009) , ਸਿਾਿ (Willer and Walker 2007; Jackson and Cox 2013) , ਮਨੋਵਿਗਿਆਨ (Aronson et al. 1989) , ਸਿਆਸੀ ਵਿਗਿਆਨ (Morton and Williams 2010) , ਅਤੇ ਸੋਸ਼ਲ ਪਾਲਿਸੀ (Glennerster and Takavarasha 2013) .

ਭਾਗੀਦਾਰ ਭਰਤੀ ਦੀ ਮਹੱਤਤਾ (ਜਿਵੇਂ ਕਿ ਸੈਂਪਲਿੰਗ) ਨੂੰ ਅਕਸਰ ਪ੍ਰਯੋਗਾਤਮਕ ਖੋਜਾਂ ਵਿਚ ਦੀ ਸ਼ਲਾਘਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ. ਪਰ, ਜੇ ਇਲਾਜ ਦੀ ਪ੍ਰਭਾਵੀ ਆਬਾਦੀ ਵਿਚ ਭਿੰਨ ਹੈ, ਤਾਂ ਫਿਰ ਨਮੂਨਾ ਜ਼ਰੂਰੀ ਹੈ. Longford (1999) ਇਸ ਬਿੰਦੂ ਨੂੰ ਸਪੱਸ਼ਟ ਬਣਾ ਦਿੰਦਾ ਹੈ ਜਦੋਂ ਉਹ ਖੋਜ ਸਿਧਾਂਤਾਂ ਦੀ ਅਲੋਚਨਾ ਲਈ ਨਮੂਨੇ ਦੇ ਨਾਲ ਜਨਸੰਖਿਆ ਸਰਵੇਖਣ ਦੇ ਤੌਰ ਤੇ ਪ੍ਰਯੋਗਾਂ ਬਾਰੇ ਸੋਚਣ ਲਈ ਵਕਾਲਤ ਕਰਦਾ ਹੈ.

• ਪ੍ਰਯੋਗਾਂ ਦੇ ਦੋ ਖੇਤਰਾਂ: ਲੈਬ-ਖੇਤਰ ਅਤੇ ਐਨਾਲਾਗ-ਡਿਜੀਟਲ (ਭਾਗ 4.3)

ਮੈਂ ਸੁਝਾਅ ਦਿੱਤਾ ਹੈ ਕਿ ਲੈਬ ਅਤੇ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਵਿਚਕਾਰ ਨਿਰੰਤਰਤਾ ਹੈ ਅਤੇ ਹੋਰ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਵਿਸ਼ੇਸ਼ ਤੌਰ ਤੇ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) ਦੇ ਵੱਖ ਵੱਖ ਰੂਪਾਂ ਨੂੰ ਵੱਖ ਕਰਨ ਲਈ ਹੋਰ ਵਿਸਥਾਰਪੂਰਵਕ ਤਜਵੀਜ਼ਾਂ ਨੂੰ ਪ੍ਰਸਤੁਤ ਕੀਤਾ ਹੈ.

ਅਨੇਕਾਂ ਕਾਗਜ਼ਾਂ ਨੇ ਸਾਰਾਂਸ਼ (Falk and Heckman 2009; Cialdini 2009) ਵਿੱਚ ਲੈਬ ਅਤੇ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਦੀ ਤੁਲਨਾ ਕੀਤੀ ਹੈ ਅਤੇ ਰਾਜਨੀਤਕ ਵਿਗਿਆਨ (Coppock and Green 2015) ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਪ੍ਰਯੋਗਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਰੂਪ ਵਿੱਚ, ਅਰਥਸ਼ਾਸਤਰ (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ਅਤੇ ਮਨੋਵਿਗਿਆਨ (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ਲੈਬ ਅਤੇ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ ਇਕ ਵਧੀਆ ਖੋਜ ਡਿਜ਼ਾਇਨ ਪੇਸ਼ ਕਰਦੇ ਹਨ. Parigi, Santana, and Cook (2017) ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਆਨਲਾਈਨ ਫੀਲਡ ਪ੍ਰਯੋਗ ਲੈਬ ਅਤੇ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਦੀਆਂ ਕੁਝ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜ ਸਕਦਾ ਹੈ.

ਭਾਗੀਦਾਰਾਂ ਦੇ ਵਰਤਾਓ ਨੂੰ ਬਦਲਣ ਬਾਰੇ ਚਿੰਤਾਵਾਂ ਕਾਰਨ ਕਿ ਉਹ ਜਾਣਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਨਜ਼ਦੀਕੀ ਤੌਰ 'ਤੇ ਦੇਖਿਆ ਜਾ ਰਿਹਾ ਹੈ, ਉਨ੍ਹਾਂ ਨੂੰ ਕਈ ਵਾਰੀ ਮੰਗ ਪ੍ਰਭਾਵਾਂ ਵੀ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਮਨੋਵਿਗਿਆਨ (Orne 1962) ਅਤੇ ਅਰਥ ਸ਼ਾਸਤਰ (Zizzo 2010) ਵਿਚ ਅਧਿਐਨ ਕੀਤਾ ਗਿਆ ਹੈ. ਹਾਲਾਂਕਿ ਜਿਆਦਾਤਰ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਪ੍ਰਯੋਗਾਂ ਨਾਲ ਜੁੜੇ ਹੋਏ, ਇਹ ਉਹੀ ਮੁੱਦੇ ਖੇਤਰ ਪ੍ਰਯੋਗਾਂ ਲਈ ਵੀ ਸਮੱਸਿਆਵਾਂ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੇ ਹਨ. ਵਾਸਤਵ ਵਿੱਚ, ਮੰਗ ਪ੍ਰਭਾਵਾਂ ਨੂੰ ਕਈ ਵਾਰ ਹੌਲਥਰੋਨ ਪ੍ਰਭਾਵਾਂ ਵੀ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਇੱਕ ਸ਼ਬਦ ਜੋ 1924 ਵਿੱਚ ਪੱਛਮੀ ਇਲੈਕਟ੍ਰਿਕ ਕੰਪਨੀ ਦੇ Hawthorne Works (Adair 1984; Levitt and List 2011) ਵਿੱਚ ਪ੍ਰਸਿੱਧ ਪ੍ਰਕਾਸ਼ਨਾ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ. ਦੋਨੋ ਮੰਗ ਪ੍ਰਭਾਵਾਂ ਅਤੇ ਹਹੌਟਨ ਪ੍ਰਭਾਵ ਪ੍ਰਤਿਕਿਰਿਆਤਮਕ ਮਾਪ ਦੇ ਵਿਚਾਰ ਨਾਲ ਨਜ਼ਦੀਕੀ ਸਬੰਧ ਹਨ ਜੋ ਅਧਿਆਇ 2 ਵਿਚ ਚਰਚਾ ਕੀਤੀ ਗਈ ਹੈ ( Webb et al. (1966) ).

ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਅਰਥਸ਼ਾਸਤਰ ਵਿੱਚ ਇੱਕ ਲੰਮਾ ਇਤਿਹਾਸ ਹੈ (Levitt and List 2009) , ਰਾਜਨੀਤੀ ਵਿਗਿਆਨ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , ਮਨੋਵਿਗਿਆਨ (Shadish 2002) , ਅਤੇ ਜਨਤਕ ਨੀਤੀ (Shadish and Cook 2009) . ਸਮਾਜਿਕ ਵਿਗਿਆਨ ਦਾ ਇੱਕ ਖੇਤਰ ਜਿੱਥੇ ਖੇਤਾਂ ਦੇ ਪ੍ਰਯੋਗਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਤੇਜ਼ ਹੋ ਗਈ, ਉਹ ਅੰਤਰਰਾਸ਼ਟਰੀ ਵਿਕਾਸ ਹੈ. ਅਰਥਸ਼ਾਸਤਰ ਦੇ ਅੰਦਰ ਉਸ ਕੰਮ ਦੀ ਇੱਕ ਹਾਂਪੱਖੀ ਸਮੀਖਿਆ ਲਈ Banerjee and Duflo (2009) ਦੇਖਦੇ ਹਨ, ਅਤੇ ਇੱਕ ਗੰਭੀਰ ਮੁਲਾਂਕਣ ਲਈ Deaton (2010) ਦੇਖਦੇ ਹਨ. ਸਿਆਸੀ ਵਿਗਿਆਨ ਵਿਚ ਇਸ ਕੰਮ ਦੀ ਸਮੀਖਿਆ ਲਈ Humphreys and Weinstein (2009) . ਅੰਤ ਵਿੱਚ, ਖੇਤਰੀ ਪ੍ਰਯੋਗਾਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਨੈਤਿਕ ਚੁਣੌਤੀਆਂ ਦਾ ਰਾਜਨੀਤਕ ਵਿਗਿਆਨ (Humphreys 2015; Desposato 2016b) ਅਤੇ ਵਿਕਾਸ ਅਰਥ ਸ਼ਾਸਤਰ (Baele 2013) ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਖੋਜਿਆ ਗਿਆ ਹੈ.

ਇਸ ਸੈਕਸ਼ਨ ਵਿੱਚ, ਮੈਂ ਸੁਝਾਅ ਦਿੱਤਾ ਹੈ ਕਿ ਪ੍ਰੀ-ਟ੍ਰੀਟਮੈਂਟ ਜਾਣਕਾਰੀ ਦਾ ਇਸਤੇਮਾਲ ਅੰਦਾਜ਼ਨ ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੀ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਸੁਧਾਰ ਲਈ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਪਰ ਇਸ ਪਹੁੰਚ ਬਾਰੇ ਕੁਝ ਬਹਿਸ ਹੈ; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ਅਤੇ Bloniarz et al. (2016) ਹੋਰ ਜਾਣਕਾਰੀ ਲਈ

ਅੰਤ ਵਿੱਚ, ਸਮਾਜਿਕ ਵਿਗਿਆਨੀ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਦੋ ਹੋਰ ਤਰ੍ਹਾਂ ਦੇ ਪ੍ਰਯੋਗ ਕੀਤੇ ਗਏ ਹਨ ਜੋ ਪ੍ਰਯੋਗ ਲੈਬ-ਫੀਲਡ ਪੈਮਾਨੇ ਨਾਲ ਠੀਕ ਢੰਗ ਨਾਲ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦੇ: ਸਰਵੇਖਣ ਪ੍ਰਯੋਗ ਅਤੇ ਸਮਾਜਿਕ ਪ੍ਰਯੋਗ. ਸਰਵੇ ਦੇ ਤਜਰਬੇ ਮੌਜੂਦਾ ਸਰਵੇਖਣਾਂ ਦੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਅਤੇ ਉਸੇ ਸਵਾਲ ਦੇ ਵਿਕਲਪਕ ਸੰਸਕਰਣਾਂ ਦੇ ਜਵਾਬਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਨ (ਕੁਝ ਸਰਵੇਖਣ ਪ੍ਰਯੋਗਾਂ ਅਧਿਆਇ 3 ਵਿੱਚ ਪੇਸ਼ ਕੀਤੇ ਜਾਂਦੇ ਹਨ); ਸਰਵੇਖਣ ਪ੍ਰਯੋਗਾਂ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲਈ Mutz (2011) ਦੇਖੋ. ਸਮਾਜਕ ਪ੍ਰਯੋਗਾਂ ਉਹ ਪ੍ਰਯੋਗ ਹਨ ਜਿੱਥੇ ਇਲਾਜ ਕੁਝ ਸਮਾਜਿਕ ਨੀਤੀ ਹੈ ਜੋ ਕੇਵਲ ਸਰਕਾਰ ਦੁਆਰਾ ਲਾਗੂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. ਸਮਾਜਕ ਪ੍ਰਯੋਗਾਂ ਪ੍ਰੋਗਰਾਮ ਦੇ ਮੁਲਾਂਕਣ ਨਾਲ ਨੇੜਲੇ ਸੰਬੰਧ ਹਨ. ਨੀਤੀ ਪ੍ਰਯੋਗਾਂ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਲਈ, Heckman and Smith (1995) , Orr (1998) , ਅਤੇ @ ਗਲੇਨਰੱਟਰ_ਰਨੀਜ਼ਿੰਗ_2013 ਦੇਖੋ.

• ਸਧਾਰਨ ਪ੍ਰਯੋਗਾਂ ਤੋਂ ਅੱਗੇ ਵਧਣਾ (ਭਾਗ 4.4)

ਮੈਂ ਤਿੰਨ ਸੰਕਲਪਾਂ ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਲਈ ਚੁਣਿਆ ਹੈ: ਵੈਧਤਾ, ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੀ ਭਿੰਨਤਾ ਅਤੇ ਕਾਰਜਵਿਧੀ. ਇਹਨਾਂ ਸੰਕਲਪਾਂ ਦੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਅਲੱਗ-ਅਲੱਗ ਨਾਂ ਹਨ. ਉਦਾਹਰਨ ਲਈ, ਮਨੋਵਿਗਿਆਨੀ ਮੱਧਯਰੋਗ ਅਤੇ ਸੰਚਾਲਕਾਂ (Baron and Kenny 1986) ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਤ ਕਰਕੇ ਸਾਧਾਰਣ ਪ੍ਰਯੋਗਾਂ ਤੋਂ ਪਰ੍ਹੇ ਜਾਂਦੇ ਹਨ. ਮੀਡੀਏਟਰਾਂ ਦਾ ਵਿਚਾਰ ਮੈਨੂੰ ਮਕੈਨਿਜ਼ਮ ਕਹਿੰਦੇ ਹਨ, ਅਤੇ ਸੰਚਾਲਕਾਂ ਦਾ ਵਿਚਾਰ ਮੈਨੂੰ ਬਾਹਰੀ ਪ੍ਰਮਾਣਿਕਤਾ (ਜਿਵੇਂ ਕਿ, ਵੱਖ ਵੱਖ ਸਥਿਤੀਆਂ ਵਿੱਚ ਪ੍ਰਯੋਗ ਦੇ ਨਤੀਜੇ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ) ਅਤੇ ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੀ ਭਿੰਨਤਾ (ਵੱਖੋ-ਵੱਖਰੇ ਵੱਖੋ ਵੱਖਰੇ ਕਾਰਜਾਂ ਦੇ ਵੱਖੋ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ) ਦੁਆਰਾ ਹਾਸਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਕੁਝ ਲੋਕਾਂ ਲਈ ਵੱਧ ਪ੍ਰਭਾਵ ਵਾਲੇ ਪ੍ਰਭਾਵਾਂ ਹਨ)

Schultz et al. (2007) ਪ੍ਰਯੋਗ Schultz et al. (2007) ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਦਖਲਅੰਦਾਜ਼ੀ ਕਰਨ ਲਈ ਸਮਾਜਿਕ ਸਿਧਾਂਤ ਕਿਵੇਂ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ. ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਦਖਲਅਤਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ ਲਈ ਸਿਧਾਂਤ ਦੀ ਭੂਮਿਕਾ ਬਾਰੇ ਵਧੇਰੇ ਆਮ ਦਲੀਲ ਪੇਸ਼ ਕਰਨ ਲਈ, ਦੇਖੋ Walton (2014) .

• ਪ੍ਰਮਾਣਿਕਤਾ (ਹਿੱਸਾ 4.4.1)

ਅੰਦਰੂਨੀ ਅਤੇ ਬਾਹਰੀ ਪ੍ਰਮਾਣਿਕਤਾ ਦੀਆਂ ਧਾਰਨਾਵਾਂ ਪਹਿਲੀ ਵਾਰ Campbell (1957) ਦੁਆਰਾ ਪੇਸ਼ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ. Shadish, Cook, and Campbell (2001) ਨੂੰ ਵਧੇਰੇ ਵਿਸਥਾਰਪੂਰਵਕ ਇਤਿਹਾਸ ਅਤੇ ਅੰਕੜਾ ਸੰਖਿਆ ਦੀ ਪ੍ਰਮਾਣਿਕਤਾ, ਅੰਦਰੂਨੀ ਪ੍ਰਮਾਣਿਕਤਾ, ਉਸਾਰੀ ਯੋਗਤਾ, ਅਤੇ ਬਾਹਰੀ ਪ੍ਰਮਾਣਿਕਤਾ ਦਾ ਧਿਆਨਪੂਰਵਕ ਵਿਸਤਾਰ ਵੇਖਣ ਲਈ ਵੇਖੋ.

ਪ੍ਰਯੋਗਾਂ ਵਿਚ ਅੰਕੜਾ ਸੰਪੂਰਨਤਾ ਦੀ ਪ੍ਰਮਾਣਿਕਤਾ ਨਾਲ ਸੰਬੰਧਿਤ ਮੁੱਦਿਆਂ ਦੇ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਲਈ Gerber and Green (2012) (ਸਮਾਜਿਕ ਵਿਗਿਆਨ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ) ਅਤੇ Imbens and Rubin (2015) (ਸੰਖੇਪਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ) ਦੇਖੋ. ਖਾਸ ਤੌਰ ਤੇ ਔਨਲਾਈਨ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਅੰਕੜਿਆਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਕੁਝ ਮੁੱਦਿਆਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ ਜਿਵੇਂ ਕਿ ਨਿਰਭਰ ਡੇਟਾ (Bakshy and Eckles 2013) ਨਾਲ ਵਿਸ਼ਵਾਸ ਅੰਤਰਾਲ ਬਣਾਉਣ ਲਈ ਕੰਪਿਊਟੈਸ਼ਨਲ ਤਰੀਕੇ ਨਾਲ ਕੁਸ਼ਲ ਢੰਗ.

ਗੁੰਝਲਦਾਰ ਖੇਤਰਾਂ ਦੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਅੰਦਰੂਨੀ ਯੋਗਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਮੁਸ਼ਕਲ ਹੋ ਸਕਦੀ ਹੈ. ਵੋਟਿੰਗ ਬਾਰੇ ਇੱਕ ਗੁੰਝਲਦਾਰ ਫੀਲਡ ਪ੍ਰਯੋਗ ਦੇ ਲਾਗੂ ਕਰਨ ਬਾਰੇ ਬਹਿਸ ਲਈ ਵੇਖੋ, ਉਦਾਹਰਨ ਲਈ, Gerber and Green (2000) , Imai (2005) , ਅਤੇ Gerber and Green (2005) . Kohavi et al. (2012) ਅਤੇ Kohavi et al. (2013) ਔਨਲਾਈਨ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਅੰਤਰਾਲ ਦੀ ਵੈਧਤਾ ਦੀਆਂ ਚੁਣੌਤੀਆਂ ਵਿੱਚ ਇੱਕ ਜਾਣੂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ.

ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਲਈ ਇੱਕ ਵੱਡਾ ਖ਼ਤਰਾ ਅਸਫਲ ਰੈਂਡਮਾਈਜੇਸ਼ਨ ਦੀ ਸੰਭਾਵਨਾ ਹੈ. ਰੈਂਡਮਾਈਜੇਸ਼ਨ ਨਾਲ ਸਮੱਸਿਆਵਾਂ ਦਾ ਪਤਾ ਕਰਨ ਦਾ ਇੱਕ ਸੰਭਾਵੀ ਤਰੀਕਾ ਹੈ ਜਾਂਚ ਗੁਣਾਂ ਤੇ ਇਲਾਜ ਅਤੇ ਨਿਯੰਤਰਣ ਸਮੂਹਾਂ ਦੀ ਤੁਲਨਾ ਕਰਨਾ. ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਤੁਲਨਾ ਨੂੰ ਸੰਤੁਲਨ ਜਾਂਚ ਕਿਹਾ ਜਾਂਦਾ ਹੈ. ਬੈਲੇਂਸ ਚੈੱਕਾਂ ਬਾਰੇ ਸੰਤੁਲਿਤ ਚੈਕਾਂ ਅਤੇ Mutz and Pemantle (2015) ਲਈ ਅੰਕੜਾ ਸੰਕਲਪ ਲਈ Hansen and Bowers (2008) ਦੇਖੋ. ਉਦਾਹਰਨ ਲਈ, Allcott (2011) ਚੈੱਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, Allcott (2011) ਨੇ ਕੁਝ ਸਬੂਤ ਲੱਭੇ ਹਨ ਕਿ ਤਿੰਨ ਔਕਵਰ ਪ੍ਰਯੋਗਾਂ ਵਿਚ ਰਲਾਇਦਗੀ ਨੂੰ ਲਾਗੂ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਸੀ (ਦੇਖੋ ਸਾਰਣੀ 2; ਸਾਈਟ 2, 6, ਅਤੇ 8). ਹੋਰ ਤਰੀਕਿਆਂ ਲਈ, Imbens and Rubin (2015) ਅਧਿਆਇ 21 ਵੇਖੋ.

ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਨਾਲ ਸੰਬੰਧਤ ਹੋਰ ਪ੍ਰਮੁੱਖ ਸਰੋਕਾਰ ਹਨ: (1) ਇਕ ਪਾਸੇ ਵਾਲੀ ਗੈਰ-ਕੰਪਪਲੈਜਿਸ਼ਨ, ਜਿੱਥੇ ਇਲਾਜ ਸਮੂਹ ਵਿੱਚ ਹਰ ਕੋਈ ਅਸਲ ਵਿੱਚ ਇਲਾਜ ਪ੍ਰਾਪਤ ਨਹੀਂ ਕਰਦਾ, (2) ਦੋ ਪੱਖੀ ਗੈਰ-ਅਨੁਕੂਲਤਾ, ਜਿੱਥੇ ਇਲਾਜ ਸਮੂਹ ਵਿੱਚ ਹਰ ਕੋਈ ਇਲਾਜ ਪ੍ਰਾਪਤ ਨਹੀਂ ਕਰਦਾ ਅਤੇ ਕੁਝ ਲੋਕ ਕੰਟਰੋਲ ਗਰੁੱਪ ਨੂੰ ਇਲਾਜ ਮਿਲਦਾ ਹੈ, (3) ਰਵਾਨਗੀ, ਜਿੱਥੇ ਕੁਝ ਹਿੱਸਾ ਲੈਣ ਵਾਲਿਆਂ ਲਈ ਨਤੀਜਾ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ (4) ਦਖਲਅੰਦਾਜ਼ੀ, ਜਿੱਥੇ ਇਲਾਜ ਇਲਾਜ ਹਾਲਤ ਵਿਚਲੇ ਲੋਕਾਂ ਤੋਂ ਕੰਟਰੋਲ ਸਥਿਤੀ ਵਾਲੇ ਲੋਕਾਂ ਨੂੰ ਹੁੰਦਾ ਹੈ. ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਮਸਲੇ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲਈ Gerber and Green (2012) ਅਧਿਆਇ 5, 6, 7 ਅਤੇ 8 ਦੇਖੋ.

ਵਧੇਰੇ ਜਾਇਜ਼ਤਾ ਲਈ, Westen and Rosenthal (2003) , ਅਤੇ ਇਸ ਕਿਤਾਬ ਦੇ ਵੱਡੇ ਅੰਕੜਿਆਂ ਦੇ ਸਰੋਤਾਂ, Lazer (2015) ਅਤੇ ਅਧਿਆਇ 2 ਵਿਚ Lazer (2015) ਨਿਰਮਾਣ ਬਾਰੇ ਵੇਖੋ.

ਬਾਹਰੀ ਪ੍ਰਮਾਣਿਕਤਾ ਦਾ ਇੱਕ ਪਹਿਲੂ ਹੈ ਜਿਸ ਦੀ ਸਥਾਪਨਾ ਦਾ ਦਖਲ ਅੰਦਾਜ਼ੀ ਹੈ. Allcott (2015) ਸਾਈਟ ਦੀ ਚੋਣ ਪੱਖਪਾਤੀ ਦੇ ਇੱਕ ਸਿਧਾਂਤਕ ਅਤੇ ਅਨੁਭਵੀ ਇਲਾਜ ਮੁਹੱਈਆ ਕਰਦਾ ਹੈ. ਇਸ ਮੁੱਦੇ 'ਤੇ ਵੀ Deaton (2010) ਦੁਆਰਾ ਚਰਚਾ ਕੀਤੀ ਗਈ ਹੈ. ਬਾਹਰੀ ਪ੍ਰਮਾਣਿਕਤਾ ਦਾ ਇੱਕ ਹੋਰ ਪਹਿਲੂ ਇਹ ਹੈ ਕਿ ਕੀ ਇੱਕੋ ਦਖਲਅੰਦਾਜ਼ੀ ਦੇ ਵਿਕਲਪਕ ਆਪਰੇਸ਼ਨਾਂ ਦੇ ਸਮਾਨ ਪ੍ਰਭਾਵ ਹੋਣਗੇ? ਇਸ ਕੇਸ ਵਿੱਚ, Schultz et al. (2007) ਇੱਕ ਤੁਲਨਾ Schultz et al. (2007) ਅਤੇ Allcott (2011) ਦਰਸਾਏ ਹਨ ਕਿ ਮੁਕਾਬਲੇ ਦੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਸ਼ੁਲ੍ਜ਼ ਅਤੇ ਸਹਿਕਰਮੀਆਂ (5% ਦੀ ਬਜਾਏ 1.7%) ਦੇ ਮੂਲ ਪ੍ਰਯੋਗਾਂ ਦੇ ਮੁਕਾਬਲੇ ਅੰਦਾਜ਼ਨ ਸਲਾਨਾ ਪ੍ਰਭਾਵਿਤ ਪ੍ਰਭਾਵ ਸੀ. Allcott (2011) ਨੇ ਇਹ ਅੰਦਾਜ਼ਾ ਲਗਾਇਆ ਕਿ ਫਾਲੋ-ਅਪ ਪ੍ਰਯੋਗਾਂ ਦਾ ਇਕ ਛੋਟਾ ਜਿਹਾ ਪ੍ਰਭਾਵਾਂ ਸੀ ਜਿਸ ਨਾਲ ਇਲਾਜ ਵੱਖਰੀ ਸੀ: ਇੱਕ ਯੂਨੀਵਰਸਿਟੀ ਦੁਆਰਾ ਪ੍ਰਾਯੋਜਿਤ ਕੀਤੇ ਗਏ ਅਧਿਐਨ ਦੇ ਹਿੱਸੇ ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕ ਹੱਥ ਲਿਖਤ ਇਮੋਟੀਕੋਨ, ਇੱਕ ਪ੍ਰਿੰਟ ਇਮੋਟਿਕੋਨ ਦੇ ਮੁਕਾਬਲੇ ਜਨ-ਉਤਪਾਦਨ ਦੇ ਹਿੱਸੇ ਦੇ ਰੂਪ ਵਿੱਚ ਇਕ ਪਾਵਰ ਕੰਪਨੀ ਤੋਂ ਰਿਪੋਰਟ

• ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੀ ਭਿੰਨਤਾ (ਭਾਗ 4.4.2)

ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਇਲਾਜ ਪ੍ਰਭਾਵ ਦੀ ਭਿੰਨਤਾ ਲਈ ਇੱਕ ਸ਼ਾਨਦਾਰ ਸੰਖੇਪ ਜਾਣਕਾਰੀ ਲਈ, Gerber and Green (2012) ਅਧਿਆਇ 12 ਦੇਖੋ. ਮੈਡੀਕਲ ਅਜ਼ਮਾਇਸ਼ਾਂ ਵਿੱਚ ਇਲਾਜ ਦੇ ਪ੍ਰਭਾਵ ਦੀ ਭਿੰਨਤਾ ਲਈ ਜਾਣ-ਪਛਾਣ ਕਰਨ ਲਈ, Kent and Hayward (2007) , Longford (1999) Kravitz, Duan, and Braslow (2004) . ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੀ ਭਿੰਨਤਾ ਦੇ ਵਿਚਾਰ ਆਮ ਤੌਰ ਤੇ ਪੂਰਵ-ਇਲਾਜ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਅਧਾਰ ਤੇ ਭਿੰਨਤਾਵਾਂ ਤੇ ਧਿਆਨ ਦਿੰਦੇ ਹਨ. ਜੇ ਤੁਸੀਂ ਪੋਸਟ-ਟ੍ਰੀਟਮੇਂਟ ਦੇ ਨਤੀਜੇ ਦੇ ਆਧਾਰ ਤੇ ਵਿਭਿੰਨਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਪ੍ਰਿੰਸੀਪਲ ਸਟਰਿਟਿਸ਼ਨ (Frangakis and Rubin 2002) ਵਰਗੇ ਹੋਰ ਗੁੰਝਲਦਾਰ ਪਹੁੰਚ ਲੋੜੀਂਦੇ ਹਨ; Page et al. (2015) ਵੇਖੋ Page et al. (2015) ਇੱਕ ਸਮੀਖਿਆ ਲਈ

ਕਈ ਖੋਜਕਰਤਾਵਾਂ ਦਾ ਅਨੁਮਾਨ ਹੈ ਕਿ ਰੇਖਾਕਾਰ ਰਿਗਰੈਸ਼ਨ ਦੇ ਨਾਲ ਇਲਾਜ਼ ਦੇ ਪਰਭਾਵਾਂ ਦੀ ਭਿੰਨਤਾ, ਪਰ ਨਵੇਂ ਤਰੀਕੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਤੇ ਨਿਰਭਰ ਹਨ; ਉਦਾਹਰਨ ਲਈ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ਅਤੇ Athey and Imbens (2016a) Taddy et al. (2016) Athey and Imbens (2016a) .

ਬਹੁਤ ਸਾਰੇ ਤੁਲਨਾਤਮਕ ਸਮੱਸਿਆਵਾਂ ਅਤੇ "ਮੱਛੀ ਫੜਨ" ਦੇ ਕਾਰਨ ਪ੍ਰਭਾਵਾਂ ਦੀ ਭਿੰਨਤਾ ਦੇ ਲੱਭਤਾਂ ਬਾਰੇ ਕੁਝ ਸੰਦੇਹਵਾਦ ਹੈ. ਬਹੁਤ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਤਰ੍ਹਾਂ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਹਨ ਜੋ ਬਹੁਤ ਸਾਰੇ ਤੁਲਨਾਾਂ (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "ਮੱਛੀ ਫੜਨ" ਬਾਰੇ ਚਿੰਤਾਵਾਂ ਲਈ ਇੱਕ ਪਹੁੰਚ ਪੂਰਵ-ਰਜਿਸਟਰੇਸ਼ਨ ਹੈ, ਜੋ ਕਿ ਮਨੋਵਿਗਿਆਨ (Nosek and Lakens 2014) , ਰਾਜਨੀਤੀ ਵਿਗਿਆਨ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ਅਤੇ ਅਰਥਸ਼ਾਸਤਰ (Olken 2015) .

Costa and Kahn (2013) ਦੇ ਅਧਿਐਨ ਵਿਚ ਪ੍ਰਯੋਗ ਵਿਚ ਸਿਰਫ ਅੱਧੇ ਲੋਕਾਂ ਨੂੰ ਜਨਸੰਖਿਅਕ ਜਾਣਕਾਰੀ ਨਾਲ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ. ਇਨ੍ਹਾਂ ਵੇਰਵਿਆਂ ਵਿਚ ਦਿਲਚਸਪੀ ਰੱਖਣ ਵਾਲੇ ਪਾਠਕਾਂ ਨੂੰ ਅਸਲ ਕਾਗਜ਼ ਦਾ ਹਵਾਲਾ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ.

• ਵਿਧੀ (ਭਾਗ 4.4.3)

ਮਕੈਨਿਕਸ ਅਵਿਸ਼ਵਾਸ ਮਹੱਤਵਪੂਰਣ ਹਨ, ਪਰ ਉਹ ਪੜ੍ਹਾਈ ਲਈ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੋ ਜਾਂਦੇ ਹਨ. ਕਾਰਜਵਿਧੀ ਬਾਰੇ ਖੋਜ ਨੇ ਮਨੋਵਿਗਿਆਨ ਵਿਚ ਵਿਚੋਲੇ ਦੇ ਅਧਿਐਨ ਨਾਲ ਨੇੜਤਾ ਨਾਲ ਸੰਬੰਧ ਰੱਖਦੇ ਹਨ (ਪਰ ਦੋਵਾਂ ਵਿਚਾਰਾਂ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਸਹੀ ਤੁਲਨਾ ਲਈ VanderWeele (2009) ਵੀ ਦੇਖੋ) ਕਾਰਜਵਿਧੀ ਲੱਭਣ ਲਈ ਅੰਕੜਾ ਸੰਕਲਪ, ਜਿਵੇਂ ਕਿ Baron and Kenny (1986) ਵਿੱਚ ਵਿਕਸਿਤ ਕੀਤੀ ਪਹੁੰਚ, ਬਹੁਤ ਆਮ ਹਨ. ਬਦਕਿਸਮਤੀ ਨਾਲ, ਇਹ ਪਤਾ ਲਗਾਇਆ ਗਿਆ ਹੈ ਕਿ ਉਹ ਪ੍ਰਕਿਰਿਆਵਾਂ ਕੁਝ ਮਜ਼ਬੂਤ ​​ਧਾਰਨਾਵਾਂ (Bullock, Green, and Ha 2010) ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਜਦੋਂ ਬਹੁਤ ਸਾਰੀਆਂ ਕਾਰਜਵਿਧੀਆਂ ਹੁੰਦੀਆਂ ਹਨ ਤਾਂ ਪੀੜਤ ਹੁੰਦੀਆਂ ਹਨ, ਕਿਉਂਕਿ ਇੱਕ ਬਹੁਤ ਸਾਰੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਆਸ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ਅਤੇ Imai and Yamamoto (2013) ਕੁਝ ਸੁਧਾਰਾਤਮਕ ਅੰਕੜਾ ਵਿਧੀਆਂ ਪੇਸ਼ ਕਰਦੇ ਹਨ. ਇਸਦੇ ਇਲਾਵਾ, VanderWeele (2015) ਸੰਖੇਪ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਇੱਕ ਵਿਆਪਕ ਪਹੁੰਚ ਸਮੇਤ ਬਹੁਤ ਸਾਰੇ ਮਹੱਤਵਪੂਰਨ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ ਇਕ ਪੁਸਤਕ-ਲੰਬਾਈ ਦੇ ਇਲਾਜ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ.

ਇੱਕ ਵੱਖਰੀ ਪਹੁੰਚ ਉਹ ਪ੍ਰਯੋਗਾਂ 'ਤੇ ਕੇਂਦਰਿਤ ਹੈ ਜੋ ਸਿੱਧੇ ਢੰਗ ਨੂੰ ਮਕੈਨਿਅਲ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਨ (ਉਦਾਹਰਨ ਲਈ, ਖੰਭਰਾਂ ਨੂੰ ਵਿਟਾਮਿਨ C ਦੇਣਾ). ਬਦਕਿਸਮਤੀ ਨਾਲ, ਬਹੁਤ ਸਾਰੇ ਸਮਾਜਿਕ ਵਿਗਿਆਨ ਦੀਆਂ ਸੈਟਿੰਗਾਂ ਵਿੱਚ, ਕਈ ਵਾਰ ਬਹੁਤੀਆਂ ਕਾਰਜਵਿਧੀਆਂ ਹੁੰਦੀਆਂ ਹਨ ਅਤੇ ਅਜਿਹੇ ਇਲਾਜਾਂ ਨੂੰ ਤਿਆਰ ਕਰਨਾ ਔਖਾ ਹੁੰਦਾ ਹੈ ਜੋ ਦੂਜਿਆਂ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਬਦਲਦੇ ਹਨ ਤਜਰਬੇ ਸਥਾਪਤ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਬਦਲਣ ਦੇ ਕੁਝ ਤਰੀਕੇ Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ਅਤੇ Pirlott and MacKinnon (2016) .

ਪੂਰੀ ਤਰ੍ਹਾਂ ਤੱਥਾਂ ਸੰਬੰਧੀ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਚਲਾਉਣ ਵਾਲੇ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਬਹੁਤੀ ਅਨੁਮਾਨਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ; ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲਈ Fink, McConnell, and Vollmer (2014) ਅਤੇ List, Shaikh, and Xu (2016) .

ਅੰਤ ਵਿੱਚ, Hedström and Ylikoski (2010) ਦੁਆਰਾ ਵਰਣਤ ਵਿਗਿਆਨ ਦੇ ਦਰਸ਼ਨ ਵਿੱਚ ਇੱਕ ਬਹੁਤ ਲੰਬਾ ਇਤਿਹਾਸ ਹੈ.

• ਮੌਜੂਦਾ ਮਾਹੌਲ ਦਾ ਇਸਤੇਮਾਲ ਕਰਨਾ (ਸੈਕਸ਼ਨ 4.5.1)

ਭੇਦਭਾਵ ਨੂੰ ਮਾਪਣ ਲਈ ਚਿੱਠੀ ਪੱਤਰਾਂ ਦੀ ਪੜ੍ਹਾਈ ਅਤੇ ਆਡਿਟ ਅਧਿਐਨ ਦੀ ਵਰਤੋਂ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲੈਣ ਲਈ, Pager (2007) ਦੇਖੋ.

• ਆਪਣਾ ਆਪਣਾ ਤਜਰਬਾ ਬਣਾਓ (ਸੈਕਸ਼ਨ 4.5.2)

ਤੁਹਾਡੇ ਦੁਆਰਾ ਬਣਾਏ ਗਏ ਪ੍ਰਯੋਗਾਂ ਲਈ ਭਾਗੀਦਾਰਾਂ ਦੀ ਭਰਤੀ ਕਰਨ ਦਾ ਸਭ ਤੋਂ ਆਮ ਤਰੀਕਾ ਐਮਾਜ਼ਾਨ ਯੈਰਕਨਕ ਟਕਾਕ (ਐਮਕੇਟੁਕ) ਹੈ. ਕਿਉਂਕਿ ਮਟੁਕੋਮ ਪ੍ਰੰਪਰਾਗਤ ਪ੍ਰਯੋਗਾਂ ਦੇ ਪੱਖਾਂ ਦੀ ਨਕਲ ਕਰਦਾ ਹੈ-ਉਹ ਲੋਕ ਜੋ ਕੰਮ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਅਦਾਇਗੀ ਕਰਨ ਲਈ ਪੈਸੇ ਦਿੰਦੇ ਹਨ - ਬਹੁਤ ਸਾਰੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਪਹਿਲਾਂ ਹੀ ਟਰੂਰਾਂ (ਮਟੁਕੁਰ ਤੇ ਮਜ਼ਦੂਰਾਂ ਤੇ ਵਰਕਰਾਂ) ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀ ਹੈ, ਜਿਸਦਾ ਸਿੱਟਾ ਵੱਧ ਤੋਂ ਵੱਧ ਤੇ ਸਸਤਾ ਡਾਟਾ ਇਕੱਠਾ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. ਰਵਾਇਤੀ ਆਨ-ਕੈਮਪਸ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਪ੍ਰਯੋਗਾਂ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

ਆਮ ਤੌਰ 'ਤੇ, MTurk ਤੋਂ ਭਰਤੀ ਕੀਤੇ ਗਏ ਭਾਗੀਦਾਰਾਂ ਦਾ ਇਸਤੇਮਾਲ ਕਰਨ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਫਾਇਦਾ ਲਾਹੇਵੰਦ ਹੈ. ਜਿੱਥੇ ਕਿ ਲੈਬ ਦੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਹਫ਼ਤੇ ਲੱਗ ਸਕਦੇ ਹਨ ਅਤੇ ਪ੍ਰਯੋਗ ਨੂੰ ਖੇਤ ਕਰਨ ਲਈ ਮਹੀਨਾ ਸੈਟਅੱਪ ਕਰ ਸਕਦੇ ਹਨ, ਮਿਟੁਰਾਕ ਤੋਂ ਭਰਤੀ ਕੀਤੇ ਗਏ ਭਾਗੀਦਾਰਾਂ ਦੇ ਨਾਲ ਪ੍ਰਯੋਗ ਕਈ ਦਿਨਾਂ ਵਿੱਚ ਹੋ ਸਕਦਾ ਹੈ. ਉਦਾਹਰਨ ਲਈ, Berinsky, Huber, and Lenz (2012) ਇੱਕ 8 ਮਿੰਟ ਦੇ ਪ੍ਰਯੋਗ ਵਿੱਚ ਹਿੱਸਾ ਲੈਣ ਲਈ ਇੱਕ ਦਿਨ ਵਿੱਚ 400 ਵਿਸ਼ਿਆਂ ਦੀ ਭਰਤੀ ਕਰਨ ਵਿੱਚ ਸਮਰੱਥ ਸਨ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਹਿੱਸਾ ਲੈਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਮਕਸਦ ਲਈ ਭਰਤੀ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ (ਸਰਵੇਖਣ ਅਤੇ ਜਨਤਕ ਸਹਿਯੋਗ ਸਮੇਤ, ਅਧਿਆਇ 3 ਅਤੇ 5 ਵਿਚ ਦੱਸਿਆ ਗਿਆ ਹੈ). ਭਰਤੀ ਦੀ ਇਹ ਸਹੂਲਤ ਤੋਂ ਭਾਵ ਹੈ ਕਿ ਖੋਜਕਰਤਾ ਤੇਜ਼ ਉਤਰਾਧਿਕਾਰ ਵਿੱਚ ਸਬੰਧਿਤ ਪ੍ਰਯੋਗਾਂ ਦੀ ਕ੍ਰਮ ਚਲਾ ਸਕਦੇ ਹਨ.

ਤੁਹਾਡੇ ਆਪਣੇ ਪ੍ਰਯੋਗਾਂ ਲਈ ਮਟੁਕੋਂ ਦੇ ਹਿੱਸੇਦਾਰਾਂ ਨੂੰ ਭਰਤੀ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਇੱਥੇ ਚਾਰ ਅਹਿਮ ਗੱਲਾਂ ਹਨ ਜੋ ਤੁਹਾਨੂੰ ਜਾਣਨ ਦੀ ਜ਼ਰੂਰਤ ਹਨ. ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਬਹੁਤ ਸਾਰੇ ਖੋਜਕਰਤਾਵਾਂ ਕੋਲ ਟਰੂਰਾਂ ਨਾਲ ਸੰਬੰਧਿਤ ਪ੍ਰਯੋਗਾਂ ਦੀ ਇੱਕ ਨਿਰਪੱਖ ਸ਼ੱਕ ਹੈ. ਕਿਉਂਕਿ ਇਹ ਸੰਦੇਹਵਾਦ ਖਾਸ ਨਹੀਂ ਹੈ, ਸਬੂਤ ਦੇ ਨਾਲ ਮੁਕਾਬਲਾ ਕਰਨਾ ਮੁਸ਼ਕਿਲ ਹੈ. ਪਰ, ਕਈ ਸਾਲਾਂ ਤੋਂ ਟੂਰਕਰਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਅਧਿਐਨਾਂ ਤੋਂ ਬਾਅਦ ਅਸੀਂ ਇਹ ਸਿੱਟਾ ਕੱਢ ਸਕਦੇ ਹਾਂ ਕਿ ਇਹ ਸੰਦੇਹਵਾਦ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਜਾਇਜ਼ ਨਹੀਂ ਹੈ. ਹੋਰ ਆਬਾਦੀ ਵਾਲੇ ਲੋਕਾਂ ਦੇ ਨਾਲ ਟਰੂਰਾਂ ਦੀ ਜਨਸੰਖਿਆ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਅਧਿਅਨਾਂ ਹਨ ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਅਧਿਐਨਾਂ ਨੇ ਟੋਰਰਾਂ ਨਾਲ ਪ੍ਰਯੋਗਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਤੁਲਨਾ ਹੋਰ ਜਨਸੰਖਿਆ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ. ਇਹ ਸਾਰੇ ਕੰਮ ਨੂੰ ਧਿਆਨ ਵਿਚ ਰੱਖਦੇ ਹੋਏ, ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਲਈ ਇਸ ਬਾਰੇ ਸੋਚਣ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਤਰੀਕਾ ਇਹੀ ਹੈ ਕਿ ਟੂਰਕਰ ਇਕ ਵਾਜਬ ਸਹੂਲਤ ਦਾ ਨਮੂਨਾ ਹਨ, ਬਹੁਤ ਕੁਝ ਵਿਦਿਆਰਥੀ ਜਿੰਨਾ ਥੋੜਾ ਵੱਖਰਾ (Berinsky, Huber, and Lenz 2012) . ਇਸ ਤਰ੍ਹਾਂ, ਜਿਵੇਂ ਕਿ ਕੁਝ ਵਿਦਿਆਰਥੀ ਲਈ ਇੱਕ ਢੁਕਵੀਂ ਆਬਾਦੀ ਹੈ, ਪਰ ਸਾਰੇ ਨਹੀਂ, ਖੋਜ, ਟੂਰਕਰ ਕੁਝ ਲੋਕਾਂ ਲਈ ਇੱਕ ਉਚਿਤ ਆਬਾਦੀ ਹਨ, ਪਰ ਸਾਰੇ ਨਹੀਂ, ਖੋਜ ਜੇ ਤੁਸੀਂ ਟੁਰਟਰਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਜਾ ਰਹੇ ਹੋ, ਤਾਂ ਇਹ ਇਹਨਾਂ ਦੀ ਤੁਲਨਾਤਮਕ ਅਧਿਐਨਾਂ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੇ ਨੂੰ ਪੜ੍ਹ ਕੇ ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਸੂਖਮਤਾ ਨੂੰ ਸਮਝਣ ਦਾ ਮਤਲਬ ਸਮਝਦਾ ਹੈ.

ਦੂਜਾ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਐਮਟੀਕੁਰ ਦੇ ਪ੍ਰਯੋਗਾਂ ਦੀ ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਵਧਾਉਣ ਲਈ ਵਧੀਆ ਅਮਲ ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਇਨ੍ਹਾਂ ਵਧੀਆ ਪ੍ਰੈਕਟੀਸ਼ਨਾਂ (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) ਬਾਰੇ ਸਿੱਖਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਟੋਕਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਖੋਜਕਾਰਾਂ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਵਾਲੇ ਭਾਗ ਲੈਣ ਵਾਲੇ (Berinsky, Margolis, and Sances 2014, 2016) ਨੂੰ ਹਟਾਉਣ ਲਈ ਸਕ੍ਰੀਨਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ (ਪਰ DJ Hauser and Schwarz (2015b) ਅਤੇ DJ Hauser and Schwarz (2015a) ) ਦੇਖੋ. ਜੇ ਤੁਸੀਂ ਅਢੁਕਵੇਂ ਹਿੱਸਾ ਲੈਣ ਵਾਲਿਆਂ ਨੂੰ ਨਹੀਂ ਹਟਾਉਂਦੇ ਹੋ, ਤਾਂ ਇਲਾਜ ਦੇ ਕਿਸੇ ਵੀ ਅਸਰ ਨੂੰ ਉਹ ਰੌਲੇ ਦੁਆਰਾ ਧੋਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਉਹ ਪੇਸ਼ ਕਰਦੇ ਹਨ, ਅਤੇ ਅਭਿਆਸ ਵਿੱਚ ਅਗਾਧ ਭਾਗ ਲੈਣ ਵਾਲਿਆਂ ਦੀ ਗਿਣਤੀ ਕਾਫੀ ਮਹੱਤਵਪੂਰਨ ਹੋ ਸਕਦੀ ਹੈ. ਹਿਊਬਰ ਅਤੇ ਸਹਿਯੋਗੀਆਂ (2012) ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਪ੍ਰਯੋਗ ਵਿੱਚ, ਲਗਭਗ 30% ਹਿੱਸਾ ਲੈਣ ਵਾਲਿਆਂ ਨੇ ਬੁਨਿਆਦੀ ਧਿਆਨ ਸਕ੍ਰੀਨਰਾਂ ਨੂੰ ਅਸਫਲ ਕਰ ਦਿੱਤਾ. ਹੋਰ ਮੁਸ਼ਕਲਾਂ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਉਦੋਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ ਜਦੋਂ ਟੋਕਰਾਂ ਨੂੰ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਉਹ ਗੈਰ-ਨਿਰਪੱਖ ਹਿੱਸਾ ਲੈਣ ਵਾਲੇ (Chandler et al. 2015) ਅਤੇ ਲਹਿਰ (Zhou and Fishbach 2016) .

ਤੀਜਾ, ਡਿਜੀਟਲ ਪ੍ਰਯੋਗਾਂ ਦੇ ਕੁਝ ਹੋਰ ਫਾਰਮਾਂ ਦੇ ਸਬੰਧ ਵਿੱਚ, ਐਮਟੁਕੋ ਦੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਸਕੇਲ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ; Stewart et al. (2015) ਅੰਦਾਜ਼ਾ ਲਗਾਇਆ ਗਿਆ ਹੈ ਕਿ ਕਿਸੇ ਵੀ ਸਮੇਂ ਤੇ ਮੈਟੁਕਾਕ ਵਿੱਚ ਕੇਵਲ 7,000 ਲੋਕ ਹੀ ਹਨ

ਅੰਤ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਇਹ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਐਮਟੁਕ ਇੱਕ ਕਮਿਊਨਿਟੀ ਹੈ ਜਿਸ ਦੇ ਆਪਣੇ ਨਿਯਮ ਅਤੇ ਨਿਯਮ (Mason and Suri 2012) . ਉਸੇ ਤਰੀਕੇ ਨਾਲ ਕਿ ਤੁਸੀਂ ਉਸ ਦੇਸ਼ ਦੇ ਸਭਿਆਚਾਰ ਬਾਰੇ ਪਤਾ ਲਗਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋਗੇ ਜਿੱਥੇ ਤੁਸੀਂ ਆਪਣੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਜਾ ਰਹੇ ਹੋ, ਤੁਹਾਨੂੰ ਤੁਰਕਾਂ (Salehi et al. 2015) ਦੇ ਸਭਿਆਚਾਰ ਅਤੇ ਨਿਯਮਾਂ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ. ਅਤੇ ਤੁਹਾਨੂੰ ਇਹ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਜੇ ਤੁਸੀ ਅਣਉਚਿਤ ਜਾਂ ਅਨੈਤਿਕ (Gray et al. 2016) ਕਰਦੇ ਹੋ ਤਾਂ ਟੂਰਕਰ ਤੁਹਾਡੇ ਪ੍ਰਯੋਗ ਬਾਰੇ ਗੱਲ ਕਰਨਗੇ.

ਤੁਹਾਡੇ ਪ੍ਰਯੋਗਾਂ ਲਈ ਭਾਗੀਦਾਰਾਂ ਦੀ ਭਰਤੀ ਕਰਨ ਦਾ ਇੱਕ ਬਹੁਤ ਵਧੀਆ ਢੰਗ ਹੈ, ਚਾਹੇ ਉਹ ਲੇਬਰ ਵਰਗੇ ਹਨ ਜਿਵੇਂ ਕਿ Huber, Hill, and Lenz (2012) , ਜਾਂ ਜਿਆਦਾ ਫੀਲਡ-ਵਰਗੇ, ਜਿਵੇਂ Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ਅਤੇ Mao et al. (2016)

• ਆਪਣਾ ਉਤਪਾਦ ਬਣਾਓ (ਸੈਕਸ਼ਨ 4.5.3)

ਜੇ ਤੁਸੀਂ ਆਪਣਾ ਉਤਪਾਦ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਬਾਰੇ ਸੋਚ ਰਹੇ ਹੋ, ਤਾਂ ਮੈਂ ਤੁਹਾਨੂੰ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ ਕਿ ਤੁਸੀਂ Harper and Konstan (2015) ਵਿਚ ਮੂਵੀ ਲੈਨਸ ਗਰੁੱਪ ਦੁਆਰਾ ਪੇਸ਼ ਕੀਤੀ ਸਲਾਹ ਪੜ੍ਹੋ. ਉਨ੍ਹਾਂ ਦੇ ਤਜ਼ਰਬੇ ਤੋਂ ਇਕ ਮੁੱਖ ਸਮਝ ਇਹ ਹੈ ਕਿ ਹਰੇਕ ਸਫਲ ਪ੍ਰੋਜੈਕਟ ਲਈ ਬਹੁਤ ਸਾਰੇ, ਕਈ ਅਸਫਲਤਾਵਾਂ ਹਨ ਉਦਾਹਰਨ ਲਈ, ਮੂਵੀਲਾਂਸ ਸਮੂਹ ਨੇ ਹੋਰ ਉਤਪਾਦ ਸ਼ੁਰੂ ਕੀਤੇ ਹਨ, ਜਿਵੇਂ ਗੋਫਰ ਅਦਾਨਸ, ਜੋ ਕਿ ਪੂਰਨ ਅਸਫਲਤਾ (Harper and Konstan 2015) . ਇਕ ਉਤਪਾਦ ਤਿਆਰ ਕਰਨ ਦੇ ਯਤਨ ਕਰਦੇ ਸਮੇਂ ਇਕ ਖੋਜਕਰਤਾ ਦਾ ਇਕ ਹੋਰ ਉਦਾਹਰਣ ਐਡਵਰਡ ਕਾਸਟਰੌਰੋਵਾ ਦੁਆਰਾ ਆਰਗੇਨ ਨਾਂ ਦੀ ਇਕ ਆਨਲਾਈਨ ਗੇਮ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਹੈ. ਫੰਡਿੰਗ ਵਿਚ $ 250,000 ਦੇ ਬਾਵਜੂਦ, ਇਹ ਪ੍ਰੋਜੈਕਟ ਫਲੌਪ (Baker 2008) . ਗੋਫਰ ਅਨੇਸਰ ਅਤੇ ਆਰਡੇਨ ਵਰਗੇ ਪ੍ਰੋਜੈਕਟ ਬਦਕਿਸਮਤੀ ਨਾਲ ਫ਼ਿਲਮਲੇਨਸ ਵਰਗੇ ਪ੍ਰਾਜੈਕਟਾਂ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਆਮ ਹਨ.

• ਸ਼ਕਤੀਸ਼ਾਲੀ ਨਾਲ ਹਿੱਸੇਦਾਰ (ਭਾਗ 4.5.4)

ਮੈਂ ਪੇਸਟੂਰ ਦੇ ਕਾਊਂਟਰੈਂਟ ਦੇ ਵਿਚਾਰਾਂ ਨੂੰ ਤਕਨੀਕੀ ਕੰਪਨੀਆਂ ਵਿੱਚ ਅਕਸਰ ਚਰਚਾ ਕਰਨ ਬਾਰੇ ਸੁਣਿਆ ਹੈ, ਅਤੇ ਇਹ ਗੂਗਲ (Spector, Norvig, and Petrov 2012) ਖੋਜ ਦੇ ਯਤਨਾਂ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਦਾ ਹੈ.

ਬਾਂਡ ਅਤੇ ਸਹਿਕਰਮੀਆਂ ਦੇ ਅਧਿਐਨ (2012) ਉਨ੍ਹਾਂ ਲੋਕਾਂ ਦੇ ਦੋਸਤਾਂ ਉੱਤੇ ਇਹਨਾਂ ਇਲਾਜਾਂ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਖੋਜਣ ਦੀ ਵੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ. ਪ੍ਰਯੋਗ ਦੇ ਡਿਜ਼ਾਇਨ ਦੇ ਕਾਰਨ, ਇਹ ਸਪਿਲਵਰਸ ਸਾਫ ਤੌਰ ਤੇ ਖੋਜਣ ਲਈ ਮੁਸ਼ਕਲ ਹਨ; ਦਿਲਚਸਪ ਪਾਠਕਾਂ ਨੂੰ Bond et al. (2012) ਨੂੰ ਦੇਖਣਾ ਚਾਹੀਦਾ ਹੈ Bond et al. (2012) ਇੱਕ ਹੋਰ ਚੰਗੀ ਚਰਚਾ ਲਈ ਜੋਨਜ਼ ਅਤੇ ਸਹਿਕਰਮੀਆਂ (2017) ਨੇ 2012 ਦੇ ਚੋਣ ਦੌਰਾਨ ਵੀ ਇਕੋ ਜਿਹਾ ਤਜਰਬਾ ਕੀਤਾ. ਇਹ ਪ੍ਰਯੋਗ ਵੋਟਿੰਗ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਦੇ ਯਤਨਾਂ 'ਤੇ ਰਾਜਨੀਤੀ ਵਿਗਿਆਨ ਵਿੱਚ ਪ੍ਰਯੋਗਾਂ ਦੀ ਇੱਕ ਲੰਮੀ ਪਰੰਪਰਾ ਦਾ ਹਿੱਸਾ ਹਨ (Green and Gerber 2015) . ਇਹ ਆਊਟ-ਆਉਟ-ਦ-ਮਾਤਰਾ ਪ੍ਰਯੋਗ ਆਮ ਤੌਰ ਤੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਪਾਸ਼ਟਰ ਦੇ ਕੁਇੱਪਰੈਂਟ ਵਿਚ ਹਨ. ਇਹ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰੇ ਲੋਕ ਵੋਟਿੰਗ ਨੂੰ ਵਧਾਉਣ ਲਈ ਪ੍ਰੇਰਿਤ ਹੁੰਦੇ ਹਨ ਅਤੇ ਵੋਟਿੰਗ ਵਿਵਹਾਰ ਬਦਲਾਅ ਅਤੇ ਸਮਾਜਿਕ ਪ੍ਰਭਾਵ ਬਾਰੇ ਹੋਰ ਆਮ ਸਿਧਾਂਤਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇਕ ਦਿਲਚਸਪ ਵਿਹਾਰ ਹੋ ਸਕਦੇ ਹਨ.

ਸਾਥੀ ਅਦਾਰਿਆਂ ਜਿਵੇਂ ਕਿ ਸਿਆਸੀ ਪਾਰਟੀਆਂ, ਗੈਰ-ਸਰਕਾਰੀ ਸੰਸਥਾਵਾਂ ਅਤੇ ਕਾਰੋਬਾਰਾਂ ਨਾਲ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਚਲਾਉਣ ਬਾਰੇ ਸਲਾਹ ਲਈ, Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ਅਤੇ Gueron (2002) . ਰਿਸਰਚ ਡਿਜ਼ਾਈਨ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦਾ ਹੈ ਇਸ ਬਾਰੇ ਵਿਚਾਰ ਕਰਨ ਲਈ ਕਿ ਸੰਸਥਾਵਾਂ ਨਾਲ ਭਾਗੀਦਾਰੀ ਕਿਵੇਂ ਪ੍ਰਭਾਵਤ ਕਰ ਸਕਦੀ ਹੈ, King et al. (2007) ਵੇਖੋ King et al. (2007) ਅਤੇ Green, Calfano, and Aronow (2014) . ਪਾਰਟਨਰਸ਼ਿਪ ਵੀ ਨੈਫਿਟਿਕ ਸਵਾਲਾਂ ਦੀ ਅਗਵਾਈ ਕਰ ਸਕਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ Humphreys (2015) ਅਤੇ Nickerson and Hyde (2016) ਦੁਆਰਾ ਚਰਚਾ ਕੀਤੀ ਗਈ.

• ਡਿਜ਼ਾਈਨ ਸਲਾਹ (ਭਾਗ 4.6)

ਜੇ ਤੁਸੀਂ ਆਪਣੇ ਪ੍ਰਯੋਗ ਨੂੰ ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਵਿਸ਼ਲੇਸ਼ਣ ਯੋਜਨਾ ਤਿਆਰ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਮੈਂ ਸੁਝਾਅ ਦਿੰਦਾ ਹਾਂ ਕਿ ਤੁਸੀਂ ਰਿਪੋਰਟਿੰਗ ਦਿਸ਼ਾ ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਪੜ੍ਹ ਕੇ ਸ਼ੁਰੂ ਕਰੋ. ਕਨਸੋਰਟ (ਟਰਾਇਲਾਂ ਦੀ ਕੰਟੈਲੀਡੇਟਡ ਸਟੈਂਡਰਡ ਰਿਪੋਰਟਿੰਗ) ਦੀਆਂ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ਾਂ ਨੂੰ ਦਵਾਈ (Schulz et al. 2010) ਵਿਚ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ ਅਤੇ ਸਮਾਜਿਕ ਖੋਜ (Mayo-Wilson et al. 2013) ਲਈ ਸੋਧਿਆ ਗਿਆ. ਸੇਧਾਂ ਦੇ ਸਬੰਧਿਤ ਸਮੂਹਾਂ ਨੂੰ ਪ੍ਰਯੋਗਾਤਮਕ ਰਾਜਨੀਤੀ ਵਿਗਿਆਨ ਦੇ ਜਰਨਲ (Gerber et al. 2014) ਦੇ ਸੰਪਾਦਕਾਂ ਦੁਆਰਾ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ ਹੈ ( Mutz and Pemantle (2015) ਅਤੇ Gerber et al. (2015) ). ਅਖੀਰ ਵਿੱਚ, ਮਨੋਵਿਗਿਆਨ (APA Working Group 2008) ਵਿੱਚ ਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਰਿਪੋਰਟ ਕੀਤੀ ਗਈ ਹੈ Simmons, Nelson, and Simonsohn (2011) .

ਜੇ ਤੁਸੀਂ ਕੋਈ ਵਿਸ਼ਲੇਸ਼ਣ ਯੋਜਨਾ ਬਣਾਉਂਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਸ ਨੂੰ ਪਹਿਲਾਂ ਤੋਂ ਰਜਿਸਟਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿਉਂਕਿ ਪ੍ਰੀ-ਰਜਿਸਟ੍ਰੇਸ਼ਨ ਵਿਚ ਭਰੋਸਾ ਵਧਾਇਆ ਜਾਵੇਗਾ ਕਿ ਤੁਹਾਡੇ ਨਤੀਜਿਆਂ ਵਿਚ ਦੂਜਿਆਂ ਦੀ ਗਿਣਤੀ ਵਧੇਗੀ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਜੇ ਤੁਸੀਂ ਕਿਸੇ ਸਾਥੀ ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਨਤੀਜਿਆਂ ਨੂੰ ਵੇਖ ਕੇ ਤੁਹਾਡੇ ਸਾਥੀ ਦੀ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਬਦਲਣ ਦੀ ਸਮਰੱਥਾ ਸੀਮਤ ਹੋਵੇਗੀ. ਮਨੋਵਿਗਿਆਨ (Nosek and Lakens 2014) , ਰਾਜਨੀਤੀ ਵਿਗਿਆਨ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ਅਤੇ ਅਰਥਸ਼ਾਸਤਰ (Olken 2015) ਪੂਰਵ-ਰਜਿਸਟਰੇਸ਼ਨ ਬਹੁਤ ਆਮ ਹੋ ਰਹੀ ਹੈ.

ਖਾਸ ਤੌਰ ਤੇ ਆਨਲਾਈਨ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਲਈ ਡਿਜ਼ਾਈਨ ਸਲਾਹ ਨੂੰ ਵੀ Konstan and Chen (2007) ਅਤੇ Chen and Konstan (2015) .

ਜੋ ਮੈਂ ਆਰਡਾ ਦੀ ਰਣਨੀਤੀ ਨੂੰ ਬੁਲਾਇਆ ਹੈ ਕਈ ਵਾਰੀ ਇਸਨੂੰ ਪ੍ਰੋਗ੍ਰਾਮੈਟਿਕ ਖੋਜ ਕਿਹਾ ਜਾਂਦਾ ਹੈ; Wilson, Aronson, and Carlsmith (2010) .

• ਜ਼ੀਰੋ ਵੇਰੀਏਬਲ ਲਾਗਤ ਡੇਟਾ ਬਣਾਓ (ਸੈਕਸ਼ਨ 4.6.1)

ਸੰਗੀਤ-ਲੇਬ ਪ੍ਰਯੋਗਾਂ ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਲਈ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) ਅਤੇ Salganik (2007) . ਜੇਤੂ ਦੇ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲੈਣ ਲਈ, Frank and Cook (1996) . ਆਮ ਤੌਰ 'ਤੇ ਨਾਕਾਮਯਾਬੀਆਂ ਅਤੇ ਹੁਨਰ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲਈ, Mauboussin (2012) , Watts (2012) ਅਤੇ Frank (2016) .

ਭਾਗੀਦਾਰਾਂ ਦੀਆਂ ਅਦਾਇਗੀਆਂ ਨੂੰ ਖਤਮ ਕਰਨ ਦਾ ਇਕ ਹੋਰ ਤਰੀਕਾ ਹੈ ਜੋ ਖੋਜਕਾਰਾਂ ਨੂੰ ਸਾਵਧਾਨੀ ਨਾਲ ਵਰਤਣਾ ਚਾਹੀਦਾ ਹੈ: ਭਰਤੀ ਬਹੁਤ ਸਾਰੇ ਔਨਲਾਈਨ ਫੀਲਡ ਪ੍ਰੋਗਰਾਮਾਂ ਵਿੱਚ ਭਾਗ ਲੈਣ ਵਾਲੇ ਅਸਲ ਵਿੱਚ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਕਦੇ ਵੀ ਮੁਆਵਜ਼ਾ ਨਹੀਂ ਦਿੱਤੇ ਜਾਂਦੇ. ਇਸ ਪਹੁੰਚ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ ਰੈਸਟੋਵੋ ਅਤੇ ਵੈਨ ਡੀ ਰਿਜਤ (2012) ਵਿਕੀਪੀਡੀਆ ਅਤੇ ਬਾਂਡ ਅਤੇ ਸਾਥੀ (2012) ਲੋਕਾਂ ਦੇ ਵੋਟ ਦੇਣ ਲਈ ਹੌਸਲਾ ਦੇਣ ਦੇ ਪੁਰਸਕਾਰਾਂ ਦੇ ਤਜਰਬੇ ਸ਼ਾਮਲ ਹਨ. ਇਹਨਾਂ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਜ਼ੀਰੋ ਪਰਿਭਾਸ਼ਿਤ ਮੁੱਲ ਨਹੀਂ ਹੁੰਦਾ ਸਗੋਂ ਉਹਨਾਂ ਕੋਲ ਖੋਜ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਜ਼ੀਰੋ ਪਰਿਵਰਤਨਯੋਗ ਲਾਗਤ ਹੈ . ਅਜਿਹੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ, ਭਾਵੇਂ ਹਰੇਕ ਭਾਗੀਦਾਰ ਦੀ ਲਾਗਤ ਬਹੁਤ ਛੋਟੀ ਹੈ, ਕੁੱਲ ਲਾਗਤ ਕਾਫ਼ੀ ਵੱਡੀ ਹੋ ਸਕਦੀ ਹੈ ਵਿਸ਼ਾਲ ਆਨਲਾਈਨ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਚਲਾਉਣ ਵਾਲੇ ਖੋਜਕਰਤਾ ਅਕਸਰ ਛੋਟੇ ਅਨੁਮਾਨਤ ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੇ ਮਹੱਤਵ ਨੂੰ ਇਹ ਕਹਿ ਕੇ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ ਕਿ ਇਹ ਛੋਟੇ ਪ੍ਰਭਾਵਾਂ ਮਹੱਤਵਪੂਰਣ ਬਣ ਸਕਦੀਆਂ ਹਨ ਜਦੋਂ ਬਹੁਤ ਸਾਰੇ ਲੋਕਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ. ਸਹੀ ਉਸੇ ਸੋਚ ਨੂੰ ਲਾਗਤਾਂ ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ ਜੋ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਹਿੱਸਾ ਲੈਣ ਵਾਲਿਆਂ ਉੱਤੇ ਲਗਾਇਆ. ਜੇ ਤੁਹਾਡਾ ਪ੍ਰਯੋਗ ਇੱਕ ਮਿਲੀਅਨ ਲੋਕਾਂ ਨੂੰ ਇਕ ਮਿੰਟ ਵਿਚ ਬਰਬਾਦ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ, ਤਾਂ ਪ੍ਰਯੋਗ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਵਿਅਕਤੀ ਲਈ ਬਹੁਤ ਨੁਕਸਾਨਦੇਹ ਨਹੀਂ ਹੈ, ਪਰ ਕੁੱਲ ਮਿਲਾ ਕੇ ਇਸ ਨੇ ਲਗਭਗ ਦੋ ਸਾਲ ਦਾ ਸਮਾਂ ਬਰਬਾਦ ਕਰ ਦਿੱਤਾ ਹੈ.

ਹਿੱਸਾ ਲੈਣ ਵਾਲਿਆਂ ਲਈ ਜ਼ੀਰੋ ਵੇਰੀਏਬਲ ਲਾਗਤ ਅਦਾਇਗੀ ਕਰਨ ਦਾ ਇਕ ਹੋਰ ਤਰੀਕਾ ਹੈ ਲਾਟਰੀ ਦੀ ਵਰਤੋਂ ਕਰਨਾ, ਇਕ ਸਰਗਰਮੀ ਜੋ ਕਿ ਸਰਵੇਖਣ ਖੋਜ ਵਿਚ ਵਰਤੀ ਗਈ ਹੈ (Halpern et al. 2011) . ਮਜ਼ੇਦਾਰ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਨੂੰ ਡਿਜਾਈਨ ਕਰਨ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਲਈ, Toomim et al. (2011) ਦੇਖੋ Toomim et al. (2011) . ਜ਼ੀਰੋ ਪਰਿਵਰਤਨ ਪ੍ਰਯੋਗ ਬਣਾਉਣ ਲਈ ਬੋਟਾਂ ਦੀ ਵਰਤੋ ਬਾਰੇ ਹੋਰ ( ??? ) ਵੇਖੋ ( ??? )

• ਬਦਲੋ, ਸੁਧਾਰੋ ਅਤੇ ਘਟਾਓ (ਭਾਗ 4.6.2)

Russell and Burch (1959) ਦੁਆਰਾ ਮੂਲ ਤੌਰ ਤੇ ਤਜਵੀਜ਼ ਕੀਤੇ ਗਏ ਤਿੰਨ ਆਰ ਹਨ:

"ਬਦਲੀ insentient ਸਮੱਗਰੀ ਦੀ ਸਚੇਤ ਰਹਿਣ ਉੱਚ ਜਾਨਵਰ ਲਈ substitution ਦਾ ਮਤਲਬ ਹੈ. ਕਟੌਤੀ ਇੱਕ ਦਿੱਤੇ ਦੀ ਰਕਮ ਅਤੇ ਸ਼ੁੱਧਤਾ ਦੀ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਨਵਰ ਦੇ ਗਿਣਤੀ ਵਿਚ ਕਮੀ ਦਾ ਮਤਲਬ ਹੈ. ਸੁਧਾਈ ਦੀ ਘਟਨਾ ਜ ਜਿਹੜੇ ਜਾਨਵਰ ਨੂੰ ਅਜੇ ਵੀ ਵਰਤਿਆ ਜਾ ਕਰਨ ਦੀ ਹੈ, ਜੋ ਕਿ ਲਈ ਲਾਗੂ ਅਣਮਨੁੱਖੀ ਕਾਰਵਾਈ ਦੀ ਗੰਭੀਰਤਾ ਵਿੱਚ ਕਿਸੇ ਵੀ ਕਮੀ ਦਾ ਮਤਲਬ ਹੈ. "

ਤਿੰਨ ਆਰ ਜੋ ਮੈਂ ਪ੍ਰਸਤੁਤ ਕਰਦਾ ਹਾਂ ਉਹ ਅਧਿਆਇ 6 ਵਿਚ ਦੱਸੇ ਗਏ ਨੈਤਿਕ ਸਿਧਾਂਤਾਂ ਨੂੰ ਓਵਰਰਾਈਡ ਨਹੀਂ ਕਰਦਾ. ਇਸ ਦੀ ਬਜਾਇ, ਉਹ ਇਕ ਹੋਰ ਵਿਸਤ੍ਰਿਤ ਰੂਪ ਹਨ ਜੋ ਉਹਨਾਂ ਸਿਧਾਂਤਾਂ ਵਿਚੋਂ ਇੱਕ ਹਨ- ਵਿਸ਼ੇਸ਼ਤਾ - ਖਾਸ ਤੌਰ ਤੇ ਮਨੁੱਖੀ ਪ੍ਰਯੋਗਾਂ ਦੀ ਸਥਾਪਨਾ ਵਿੱਚ.

ਪਹਿਲੇ ਆਰ ("ਬਦਲਾਅ") ਦੇ ਮੁਤਾਬਕ, ਭਾਵਨਾਤਮਕ ਪ੍ਰਜਨਨ ਪ੍ਰਯੋਗ (Kramer, Guillory, and Hancock 2014) ਤੁਲਨਾ ਕਰਦੇ ਹੋਏ ਅਤੇ ਭਾਵਨਾਤਮਕ ਪ੍ਰਭਾਵਾਂ ਕੁਦਰਤੀ ਪ੍ਰਕਿਰਿਆ (Lorenzo Coviello et al. 2014) ਵਪਾਰ ਨਾਲ ਸੰਬੰਧਿਤ ਕੰਮਾਂ ਬਾਰੇ ਕੁਝ ਆਮ ਸਬਕ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਪ੍ਰਯੋਗਾਂ ਤੋਂ ਕੁਦਰਤੀ ਪ੍ਰਯੋਗਾਂ (ਅਤੇ ਹੋਰ ਪਹੁੰਚ ਜਿਵੇਂ ਕਿ ਗੈਰ-ਪ੍ਰਯੋਗਾਤਮਕ ਡੇਟਾ ਵਿੱਚ ਅੰਦਾਜ਼ਾ ਲਗਾਏ ਜਾਣ ਵਾਲੇ ਪ੍ਰਯੋਗਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ, ਦੇਖੋ) ਅਧਿਆਇ 2 ਦੇਖੋ. ਨੈਤਿਕ ਲਾਭਾਂ ਤੋਂ ਇਲਾਵਾ, ਪ੍ਰਯੋਗਾਤਮਕ ਤੋਂ ਗੈਰ-ਪ੍ਰਯੋਗਾਤਮਕ ਅਧਿਐਨਾਂ 'ਤੇ ਸਵਿਚ ਕਰਨ ਨਾਲ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਇਲਾਜਾਂ ਦਾ ਅਧਿਐਨ ਕਰਨ ਦੇ ਨਾਲ ਵੀ ਮਦਦ ਮਿਲਦੀ ਹੈ, ਜੋ ਉਹ ਲੌਜਿਸਟਿਕ ਤਰੀਕੇ ਨਾਲ ਨਿਯੋਜਿਤ ਕਰਨ ਵਿੱਚ ਅਸਮਰਥ ਹਨ. ਇਹ ਨੈਤਿਕ ਅਤੇ ਸਾਰਥਿਕ ਲਾਭ ਇੱਕ ਲਾਗਤ 'ਤੇ ਆਉਂਦੇ ਹਨ, ਹਾਲਾਂਕਿ. ਕੁਦਰਤੀ ਪ੍ਰਯੋਗਾਂ ਦੇ ਨਾਲ ਖੋਜਕਰਤਾਵਾਂ ਕੋਲ ਭਾਗ ਲੈਣ ਵਾਲਿਆਂ ਦੀ ਭਰਤੀ, ਰੈਂਡਮਾਈਜੇਸ਼ਨ, ਅਤੇ ਇਲਾਜ ਦੀ ਪ੍ਰਕਿਰਤੀ ਵਰਗੀਆਂ ਚੀਜਾਂ ਤੇ ਘੱਟ ਕੰਟਰੋਲ ਹੁੰਦਾ ਹੈ. ਉਦਾਹਰਣ ਵਜੋਂ, ਇਲਾਜ ਦੇ ਤੌਰ ਤੇ ਵਰਖਾ ਦੀ ਇੱਕ ਸੀਮਾ ਇਹ ਹੈ ਕਿ ਇਹ ਦੋਵੇਂ ਧਨਾਤਮਿਕਤਾ ਵਧਾਉਂਦੇ ਹਨ ਅਤੇ ਨਾਕਾਰਾਤਮਕਤਾ ਘਟਦੀ ਹੈ. ਪ੍ਰਯੋਗਾਤਮਕ ਅਧਿਐਨਾਂ ਵਿੱਚ, ਕਰੈਮਰ ਅਤੇ ਸਾਥੀ ਸਹਿਜੇ-ਸਹਿਜੇ ਅਕਾਦਮਿਕਤਾ ਅਤੇ ਨਕਾਰਾਤਮਕਤਾ ਨੂੰ ਅਨੁਕੂਲ ਕਰਨ ਦੇ ਯੋਗ ਸਨ. Lorenzo Coviello et al. (2014) ਦੁਆਰਾ ਵਰਤੀ ਗਈ ਵਿਸ਼ੇਸ਼ ਪਹੁੰਚ Lorenzo Coviello et al. (2014) ਨੂੰ L. Coviello, Fowler, and Franceschetti (2014) Lorenzo Coviello et al. (2014) ਦੁਆਰਾ ਸਪੱਸ਼ਟ ਕੀਤਾ ਗਿਆ ਸੀ. Lorenzo Coviello et al. (2014) ਵੇਰੀਏਬਲਾਂ ਦੀ ਜਾਣ ਪਛਾਣ ਲਈ, ਜੋ ਕਿ Lorenzo Coviello et al. (2014) ਦੁਆਰਾ ਵਰਤੀ ਗਈ ਪਹੁੰਚ ਹੈ Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (ਘੱਟ ਰਸਮੀ) ਜਾਂ Angrist, Imbens, and Rubin (1996) (ਵਧੇਰੇ ਰਸਮੀ) ਦੇਖੋ. ਸਹਾਇਕ ਵਸਤੂਆਂ ਦੀ ਇਕ ਸ਼ੱਕੀ ਮੁਲਾਂਕਣ ਲਈ, Deaton (2010) ਦੇਖੋ, ਅਤੇ ਕਮਜ਼ੋਰ ਯੰਤਰਾਂ (ਬਾਰਸ਼ ਇਕ ਕਮਜ਼ੋਰ ਸਾਧਨ ਹੈ) ਦੇ ਨਾਲ ਵਸਤੂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ, Murray (2006) ਦੇਖੋ. ਆਮ ਤੌਰ 'ਤੇ, ਕੁਦਰਤੀ ਪ੍ਰਯੋਗਾਂ ਲਈ ਇਕ ਚੰਗੀ ਸ਼ੁਰੂਆਤ Dunning (2012) ਦੁਆਰਾ ਦਿੱਤੀ ਗਈ ਹੈ, ਜਦੋਂ ਕਿ Rosenbaum (2002) , ( ??? ) , ਅਤੇ Shadish, Cook, and Campbell (2001) ਪ੍ਰਯੋਗਾਂ ਤੋਂ ਬਿਨਾ ਪ੍ਰਕਿਰਤੀ ਪ੍ਰਭਾਵਾਂ ਦੇ ਅੰਦਾਜ਼ੇ ਬਾਰੇ ਵਧੀਆ ਵਿਚਾਰ ਪੇਸ਼ ਕਰਦੇ ਹਨ.

ਦੂਜੀ ਆਰ ("ਸੁਧਾਰ") ਦੇ ਰੂਪ ਵਿੱਚ, ਪੋਸਟਾਂ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਲਈ ਪੋਸਟਾਂ ਨੂੰ ਰੋਕਣ ਤੋਂ ਭਾਵਨਾਤਮਕ ਸੰਕ੍ਰਾਮ ਦੇ ਡਿਜ਼ਾਇਨ ਨੂੰ ਬਦਲਣ ਤੇ ਵਿਚਾਰ ਕਰਨ ਸਮੇਂ ਵਿਗਿਆਨਕ ਅਤੇ ਭੌਤਿਕ ਵਪਾਰਕ ਬੰਦ ਹਨ. ਮਿਸਾਲ ਦੇ ਤੌਰ ਤੇ, ਇਹ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਨਿਊਜ਼ ਫੀਡ ਦੇ ਤਕਨੀਕੀ ਅਮਲ ਨੇ ਅਜਿਹਾ ਕਰਨ ਲਈ ਬਹੁਤ ਆਸਾਨ ਬਣਾ ਦਿੱਤਾ ਹੈ ਜਿਸ ਵਿਚ ਉਹ ਇਕ ਅਜਿਹੇ ਕੰਮ ਕਰਨ ਵਿਚ ਰੁਕਾਵਟ ਪਾਉਂਦੇ ਹਨ ਜਿਸ ਵਿਚ ਪੋਸਟਾਂ ਨੂੰ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਵਿਚ ਉਹਨਾਂ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ (ਨੋਟ ਕਰੋ ਕਿ ਪੋਸਟਾਂ ਨੂੰ ਰੋਕਣ ਲਈ ਇਕ ਪ੍ਰਯੋਗ ਲਾਗੂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. ਅੰਡਰਲਾਈੰਗ ਸਿਸਟਮ ਦੀ ਬਦਲਾਅ ਦੇ ਬਿਨਾਂ ਨਿਊਜ਼ ਫੀਡ ਪ੍ਰਣਾਲੀ ਦੇ ਸਿਖਰ 'ਤੇ ਇੱਕ ਲੇਅਰ ਦੇ ਰੂਪ ਵਿੱਚ) ਵਿਗਿਆਨਕ ਰੂਪ ਵਿੱਚ, ਪਰ, ਪ੍ਰਯੋਗ ਦੁਆਰਾ ਸੰਬੋਧਤ ਥਿਊਰੀ ਨੇ ਸਪਸ਼ਟ ਤੌਰ ਤੇ ਦੂਜੇ ਦੇ ਇੱਕ ਡਿਜ਼ਾਇਨ ਨੂੰ ਸਪਸ਼ਟ ਨਹੀਂ ਦੱਸਿਆ. ਬਦਕਿਸਮਤੀ ਨਾਲ, ਮੈਨੂੰ ਨਿਊਜ਼ ਫੀਡ ਨੂੰ ਰੋਕਣ ਅਤੇ ਸਮੱਗਰੀ ਨੂੰ ਉਤਸ਼ਾਹਤ ਕਰਨ ਦੇ ਰਿਸ਼ਤੇਦਾਰਾਂ ਬਾਰੇ ਮਹੱਤਵਪੂਰਨ ਖੋਜ ਬਾਰੇ ਪਤਾ ਨਹੀਂ ਹੈ. ਨਾਲ ਹੀ, ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਘੱਟ ਨੁਕਸਾਨਦੇਹ ਬਣਾਉਣ ਲਈ ਇਲਾਜਾਂ ਨੂੰ ਸੋਧਣ ਬਾਰੇ ਬਹੁਤ ਕੁਝ ਨਹੀਂ ਵੇਖਿਆ ਹੈ; ਇਕ ਅਪਵਾਦ B. Jones and Feamster (2015) , ਜੋ ਇੰਟਰਨੈਟ ਸੇਂਸਰਸ਼ਿਪ ਦੇ ਮਾਪ ਦੇ ਮਾਮਲੇ ਨੂੰ ਧਿਆਨ ਵਿਚ ਰੱਖਦਾ ਹੈ (ਇਕ ਵਿਸ਼ੇ ਜਿਸ ਬਾਰੇ ਮੈਂ ਅਧਿਆਇ 6 ਵਿਚ ਈਕੋਰ ਸਟੱਡੀ ਨਾਲ ਸੰਬੰਧ ਰੱਖਦਾ ਹਾਂ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

ਤੀਜੀ R ("ਕਟੌਤੀ") ਦੇ ਰੂਪ ਵਿਚ, Cohen (1988) (ਕਿਤਾਬ) ਅਤੇ Cohen (1992) (ਲੇਖ) ਦੁਆਰਾ ਪ੍ਰੰਪਰਾਗਤ ਪਾਵਰ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਚੰਗੇ Cohen (1988) ਦਿੱਤੇ ਗਏ ਹਨ, ਜਦੋਂ ਕਿ Gelman and Carlin (2014) ਥੋੜ੍ਹਾ ਵੱਖਰੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਪੇਸ਼ ਕਰਦੇ ਹਨ ਪ੍ਰੀ-ਟ੍ਰੀਟਮੈਂਟ ਕੌਵਰੈਟਾਂ ਨੂੰ ਪ੍ਰਯੋਗਾਂ ਦੇ ਡਿਜ਼ਾਇਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਪੱਧਰਾਂ ਵਿਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ; Gerber and Green (2012) ਦੇ ਚੈਪਟਰ 4 Gerber and Green (2012) ਦੋਵੇਂ ਪਹੁੰਚਾਂ ਲਈ ਚੰਗੀ ਸ਼ੁਰੂਆਤ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਅਤੇ Casella (2008) ਵਧੇਰੇ ਡੂੰਘਾ ਇਲਾਜ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ. ਰਵਾਇਤੀ ਢੰਗ ਵਿੱਚ ਪੂਰਵ-ਇਲਾਜ ਦੀ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੀਆਂ ਤਕਨੀਕਾਂ ਨੂੰ ਖਾਸ ਤੌਰ 'ਤੇ ਅਵਰੋਧਿਤ ਪ੍ਰਯੋਗਾਤਮਕ ਡਿਜ਼ਾਈਨ ਜਾਂ ਤ੍ਰੈਸ਼ਟੀਰੀ ਤਜਰਬੇ ਦੇ ਡਿਜ਼ਾਈਨ ਕਿਹਾ ਜਾਂਦਾ ਹੈ (ਪਰਿਭਾਸ਼ਾਵਾਂ ਨੂੰ ਸਮੁਦਾਏ ਵਿੱਚ ਲਗਾਤਾਰ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ); ਇਹ ਤਕਨੀਕ ਅਧਿਆਇ 3 ਵਿਚ ਚਰਚਾ ਕੀਤੀਆਂ ਜਾਣ ਵਾਲੀਆਂ ਸਤਰਾਂ ਦੀਆਂ ਨਮੂਨੇ ਲੈਣ ਵਾਲੀਆਂ ਤਕਨੀਕਾਂ ਨਾਲ ਨੇੜਲੇ ਸੰਬੰਧ ਹਨ. ਵੱਡੇ ਪ੍ਰਯੋਗਾਂ ਵਿਚ ਇਨ੍ਹਾਂ ਡਿਜਾਈਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ Higgins, Sävje, and Sekhon (2016) ਦੇਖੋ. ਪ੍ਰੀ-ਟ੍ਰੀਟਮੈਂਟ ਕੌਵਰੈਟਾਂ ਨੂੰ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਪੱਧਰਾਂ ਵਿਚ ਵੀ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. McKenzie (2012) ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ ਦਾ ਹੋਰ ਵਿਸਥਾਰ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਫਰਕ-ਇਨ-ਫਰਕ ਪਹੁੰਚ ਦੀ ਵਿਆਖਿਆ ਕਰਦਾ ਹੈ. ਇਲਾਜ ਪ੍ਰਭਾਵਾਂ ਦੇ ਅੰਦਾਜ਼ੇ ਵਿਚ ਸਪੱਸ਼ਟਤਾ ਵਧਾਉਣ ਲਈ ਵੱਖੋ-ਵੱਖਰੇ ਤਰੀਕਿਆਂ ਵਿਚ ਵਪਾਰਕ ਬੰਦਾਂ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲਈ Carneiro, Lee, and Wilhelm (2016) ਦੇਖੋ. ਅਖੀਰ ਵਿੱਚ, ਇਹ ਫ਼ੈਸਲਾ ਕਰਦੇ ਸਮੇਂ ਕਿ ਕੀ ਡਿਜ਼ਾਇਨ ਜਾਂ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਪੜਾਅ (ਜਾਂ ਦੋਵੇਂ) ਵਿੱਚ ਪ੍ਰੀ-ਟ੍ਰੀਟਮੈਂਟ ਕੌਵਰੈਟੈਟੈਟਸ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨਾ ਹੈ, ਇਸਦੇ ਵਿਚਾਰ ਕਰਨ ਲਈ ਕੁਝ ਕਾਰਕ ਹਨ. ਅਜਿਹੇ ਮਾਹੌਲ ਵਿਚ ਜਿੱਥੇ ਖੋਜਕਰਤਾ ਇਹ ਦਿਖਾਉਣਾ ਚਾਹੁੰਦੇ ਹਨ ਕਿ ਉਹ "ਫੜਨ ਵਾਲੇ" (Humphreys, Sierra, and Windt 2013) , ਡਿਜ਼ਾਈਨ ਦੇ ਪੜਾਅ ਵਿਚ ਪ੍ਰੀ-ਟ੍ਰੀਟਮੈਂਟ ਕੌਵਰੈਟੈਟਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਮਦਦਗਾਰ ਹੋ ਸਕਦਾ ਹੈ (Higgins, Sävje, and Sekhon 2016) . ਅਜਿਹੀਆਂ ਸਥਿਤੀਆਂ ਵਿਚ ਜਿੱਥੇ ਸਹਿਭਾਗੀਆਂ ਦਾ ਤਰਤੀਬ ਅਨੁਸਾਰ ਪਹੁੰਚਦਾ ਹੈ, ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਔਨਲਾਈਨ ਫੀਲਡ ਪ੍ਰਯੋਗਾਂ, ਡਿਜ਼ਾਈਨ ਦੇ ਪੜਾਅ ਵਿਚ ਪ੍ਰੀ-ਟ੍ਰੀਟਮੈਂਟ ਜਾਣਕਾਰੀ ਦਾ ਇਸਤੇਮਾਲ ਕਰਨਾ ਲਾਜ਼ਮੀ ਹੋ ਸਕਦਾ ਹੈ; ਵੇਖੋ, ਉਦਾਹਰਣ ਵਜੋਂ, Xie and Aurisset (2016)

ਇਸ ਬਾਰੇ ਥੋੜ੍ਹਾ ਜਿਹਾ ਸੋਚਣਾ ਜਰੂਰੀ ਹੈ ਕਿ ਫਰਕ-ਇਨ-ਫਾਈਂਡ ਤੋਂ ਇਕ ਫਰਕ ਕੀ ਹੈ? ਕਈ ਔਨਲਾਈਨ ਨਤੀਜਿਆਂ ਦਾ ਬਹੁਤ ਉੱਚੇ ਵਿਗਾੜ ਹੁੰਦਾ ਹੈ (ਉਦਾਹਰਨ ਲਈ, RA Lewis and Rao (2015) ਅਤੇ Lamb et al. (2015) ) ਅਤੇ ਸਮੇਂ ਦੇ ਨਾਲ ਮੁਕਾਬਲਤਨ ਸਥਿਰ ਹਨ. ਇਸ ਮਾਮਲੇ ਵਿੱਚ, ਪਰਿਵਰਤਨ ਸਕੋਰ ਵਿੱਚ ਕਾਫੀ ਘੱਟ ਵਖਰੇਵਾਂ ਹੋਣਗੇ, ਅੰਕੜਾ ਟੈਸਟ ਦੀ ਸ਼ਕਤੀ ਵਧਾਉਣਾ. ਇਕੋ ਕਾਰਨ ਇਹ ਢੰਗ ਜ਼ਿਆਦਾ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ ਇਹ ਹੈ ਕਿ ਡਿਜੀਟਲ ਉਮਰ ਤੋਂ ਪਹਿਲਾਂ, ਪੂਰਵ-ਇਲਾਜ ਦੇ ਨਤੀਜਿਆਂ ਲਈ ਆਮ ਨਹੀਂ ਸੀ ਇਸ ਬਾਰੇ ਸੋਚਣ ਦਾ ਇਕ ਹੋਰ ਠੋਸ ਤਰੀਕਾ ਹੈ ਇਹ ਮਾਪਣ ਲਈ ਇਕ ਤਜਰਬੇ ਦੀ ਕਲਪਨਾ ਕਰਨਾ ਕਿ ਕੀ ਕੋਈ ਖਾਸ ਅਭਿਆਸ ਰੁਟੀਨ ਭਾਰ ਘਟਾਉਣ ਦਾ ਕਾਰਨ ਬਣਦਾ ਹੈ. ਜੇ ਤੁਸੀਂ ਫਰਕ-ਇਨ-ਫਾੱਰ ਪਹੁੰਚ ਅਪਣਾਉਂਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡੇ ਅੰਦਾਜ਼ ਦੀ ਆਬਾਦੀ ਵਿਚਲੇ ਵਸਤੂਆਂ ਦੀ ਪਰਿਵਰਤਨ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀ ਤਬਦੀਲੀ ਦੀ ਸੰਭਾਵਨਾ ਹੋਵੇਗੀ. ਜੇ ਤੁਸੀਂ ਫਰਕ-ਇਨ-ਫਰਕ ਵਾਲਾ ਨਜ਼ਰੀਆ ਬਣਾਉਂਦੇ ਹੋ, ਪਰ, ਵਸਤੂ ਵਿੱਚ ਕੁਦਰਤੀ ਤੌਰ ਤੇ ਹੋਣ ਵਾਲੇ ਵਖਰੇਵੇਂ ਨੂੰ ਹਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਇਲਾਜ ਦੇ ਕਾਰਨ ਇੱਕ ਅੰਤਰ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਖੋਜ ਸਕਦੇ ਹੋ.

ਅੰਤ ਵਿੱਚ, ਮੈਂ ਇੱਕ ਚੌਥਾ R ਜੋੜਨਾ ਮੰਨਿਆ: "repurpose". ਅਰਥਾਤ, ਜੇ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਆਪਣੇ ਅਸਲ ਖੋਜ ਸਵਾਲ ਨੂੰ ਸੰਬੋਧਿਤ ਕਰਨ ਦੀ ਬਜਾਏ ਵਧੇਰੇ ਪ੍ਰਯੋਗਾਤਮਕ ਡਾਟੇ ਨਾਲ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਨਵੇਂ ਪ੍ਰਸ਼ਨਾਂ ਨੂੰ ਪੁਛਣ ਲਈ ਡੈਟੇ ਦੀ ਮੁਰੰਮਤ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਕਲਪਨਾ ਕਰੋ ਕਿ ਕ੍ਰਾਮਰ ਅਤੇ ਉਸਦੇ ਸਾਥੀਆਂ ਨੇ ਇੱਕ ਅੰਤਰ-ਇਨ-ਫਰਕ ਦੇ ਅੰਦਾਜ਼ਾ ਲਗਾਏ ਹਨ ਅਤੇ ਆਪਣੇ ਖੋਜ ਸਵਾਲ ਨੂੰ ਸੰਬੋਧਿਤ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਹੈ. ਡਾਟਾ ਨੂੰ ਪੂਰੀ ਹੱਦ ਤਕ ਨਾ ਵਰਤਣ ਦੀ ਬਜਾਏ, ਉਹ ਪ੍ਰਭਾਵਾਂ ਦੇ ਆਕਾਰ ਦਾ ਪ੍ਰੀ-ਇਲਾਜ ਭਾਵਨਾਤਮਕ ਪ੍ਰਗਟਾਵੇ ਦੇ ਇੱਕ ਫੰਕਸ਼ਨ ਦੇ ਤੌਰ ਤੇ ਅਧਿਐਨ ਕਰ ਸਕਦੇ ਸਨ. ਜਿਵੇਂ Schultz et al. (2007) ਨੇ ਪਾਇਆ ਕਿ ਇਲਾਜ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਰੌਸ਼ਨੀ ਅਤੇ ਭਾਰੀ ਯੂਜਰਾਂ ਲਈ ਵੱਖਰਾ ਸੀ, ਸ਼ਾਇਦ ਨਿਊਜ਼ ਫੀਡ ਦੇ ਪ੍ਰਭਾਵਾਂ ਉਹਨਾਂ ਲੋਕਾਂ ਲਈ ਵੱਖਰੇ ਸਨ ਜੋ ਖੁਸ਼ਖਬਰੀ (ਜਾਂ ਉਦਾਸ) ਸੰਦੇਸ਼ ਪੋਸਟ ਕਰਨ ਦੀ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਕੋਸ਼ਿਸ਼ਾਂ ਕਰਦੇ ਸਨ. ਫੜਨਾ " (Humphreys, Sierra, and Windt 2013) " ਅਤੇ "ਪੀ-ਹੈਕਿੰਗ" (Simmons, Nelson, and Simonsohn 2011) , ਪਰ ਇਮਾਨਦਾਰ ਰਿਪੋਰਟਿੰਗ (Simmons, Nelson, and Simonsohn 2011) ਦੇ ਸੰਯੋਗ ਨਾਲ ਇਹ ਮੁੱਖ ਤੌਰ ਤੇ ਸੰਬੋਧਿਤ ਹੋ (Simmons, Nelson, and Simonsohn 2011) , ਪੂਰਵ-ਰਜਿਸਟਰੇਸ਼ਨ (Humphreys, Sierra, and Windt 2013) , ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਤਰੀਕੇ ਜੋ ਓਵਰ ਫਿਟਿੰਗ ਤੋਂ ਬਚਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ.