4.4.1 ਪ੍ਰਮਾਣਕਤਾ

ਪ੍ਰਮਾਣਕਤਾ ਕਿੰਨਾ ਕੁ ਇੱਕ ਤਜਰਬੇ ਦੇ ਨਤੀਜੇ ਦਾ ਇੱਕ ਹੋਰ ਆਮ ਸਿੱਟੇ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ.

ਕੋਈ ਤਜਰਬੇ ਸੰਪੂਰਣ ਹੈ, ਅਤੇ ਖੋਜਕਾਰ ਸੰਭਵ ਸਮੱਸਿਆ ਦਾ ਵਰਣਨ ਕਰਨ ਲਈ ਇੱਕ ਵਿਆਪਕ ਸ਼ਬਦਾਵਲੀ ਵਿਕਸਤ ਕੀਤਾ ਹੈ. ਪ੍ਰਮਾਣਕਤਾ ਹੱਦ ਇੱਕ ਖਾਸ ਤਜਰਬੇ ਦੇ ਨਤੀਜੇ ਕੁਝ ਹੋਰ ਦੇ ਜਨਰਲ ਸਿੱਟੇ ਦਾ ਸਮਰਥਨ ਹੈ, ਜੋ ਕਿ ਕਰਨ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ. ਸੋਸ਼ਲ ਵਿਗਿਆਨੀ ਇਸ ਨੂੰ ਚਾਰ ਮੁੱਖ ਕਿਸਮ ਵਿੱਚ ਵੈਧਤਾ ਵੰਡ ਕਰਨ ਲਈ ਮਦਦਗਾਰ ਪਾਇਆ ਹੈ: ਅੰਕੜਾ ਸਿੱਟੇ ਵੈਧਤਾ, ਅੰਦਰੂਨੀ ਵੈਧਤਾ, ਵੈਧਤਾ ਦੀ ਉਸਾਰੀ, ਅਤੇ ਬਾਹਰੀ ਵੈਧਤਾ (Shadish, Cook, and Campbell 2001, Ch 2) . ਇਹ ਸੰਕਲਪ ਨੂੰ ਨਵਿਆਉਣਾ ਤੁਹਾਨੂੰ critiquing ਅਤੇ ਡਿਜ਼ਾਇਨ ਅਤੇ ਇੱਕ ਤਜਰਬੇ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਸੁਧਾਰਨ ਲਈ ਇੱਕ ਮਾਨਸਿਕ ਲਿਸਟ ਮੁਹੱਈਆ ਕਰੇਗਾ, ਅਤੇ ਇਹ ਤੁਹਾਨੂੰ ਹੋਰ ਖੋਜਕਾਰ ਨਾਲ ਸੰਪਰਕ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ.

ਅੰਕੜਾ ਸਿੱਟਾ ਵੈਧਤਾ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਤਜਰਬੇ ਦੇ ਅੰਕੜਾ ਵਿਸ਼ਲੇਸ਼ਣ ਠੀਕ ਕੀਤਾ ਗਿਆ ਸੀ ਕਿ ਕੀ ਦੱਸਿਆ. ਦੇ ਸੰਦਰਭ ਵਿਚ Schultz et al. (2007) ਅਜਿਹੇ ਸਵਾਲ ਦਾ ਹੈ ਕਿ ਕੀ ਉਹ ਆਪਣੀ ਪੀ-ਮੁੱਲ ਠੀਕ ਗਣਨਾ 'ਤੇ ਦਿਖਾਈਏ ਸਕਦਾ ਹੈ. ਅੰਕੜਾ ਵਿਸ਼ਲੇਸ਼ਣ ਇਸ ਪੁਸਤਕ ਦੇ ਸਕੋਪ ਪਰੇ ਹੈ, ਪਰ ਮੈਨੂੰ ਕਹਿ ਸਕਦਾ ਹੈ, ਜੋ ਕਿ ਅੰਕੜਾ ਅਸੂਲ ਤਿਆਰ ਹੈ ਅਤੇ ਪ੍ਰਯੋਗ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਡਿਜ਼ੀਟਲ ਦੀ ਉਮਰ ਵਿਚ ਨਾ ਤਬਦੀਲ ਹੋ ਗਿਆ ਹੈ. ਪਰ, ਡਿਜ਼ੀਟਲ ਪ੍ਰਯੋਗ ਵਿਚ ਵੱਖ-ਵੱਖ ਡਾਟਾ ਵਾਤਾਵਰਣ ਨੂੰ ਨਵ ਅੰਕੜਾ ਮੌਕੇ ਪੈਦਾ ਕਰਦਾ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਮਸ਼ੀਨ ਨੂੰ ਸਿੱਖਣ ਢੰਗ ਵਰਤ ਇਲਾਜ ਪ੍ਰਭਾਵ ਦੇ ਸੰਸਿਤੀ ਅੰਦਾਜ਼ਾ ਕਰਨ ਲਈ (Imai and Ratkovic 2013) ) ਅਤੇ ਨਵ ਕੰਪਿਊਟੇਸ਼ਨਲ ਚੁਣੌਤੀ (ਉਦਾਹਰਨ ਲਈ, ਵੱਡੇ ਪ੍ਰਯੋਗ ਵਿਚ ਰੋਕ (Higgins, Sävje, and Sekhon 2016) ).

ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਤਜਰਬੇ ਦੇ ਤਰੀਕੇ ਨੂੰ ਠੀਕ ਕੀਤਾ ਗਿਆ ਸੀ ਕਿ ਕੀ ਦੱਸਿਆ. ਦੇ ਤਜਰਬੇ ਨੂੰ ਰਿਟਰਨਿੰਗ Schultz et al. (2007) , ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਬਾਰੇ ਸਵਾਲ, ਨਤੀਜੇ ਦੇ ਇਲਾਜ ਦੀ ਡਿਲਿਵਰੀ, ਹੈ ਅਤੇ ਮਾਪ randomization ਦੇ ਆਲੇ-ਦੁਆਲੇ, center ਸਕਦਾ ਹੈ. ਮਿਸਾਲ ਲਈ, ਤੁਹਾਨੂੰ ਚਿੰਤਾ ਹੈ ਕਿ ਖੋਜ ਸਹਾਇਕ ਬਿਜਲੀ ਮੀਟਰ ਭਰੋਸੇਯੋਗ ਨੂੰ ਪੜ੍ਹ ਨਾ ਕੀਤਾ ਹੋ ਸਕਦਾ ਹੈ. ਅਸਲ ਵਿਚ, Schultz ਅਤੇ ਸਾਥੀ ਇਸ ਸਮੱਸਿਆ ਬਾਰੇ ਚਿੰਤਤ ਸਨ ਅਤੇ ਉਹ ਦੋ ਵਾਰ ਪੜ੍ਹਨ ਦੀ ਮੀਟਰ ਦਾ ਇੱਕ ਨਮੂਨਾ ਸੀ; ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਨਤੀਜੇ ਜਰੂਰੀ ਇੱਕੋ ਸਨ. ਆਮ ਤੌਰ ਤੇ, Schultz ਅਤੇ ਸਾਥੀ 'ਤਜਰਬੇ ਉੱਚ ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਹੈ ਨੂੰ ਦਿਸਦਾ ਹੈ, ਪਰ ਇਸ ਨੂੰ ਹਮੇਸ਼ਾ ਕੇਸ ਨਹੀ ਹੈ; ਗੁੰਝਲਦਾਰ ਖੇਤਰ ਅਤੇ ਆਨਲਾਈਨ ਪ੍ਰਯੋਗ ਅਕਸਰ ਅਸਲ ਵਿੱਚ ਸਹੀ ਹੈ ਕਿ ਲੋਕ ਨੂੰ ਸਹੀ ਇਲਾਜ ਨੂੰ ਪੇਸ਼ ਕਰਨ ਅਤੇ ਹਰ ਕਿਸੇ ਲਈ ਨਤੀਜੇ ਨੂੰ ਮਾਪਣ ਸਮੱਸਿਆ ਵਿੱਚ ਚਲਾਉਣ. ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਡਿਜ਼ੀਟਲ ਦੀ ਉਮਰ ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਬਾਰੇ ਚਿੰਤਾ ਨੂੰ ਘਟਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ, ਕਿਉਕਿ ਇਸ ਨੂੰ ਇਸ ਨੂੰ ਸੌਖਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਹੈ, ਜੋ ਕਿ ਇਲਾਜ ਦੇ ਤੌਰ ਤੇ ਜਿਹੜੇ ਲੋਕ ਇਸ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਅਤੇ ਸਾਰੇ ਭਾਗ ਲੈਣ ਦੇ ਲਈ ਨਤੀਜੇ ਨੂੰ ਮਾਪਣ ਲਈ ਚਾਹੀਦਾ ਹੈ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਦੇ ਹਵਾਲੇ ਕਰ ਦਿੱਤਾ ਬਣਾ ਦਿੰਦਾ ਹੈ.

ਡਾਟਾ ਅਤੇ ਲਿਖਤੀ ਉਸਾਰਨ ਦੇ ਵਿਚਕਾਰ ਮੈਚ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਵੈਧਤਾ ਕਦਰ ਬਣਾਉ. ਹੋਣ ਦੇ ਨਾਤੇ ਅਧਿਆਇ 2 ਵਿਚ ਚਰਚਾ, ਉਸਾਰਨ ਵੱਖਰਾ ਸੰਕਲਪ ਹੈ, ਜੋ ਕਿ ਸਮਾਜਿਕ ਵਿਗਿਆਨੀ ਬਾਰੇ ਦਾ ਕਾਰਨ ਹੁੰਦੇ ਹਨ. ਬਦਕਿਸਮਤੀ ਨਾਲ, ਇਹ ਵੱਖਰਾ ਸੰਕਲਪ ਹਮੇਸ਼ਾ ਸਾਫ ਪਰਿਭਾਸ਼ਾ ਅਤੇ ਮਾਪ ਦੀ ਲੋੜ ਨਹ ਹੈ. ਨੂੰ ਰਿਟਰਨਿੰਗ Schultz et al. (2007) , ਦਾ ਦਾਅਵਾ ਹੈ ਕਿ ਸਮਾਜਿਕ ਨਿਯਮ ਬਿਜਲੀ ਵਰਤਣ ਨੂੰ ਘੱਟ ਕਰ ਸਕਦਾ ਹੈ injunctive ਇਲਾਜ ਹੈ, ਜੋ ਕਿ ਕਾਰਵਾਈ ਨੂੰ "injunctive ਸਮਾਜਿਕ ਨਿਯਮ" (ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਖੁਸ਼) ਅਤੇ "ਬਿਜਲੀ ਵਰਤਣ 'ਨੂੰ ਮਾਪਣ ਲਈ ਤਿਆਰ ਕਰਨ ਲਈ ਖੋਜਕਾਰ ਦੀ ਲੋੜ ਹੈ. ਐਨਾਲਾਗ ਪ੍ਰਯੋਗ ਵਿੱਚ, ਬਹੁਤ ਸਾਰੇ ਖੋਜਕਾਰ ਆਪਣੇ ਹੀ ਇਲਾਜ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਆਪਣੇ ਹੀ ਨਤੀਜੇ ਮਾਪਿਆ. ਇਹ ਪਹੁੰਚ ਹੈ, ਜੋ ਕਿ, ਸੰਭਵ ਤੌਰ 'ਤੇ ਬਹੁਤ ਕੁਝ ਦੇ ਤੌਰ ਤੇ, ਤਜ਼ਰਬੇ ਨਾਲ ਮੇਲ ਵੱਖਰਾ ਉਸਾਰਨ ਦਾ ਅਧਿਐਨ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਇਹ ਯਕੀਨੀ. ਡਿਜ਼ੀਟਲ ਪ੍ਰਯੋਗ ਹੈ, ਜਿੱਥੇ ਕੰਪਨੀ ਜ ਸਰਕਾਰ ਦੇ ਨਾਲ ਖੋਜਕਾਰ ਸਾਥੀ ਇਲਾਜ ਦੇ ਹਵਾਲੇ ਹੈ ਅਤੇ ਨਤੀਜੇ ਨੂੰ ਮਾਪਣ ਲਈ ਹਮੇਸ਼ਾ-'ਤੇ ਵਰਤਣ ਡਾਟਾ ਸਿਸਟਮ ਲਈ, ਤਜਰਬੇ ਅਤੇ ਲਿਖਤੀ ਉਸਾਰਨ ਦੇ ਵਿਚਕਾਰ ਮੈਚ ਘੱਟ ਤੰਗ ਹੋ ਸਕਦਾ ਹੈ. ਇਸ ਲਈ, ਮੈਨੂੰ ਉਮੀਦ ਹੈ, ਜੋ ਕਿ ਬਣਤਰ ਵੈਧਤਾ ਐਨਾਲਾਗ ਪ੍ਰਯੋਗ ਵੱਧ ਡਿਜ਼ੀਟਲ ਪ੍ਰਯੋਗ ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਚਿੰਤਾ ਦਾ ਹੋ ਕਰਨ ਲਈ ਹੁੰਦੇ ਹਨ ਜਾਵੇਗਾ.

ਅੰਤ ਵਿੱਚ, ਬਾਹਰੀ ਵੈਧਤਾ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਇਸ ਨੂੰ ਪ੍ਰਯੋਗ ਦੇ ਨਤੀਜੇ ਹੋਰ ਹਾਲਾਤ ਨੂੰ ਬਣਾਉਣ ਜਾਵੇਗਾ ਕਿ ਕੀ ਦੱਸਿਆ. ਨੂੰ ਰਿਟਰਨਿੰਗ Schultz et al. (2007) , ਇੱਕ, ਪੁੱਛ ਸਕਦੇ ਕਰੇਗਾ ਆਪਣੇ ਹਾਣੀ ਨੂੰ ਰਿਸ਼ਤੇ ਵਿਚ ਆਪਣੇ ਊਰਜਾ ਦੀ ਵਰਤੋ ਅਤੇ injunctive ਨਿਯਮ (ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਖੁਸ਼) -reduce ਊਰਜਾ ਦੀ ਵਰਤੋ ਜੇ ਇਸ ਵਿੱਚ ਇੱਕ ਵੱਖਰੇ ਤਰੀਕੇ ਨਾਲ ਕੀਤਾ ਗਿਆ ਸੀ ਦੇ ਇੱਕ ਸੰਕੇਤ ਦੇ ਬਾਰੇ ਇਸ ਨੂੰ ਵੀ ਉਸੇ ਵਿਚਾਰ ਨੂੰ-ਪ੍ਰਦਾਨ ਦੇ ਲੋਕ ਜਾਣਕਾਰੀ ਇੱਕ ਵੱਖਰੇ ਸੈਟਿੰਗ? ਸਭ ਦੇ ਨਾਲ ਨਾਲ-ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਨਾਲ ਨਾਲ-ਚਲਾਉਣ ਪ੍ਰਯੋਗ ਲਈ, ਬਾਹਰੀ ਵੈਧਤਾ ਬਾਰੇ ਚਿੰਤਾ ਕਠਿਨ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਹੁੰਦੇ ਹਨ. ਅਤੀਤ ਵਿੱਚ, ਬਾਹਰੀ ਵੈਧਤਾ ਬਾਰੇ ਇਹ ਬਹਿਸ ਅਕਸਰ ਹੁਣੇ ਹੀ ਇੱਕ ਕਮਰੇ ਵਿੱਚ ਬੈਠੇ ਕਲਪਨਾ ਕਰਨ, ਜੇ ਕਾਰਵਾਈ ਨੂੰ ਇੱਕ ਵੱਖਰੇ ਤਰੀਕੇ ਨਾਲ ਕੀਤਾ ਗਿਆ ਸੀ, ਜ ਇੱਕ ਵੱਖਰਾ ਸਥਾਨ ਵਿੱਚ ਹੈ, ਜ ਵੱਖ-ਵੱਖ ਲੋਕ ਦੇ ਨਾਲ ਕੀ ਹੋਇਆ ਹੈ ਸੀ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਲੋਕ ਦੇ ਝੁੰਡ ਸਨ. ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਡਿਜ਼ੀਟਲ ਦੀ ਉਮਰ ਨੂੰ ਇਹ ਡਾਟਾ-ਮੁਕਤ ਅੰਦਾਜ਼ੇ ਦੇ ਪਾਰ ਜਾਣ ਦਾ ਹੈ ਅਤੇ empirically ਬਾਹਰੀ ਵੈਧਤਾ ਦਾ ਜਾਇਜ਼ਾ ਲੈਣ ਲਈ ਖੋਜਕਾਰ ਯੋਗ ਕਰਦਾ ਹੈ.

ਨਤੀਜੇ ਕਰਕੇ Schultz et al. (2007) ਇਸ ਲਈ ਦਿਲਚਸਪ ਸੀ, Opower ਨਾਮ ਦਾ ਇੱਕ ਕੰਪਨੀ ਨੂੰ ਹੋਰ ਵਿਆਪਕ ਇਲਾਜ ਸ਼ਾਮਿਲ ਕਰਨ ਲਈ ਸੰਯੁਕਤ ਰਾਜ ਅਮਰੀਕਾ ਵਿੱਚ ਸਹੂਲਤ ਨਾਲ partnered. ਦੇ ਡਿਜ਼ਾਇਨ ਦੇ ਆਧਾਰ 'ਤੇ Schultz et al. (2007) , Opower ਪਸੰਦੀ ਬਣਾਇਆ ਮੁੱਖ ਊਰਜਾ ਰਿਪੋਰਟ ਹੈ, ਜੋ ਕਿ ਦੋ ਮੁੱਖ ਮੈਡਿਊਲ, ਇੱਕ ਦਿਖਾ ਇੱਕ ਖੁਸ਼ ਦੇ ਨਾਲ ਇਸ ਦੇ ਗੁਆਢੀਆ ਨੂੰ ਇੱਕ ਪਰਿਵਾਰ ਨੂੰ ਦੇ ਬਿਜਲੀ ਦੀ ਵਰਤੋ ਰਿਸ਼ਤੇਦਾਰ ਹੈ ਅਤੇ ਇੱਕ ਊਰਜਾ ਦੀ ਵਰਤੋ ਨੂੰ ਘਟਾਉਣ ਲਈ ਸੁਝਾਅ ਦੇਣ ਦੇ ਸੀ (ਚਿੱਤਰ 4.6). ਤਦ, ਖੋਜਕਾਰ ਨਾਲ ਭਾਈਵਾਲੀ ਵਿੱਚ, Opower ਕੰਟਰੋਲ ਪ੍ਰਯੋਗ ਬੇਤਰਤੀਬੀ ਨੱਠਾ ਮੁੱਖ ਊਰਜਾ ਰਿਪੋਰਟ ਦੇ ਅਸਰ ਦਾ ਜਾਇਜ਼ਾ ਲੈਣ ਲਈ. ਪਰ ਇਹ ਪ੍ਰਯੋਗ ਵਿਚ ਇਲਾਜ ਆਮ ਤੌਰ 'ਤੇ ਪੁਰਾਣੇ ਜ਼ਮਾਨੇ ਮੱਠੀ ਦੁਆਰਾ ਸਥੂਲ ਰੂਪ-ਆਮ ਤੌਰ' ਤੇ ਦੇ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਮੇਲ-ਨਤੀਜਾ ਭੌਤਿਕ ਸੰਸਾਰ ਵਿੱਚ ਡਿਜ਼ੀਟਲ ਜੰਤਰ (ਉਦਾਹਰਨ ਲਈ, ਬਿਜਲੀ ਮੀਟਰ) ਵਰਤ ਮਾਪੀ ਗਈ ਸੀ. ਇਸ ਦੀ ਬਜਾਇ ਇਸ ਨੂੰ ਦਸਤੀ ਹਰ ਘਰ ਦਾ ਦੌਰਾ ਖੋਜ ਸਹਾਇਕ ਦੇ ਨਾਲ ਇਸ ਜਾਣਕਾਰੀ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਦੀ ਬਜਾਇ, Opower ਪ੍ਰਯੋਗ ਸ਼ਕਤੀ ਰੀਡਿੰਗ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ ਖੋਜਕਾਰ ਯੋਗ ਬਿਜਲੀ ਦੀ ਕੰਪਨੀ ਨਾਲ ਭਾਈਵਾਲੀ ਵਿੱਚ ਕੀਤਾ ਗਿਆ ਸੀ. ਇਸ ਲਈ, ਇਹ ਅਧੂਰਾ ਡਿਜ਼ੀਟਲ ਖੇਤਰ ਪ੍ਰਯੋਗ ਘੱਟ ਮੁੱਲ ਨੂੰ ਕੀਮਤ 'ਤੇ ਇੱਕ ਵੱਡੇ ਪੈਮਾਨੇ' ਤੇ ਚਲਾਉਣ ਰਹੇ ਸਨ.

ਚਿੱਤਰ 4.6: ਵਿਚ ਮੁੱਖ ਊਰਜਾ ਰਿਪੋਰਟ Allcott (2011) ਸੋਸ਼ਲ ਤੁਲਨਾ ਮੋਡੀਊਲ ਅਤੇ ਇੱਕ ਕਾਰਵਾਈ ਪਗ਼ ਮੋਡੀਊਲ ਸੀ.

600,000 ਘਰ ਦੇ ਆਲੇ-ਦੁਆਲੇ, ਸੰਯੁਕਤ ਰਾਜ ਅਮਰੀਕਾ 10 ਸਹੂਲਤ ਕੰਪਨੀ ਨੇ ਸੇਵਾ ਕੀਤੀ ਸ਼ਾਮਲ ਪ੍ਰਯੋਗ ਦੇ ਪਹਿਲੇ ਸੈੱਟ ਵਿਚ, Allcott (2011) ਨੂੰ ਮਿਲਿਆ ਮੁੱਖ ਊਰਜਾ ਦੀ ਰਿਪੋਰਟ 1.7% ਦੇ ਕੇ ਬਿਜਲੀ ਖਪਤ ਘਟਾ. ਨੂੰ ਹੋਰ ਸ਼ਬਦ ਵਿੱਚ, ਬਹੁਤ ਵੱਡੇ, ਹੋਰ ਭੂਗੋਲਿਕ ਵੰਨ ਅਧਿਐਨ ਦੇ ਨਤੀਜੇ ਗੁਣਾਤਮਕ ਤੱਕ ਨਤੀਜੇ ਨੂੰ ਵੀ ਇਸੇ ਸਨ Schultz et al. (2007) . ਪਰ, ਪ੍ਰਭਾਵ ਦਾ ਆਕਾਰ ਛੋਟਾ ਸੀ: ਵਿਚ Schultz et al. (2007) ਜਾਣਕਾਰੀ ਅਤੇ injective ਨਿਯਮ ਹਾਲਤ (ਖੁਸ਼ ਨਾਲ ਇੱਕ) ਵਿੱਚ ਪਰਿਵਾਰ 5% ਕੇ ਆਪਣੇ ਬਿਜਲੀ ਦੀ ਵਰਤੋ ਘਟਾ. ਇਸ ਫਰਕ ਲਈ ਸਹੀ ਕਾਰਨ ਕਰਕੇ ਇਸ ਨੂੰ ਅਣਪਛਾਤਾ ਹੀ ਹੈ, ਪਰ Allcott (2011) speculated ਹੈ, ਜੋ ਕਿ ਇਕ ਯੂਨੀਵਰਸਿਟੀ ਦੀ ਸਰਪ੍ਰਸਤੀ ਇੱਕ ਅਧਿਐਨ ਦੇ ਹਿੱਸੇ ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕ ਲਿਖਤ ਖੁਸ਼ ਪ੍ਰਾਪਤ, ਇੱਕ ਇੱਕ ਪੁੰਜ ਪੈਦਾ ਦੀ ਰਿਪੋਰਟ ਦੇ ਤੌਰ ਤੇ ਇੱਕ ਛਾਪੇ ਖੁਸ਼ ਪ੍ਰਾਪਤ ਵੱਧ ਵਿਵਹਾਰ ਨੂੰ 'ਤੇ ਇੱਕ ਵੱਡੇ ਅਸਰ ਪੈ ਸਕਦਾ ਹੈ ਬਿਜਲੀ ਦੀ ਕੰਪਨੀ.

ਅੱਗੇ, ਇਸ ਉਪਰੰਤ ਖੋਜ ਵਿੱਚ, Allcott (2015) ਇਕ ਹੋਰ 101 ਵਾਧੂ 8 ਲੱਖ ਪਰਿਵਾਰ ਨੂੰ ਸ਼ਾਮਲ ਪ੍ਰਯੋਗ 'ਤੇ ਰਿਪੋਰਟ. ਇਹ ਅਗਲੇ 101 ਪ੍ਰਯੋਗ ਵਿੱਚ ਘਰ ਦੇ ਊਰਜਾ ਦੀ ਰਿਪੋਰਟ ਲੋਕ ਆਪਣੇ ਬਿਜਲੀ ਦੀ ਖਪਤ ਨੂੰ ਘੱਟ ਕਰਨ ਲਈ ਕਾਰਨ ਬਣ ਕਰਨ ਲਈ ਜਾਰੀ ਹੈ, ਪਰ ਪ੍ਰਭਾਵ ਵੀ ਛੋਟੇ ਸਨ. ਇਸ ਗਿਰਾਵਟ ਦੇ ਲਈ ਸਹੀ ਕਾਰਨ ਜਾਣਿਆ ਨਹੀ ਹੈ, ਪਰ Allcott (2015) speculated ਹੈ, ਜੋ ਕਿ ਰਿਪੋਰਟ ਦੇ ਪ੍ਰਭਾਵ ਵਾਰ ਵੱਧ ਘੱਟ ਹੋਣ ਲਈ ਹੈ, ਕਿਉਕਿ ਇਸ ਨੂੰ ਅਸਲ ਵਿੱਚ ਹਿੱਸਾ ਲੈਣ ਦੇ ਵੱਖ ਵੱਖ ਕਿਸਮ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਨੂੰ ਦਿਖਾਈ ਦਿੱਤੇ. ਹੋਰ ਖਾਸ, ਹੋਰ ਵਾਤਾਵਰਣ ਦੇ ਖੇਤਰ ਵਿਚ ਸਹੂਲਤ ਹੋਰ ਸੰਭਾਵਨਾ ਸਨ ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਪਿਛਲੇ ਅਪਣਾਉਣ ਅਤੇ ਆਪਣੇ ਗਾਹਕ ਦੇ ਇਲਾਜ ਲਈ ਹੋਰ ਜਵਾਬਦੇਹ ਸੀ. ਹੋਣ ਦੇ ਨਾਤੇ ਘੱਟ ਵਾਤਾਵਰਣ ਗਾਹਕ ਨਾਲ ਸਹੂਲਤ ਪਰੋਗਰਾਮ ਨੂੰ ਅਪਣਾਇਆ ਹੈ, ਇਸ ਦੇ ਪ੍ਰਭਾਵ ਇਨਕਾਰ ਕਰਨ ਦਿਖਾਈ ਦਿੱਤੇ. ਇਸ ਲਈ, ਹੁਣੇ ਹੀ ਦੇ ਤੌਰ ਤੇ ਪ੍ਰਯੋਗ ਵਿਚ randomization ਯਕੀਨੀ ਹੈ, ਜੋ ਕਿ ਇਲਾਜ ਅਤੇ ਕੰਟਰੋਲ ਗਰੁੱਪ ਸਮਾਨ ਹਨ, ਖੋਜ ਸਾਈਟ ਦੇ randomization ਯਕੀਨੀ ਹੈ, ਜੋ ਕਿ ਅਨੁਮਾਨ ਹਿੱਸਾ ਲੈਣ ਦੇ ਇੱਕ ਇੱਕ ਸਮੂਹ ਨੂੰ ਇੱਕ ਹੋਰ ਆਮ ਆਬਾਦੀ ਨੂੰ ਆਮ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ (ਨੂੰ ਵਾਪਸ ਨਮੂਨਾ ਬਾਰੇ ਅਧਿਆਇ 3 ਸੋਚਦੇ). ਖੋਜ ਸਾਈਟ ਲਗਾਤਾਰ ਨਮੂਨੇ ਨਹੀ ਕਰ ਰਹੇ ਹਨ, ਜੇ, ਫਿਰ generalization-ਵੀ ਇੱਕ ਬਿਲਕੁਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਕਰਵਾਏ ਤਜਰਬੇ-ਕਰ ਸਕਦਾ ਹੈ ਸਮੱਸਿਆ ਹੋ.

ਮਿਲ ਕੇ, ਇਹ 111 ਪ੍ਰਯੋਗ-10 'ਚ Allcott (2011) ਅਤੇ 101 Allcott (2015) ਸਾਰੇ ਸੰਯੁਕਤ ਰਾਜ ਭਰ ਦੇ ਬਾਰੇ 8.5 ਮਿਲੀਅਨ ਪਰਿਵਾਰ -involved. ਉਹ ਲਗਾਤਾਰ ਲੱਗਦਾ ਹੈ ਕਿ ਮੁੱਖ ਊਰਜਾ ਰਿਪੋਰਟ ਔਸਤ ਬਿਜਲੀ ਦੀ ਖਪਤ, ਇਸ ਦੇ ਨਤੀਜੇ ਦੇ ਹੈ, ਜੋ ਕਿ ਕੈਲੀਫੋਰਨੀਆ ਵਿਚ 300 ਘਰ ਤੱਕ Schultz ਦੀ ਅਸਲੀ ਖੁਲਾਸੇ ਅਤੇ ਸਾਥੀ ਨੂੰ ਸਹਿਯੋਗ ਨੂੰ ਘੱਟ. ਹੁਣੇ ਹੀ ਇਹ ਅਸਲੀ ਨਤੀਜੇ ਲਾਗੂ ਪਰੇ, ਦੀ ਪਾਲਣਾ-ਅੱਪ ਪ੍ਰਯੋਗ ਨੂੰ ਵੀ ਲੱਗਦਾ ਹੈ ਕਿ ਪ੍ਰਭਾਵ ਦੇ ਆਕਾਰ ਦੀ ਸਥਿਤੀ ਨਾਲ ਹੁੰਦੀ ਹੈ. ਪ੍ਰਯੋਗ ਦੀ ਇਹ ਸੈੱਟ ਨੂੰ ਵੀ ਅਧੂਰਾ ਡਿਜ਼ੀਟਲ ਖੇਤਰ ਪ੍ਰਯੋਗ ਬਾਰੇ ਦੋ ਹੋਰ ਨੂੰ ਆਮ ਅੰਕ ਲੱਗਦਾ ਹੈ. ਪਹਿਲੀ, ਖੋਜਕਾਰ ਬਾਹਰੀ ਵੈਧਤਾ ਬਾਰੇ ਦਾ ਪਤਾ ਚਿੰਤਾ empirically ਜਦ ਪ੍ਰਯੋਗ ਚੱਲ ਦੀ ਲਾਗਤ ਘੱਟ ਹੈ ਦੇ ਯੋਗ ਹੋ ਜਾਵੇਗਾ, ਅਤੇ ਇਸ ਵਾਪਰ ਸਕਦਾ ਹੈ, ਜੇਕਰ ਨਤੀਜਾ ਹੀ ਇੱਕ ਡਾਟਾ ਹਮੇਸ਼ਾ-'ਤੇ ਸਿਸਟਮ ਦੁਆਰਾ ਮਾਪਿਆ ਜਾ ਰਿਹਾ ਹੈ. ਇਸ ਲਈ, ਇਸ ਸੁਝਾਅ ਹੈ ਕਿ ਖੋਜ ਨੂੰ ਹੋਰ ਦਿਲਚਸਪ ਹੈ ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਵਰਤਾਓ ਹੈ, ਜੋ ਕਿ ਹੀ ਦਰਜ ਕੀਤੇ ਜਾ ਰਹੇ ਹਨ ਦੇ ਲਈ ਨਜ਼ਰ-ਆਊਟ 'ਤੇ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਇਸ ਨੂੰ ਮੌਜੂਦਾ ਮਾਪਣ ਬੁਨਿਆਦੀ ਦੇ ਸਿਖਰ' ਤੇ ਪ੍ਰਯੋਗ ਤਿਆਰ. ਦੂਜਾ, ਤਜ਼ਰਬੇ ਦੇ ਇਸ ਸਮੂਹ ਨੂੰ ਸਾਨੂੰ ਯਾਦ ਹੈ ਕਿ ਡਿਜ਼ੀਟਲ ਖੇਤਰ ਪ੍ਰਯੋਗ ਹੁਣੇ ਹੀ ਆਨਲਾਈਨ ਨਹੀ ਹਨ; ਵਧਦੀ ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਉਹ ਬਣਾਇਆ ਵਾਤਾਵਰਣ ਵਿੱਚ ਸੂਚਕ ਕੇ ਮਾਪਿਆ ਦੇ ਕਈ ਨਤੀਜੇ ਦੇ ਨਾਲ ਹਰ ਜਗ੍ਹਾ ਹੋ ਜਾਵੇਗਾ.

ਵੈਧਤਾ-ਅੰਕੜਾ ਸਿੱਟੇ ਵੈਧਤਾ, ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਦੀ ਚਾਰ ਕਿਸਮ, ਵੈਧਤਾ ਦੀ ਉਸਾਰੀ, ਬਾਹਰੀ ਵੈਧਤਾ-ਮੁਹੱਈਆ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨ ਖੋਜਕਾਰ ਜਾਇਜ਼ਾ ਇੱਕ ਖਾਸ ਤਜਰਬੇ ਦੇ ਨਤੀਜੇ ਦਾ ਇੱਕ ਹੋਰ ਆਮ ਸਿੱਟੇ ਨੂੰ ਸਹਿਯੋਗ ਹੈ ਕਿ ਮਾਨਸਿਕ ਲਿਸਟ. ਐਨਾਲਾਗ ਦੀ ਉਮਰ ਪ੍ਰਯੋਗ ਦੇ ਮੁਕਾਬਲੇ, ਡਿਜ਼ੀਟਲ ਦੀ ਉਮਰ ਪ੍ਰਯੋਗ ਵਿਚ ਇਸ ਨੂੰ empirically ਬਾਹਰੀ ਵੈਧਤਾ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਸੌਖਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਇਸ ਨੂੰ ਅੰਦਰੂਨੀ ਵੈਧਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਸੌਖਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ. ਦੂਜੇ ਪਾਸੇ, ਬਣਤਰ ਵੈਧਤਾ ਦੇ ਮੁੱਦੇ ਨੂੰ ਸੰਭਵ ਹੈ ਕਿ ਡਿਜ਼ੀਟਲ ਦੀ ਉਮਰ ਪ੍ਰਯੋਗ ਵਿੱਚ ਹੋਰ ਔਖਾ ਹੋ ਜਾਵੇਗਾ (ਪਰ, ਜੋ ਕਿ Opower ਪ੍ਰਯੋਗ ਦੇ ਨਾਲ ਕੇਸ ਦੀ ਨਹੀ ਸੀ).