क्रियाएँ

• कठिनाई की डिग्री: आसान मध्यम , कठिन , बहुत मुश्किल
• गणित की आवश्यकता है )
• कोडिंग की आवश्यकता है )
• डेटा संग्रहण ( )
• मेरे पसंदीदा ( )

1. [ , ] बेरिंस्की और सहयोगियों (2012) ने तीन क्लासिक प्रयोगों की प्रतिलिपि बनाकर एमटीर्क का मूल्यांकन किया। Tversky and Kahneman (1981) द्वारा क्लासिक एशियाई रोग फ़्रेमिंग प्रयोग को दोहराएं। क्या आपके परिणाम टर्स्की और कन्नमन से मेल खाते हैं? क्या आपके परिणाम उन बेरिंस्की और सहयोगियों से मेल खाते हैं? क्या-अगर कुछ भी-क्या यह हमें सर्वेक्षण प्रयोगों के लिए एमटीर्क का उपयोग करने के बारे में सिखाता है?

2. [ , ] कुछ हद तक जीभ-इन-गाल पेपर में "वी है टू ब्रेक अप", सामाजिक मनोवैज्ञानिक रॉबर्ट सिआल्डिनी, Schultz et al. (2007) के लेखकों में से एक Schultz et al. (2007) ने लिखा था कि वह एक प्रोफेसर के रूप में अपनी नौकरी से जल्दी से सेवानिवृत्त हो रहे थे, क्योंकि वह चुनौतियों (मनोविज्ञान) में क्षेत्रीय प्रयोगों का सामना करने वाली चुनौतियों के कारण मुख्य रूप से प्रयोगशाला प्रयोगों (Cialdini 2009) आयोजित करते थे। सियालडिनी के पेपर को पढ़ें, और उन्हें डिजिटल प्रयोगों की संभावनाओं के प्रकाश में अपने ब्रेक-अप पर पुनर्विचार करने के लिए आग्रह करते हुए एक ईमेल लिखें। अनुसंधान के विशिष्ट उदाहरणों का प्रयोग करें जो उनकी चिंताओं को संबोधित करते हैं।

3. [ ] यह निर्धारित करने के लिए कि छोटी प्रारंभिक सफलताएं लॉक हो जाती हैं या फीका हो जाती हैं, वैन डी रिजेट और सहयोगियों (2014) ने यादृच्छिक रूप से चयनित प्रतिभागियों पर सफलता प्रदान करने वाले चार अलग-अलग प्रणालियों में हस्तक्षेप किया, और फिर इस मनमानी सफलता के दीर्घकालिक प्रभावों को मापा। क्या आप अन्य प्रणालियों के बारे में सोच सकते हैं जिसमें आप समान प्रयोग चला सकते हैं? वैज्ञानिक मूल्य, एल्गोरिदमिक उलझन (अध्याय 2 देखें), और नैतिकता के मुद्दों के संदर्भ में इन प्रणालियों का मूल्यांकन करें।

4. [ , ] एक प्रयोग के परिणाम प्रतिभागियों पर निर्भर कर सकते हैं। एक प्रयोग बनाएं और फिर दो अलग भर्ती रणनीतियों का उपयोग करके इसे एमटीर्क पर चलाएं। प्रयोग और भर्ती रणनीतियों को चुनने का प्रयास करें ताकि परिणाम जितना संभव हो उतना अलग हो जाएंगे। उदाहरण के लिए, आपकी भर्ती रणनीतियां प्रतिभागियों को सुबह और शाम को भर्ती करने या प्रतिभागियों को उच्च और निम्न वेतन के साथ क्षतिपूर्ति करने के लिए हो सकती हैं। भर्ती रणनीति में इस तरह के मतभेद प्रतिभागियों के विभिन्न पूल और विभिन्न प्रयोगात्मक परिणामों का कारण बन सकते हैं। आपके परिणाम कितने अलग हो गए? एमटीर्क पर प्रयोग चलाने के बारे में क्या पता चलता है?

5. [ , , ] कल्पना कीजिए कि आप भावनात्मक संक्रम प्रयोग (Kramer, Guillory, and Hancock 2014) योजना बना रहे थे। प्रत्येक स्थिति में प्रतिभागियों की संख्या तय करने के लिए Kramer (2012) द्वारा पहले के अवलोकन संबंधी अध्ययन के परिणामों का उपयोग करें। ये दो अध्ययन पूरी तरह मेल नहीं खाते हैं इसलिए सुनिश्चित करें कि आपके द्वारा किए गए सभी मान्यताओं को स्पष्ट रूप से सूचीबद्ध करें:

   1. एक सिमुलेशन चलाएं जो तय करेगा कि Kramer (2012) में \(\alpha = 0.05\) और \(1 - \beta = 0.8\) प्रभाव के रूप में प्रभाव के रूप में बड़े पैमाने पर प्रभाव का पता लगाने के लिए कितने प्रतिभागियों की आवश्यकता होगी।
   2. विश्लेषणात्मक रूप से वही गणना करें।
   3. Kramer (2012) के परिणामों को देखते हुए भावनात्मक संक्रम (Kramer, Guillory, and Hancock 2014) अधिक संचालित थे (यानी, क्या इसकी आवश्यकता से अधिक प्रतिभागी थे)?
   4. आपके द्वारा की गई धारणाओं में से, जो आपकी गणना पर सबसे बड़ा प्रभाव डालती है?

6. [ , , ] पिछले प्रश्न का उत्तर दोबारा जवाब दें, लेकिन इस बार Kramer (2012) द्वारा पहले के अवलोकन अध्ययन का उपयोग करने के बजाय, Lorenzo Coviello et al. (2014) द्वारा पहले के प्राकृतिक प्रयोग के परिणामों का उपयोग करें Lorenzo Coviello et al. (2014) ।

7. [ ] दोनों Margetts et al. (2011) और वैन डी रिजेट एट अल। (2014) याचिका पर हस्ताक्षर करने वाले लोगों की प्रक्रिया का अध्ययन करने वाले प्रयोग किए। इन अध्ययनों के डिजाइन और निष्कर्षों की तुलना करें और तुलना करें।

8. [ ] Dwyer, Maki, and Rothman (2015) ने सामाजिक मानदंडों और पर्यावरणीय व्यवहार के बीच संबंधों पर दो क्षेत्रीय प्रयोग किए। यहां उनके पेपर का सार है:

   "प्रामाणिक व्यवहार को प्रोत्साहित करने के लिए मनोवैज्ञानिक विज्ञान का उपयोग कैसे किया जा सकता है? दो अध्ययनों में, सार्वजनिक बाथरूम में ऊर्जा संरक्षण व्यवहार को बढ़ावा देने के उद्देश्य से हस्तक्षेपों ने वर्णनात्मक मानदंडों और व्यक्तिगत ज़िम्मेदारी के प्रभावों की जांच की। अध्ययन 1 में, प्रकाश स्थिति (यानी, चालू या बंद) किसी अपरिपक्व सार्वजनिक बाथरूम में प्रवेश करने से पहले उस सेटिंग के लिए वर्णनात्मक मानदंड को संकेत देने से पहले छेड़छाड़ की गई थी। जब वे प्रवेश करते थे तो प्रतिभागियों को रोशनी बंद करने की अधिक संभावना होती थी। अध्ययन 2 में, एक अतिरिक्त शर्त शामिल की गई जिसमें प्रकाश को बंद करने का मानदंड एक संघ द्वारा प्रदर्शित किया गया था, लेकिन प्रतिभागी इसे चालू करने के लिए स्वयं जिम्मेदार नहीं थे। व्यक्तिगत ज़िम्मेदारी ने व्यवहार पर सामाजिक मानदंडों के प्रभाव को नियंत्रित किया; जब प्रतिभागियों ने प्रकाश को चालू करने के लिए ज़िम्मेदार नहीं थे, तो मानदंड का प्रभाव कम हो गया था। ये परिणाम इंगित करते हैं कि वर्णनात्मक मानदंड और व्यक्तिगत जिम्मेदारी प्रोएन्वायरमेंटल हस्तक्षेप की प्रभावशीलता को कैसे नियंत्रित कर सकती है। "

   अपने पेपर को पढ़ें और अध्ययन 1 की प्रतिकृति तैयार करें।

9. [ , ] पिछले प्रश्न पर बिल्डिंग, अब अपना डिजाइन करें।

   1. परिणाम तुलना कैसे करते हैं?
   2. इन मतभेदों को क्या समझा सकता है?

10. [ ] एमटीर्क से भर्ती प्रतिभागियों का उपयोग करके प्रयोगों के बारे में काफी बहस हुई है। समानांतर में, स्नातक छात्र आबादी से भर्ती प्रतिभागियों का उपयोग करके प्रयोगों के बारे में भी काफी बहस हुई है। अनुसंधान प्रतिभागियों के रूप में तुर्कर्स और स्नातक की तुलना और तुलना करने वाले दो-पेज ज्ञापन लिखें। आपकी तुलना में वैज्ञानिक और सैन्य दोनों मुद्दों पर चर्चा शामिल होनी चाहिए।

11. [ ] जिम मांजी की किताब अनियंत्रित (2012) व्यवसाय में प्रयोग की शक्ति के लिए एक अद्भुत परिचय है। पुस्तक में उन्होंने निम्नलिखित कहानी को रिले किया:

    "मैं एक बार एक सच्चे व्यापार प्रतिभा के साथ एक बैठक में था, एक आत्मनिर्भर अरबपति जिसने प्रयोगों की शक्ति को गहरा, अंतर्ज्ञानी समझ लिया था। उनकी कंपनी ने बड़े स्टोर विंडो डिस्प्ले बनाने की कोशिश कर रहे महत्वपूर्ण संसाधनों को खर्च किया जो उपभोक्ताओं को आकर्षित करेंगे और बिक्री बढ़ाएंगे, क्योंकि पारंपरिक ज्ञान ने कहा था कि उन्हें चाहिए। विशेषज्ञों ने डिजाइन के बाद डिजाइन का सावधानीपूर्वक परीक्षण किया, और वर्षों में व्यक्तिगत परीक्षण समीक्षा सत्रों में बिक्री पर प्रत्येक नए डिस्प्ले डिज़ाइन का कोई महत्वपूर्ण कारण प्रभाव नहीं दिखाया गया। वरिष्ठ विपणन और व्यापारिक अधिकारियों ने सीईओ के साथ इन ऐतिहासिक परीक्षण परिणामों की समीक्षा करने के लिए मुलाकात की। सभी प्रयोगात्मक डेटा पेश करने के बाद, उन्होंने निष्कर्ष निकाला कि पारंपरिक ज्ञान गलत था-खिड़की के प्रदर्शन बिक्री को ड्राइव नहीं करते हैं। उनकी सिफारिश की गई कार्रवाई इस क्षेत्र में लागत और प्रयास को कम करना था। इस नाटकीय रूप से परंपरागत ज्ञान को खत्म करने के लिए प्रयोग की क्षमता का प्रदर्शन किया। सीईओ की प्रतिक्रिया सरल थी: 'मेरा निष्कर्ष यह है कि आपके डिजाइनर बहुत अच्छे नहीं हैं।' उनका समाधान स्टोर डिस्प्ले डिज़ाइन में प्रयास बढ़ाने और नए लोगों को ऐसा करने के लिए था। " (Manzi 2012, 158–9)

    सीईओ की चिंता किस प्रकार की वैधता है?

12. [ ] पिछले प्रश्न पर निर्माण, कल्पना करें कि आप उस बैठक में थे जहां प्रयोगों के परिणामों पर चर्चा की गई थी। आप पूछ सकते हैं कि चार प्रश्न क्या हैं- प्रत्येक प्रकार की वैधता (सांख्यिकीय, निर्माण, आंतरिक, और बाहरी) के लिए?

13. [ ] Bernedo, Ferraro, and Price (2014) ने Ferraro, Miranda, and Price (2011) में वर्णित जल-बचत हस्तक्षेप के सात साल के प्रभाव का अध्ययन किया (आंकड़ा 4.11 देखें)। इस पेपर में, बर्नेडो और सहकर्मियों ने इलाज के बाद घरों के व्यवहार की तुलना करके प्रभाव के पीछे तंत्र को समझने की भी मांग की थी। यही कारण है कि, उन्होंने यह देखने की कोशिश की कि उपचार ने घर या मकान मालिक को प्रभावित किया है या नहीं।

    1. कागज पढ़ें, उनके डिजाइन का वर्णन करें, और उनके निष्कर्षों को सारांशित करें।
    2. क्या उनके निष्कर्ष इस बात पर असर डालते हैं कि आपको समान हस्तक्षेप की लागत-प्रभावशीलता का आकलन कैसे करना चाहिए? यदि हां, तो क्यों? यदि नहीं, तो क्यों नहीं?

14. [ ] Schultz et al. (2007) लिए एक अनुवर्ती में Schultz et al. (2007) , शल्ट्ज़ और सहयोगियों ने दो संदर्भों (एक होटल और (Schultz, Khazian, and Zaleski 2008) कॉन्डोमिनियम) (Schultz, Khazian, and Zaleski 2008) एक अलग पर्यावरणीय व्यवहार (तौलिया पुन: उपयोग) पर वर्णनात्मक और निषेधात्मक मानदंडों के प्रभाव पर तीन प्रयोगों की श्रृंखला का प्रदर्शन किया। ।

    1. इन तीन प्रयोगों के डिजाइन और निष्कर्षों का सारांश दें।
    2. कैसे, अगर बिल्कुल, क्या वे Schultz et al. (2007) की अपनी व्याख्या बदलते हैं Schultz et al. (2007) ?

15. [ ] Schultz et al. (2007) जवाब में Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) ने इलेक्ट्रिक बिलों के डिजाइन का अध्ययन करने के लिए लैब-जैसी प्रयोगों की एक श्रृंखला चलायी। यहां बताया गया है कि वे सार में इसका वर्णन कैसे करते हैं:

    "एक सर्वेक्षण आधारित प्रयोग में, प्रत्येक प्रतिभागी ने अपेक्षाकृत उच्च बिजली के उपयोग वाले परिवार के लिए एक काल्पनिक बिजली बिल देखा, जिसमें ऐतिहासिक उपयोग (ए) ऐतिहासिक उपयोग, (बी) पड़ोसियों की तुलना, और (सी) उपकरण टूटने के साथ ऐतिहासिक उपयोग शामिल है। प्रतिभागियों ने सभी सूचना प्रकारों को तीन प्रारूपों में से एक में देखा (ए) टेबल, (बी) बार ग्राफ, और (सी) आइकन ग्राफ। हम तीन मुख्य निष्कर्षों पर रिपोर्ट करते हैं। सबसे पहले, उपभोक्ताओं को तालिका में प्रस्तुत किए जाने पर प्रत्येक प्रकार की बिजली-उपयोग की जानकारी को समझते थे, शायद इसलिए कि टेबल सरल बिंदु पढ़ने की सुविधा प्रदान करते हैं। दूसरा, बिजली बचाने के लिए वरीयताएं और इरादे ऐतिहासिक उपयोग की जानकारी के लिए सबसे मजबूत थे, प्रारूप से स्वतंत्र। तीसरा, कम ऊर्जा साक्षरता वाले व्यक्तियों को सभी जानकारी कम समझ गई। "

    अन्य अनुवर्ती अध्ययनों के विपरीत, Canfield, Bruin, and Wong-Parodi (2016) में रुचि के मुख्य परिणाम व्यवहार की रिपोर्ट करते हैं, वास्तविक व्यवहार नहीं। ऊर्जा बचत को बढ़ावा देने वाले व्यापक अनुसंधान कार्यक्रम में इस प्रकार के अध्ययन की ताकत और कमजोरियां क्या हैं?

16. [ , ] Smith and Pell (2003) ने पैराशूट की प्रभावशीलता का प्रदर्शन करने वाले अध्ययनों का एक व्यंग्यात्मक मेटा-विश्लेषण प्रस्तुत किया। उन्होंने निष्कर्ष निकाला:

    "बीमार स्वास्थ्य को रोकने के इरादे से कई हस्तक्षेपों के साथ, पैराशूट की प्रभावशीलता को यादृच्छिक नियंत्रित परीक्षणों का उपयोग करके कठोर मूल्यांकन के अधीन नहीं किया गया है। सबूत आधारित दवा के वकील ने केवल अवलोकन डेटा का उपयोग करके मूल्यांकन किए गए हस्तक्षेपों को अपनाने की आलोचना की है। हम सोचते हैं कि सबको फायदा हो सकता है अगर सबूत आधारित दवा के सबसे कट्टरपंथी नायकों ने व्यवस्थित किया और पैराशूट के दोहरे अंधेरे, यादृच्छिक, प्लेसबो नियंत्रित, क्रॉसओवर परीक्षण में भाग लिया। "

    एक सामान्य-पाठक समाचार पत्र, जैसे कि न्यू यॉर्क टाइम्स , प्रयोगात्मक साक्ष्य के fetishकरण के खिलाफ बहस करने के लिए उपयुक्त एक ओप-एड लिखें। विशिष्ट, ठोस उदाहरण प्रदान करें। संकेत: Deaton (2010) और Bothwell et al. (2016) भी देखें Bothwell et al. (2016) ।

17. [ , , ] उपचार प्रभाव के अंतर-अंतर-अंतर अनुमानक अंतर-अनुमानित अनुमानकों की तुलना में अधिक सटीक हो सकते हैं। एक ऑनलाइन प्रयोग चलाने के लिए अंतर-अंतर-अंतर दृष्टिकोण के मूल्य को समझाते हुए एक स्टार्ट-अप सोशल मीडिया कंपनी में ए / बी परीक्षण के प्रभारी इंजीनियर के लिए एक ज्ञापन लिखें। ज्ञापन में समस्या का एक बयान शामिल होना चाहिए, उन परिस्थितियों के बारे में कुछ अंतर्ज्ञान जिसके तहत अंतर-अंतर-अंतर अनुमानक अंतर-अनुमानित अनुमानक और एक सरल सिमुलेशन अध्ययन से बेहतर प्रदर्शन करेगा।

18. [ , ] गैरी लवमैन हार्वर्ड बिजनेस स्कूल में प्रोफेसर थे, जो दुनिया के सबसे बड़े कैसीनो कंपनियों में से एक हैराह के सीईओ बनने से पहले थे। जब वह हाराह के पास चले गए, तो लवमैन ने लगातार फ्लायर-जैसी वफादारी कार्यक्रम के साथ कंपनी को बदल दिया जिसने ग्राहक व्यवहार के बारे में जबरदस्त डेटा एकत्र किया। इस हमेशा माप प्रणाली के शीर्ष पर, कंपनी ने प्रयोग चलाना शुरू किया। उदाहरण के लिए, वे एक विशिष्ट जुआ पैटर्न वाले ग्राहकों के लिए एक मुफ्त होटल रात के लिए कूपन के प्रभाव का मूल्यांकन करने के लिए एक प्रयोग चला सकते हैं। यहां बताया गया है कि लवमैन ने हाराह के रोजमर्रा के व्यवसाय प्रथाओं के प्रयोग के महत्व का वर्णन कैसे किया:

    "ऐसा लगता है कि आप महिलाओं को परेशान नहीं करते हैं, आप चोरी नहीं करते हैं, और आपके पास नियंत्रण समूह होना चाहिए। यह उन चीजों में से एक है जिसे आप हाराह में अपना काम खो सकते हैं-नियंत्रण समूह नहीं चला रहे हैं। " (Manzi 2012, 146)

    एक नए कर्मचारी को यह ईमेल बताएं कि क्यों लवमैन सोचता है कि नियंत्रण समूह रखना इतना महत्वपूर्ण है। आपको एक उदाहरण शामिल करने का प्रयास करना चाहिए-या तो वास्तविक या बनाया गया-अपने बिंदु को चित्रित करने के लिए।

19. [ , ] एक नया प्रयोग लक्ष्य टीकाकरण पर पाठ संदेश अनुस्मारक प्राप्त करने के प्रभाव का अनुमान लगाने का लक्ष्य रखता है। एक सौ पचास क्लीनिक, 600 योग्य मरीजों के साथ प्रत्येक भाग लेने के इच्छुक हैं। प्रत्येक क्लिनिक के लिए $ 100 की एक निश्चित लागत है जिसके साथ आप काम करना चाहते हैं, और प्रत्येक पाठ संदेश के लिए $ 1 खर्च होता है जिसे आप भेजना चाहते हैं। इसके अलावा, आप जिस भी क्लीनिक के साथ काम कर रहे हैं, वह परिणाम को माप देगा (चाहे किसी को टीकाकरण प्राप्त हो) मुफ्त में। मान लें कि आपके पास $ 1,000 का बजट है।

    1. कम से कम क्लीनिकों पर अपने संसाधनों पर ध्यान केंद्रित करने के लिए कौन सी स्थितियों के तहत बेहतर हो सकता है और किस स्थिति में उन्हें अधिक व्यापक रूप से फैलाना बेहतर हो सकता है?
    2. कौन से कारक सबसे छोटे प्रभाव आकार को निर्धारित करेंगे जो आप अपने बजट के साथ विश्वसनीय रूप से पहचान पाएंगे?
    3. एक संभावित फंडर को इन व्यापार-बंदों को समझाते हुए एक ज्ञापन लिखें।

20. [ , ] ऑनलाइन पाठ्यक्रमों के साथ एक बड़ी समस्या दुर्घटना है: पाठ्यक्रम शुरू करने वाले कई छात्र बाहर निकलते हैं। कल्पना करें कि आप एक ऑनलाइन लर्निंग प्लेटफॉर्म पर काम कर रहे हैं, और मंच पर एक डिजाइनर ने एक दृश्य प्रगति पट्टी बनाई है जो वह सोचती है कि छात्रों को पाठ्यक्रम से बाहर निकलने से रोकने में मदद मिलेगी। आप एक बड़े कम्प्यूटेशनल सोशल साइंस कोर्स में छात्रों पर प्रगति पट्टी के प्रभाव का परीक्षण करना चाहते हैं। प्रयोग में उत्पन्न होने वाले किसी भी नैतिक मुद्दों को संबोधित करने के बाद, आप और आपके सहयोगी चिंतित हो जाते हैं कि पाठ्यक्रम में पर्याप्त छात्रों के पास प्रगति पट्टी के प्रभावों का विश्वसनीय रूप से पता लगाने के लिए पर्याप्त नहीं हो सकता है। निम्नलिखित गणनाओं में, आप मान सकते हैं कि छात्रों में से आधे को प्रगति पट्टी और आधा नहीं मिलेगा। इसके अलावा, आप मान सकते हैं कि कोई हस्तक्षेप नहीं है। दूसरे शब्दों में, आप यह मान सकते हैं कि प्रतिभागी केवल प्रभावित होते हैं कि उन्हें उपचार या नियंत्रण प्राप्त हुआ है या नहीं; वे इस बात से प्रभावित नहीं हैं कि अन्य लोगों को उपचार या नियंत्रण प्राप्त हुआ है (अधिक औपचारिक परिभाषा के लिए, Gerber and Green (2012) अध्याय 8 देखें)। आपके द्वारा किए गए किसी भी अतिरिक्त मान्यताओं का ट्रैक रखें।

    1. मान लीजिए कि प्रगति पट्टी से छात्रों के अनुपात में वृद्धि होने की उम्मीद है जो कक्षा को 1 प्रतिशत अंक से समाप्त करते हैं; भरोसेमंद प्रभाव का पता लगाने के लिए नमूना आकार क्या है?
    2. मान लीजिए कि प्रगति पट्टी से छात्रों के अनुपात में वृद्धि होने की उम्मीद है जो कक्षा को 10 प्रतिशत अंक से खत्म करते हैं; भरोसेमंद प्रभाव का पता लगाने के लिए नमूना आकार क्या है?
    3. अब कल्पना करें कि आपने प्रयोग चलाया है, और जिन छात्रों ने सभी पाठ्यक्रम सामग्री पूरी की है, उन्होंने अंतिम परीक्षा ली है। जब आप अंतिम परीक्षा स्कोर की तुलना करते हैं, जिन्होंने उन लोगों के स्कोर के साथ प्रगति पट्टी प्राप्त की है, जो आपको नहीं मिला, तो आपको आश्चर्य की बात है कि छात्रों को प्रगति पट्टी नहीं मिली है, जो वास्तव में उच्चतम स्कोर प्राप्त करते हैं। क्या इसका मतलब यह है कि प्रगति पट्टी ने छात्रों को कम सीखने का कारण बताया? आप इस परिणाम डेटा से क्या सीख सकते हैं? (संकेत: Gerber and Green (2012) के अध्याय 7 देखें Gerber and Green (2012) )

21. [ , , ] कल्पना कीजिए कि आप एक तकनीकी कंपनी में डेटा वैज्ञानिक के रूप में काम कर रहे हैं। विपणन विभाग से कोई भी एक नए ऑनलाइन विज्ञापन अभियान के लिए निवेश पर वापसी (आरओआई) को मापने के लिए एक प्रयोग का मूल्यांकन करने में आपकी सहायता मांगता है। आरओआई को अभियान की लागत से विभाजित अभियान से शुद्ध लाभ के रूप में परिभाषित किया जाता है। उदाहरण के लिए, जिस अभियान पर बिक्री पर कोई प्रभाव नहीं पड़ा, उसके पास -100% का आरओआई होगा; एक अभियान जहां मुनाफा कमाया गया था, लागत के बराबर होगा 0 का आरओआई होगा; और एक अभियान जहां मुनाफा कमाया गया था, लागत में 200% की आरओआई होगी।

    प्रयोग शुरू करने से पहले, विपणन विभाग आपको उनके पहले के शोध के आधार पर निम्नलिखित जानकारी प्रदान करता है (वास्तव में, ये मान लुईस और राव (2015) में रिपोर्ट किए गए वास्तविक ऑनलाइन विज्ञापन अभियानों के विशिष्ट हैं):

    • प्रति ग्राहक औसत बिक्री 7 डॉलर के औसत और $ 75 के मानक विचलन के साथ लॉग-सामान्य वितरण का पालन करती है।
    • इस अभियान से प्रति ग्राहक 0.35 डॉलर की बिक्री में वृद्धि होने की उम्मीद है, जो प्रति ग्राहक $ 0.175 के लाभ में वृद्धि के अनुरूप है।
    • प्रयोग के नियोजित आकार 200,000 लोग हैं: उपचार समूह में आधा और नियंत्रण समूह में आधा।
    • अभियान की लागत प्रतिभागी $ 0.14 है।
    • अभियान के लिए अपेक्षित आरओआई 25% है [ \((0.175 - 0.14)/0.14\) ]। दूसरे शब्दों में, विपणन विभाग का मानना ​​है कि विपणन पर खर्च किए गए प्रत्येक 100 डॉलर के लिए, कंपनी लाभ में अतिरिक्त $ 25 कमाएगी।

    इस प्रस्तावित प्रयोग का मूल्यांकन करने वाला एक ज्ञापन लिखें। आपके ज्ञापन को आपके द्वारा बनाए गए सिमुलेशन से साक्ष्य का उपयोग करना चाहिए, और इसे दो प्रमुख मुद्दों को संबोधित करना चाहिए: (1) क्या आप इस प्रयोग को योजनाबद्ध रूप से लॉन्च करने की सलाह देंगे? यदि हां, तो क्यों? यदि नहीं, तो क्यों नहीं? इस निर्णय के लिए आप जिस मानदंड का उपयोग कर रहे हैं उसके बारे में स्पष्ट होना सुनिश्चित करें। (2) इस प्रयोग के लिए आप किस नमूना आकार की सिफारिश करेंगे? फिर कृपया इस निर्णय को बनाने के लिए उपयोग किए जा रहे मानदंडों के बारे में स्पष्ट होना सुनिश्चित करें।

    एक अच्छा ज्ञापन इस विशिष्ट मामले को संबोधित करेगा; एक बेहतर ज्ञापन इस मामले से एक ही तरीके से सामान्यीकृत होगा (उदाहरण के लिए, अभियान के प्रभाव के आकार के कार्य के रूप में निर्णय कैसे बदलता है); और एक महान ज्ञापन एक पूर्णीकृत सामान्य परिणाम प्रस्तुत करेगा। आपके ज्ञापन को आपके परिणामों को चित्रित करने में सहायता के लिए ग्राफ का उपयोग करना चाहिए।

    यहां दो संकेत दिए गए हैं। सबसे पहले, विपणन विभाग ने आपको कुछ अनावश्यक जानकारी प्रदान की हो सकती है, और हो सकता है कि वे आपको कुछ आवश्यक जानकारी प्रदान करने में विफल रहे हों। दूसरा, यदि आप आर का उपयोग कर रहे हैं, तो ध्यान रखें कि rlnorm () फ़ंक्शन इस तरह से काम नहीं करता है कि कई लोग अपेक्षा करते हैं।

    यह गतिविधि आपको शक्ति विश्लेषण, सिमुलेशन बनाने और शब्दों और ग्राफ के साथ अपने परिणामों को संचारित करने के साथ अभ्यास करेगी। यह किसी भी प्रकार के प्रयोग के लिए बिजली विश्लेषण करने में आपकी मदद करनी चाहिए, न केवल आरओआई का अनुमान लगाने के लिए डिजाइन किए गए प्रयोग। यह गतिविधि मानती है कि आपके पास सांख्यिकीय परीक्षण और पावर विश्लेषण के साथ कुछ अनुभव है। यदि आप पावर विश्लेषण से परिचित नहीं हैं, तो मैं आपको सलाह देता हूं कि आप Cohen (1992) द्वारा "ए पावर प्राइमर" पढ़ लें।

    यह गतिविधि RA Lewis and Rao (2015) द्वारा एक प्यारे पेपर से प्रेरित थी, जो स्पष्ट रूप से बड़े पैमाने पर प्रयोगों की मौलिक सांख्यिकीय सीमा को स्पष्ट रूप से दिखाती है। उनके पेपर-जो मूल रूप से उत्तेजनात्मक शीर्षक था "विज्ञापन पर रिटर्न मापने की निकटता पर" - दिखाता है कि ऑनलाइन विज्ञापनों के निवेश पर वापसी को मापना कितना मुश्किल है, यहां तक ​​कि लाखों ग्राहकों से जुड़े डिजिटल प्रयोगों के साथ भी। आम तौर पर, RA Lewis and Rao (2015) एक मौलिक सांख्यिकीय तथ्य को दर्शाते हैं जो डिजिटल आयु के प्रयोगों के लिए विशेष रूप से महत्वपूर्ण है: शोर परिणाम डेटा के बीच छोटे उपचार प्रभावों का आकलन करना मुश्किल है।

22. [ , ] पिछले प्रश्न के समान ही करें, लेकिन सिमुलेशन के बजाए, आपको विश्लेषणात्मक परिणामों का उपयोग करना चाहिए।

23. [ , , ] पिछले प्रश्न के समान ही करें, लेकिन सिमुलेशन और विश्लेषणात्मक परिणामों दोनों का उपयोग करें।

24. [ , , ] कल्पना कीजिए कि आपने ऊपर वर्णित ज्ञापन लिखा है, और विपणन विभाग से कोई भी नई जानकारी का एक टुकड़ा प्रदान करता है: वे प्रयोग से पहले और बाद में बिक्री के बीच 0.4 सहसंबंध की अपेक्षा करते हैं। यह आपके ज्ञापन में सिफारिशों को कैसे बदलता है? (संकेत: अंतर-के-साधन अनुमानक और अंतर-अंतर-अंतर अनुमानक पर अधिक के लिए खंड 4.6.2 देखें।)

25. [ , ] एक नए वेब-आधारित रोजगार-सहायता कार्यक्रम की प्रभावशीलता का मूल्यांकन करने के लिए, एक विश्वविद्यालय ने स्कूल के अंतिम वर्ष में प्रवेश करने वाले 10,000 छात्रों के बीच एक यादृच्छिक नियंत्रण परीक्षण किया। अद्वितीय लॉग-इन जानकारी के साथ एक मुफ्त सदस्यता यादृच्छिक रूप से चुने गए छात्रों के 5,000 के लिए एक विशेष ईमेल आमंत्रण के माध्यम से भेजी गई थी, जबकि अन्य 5,000 छात्र नियंत्रण समूह में थे और उनके पास सदस्यता नहीं थी। बारह महीने बाद, एक फॉलो-अप सर्वेक्षण (बिना किसी प्रतिक्रिया के) ने दिखाया कि उपचार और नियंत्रण समूहों दोनों में, 70% छात्रों ने अपने चुने हुए क्षेत्र (तालिका 4.6) में पूर्णकालिक रोजगार हासिल किया था। इस प्रकार, ऐसा लगता है कि वेब-आधारित सेवा का कोई प्रभाव नहीं पड़ा।

    हालांकि, विश्वविद्यालय में एक चतुर डेटा वैज्ञानिक ने डेटा को थोड़ा अधिक बारीकी से देखा और पाया कि उपचार समूह में केवल 20% छात्र ईमेल प्राप्त करने के बाद खाते में लॉग इन हैं। इसके अलावा, और कुछ हद तक आश्चर्यजनक बात यह है कि वेबसाइट में लॉग इन करने वालों में से केवल 60% ने अपने चुने हुए क्षेत्र में पूर्णकालिक रोजगार हासिल किया था, जो लोगों के लिए दर से कम था और लोगों के लिए दर से कम था नियंत्रण की स्थिति में (तालिका 4.7)।

    1. क्या हो सकता है के लिए एक स्पष्टीकरण प्रदान करें।
    2. इस प्रयोग में उपचार के प्रभाव की गणना करने के दो अलग-अलग तरीके क्या हैं?
    3. इस परिणाम को देखते हुए, क्या यह सेवा सभी छात्रों को प्रदान करनी चाहिए? बस स्पष्ट होने के लिए, यह एक साधारण उत्तर के साथ एक सवाल नहीं है।
    4. उन्हें आगे क्या करना चाहिए?

    संकेत: यह प्रश्न इस अध्याय में शामिल सामग्री से परे है, लेकिन प्रयोगों में आम मुद्दों को संबोधित करता है। इस प्रकार के प्रयोगात्मक डिजाइन को कभी-कभी एक प्रोत्साहन डिजाइन कहा जाता है क्योंकि प्रतिभागियों को उपचार में शामिल होने के लिए प्रोत्साहित किया जाता है। यह समस्या एक तरफा गैर-अनुपालन कहलाता है ( Gerber and Green (2012) अध्याय 5 देखें Gerber and Green (2012) का एक उदाहरण है।

26. [ ] आगे की परीक्षा के बाद, यह पता चला कि पिछले प्रश्न में वर्णित प्रयोग और भी जटिल था। यह पता चला कि नियंत्रण समूह में 10% लोगों ने सेवा तक पहुंच के लिए भुगतान किया था, और वे 65% की रोजगार दर (तालिका 4.8) के साथ समाप्त हुए।

    1. आप जो सोच रहे हैं उसका संक्षेप में एक ईमेल लिखें और कार्रवाई के पाठ्यक्रम की अनुशंसा करें।

    संकेत: यह प्रश्न इस अध्याय में शामिल सामग्री से परे है, लेकिन प्रयोगों में आम मुद्दों को संबोधित करता है। यह समस्या दो तरफा गैर-अनुपालन कहलाता है ( Gerber and Green (2012) अध्याय 6 देखें Gerber and Green (2012) का एक उदाहरण है।