गतिविधिहरु

• कठिनाईको डिग्री: सजिलो , मध्यम , कडा , धेरै कडा
• आवश्यक गणित ( )
• आवश्यक कोडिंग ( )
• तथ्यांक संकलन ( )
• मेरो प्यारो ( )

1. [ , ] Berinsky र सहकर्मी (2012) तीन क्लासिक प्रयोगहरु को दोहराएर भाग मा MTurk को मूल्यांकन गरे। Tversky and Kahneman (1981) द्वारा क्लासिक एशियाई रोग फ्रेमिंग प्रयोग को प्रतिकृति गर्नुहोस्। तपाईको परिणामले Tversky र Kahneman को मिलान गर्दछ? के तपाईको नतिजाहरु उनि बर्नसिस्की र सहकर्मीसँग मेल खान्छ? कुन-यदि यो सर्वेक्षण प्रयोगका लागि ट्राफिक प्रयोगको बारेमा हामीलाई सिकाउँछ?

2. [ , ] केहि हदसम्म जिब्रो-इन-ग्याक पेपर "हामी ब्रेक अप गर्नु पर्छ," सो सामाजिक मनोवैज्ञानिक रबर्ट क्रिडिनी, Schultz et al. (2007) को लेखकहरु मध्ये एक Schultz et al. (2007) , लेखिएको छ कि उनी एक प्रोफेसरको रूपमा आफ्नो कामबाट छिटो रिट्रिभ गरिरहेको थियो, किनकि उनीहरूले एक अनुशासन (मनोविज्ञान) मा क्षेत्र प्रयोगहरू सामना गर्नुभएका चुनौतीहरूको कारणले गर्दा मुख्यतः प्रयोगशाला प्रयोगहरू (Cialdini 2009) सञ्चालन गर्दछ। क्यालेडिनको पेपर पढ्नुहोस्, र उहाँलाई एक इमेल लेख्नुहोस् कि उनीहरूलाई उनीहरूको आग्रह गर्नका लागि डिजिटल प्रयोगहरूको सम्भावनाको प्रकाशमा आफ्नो ब्रेक-अप पुन: विचार गर्न। अनुसन्धानको विशिष्ट उदाहरणहरू प्रयोग गर्नुहोस् जुन उनीहरूको चिन्ताहरू पत्ता लगाउँछन्।

3. [ ] अल्पसंख्यक चयनकर्ताहरूको सहभागितामा सफलता हासिल गर्न चार विभिन्न प्रणालीहरूमा, वान्डर बिरुद्ध सफलताको लामो समय सम्मको असर को लागी, वाइन डी रिजिट र सहकर्मीहरू (2014) ले सानो प्रारम्भिक सफलताहरू ताल्चामा राख्नु वा फ्याँकिएको छ कि भनेर निर्धारण गर्न। के तपाई अन्य प्रणालीहरूको बारेमा सोच्न सक्नुहुन्छ जसमा तपाईं त्यस्ता प्रयोगहरू चलाउन सक्नुहुन्छ? वैज्ञानिक मूल्य, एल्गोरिदमिक विरूद्ध मुद्दाहरूको विषयमा यी प्रणालीहरूको मूल्याङ्कन गर्नुहोस् (अध्याय 2 हेर्नुहोस्), र नैतिकता।

4. [ , ] प्रयोगको परिणाम सहभागिताहरूमा निर्भर हुन सक्छ। एक प्रयोग सिर्जना गर्नुहोस् र त्यसपछि दुई अलग भर्ती रणनीति प्रयोग गरेर MTurk मा यसलाई चलाउनुहोस्। प्रयोग र भर्ती रणनीतिहरू छनौट गर्न प्रयास गर्नुहोस् ताकि नतिजाहरु यथासंभव फरक हुनेछ। उदाहरणका लागि, तपाईंको भर्ती रणनीतिहरू प्रतिभाहरू भर्खर र साँझ भर्खर वा सहभागीहरूलाई उच्च र न्यून भुक्तानीको साथ लिन सकिन्छ। भर्ती रणनीतिमा यी प्रकारका विभेदहरू सहभागीहरूको विभिन्न पूल र विभिन्न प्रायोगिक परिणामहरूको नेतृत्व गर्न सक्दछ। तपाईंको परिणाम कसरी फरक भयो? MTurk मा प्रयोग चलाउन को बारे मा प्रकट गर्दछ?

5. [ , , ] कल्पना गर्नुहोस् कि तपाईं भावनात्मक कन्कोगुन प्रयोग (Kramer, Guillory, and Hancock 2014) योजना बनाइरहनुभएको थियो। परिणाम प्रत्येक क्रमांकको सहभागिताको निर्णय गर्नको लागि Kramer (2012) द्वारा अघिल्लो अवलोकन अध्ययनको परिणामहरू प्रयोग गर्नुहोस्। यी दुई अध्ययनहरू पूर्ण रूपमा मेल खाँदैन त्यसैले तपाइँले बनाउनु भएको सबै धारणाहरूलाई स्पष्ट रूपमा सूचीबद्ध गर्न निश्चित हुनुहोस्:

   1. सिमुलेशन चलाउनुहोस् जुन निर्णय गर्नेछ कि कस्तो प्रभाव पार्ने क्रममा Kramer (2012) सँग \(\alpha = 0.05\) र \(1 - \beta = 0.8\) मा प्रभाव पार्ने सन्दर्भमा धेरै भागहरू आवश्यक पर्दछ।
   2. समान गणना विश्लेषणात्मक गर्नुहोस्।
   3. Kramer (2012) बाट परिणामलाई अधिक भावनात्मक (Kramer, Guillory, and Hancock 2014) अधिकृत गरिएको थियो (यानी, के यो भन्दा बढी सहभागीहरू थिए)?
   4. तपाईंले गर्नुभएको गल्तीहरूको बारेमा, तपाईको गणनामा सबैभन्दा ठूलो प्रभाव छ?

6. [ , , ] पछिल्लो प्रश्न फेरि जवाफ दिनुहोस्, तर यो समय Kramer (2012) द्वारा पहिले नै अवलोकन अध्ययन को प्रयोग गर्नुको सट्टा, अघिल्लो प्राकृतिक प्रयोगबाट नतिजा प्रयोग गर्नुहोस् Lorenzo Coviello et al. (2014) ।

7. [ ] दुवै Margetts et al. (2011) र वान डे रिज एट अल। (2014) व्यक्तिहरुलाई एक अनुरोध मा हस्ताक्षर गर्ने प्रक्रिया को अध्ययन को प्रयोग गरे। यी अध्ययनहरूको डिजाइन र निष्कर्ष तुलना गर्नुहोस्।

8. [ ] Dwyer, Maki, and Rothman (2015) ले सामाजिक मानदण्डहरू र प्रो-पर्यावरण व्यवहार सम्बन्धी सम्बन्धमा दुई क्षेत्र प्रयोगहरू सञ्चालन गरे। यहाँका कागजको सार सार छ:

   "प्राणी वातावरणीय व्यवहारलाई प्रोत्साहन दिन कसरी मनोवैज्ञानिक विज्ञान प्रयोग गर्न सकिन्छ? दुई अध्ययनहरूमा, सार्वजनिक स्नानघरहरूमा ऊर्जा संरक्षण व्यवहारको प्रवर्धन गर्न उद्देश्यहरू हस्तक्षेपहरू वर्णनात्मक मानदण्डहरू र व्यक्तिगत जिम्मेवारीको प्रभावहरूको जाँच गर्छन्। अध्ययन 1 मा, हल्का अवस्था (यानी, ओपन वा बन्द) कसैले कसैलाई अनावश्यक सार्वजनिक बाथरूममा प्रवेश गर्नु अघि हेरफेर गरिएको थियो, त्यो सेटिङको लागि वर्णनात्मक आदर्श संकेत गर्दै। उनीहरूले प्रवेश गरेपछि उनीहरूलाई रोशनी बन्द गर्ने सम्भावना अधिक सम्भव थियो। अध्ययन 2 मा, एक अतिरिक्त शर्त समावेश गरिएको थियो जसमा प्रकाश को प्रतिमा को प्रदर्शन एक संघीय द्वारा प्रदर्शन गरिएको थियो, तर प्रतिभागिहरु स्वयं को लागि जिम्मेदार थिएन। व्यक्तिगत जिम्मेवारीले व्यवहारमा सामाजिक मानदण्डको प्रभावलाई सम्बोधन गर्यो; जब प्रतिभागले रोशनीलाई बदल्न जिम्मेदार थिएन, सामान्यको प्रभाव घटाइयो। यी नतिजाहरूले कसरी वर्णनात्मक मानदण्डहरू र व्यक्तिगत जिम्मेवारीले प्राविधिक हस्तक्षेपहरूको प्रभावकारितालाई विनियमित गर्न सक्छ भनेर संकेत गर्दछ। "

   तिनीहरूको पेपर पढ्नुहोस् र अध्ययन 1 को प्रतिकृति डिजाइन गर्नुहोस्।

9. [ , ] अघिल्लो प्रश्नमा निर्माण, अब तपाईंको डिजाइन लेराखेको छ।

   1. परिणामहरू कसरी तुलना गर्नुहुन्छ?
   2. यी मतभेदहरुलाई के भन्न सकिन्छ?

10. [ ] MTurk देखि भर्ती प्रतिभागिहरु को प्रयोग गरेर प्रयोगों को बारे मा काफी बहस भएको छ। समानांतरमा, सहभागिताहरूको प्रयोग गरी स्नातक विद्यार्थी जनसंख्याबाट भर्ती प्रयोगहरूको बारेमा पनि पर्याप्त बहस छ। दुई-पृष्ठ मेमो टर्की र अनुसन्धानकर्ता सहभागीहरूको रूपमा स्नातक र तुलनात्मक रूपमा तुलना गर्नुहोस्। तपाईंको तुलनामा वैज्ञानिक र तर्कसंगत दुवै विषयहरूको छलफल समावेश हुनु पर्छ।

11. [ ] जिम मन्जीको पुस्तक अनन्ट्रोल (2012) व्यवसायमा प्रयोगको शक्तिको लागि अद्भुत परिचय हो। पुस्तकमा तिनले निम्न कथा सुनाए:

    "म एक पटक साँचो व्यापार प्रतिभासँग एक बैठकमा थिएँ, एक आत्म-निर्मित अरबपति जसले गहिरो, सहज ज्ञानको अनुभवलाई बुझाउँथ्यो। उनको कम्पनीले महत्वपूर्ण स्रोतहरूलाई खर्च गर्यो जुन ठूलो पसल सञ्झ्याल देखाउँदछ जसले उपभोक्ताहरू आकर्षित गर्न र बिक्री बढाउँछ, पारंपरिक ज्ञानले उनीहरूले भने। विशेषज्ञहरूले सावधानीपूर्वक डिजाईन डिजाइनको परीक्षण गरे, र एक वर्षको अवधिमा व्यक्तिगत परीक्षण समीक्षा सत्रहरूमा बिक्रीमा प्रत्येक नयाँ डिस्प्ले डिजाइनको कुनै महत्त्वपूर्ण कारण प्रभाव देखिन सकेन। वरिष्ठ मार्केटिंग र व्यापारिक अधिकारीहरूले सीईओसँग भेट्न यी ऐतिहासिक परीक्षण नतिजाहरूको समीक्षा गर्न। सबै प्रयोगात्मक डेटा प्रस्तुत गरेपछि, तिनीहरूले निष्कर्ष निकाले कि पारंपरिक ज्ञान गलत थियो कि कि सञ्झ्याल प्रदर्शनहरूले बिक्री चलाउँदैनन्। तिनीहरूको अनुशंसित कार्य यो क्षेत्रमा लागत र प्रयास कम गर्न थियो। यसले नाटकीय रूपमा प्रयोगको क्षमता पारंपरिक ज्ञानलाई पराजित गर्न प्रदर्शन गर्यो। सीईओको प्रतिक्रिया सरल थियो: 'मेरो निष्कर्ष यो हो कि तपाइँका डिजाइनरहरू धेरै राम्रो छैनन्।' उनको समाधान स्टोर स्टोर को डिजाइन मा प्रयास बढाने को लागि, र नयाँ मान्छे लाई गर्न को लागि गर्न को लागि थियो। " (Manzi 2012, 158–9)

    सीईओ को कुन प्रकारको वैधता चिन्ता हो?

12. [ ] अघिल्लो प्रश्नमा निर्माण, कल्पना गर्नुहोस् कि तपाईं बैठकमा थिए जहाँ प्रयोगका नतीजाहरू छलफल गरियो। चार प्रश्नहरू छन् जुन तपाइँले प्रत्येक प्रकारको वैधता (सांख्यिकीय, निर्माण, आन्तरिक, र बाह्य) को लागि सोध्न सक्नुहुनेछ?

13. [ ] Bernedo, Ferraro, and Price (2014) ले Ferraro, Miranda, and Price (2011) वर्णन गरिएको पानी-बचत हस्तक्षेपको सात-वर्ष प्रभावको अध्ययन गरे Ferraro, Miranda, and Price (2011) 9.11 हेर्नुहोस्)। यस पत्रमा, बर्नेडो र सहकर्मीहरूले पनि परिवारको व्यवहारको तुलना गरेर प्रभावको पछि तान्त्वना बुझ्न खोजे र उपचार पछि डेलिभर गरेन। त्यो, मोटे तरिकाले, तिनीहरूले हेर्ने प्रयास गरे कि उपचारले घर वा घर मालिकलाई असर पारे कि।

    1. कागज पढ्नुहोस्, उनीहरूको डिजाइन वर्णन गर्नुहोस्, र तिनीहरूको निष्कर्षहरू संक्षेप गर्नुहोस्।
    2. के तिनीहरूको निष्कर्षहरूले त्यस्ता हस्तक्षेपहरूको लागत प्रभावकारीतालाई कसरी मूल्याङ्कन गर्नुपर्छ भनेर प्रभाव पार्छ? यदि त्यसो भए, किन? यदि छैन भने, किन?

14. [ ] Schultz et al. (2007) लागी एक अनुवर्ती मा Schultz et al. (2007) , Schultz र सहकर्मीले दुई प्रयोगहरूमा एक वर्णनात्मक र injunctive मानदण्डों को प्रभाव मा तीन प्रयोगहरु को एक श्रृंखला प्रदर्शन गरे (तौलिया पुनः प्रयोग) दुई संदर्भ (एक होटल र एक (Schultz, Khazian, and Zaleski 2008) condominium) (Schultz, Khazian, and Zaleski 2008) ।

    1. यी तीन प्रयोगहरूको डिजाइन र निष्कर्षहरू संक्षेप गर्नुहोस्।
    2. कसरी, यदि सबै मा, उनि Schultz et al. (2007) तपाईंको व्याख्या परिवर्तन Schultz et al. (2007) ?

15. [ ] Schultz et al. (2007) प्रतिक्रिया मा Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) बिजुली बिल को डिजाइन को अध्ययन को लागि ल्याब-जस्तै प्रयोग को एक श्रृंखला चलायो। यहाँ सारमा यो वर्णन कसरी छ:

    "एक सर्वेक्षण आधारित प्रयोगमा, प्रत्येक सहभागीले परिवारको अपेक्षाकृत उच्च बिजुलीको प्रयोगको साथ एक बिजुली बिधेयक बिल देखाए, (ए) ऐतिहासिक प्रयोगको बारेमा जानकारी, (बी) छिमेकीहरूको तुलनामा, र (सी) उपकरण ब्रेकडाउनको साथ ऐतिहासिक प्रयोग को बारे मा जानकारी। सहभागीहरूले सबै जानकारी प्रकारहरू मध्ये तीन ढाँचाहरू (ए) तालिकाहरू, (बी) पट्टी ग्राफहरू र (सी) आइकन ग्राफहरू देखेका थिए। हामी तीन मुख्य निष्कर्षमा रिपोर्ट गर्छौं। पहिलो, उपभोक्ताहरूले प्रत्येक प्रकारका बिजुलीहरू बुझ्न-प्रयोग जानकारी सबैभन्दा बढी जब यो टेबलमा प्रस्तुत गरिएको थियो, सम्भवतः कि तालिकाहरूले साधारण बिन्दु पढ्ने सुविधालाई सुविधा दिन्छ। दोस्रो, प्राथमिकताहरू र मनपर्नेहरू बिजुली सुरक्षित गर्न ऐतिहासिक प्रयोग जानकारी, ढाँचाको स्वतन्त्रको लागि बलियो थिए। तेस्रो, निम्न ऊर्जा साक्षरता भएका व्यक्तिहरूले सबै जानकारीलाई कम गरे। "

    अन्य अनुवर्ती अध्ययनहरूको विपरीत, Canfield, Bruin, and Wong-Parodi (2016) मा रुचिको मुख्य परिणाम वास्तविक व्यवहार होइन। ऊर्जा बचत को बढावा एक व्यापक अनुसन्धान कार्यक्रम मा यस प्रकार को अध्ययन को शक्ति र कमजोरी के हो?

16. [ , ] Smith and Pell (2003) पैराशुट्स को प्रभावशीलता को प्रदर्शन को अध्ययन को एक संगीय मेटा-विश्लेषण प्रस्तुत गर्यो। तिनीहरूले यस्तो निष्कर्ष निकाले:

    "बिरामीको स्वास्थ्यलाई रोक्नको उद्देश्यले धेरै हस्तक्षेपहरूसँग, पैराचुटिहरूको प्रभावकारितालाई बेवास्ता गरिएको मूल्याङ्कनको प्रयोग गरेर कठोर मूल्याङ्कनको विषयको अधीनमा छैन। साक्ष्य आधारित औषधिका शव्दहरूले केवल अवलोकनिक डेटा प्रयोग गरेर मूल्यांकन गर्ने हस्तक्षेपहरू को लागी आलोचना गरेका छन्। हामी सोच्छौं कि सबैले फाइदा उठाउन सक्छ यदि सबूत आधारित औषधिको सबैभन्दा कट्टरपंथी नायकहरू व्यवस्थित र दुई डबल अन्धामा, अनियमित, प्लेसबो नियन्त्रण, पेचुचको विश्वव्यापी परीक्षणमा भाग लिन्छन्। "

    सामान्य-पाठक अखबारको लागि एक अप-एड उपयुक्त छ, जस्तै न्यूयर्क टाइम्स प्रयोगात्मक प्रमाणको भ्रष्टाचार विरुद्ध बहस गर्दै। निर्दिष्ट, ठोस उदाहरणहरू प्रदान गर्नुहोस्। संकेत: Deaton (2010) र Bothwell et al. (2016) ।

17. [ , , ] एक फरक प्रभाव को अंतर-अंतर-निर्धारणकर्ता अंतर-मा-मतलब अनुमानक भन्दा बढी सटीक हुन सक्छ। ए / बी परीक्षण को प्रभारी ईन्जिनियर मा एक मेमो लेख्नुहोस् एक अनलाइन प्रयोग चलाउन को लागि अंतर-इन-विभेदको दृष्टिकोणको व्याख्या को एक स्टार्ट अप सोशल मिडिया कम्पनी। यस मेमोमा समस्याको एक बयान समावेश गर्नु पर्दछ, केहि शर्तहरु को बारे मा अंतर-अंतर-अंतर-निर्धारण एन्टिलेटर अंतर-इन-मतलब एन्टिमाइटर, र साधारण सिमुलेशन स्टडी आउट हुनेछ।

18. [ , ] गैरी Loveman हार्वर्ड बिजनेस स्कूल मा एक प्रोफेसर हार्वह को सीईओ, संसार मा सबै भन्दा ठूलो कैसीनो कम्पनीहरु मध्ये एक हुनु भएको थियो। जब उनले हरिहरको यात्रा गरे, तोलेमानले कम्पनीलाई लगातार-फ्लोर-जस्तो वफादारी कार्यक्रमको साथमा परिवर्तन गरे जुन ग्राहकको व्यवहारमा धेरै मात्रामा डाटा एकत्र गरे। यो सधैँ मापन प्रणालीको माथि, कम्पनीले प्रयोगहरू दौड्न थाले। उदाहरणका लागि, उनीहरूले प्रयोगात्मक जुआ पैटर्नको साथ ग्राहकहरूको लागि नि: शुल्क होटल रात्रीको कुपनको प्रभावको मूल्यांकन गर्न प्रयोग चलाउन सक्छ। यहाँ छ कसरी Howman हरुराको दैनिक रोजगारी अभ्यासका लागि प्रयोगको महत्त्वको वर्णन कसरी वर्णन गर्दछ:

    "यो तपाईं महिलाहरु लाई हानिकारक छैन जस्तो छ, तपाईं चोरी छैन, र तपाईंसँग एक नियन्त्रण समूह छ। यो चीज मध्ये एक हो जुन तपाईं हरिहरको लागि आफ्नो काम गुमाउन सक्नुहुन्छ - एक नियन्त्रण समूह चलिरहेको छैन। " (Manzi 2012, 146)

    एक नयाँ कर्मचारीलाई एक इमेल लेख्नुहोस् कि वर्णन गर्दै Whyman सोच्छ कि यो नियंत्रण समूहको लागि धेरै महत्त्वपूर्ण छ। तपाईंले एक उदाहरण समावेश गर्न प्रयास गर्नु पर्छ - वा सँधै वा बनाइएको - तपाईंको बिन्दु को वर्णन गर्न।

19. [ , ] एक नयाँ प्रयोगको लागि टीका सन्देश अनुस्मारकहरू प्राप्त गर्ने प्रभावको अनुमान गर्नका लागि क्याप्सन माथि बढ्ने अनुमान। एक सय पचास क्लिनिकहरू, प्रत्येक 600 जना योग्य व्यक्तिहरूसँग भाग लिनका लागि तयार छन्। त्यहाँ प्रत्येक क्लिनिकको साथ काम गर्न चाहानुहुन्छ $ 100 को एक निश्चित लागत हो, र यो पठाउनु पर्ने प्रत्येक पाठ सन्देशको लागि $ 1 खर्च गर्दछ। यसबाहेक, तपाइँसँग काम गरिरहनु भएको कुनै क्लिनिकले परिणामको मापदण्ड पाउनेछ (चाहेको लागि कसैले कुनै टीभीकरण प्राप्त गर्यो)। मान्नुहोस् कि तपाईंको $ 1,000 को बजेट छ।

    1. कुन परिस्थितिमा यो राम्रो हुन सक्छ तपाईंको संसाधनहरूलाई सानो संख्यामा क्लिनिकहरूमा र कुन सर्तहरूमा अझ राम्रो हुन सक्छ उनीहरूलाई अझ बढि व्यापक रूपमा फैलाउन सक्छ?
    2. कुन कारकहरूले सानो आकारको आकार निर्धारण गर्दछन् कि तपाइँ आफ्नो बजेटसँग विश्वसनीय ढंगले पत्ता लगाउन सक्नुहुनेछ?
    3. यी व्यापार अफहरूलाई सम्भावित मनोरञ्जनको बारेमा एक मेमो लेख्नुहोस्।

20. [ , ] अनलाइन कोर्सहरूको साथ एक प्रमुख समस्या अवमूल्यन छ: पाठ्यक्रमहरू अन्त्य गर्ने धेरै विद्यार्थीहरू छोडिन्छन्। कल्पना गर्नुहोस् कि तपाईं अनलाइन अनलाईन प्लेटफर्ममा काम गर्दै हुनुहुन्छ, र प्लेटफर्ममा एक डिजाइनरले एक दृश्य प्रगति पट्टी सिर्जना गरेको छ जुन उनीहरूले सोचेका छन् कि विद्यार्थीहरूलाई पाठ्यक्रम छोड्नदेखि रोक्न मद्दत गर्नेछ। तपाईं एक ठूलो कम्प्यूटेशनल सोशल विज्ञान पाठ्यक्रममा विद्यार्थीहरूमा प्रगति पट्टीको प्रभावको परीक्षण गर्न चाहानुहुन्छ। कुनै पनि नैतिक समस्याहरू सम्बोधन गर्ने क्रममा प्रयोगमा उत्पन्न हुन सक्दछ, तपाईं र तपाईंका सहकर्मीहरू चिन्तित हुनसक्छन् कि पाठ्यक्रम पर्याप्त विद्यार्थीहरू प्रगति पट्टीको प्रभावहरूको पत्ता लगाउन पर्याप्त विद्यार्थी हुन सक्दैनन्। निम्न गणनाहरूमा, तपाईं मान्न सक्नुहुन्छ कि आधा विद्यार्थीहरूले प्रगति पट्टी प्राप्त गर्नेछन् र आधा नहोला। यसबाहेक, तपाईं मान्न सक्नुहुन्छ कि हस्तक्षेप छैन। अन्य शब्दहरुमा, तपाईं यो मान्न सक्नुहुन्छ कि सहभागीहरूले मात्र प्रभावित छन् कि उनीहरूले उपचार वा नियन्त्रण पाएका छन्; उनीहरूले अरूलाई उपचार वा नियन्त्रण प्राप्त गरेनन भने प्रभावकारी छैनन् (अधिक औपचारिक परिभाषाको लागि, Gerber and Green (2012) अध्याय 8 हेर्नुहोस् Gerber and Green (2012) )। तपाईंले बनाउनु भएको कुनै अतिरिक्त धारणाहरूको ट्रयाक राख्नुहोस्।

    1. मानौं कि प्रगति पट्टीमा विद्यार्थीहरूको अनुपात वृद्धि गर्नको लागि 1 प्रतिशत बिन्दुद्वारा कक्षा समाप्त गर्न सकिन्छ; प्रभावकारी रूपमा प्रभाव पत्ता लगाउन नमूना आकार को आवश्यक छ?
    2. मानौं कि प्रगति पट्टीलाई 10 प्रतिशत बिन्दुहरूद्वारा कक्षा समाप्त गर्ने अनुपात बढाउन अपेक्षा गरिएको छ; प्रभावकारी रूपमा प्रभाव पत्ता लगाउन नमूना आकार को आवश्यक छ?
    3. अब कल्पना गर्नुहोस् कि तपाईंले प्रयोग चलाउनुभएको छ, र सबै पाठ्यक्रम सामग्री पूरा गरेको विद्यार्थीहरूले अन्तिम परीक्षा लिएका छन्। जब तपाइँ अन्तिम परीक्षा स्कोर विद्यार्थीहरू जसले प्राप्त गर्ने स्कोरको साथ प्रगति पट्टी प्राप्त गरे तुलना गर्नुभएन, तपाईले पाउनु भएकोमा तपाईको अचम्मको बारेमा थाहा पाउनु भएको छ कि विद्यार्थीहरूले प्रगति पट्टी प्राप्त गरेनन भने वास्तवमा उच्च स्तरको स्कोर हुन्छ। के यो अर्थ हो कि प्रगति पट्टीले विद्यार्थीहरूलाई कम सिक्नको कारण बनायो? यस परिणाम डेटाबाट तपाई के सिक्न सक्नुहुन्छ? (संकेत: Gerber and Green (2012) अध्याय 7 हेर्नुहोस् Gerber and Green (2012) )

21. [ , , ] कल्पना गर्नुहोस् कि तपाईं एक टेक्नोलोजी कम्पनी मा डाटा वैज्ञानिकको रूपमा काम गर्दै हुनुहुन्छ। एक विपणन विभागबाट कसैले प्रयोगको मूल्यांकन गर्न तपाईँको सहयोगको लागि सोध्दछ कि उनि नयाँ अनलाइन विज्ञापन अभियानको लागि लगानीमा फिर्ता (ROI) मापन गर्न योजना बनाउँदैछन्। ROI अभियान को लागत को विभाजित अभियान को शुद्ध लाभ को रूप मा परिभाषित गरिएको छ। उदाहरणको लागि, एक अभियान जुन बिक्रीमा कुनै प्रभाव थिएन भने ROI को -100% हुनेछ; एक अभियान जहाँ मुनाफे उत्पन्न भयो लागत को बराबर थिए 0 को ROI हुनेछ; र एक अभियान जहाँ मुनाफे उत्पन्न भयो डबल को लागत 200% को ROI हुनेछ।

    प्रयोग सुरुवात गर्नु अघि, मार्केटिंग विभागले तपाइँलाई अघिल्लो अनुसन्धानको आधारमा निम्न जानकारी प्रदान गर्दछ (वास्तवमा, यी मानहरू लुईस र राओ (2015) रिपोर्ट गरिएका वास्तविक अनलाइन विज्ञापन अभियानहरूको विशिष्ट हुन्:

    • मतलब प्रति ग्राहकले $ 7 को अर्थ र $ 75 को मानक विचलनसँग लग-सामान्य वितरणको अनुगमन गर्दछ।
    • अभियान प्रति ग्राहक $ 0.35 द्वारा बिक्री बढेको अनुमान गरिएको छ, जुन प्रति ग्राहक $ 0.175 को लाभ मा वृद्धि भएको छ।
    • प्रयोगको योजनाबद्ध आकार 200,000 मान्छे हो: उपचार समूहमा आधा र नियन्त्रण समूहमा आधा।
    • अभियानको लागत प्रति सहभागी $ 0.14 हो।
    • अभियानको लागि अपेक्षित आरओआई 25% छ [ \((0.175 - 0.14)/0.14\) ]। अन्य शब्दहरुमा, मार्केटिंग विभाग को मानिन्छ कि मार्केटिंग मा बिताएको प्रत्येक 100 डलर को लागि, कम्पनी को एक अतिरिक्त $ 25 लाभ मा अर्जित हुनेछ।

    यो प्रस्तावित प्रयोगको मूल्यांकन गर्ने मेमो लेख्नुहोस्। तपाईंको मेमोले तपाईंले सिर्जना गर्नुभएका सिमुलेशनबाट प्रमाणहरू प्रयोग गर्नुपर्दछ, र यसलाई दुइटा प्रमुख मुद्दाहरू सम्बोधन गर्नुपर्छ: (1) के तपाईं यो प्रयोग सुरुवात गर्ने योजनाको रूपमा सिफारिस गर्नुहुन्छ? यदि त्यसो भए, किन? यदि छैन भने, किन? यो निर्णय गर्न प्रयोग गर्दै मापदण्ड बारे स्पष्ट हुन निश्चित हुनुहोस्। (2) यस प्रयोगको लागि तपाई कुन नमूनाको सुझाव दिनुहुन्छ? फेरि कृपया यो निर्णय गर्न प्रयोग गर्नुभएका मापदण्डहरूको बारेमा स्पष्ट हुन निश्चित हुनुहोस्।

    एक राम्रो मेमोले यस विशिष्ट घटनालाई सम्बोधन गर्नेछ; एक बेहतर मेमो यस मामला देखि एक तरिका मा सामान्यतया हुनेछ (उदाहरणार्थ, शो कसरि अभियान को प्रभाव को आकार को एक समारोह को रूप मा परिवर्तन); र एक महान मेमो एक पूर्णतया सामान्यीकृत परिणाम प्रस्तुत गर्नेछ। तपाईंको मेमो ग्राफिक प्रयोग गर्नुपर्दछ तपाईको परिणामहरू देखाउन मद्दत।

    यहाँ दुई संकेतहरू छन्। पहिलो, मार्केटिंग विभागले तपाईंलाई केही अनावश्यक जानकारी प्रदान गरेको हुन सक्छ, र उनीहरूले तपाईंलाई केहि आवश्यक जानकारी प्रदान गर्न असफल भएको हुन सक्छ। दोस्रो, यदि तपाईं आर प्रयोग गर्दै हुनुहुन्छ भने, सावधान रहनुहोस् कि rnnorm () प्रकार्यले धेरै व्यक्तिहरूको आशा गर्ने काम गर्दैन।

    यो क्रियाकलापले तपाईंलाई पावर विश्लेषणको साथ अभ्यास गर्दछ, सिमुलेशनहरू सिर्जना गर्नेछ, र तपाईंको परिणामहरू र ग्राफहरूसँग संवाद गर्नेछ। यसले तपाईंलाई कुनै पनि प्रकारको प्रयोगको लागि पावर विश्लेषण सञ्चालन गर्न सहयोग पुर्याउँदछ, न केवल ROI अनुमान गर्न डिजाइन गरिएका प्रयोगहरू। यो गतिविधि मानिन्छ कि तपाईंसँग सांख्यिकीय परीक्षण र पावर विश्लेषणको साथ केहि अनुभव छ। यदि तपाईं पावर विश्लेषणको साथ परिचित हुनुहुन्न भने, म तपाईंलाई Cohen (1992) द्वारा "ए पावर प्राइमर" पढ्ने सिफारिस गर्दछु।

    यो गतिविधि RA Lewis and Rao (2015) द्वारा एक प्यारा पेपरबाट प्रेरित भएको थियो, जसले अझ पनि विशाल प्रयोगका आधारभूत सांख्यिकीय सीमालाई चित्रण गर्दछ। तिनीहरूको पेपर - मूलतः उत्प्रेरक शीर्षक थियो "विज्ञापनमा फर्काउने मापदण्डको नमुना असम्भवता" - कसरी देख्न गाह्रो छ कि अनलाइन विज्ञापनहरूको लगानीमा फिर्तीको मापदण्डको लागी, लाखौं ग्राहकहरूसँग डिजिटल प्रयोगहरू समेत। अधिक साधारणतया, RA Lewis and Rao (2015) एक मौलिक सांख्यिकीय तथ्यको वर्णन गर्दछ जुन डिजिटल-युग प्रयोगहरूको लागि विशेष रूपमा महत्त्वपूर्ण छ: शोर परिणाम डेटाको बीचमा सानो उपचारको प्रभाव अनुमान गर्न गाह्रो हुन्छ।

22. [ , ] अघिल्लो प्रश्नको रूपमा हो, तर, सिमुलेशन भन्दा सट्टा, तपाइँ विश्लेषणात्मक नतिजाहरू प्रयोग गर्नुपर्छ।

23. [ , , ] अघिल्लो प्रश्न जस्तै नै हो, तर सिमुलेशन र विश्लेषणात्मक नतिजा दुवै प्रयोग गर्नुहोस्।

24. [ , , ] कल्पना गर्नुहोस् कि तपाईंले माथि उल्लेख गरिएको ज्ञापन लेख्नुभएको छ, र मार्केटिङ विभागको कसैले एक नयाँ जानकारी प्रदान गर्दछ: उनीहरूले प्रयोग भन्दा अघि 10 र बिक्री बीच 0.4 सहभागिताको आशा गर्छन्। यसले तपाइँको मेमोमा सिफारिसहरू कसरी परिवर्तन गर्छ? (संकेत: अंतर-को-अर्थ अनुमानक र फरक-फरक-फरक-फरक अनुमानकमा अधिकका लागि खण्ड 4.6.2 हेर्नुहोस्।)

25. [ , ] नयाँ वेब-आधारित रोजगार-सहायता कार्यक्रमको प्रभावकारिताको मूल्यांकन गर्न, एक विश्वविद्यालयले स्कूलको अन्तिम वर्ष प्रवेश गर्न 10,000 विद्यार्थीहरु बीच एक अनियमित नियन्त्रण परीक्षण सञ्चालन गर्यो। अनन्य लग-इन जानकारीको साथ एक निःशुल्क सदस्यता अनियमित रूपमा चयन गरिएका विद्यार्थीहरूको 5000 ईमेलमा पठाइएको थियो, जबकि अन्य 5,000 विद्यार्थीहरू नियन्त्रण समूहमा थिए र सदस्यता छैन। बाह्र महिनापछि, एक अनुवर्ती सर्वेक्षण (कुनै नसोधिने छैन) भनेर देखा पर्यो कि उपचार र नियन्त्रण दुबै समूहहरूमा, विद्यार्थीहरूले 70% पूर्ण-समय रोजगारीलाई आफ्नो चुनेको क्षेत्र (तालिका 4.6) मा सुरक्षित गरेका थिए। यसरी, यो देखिन्छ कि वेब-आधारित सेवामा कुनै असर पर्दैन।

    तथापि, विश्वविद्यालयमा एक चालाक डेटा वैज्ञानिकले अझ धेरै नजिकको डेटा हेर्नुभयो र पत्ता लगाउनुभयो कि उपचारको समूहमा विद्यार्थीहरूको केवल 20% विद्यार्थीले कहिलेकाहीँ ईमेल प्राप्त गरे पछि खातामा लग इन गरे। यसबाहेक, र केहि हदसम्म आश्चर्यजनक कुरा, वेबसाइटमा लग इन गर्नेहरूमध्ये, केवल 60% पूर्ण-समयको रोजगारीले आफ्नो चुनेको क्षेत्रमा सुरक्षित गरेको थियो, जो मान्छे लगिन र मान्छे को दर भन्दा कम नियन्त्रण स्थितिमा (तालिका 4.7)।

    1. के हुन सक्छ को लागि एक व्याख्या प्रदान गर्नुहोस्।
    2. यस प्रयोगमा उपचारको प्रभाव गणना गर्न दुई फरक तरिकाहरू के हुन्?
    3. यो परिणामलाई दिईयो, सबै विद्यार्थीहरूलाई यो सेवा प्रदान गर्नुपर्छ? केवल स्पष्ट हुन, यो सरल जवाफको साथ प्रश्न होइन।
    4. तिनीहरूले के गर्नु पर्छ?

    संकेत: यो प्रश्न यस अध्यायमा समावेश गरिएको सामग्री भन्दा बाहिर जान्छ, तर प्रयोगहरूमा सामान्य समस्याहरू सम्बोधन गर्दछ। यो प्रयोगात्मक डिजाइन कहिलेकाहीँ एक प्रोत्साहन डिजाइन भनिन्छ किनभने सहभागीहरूलाई उपचारमा संलग्न हुन उत्प्रेरित गरिन्छ। यो समस्या भनेको एक पक्षीय गैरकम्पत्ति भनिन्छ को एक उदाहरण हो ( Gerber and Green (2012) अध्याय 5 हेर्नुहोस्।

26. [ ] थप परीक्षा पछि, यो अघि बढ्यो कि अघिल्लो प्रश्नमा वर्णन गरिएको प्रयोग भन्दा बढी जटिल थियो। यसले फर्कायो कि नियन्त्रण समूहमा 10% मान्छे सेवाको लागि भुक्तान गरे, र तिनीहरूले रोजगारको 65% (तालिका 4.8) को रोजगार दर समाप्त भयो।

    1. तपाईंले सोच्नुभएको कुरा सारांशमा एक इमेल लेख्नुहोस् र कार्यको कोर्स सिफारिस गर्नुहोस्।

    संकेत: यो प्रश्न यस अध्यायमा समावेश गरिएको सामग्री भन्दा बाहिर जान्छ, तर प्रयोगहरूमा सामान्य समस्याहरू सम्बोधन गर्दछ। यो समस्या भनेको दुई पक्षीय गैरकम्पर्क भनिन्छ को एक उदाहरण हो ( Gerber and Green (2012) अध्याय 6 हेर्नुहोस्)।