საქმიანობის

• სირთულის ხარისხი: მარტივია , საშუალო , მძიმე , ძალიან ძნელი
• მოითხოვს მათემატს ( )
• მოითხოვს კოდირებას ( )
• მონაცემთა შეგროვება ( )
• ჩემი რჩეულები ( )

1. [ , ] ბერინსკის და კოლეგებმა (2012) შეაფასეს MTurk ნაწილობრივ ტირაჟით სამი კლასიკური ექსპერიმენტი. გაიმეორეთ კლასიკური აზიური დაავადებათა ლაბორატორიული ექსპერიმენტი Tversky and Kahneman (1981) . შენი შედეგები შეესაბამება Tversky და Kahneman ის? ბერნსკისა და კოლეგების შედეგებს შეესაბამება? რაიმეს შემთხვევაში - ეს გვასწავლის MTurk- ის კვლევის ექსპერიმენტების გამოყენების შესახებ?

2. [ , ] გარკვეულწილად ენა- in- cheek ქაღალდი სახელწოდებით "ჩვენ უნდა გაწყვეტის", სოციალური ფსიქოლოგი რობერტ Cialdini, ერთ ავტორები Schultz et al. (2007) , წერდა, რომ იგი მუშაობდა დასაწყისში მისი სამუშაო როგორც პროფესორი, ნაწილობრივ იმიტომ, რომ გამოწვევების წინაშე აღმოჩნდა სფეროში ექსპერიმენტი დისციპლინა (ფსიქოლოგია), რომელიც ძირითადად ატარებს ლაბორატორიული ექსპერიმენტი (Cialdini 2009) . წაიკითხეთ Cialdini- ის ქაღალდი და დაწერა წერილი, რომ მას მოუწოდა, გადახედოს მის გადახედვას ციფრული ექსპერიმენტების შესაძლებლობების ფონზე. გამოვიყენოთ კონკრეტული მაგალითები კვლევა, რომელიც ეხება მისი შეშფოთება.

3. [ ] იმის დასადგენად, თუ რამდენად მცირე წარმატების ჩასატარებლად ან გაცდენის შემთხვევაში, ვან დე რიჯტთან და კოლეგებთან (2014) ჩარეული იქნა ოთხი განსხვავებული სისტემა, რომელიც წარმატებით გამოირჩეოდა შემთხვევით შერჩეულ მონაწილეებზე, შემდეგ კი ამ უკანასკნელის წარმატების გრძელვადიანი ზემოქმედება. ფიქრობთ თუ არა სხვა სისტემები, რომლითაც შეგიძლიათ მსგავსი ექსპერიმენტების ჩატარება? შეაფასეთ ეს სისტემები სამეცნიერო ღირებულების, ალგორითმული კამათის (იხ. თავი 2) და ეთიკის საკითხებზე.

4. [ , ] ექსპერიმენტის შედეგები შეიძლება დამოკიდებული იყოს მონაწილეებზე. შექმნა ექსპერიმენტი და შემდეგ გაუშვით MTurk გამოყენებით ორი განსხვავებული რეკრუტირების სტრატეგიები. შეეცადეთ აირჩიოთ ექსპერიმენტი და რეკრუტირება სტრატეგიები ისე, რომ შედეგები იქნება რაც შეიძლება განსხვავებული . მაგალითად, თქვენი რეკრუტირების სტრატეგიები შეიძლება მონაწილეობდნენ დილისა და საღამოს მონაწილეებზე ან მონაწილეებს აუნაზღაურდებათ მაღალი და დაბალი ანაზღაურება. ამგვარი განსხვავებები რეკრუტირების სტრატეგიაში შეიძლება გამოიწვიოს სხვადასხვა აუზი მონაწილეთა და სხვადასხვა ექსპერიმენტული შედეგები. რამდენად განსხვავდება თქვენი შედეგები? რას იტყვის MTK- ზე ექსპერიმენტების გაშვებაზე?

5. [ , , წარმოიდგინეთ, რომ ემოციური კონტაზიის ექსპერიმენტის დაგეგმვა (Kramer, Guillory, and Hancock 2014) . გამოიყენეთ შედეგები Kramer (2012) მიერ ადრე ჩატარებული კვლევის შედეგების მიხედვით თითოეული მონაწილეების მონაწილეთა რაოდენობას. ეს ორი კვლევა არ შეესაბამება სრულყოფილად ასე რომ დარწმუნებული უნდა იყოს მკაფიოდ ჩამოთვალოს ყველა ვარაუდები, რომ თქვენ:

   1. სიმულაცია, რომელიც გადაწყვეტს რამდენი მონაწილე მიიღებს ეფექტს, როგორც Kramer (2012) ეფექტი Kramer (2012) \(\alpha = 0.05\) და \(1 - \beta = 0.8\) .
   2. იგივე გაანგარიშება ანალიტიკურად.
   3. Kramer (2012) შედეგების გათვალისწინებით ემოციური კონტაზია (Kramer, Guillory, and Hancock 2014) ზედმეტად იკვებებოდა (ანუ, უფრო მეტი მონაწილე იყო, ვიდრე საჭიროა)?
   4. რა ვარაუდები, რომლითაც თქვენ გააკეთეთ, რომელსაც აქვს ყველაზე დიდი გავლენა თქვენს გაანგარიშებაზე?

6. [ , , უპასუხეთ წინა კითხვას, მაგრამ ამჯერად Kramer (2012) მიერ ჩატარებული ადრე დაკვირვების მეთოდის გამოყენება, გამოიყენეთ შედეგები Lorenzo Coviello et al. (2014) .

7. [ ] ორივე Margetts et al. (2011) და ვან დე რიჯი და სხვები. (2014) შესრულებული ექსპერიმენტები შეისწავლა ხალხის პროცესი ხელმოწერის პეტიცია. შეადარეთ და ეწინააღმდეგება ამ კვლევების დიზაინებსა და დასკვნებს.

8. [ ] Dwyer, Maki, and Rothman (2015) ჩაატარა ორ სფეროში ექსპერიმენტი შორის ურთიერთობა სოციალური ნორმები და პრო გარემოსდაცვითი ქცევის. აი, მათი ქაღალდის აბსტრაქცია:

   "როგორ შეიძლება გამოყენებული იქნას ფსიქოლოგიური მეცნიერება პროენორული ქცევის წახალისების მიზნით? ორ კვლევებში, ინტერვენციები, რომლებიც მიზნად ისახავდა ენერგეტიკული კონსერვაციის ქცევის პოპულარიზაციას საჯარო აბანოებში, შეისწავლა აღწერილობითი ნორმებისა და პირადი პასუხისმგებლობის გავლენა. სასწავლო 1-ში, სინათლის სტატუსი (ანუ, ან გამორთვა) იყო მანიპულირებული, სანამ ვინმეს შედიოდა აუდიოვიზუალური საზოგადოებრივი აბაზანა, სიგნალიზაციის აღწერილობა ამ პარამეტრისთვის. მონაწილეები უფრო სავარაუდოდ აღმოჩნდნენ შუქნიშნები, თუ ისინი შევიდნენ, როდესაც ისინი შევიდნენ. შესწავლა 2, დამატებითი პირობები იყო, რომელშიც ნათელი იყო სინათლის გამორთვა კონფედერატის მიერ, მაგრამ მონაწილეები არ იყვნენ პასუხისმგებელი, რომ გადაეწყვიტათ. პერსონალურმა პასუხისმგებლობამ მოახდინა სოციალური ნორმების გავლენა ქცევის შესახებ; როდესაც მონაწილეები არ იყვნენ პასუხისმგებელი სინათლის გასწორებაზე, ნორმის გავლენა შემცირდა. ეს შედეგები მიუთითებს იმაზე, თუ რამდენად აღწერილია დესკრიპციული ნორმები და პირადი პასუხისმგებლობა პროენორული ინტერვენციების ეფექტურობას.

   წაიკითხეთ მათი ქაღალდი და შეიმუშაონ სწავლის ტირაჟი 1.

9. [ , ] შენობის წინა კითხვაზე, ახლა განახორციელეთ დიზაინი.

   1. როგორ შევადარებთ შედეგებს?
   2. რა შეიძლება ახსნას ეს განსხვავებები?

10. [ ] იყო მნიშვნელოვანი დებატები ექსპერიმენტების შესახებ, რომლებიც იყენებენ MTurk- ისგან მიღებულ მონაწილეებს. პარალელურად, არსებობს ასევე მნიშვნელოვანი დებატები ექსპერიმენტების შესახებ, რომლებიც მონაწილეობდნენ ბაკალავრიატის სტუდენტებისგან. ჩაწერეთ ორგვერდიანი მემუარტი, რომლებიც შეისწავლიან და განსხვავდებიან თურქელებისა და ბაკალავრიატის მკვლევარების მონაწილეობით. შენი შედარება უნდა მოიცავდეს როგორც სამეცნიერო, ასევე ლოგისტიკურ საკითხებს.

11. [ ] ჯიმ მანცის წიგნი უკონტროლო (2012) არის შესანიშნავი შესავალი ძალა ექსპერიმენტების ბიზნესში. წიგნში მან შემდეგი სიუჟეტი გადაიღო:

    "მე ერთხელ ვიყავი ჭეშმარიტი ბიზნეს გენიუსთან, თვითნაკეთი მილიარდერით, რომელსაც ჰქონდა ღრმა, ინტუიციური ექსპერიმენტების ძალაუფლება. მისმა კომპანიამ მნიშვნელოვანი რესურსები დახარჯა, რათა მაღაზიის ფანჯრების დიდ ეკრანებზე შექმნა, რაც მომხმარებლების მოზიდვას და გაყიდვების გაზრდას ითვალისწინებს, რადგან ჩვეულებრივი სიბრძნე ამბობს, რომ მათ უნდა ჰქონდეთ. ექსპერტები ყურადღებით შეისწავლიან დიზაინის შემდგომ დიზაინს, ხოლო ინდივიდუალური ტესტების განხილვისას, რომელიც ატარებს წლების მანძილზე, არ იძლევა არ იძლევა გაყიდვების შესახებ ახალი დიზაინის დიზაინის მნიშვნელოვან მიზეზს. უფროსი მარკეტინგის და merchandising აღმასრულებლები შეხვდა აღმასრულებელი დირექტორი განიხილავს ამ ისტორიული ტესტის შედეგები toto. ექსპერიმენტული მონაცემების წარდგენის შემდეგ მათ დაასკვნეს, რომ ჩვეულებრივი სიბრძნე არასწორი იყო - ეს ფანჯარა აჩვენებს გაყიდვების გაყიდვას. მათი რეკომენდირებული ღონისძიება იყო ამ სფეროში არსებული ხარჯებისა და ძალისხმევის შემცირება. ეს დრამატულად აჩვენა ექსპერიმენტის უნარი ჩვეულებრივი სიბრძნის გადალახვაში. CEO- ს პასუხი იყო მარტივი: "ჩემი დასკვნაა, რომ თქვენი დიზაინერები არ არიან ძალიან კარგი. მისი გამოსავალი იყო ძალისხმევის გაზრდა მაღაზიის ჩვენების დიზაინში და ახალი ხალხის მიღება " (Manzi 2012, 158–9)

    რომელი ტიპის ნამდვილობაა აღმასრულებელი დირექტორის შეშფოთება?

12. [ ] წინა კითხვაზე შენობა წარმოიდგინე, წარმოიდგინეთ, რომ შეხვედრაზე იმყოფებდით, სადაც განიხილებოდა ექსპერიმენტების შედეგები. რა არის ოთხი შეკითხვა, რომელიც შეიძლება ითხოვოთ ერთ-ერთი ტიპის (სტატისტიკური, სამშენებლო, შიდა და გარე)

13. [ Bernedo, Ferraro, and Price (2014) შეისწავლეს Ferraro, Miranda, and Price (2011) აღწერილი წყლის დაზოგვის ინტერვენციის შვიდწლიანი ეფექტი (იხ. სურათი 4.11). ამ დოკუმენტში, ბერნდო და კოლეგები ცდილობდნენ, გაეცნონ იმ მექანიზმს, რომლებიც ეფექტიანად იქცევიან შინამეურნეობების ქცევის შედარებით, რომლებსაც აქვთ მკურნალობა მას შემდეგ, რაც მკურნალობა არ გადაიდო. ეს არის, უხეშად, ისინი ცდილობდნენ თუ არა მკურნალობა გავლენას ახდენს სახლში ან homeowner.

    1. წაიკითხეთ ქაღალდი, აღწერეთ თავიანთი დიზაინი და შეაჯამეს მათი შედეგები.
    2. თავიანთი დასკვნები აისახება, თუ როგორ უნდა შეაფასოს მსგავსი ინტერვენციების ხარჯების ეფექტურობა? თუ ასეა, რატომ? თუ არა, რატომ არ?

14. [ ] Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) ორ კონტექსტში (სასტუმრო და timeshare condominium) სხვადასხვა გარემოსდაცვითი ქცევის (პირსახოცი reuse) შესახებ აღწერილობითი და საანგარიშო ნორმების (Schultz, Khazian, and Zaleski 2008) .

    1. შეაჯამეთ სამივე ექსპერიმენტის დიზაინი და შედეგები.
    2. როგორ, თუ საერთოდ, ისინი შეიცვლიან თქვენი ინტერპრეტაციას Schultz et al. (2007) ?

15. [ ] Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) გაიარეს ლაბორატორიული ექსპერიმენტების სერია ელექტრული გადასახადების შედგენის შესასწავლად. აი, როგორ აღწერენ მას აბსტრაქტში:

    "კვლევაში დაფუძნებულ ექსპერიმენტში თითოეულმა მონაწილემ დაინახა ჰიპოთეტური ელექტროენერგიის გადასახადი ოჯახისთვის შედარებით მაღალი ელექტროენერგიის გამოყენების შესახებ, რომელიც მოიცავს ინფორმაციას (ა) ისტორიულ გამოყენებას, (ბ) მეზობლებთან შედარებას და გ) ისტორიულ გამოყენებას მოწყობილობის დაზიანებით. მონაწილეებმა დაინახეს ყველა საინფორმაციო ფორმა სამიდან ერთ-ერთ ფორმატში, მათ შორის: ა) მაგიდები, ბ) ბარი გრაფიკები და გ) გრაფიკული გრაფიკები. ჩვენ ვსაუბრობთ სამ ძირითად შედეგებზე. პირველ რიგში, მომხმარებლებმა გაიგეს თითოეული ტიპის ელექტროენერგიის გამოყენების ინფორმაცია, როდესაც ეს იყო წარმოდგენილი მაგიდაზე, რადგან მაგიდები მარტივია კითხვის ნიშნის ქვეშ. მეორე, ელექტროენერგიის შენახვის წინაპირობები და განზრახვა ძალზე ძლიერი იყო ისტორიული ინფორმაციისთვის, ფორმატისგან დამოუკიდებელი. მესამე, დაბალი ენერგეტიკული ცოდნის მქონე პირებმა გაიგეს ყველა ინფორმაცია ნაკლები. "

    სხვა შემდგომი სწავლისგან განსხვავებით, Canfield, Bruin, and Wong-Parodi (2016) ინტერესის ძირითად შედეგს იძლევა ქცევა, არა რეალური ფაქტი. როგორია ამ ტიპის კვლევის ძლიერი და სუსტი მხარეები ენერგოდაზოგვის ხელშეწყობისათვის უფრო ფართო კვლევის პროგრამაში?

16. [ , ] Smith and Pell (2003) წარმოადგინა პარაშუტების ეფექტურობის შესწავლის სავარაუდო მეტა-ანალიზი. მათ დაასკვნეს:

    "როგორც ბევრი ინტერვენცია, რომელიც მიზნად ისახავს დაავადების თავიდან ასაცილებლად, პარაშუტის ეფექტურობა არ არის მკაცრი შეფასების ჩატარება რანდომიზებული კონტროლირებადი კვლევების გამოყენებით. მტკიცებულებათა დაფუძნებული მედიცინის ადვოკატებმა აკრიტიკეს ინტერვენციების მიღება მხოლოდ დაკვირვების მონაცემებით. ჩვენ ვფიქრობთ, რომ ყველას შეუძლია ისარგებლოს იმ შემთხვევაში, თუ მტკიცებულებაზე დაფუძნებული მედიცინის ყველაზე რადიკალურმა გმირებმა ორგანიზება და მონაწილეობა მიიღეს ორმაგი ბრმა, რანდომიზებული, პლაცებო კონტროლირებადი პარაშუტის კროსოვერი სასამართლოში. "

    დაწერეთ სტატია, რომელიც განკუთვნილია ზოგადი მკითხველისთვის, როგორიცაა New York Times , რომელიც ამტკიცებს ექსპერიმენტულ მტკიცებულებათა ფატიფიკაციას. კონკრეტული, კონკრეტული მაგალითები. მინიშნება: იხილეთ აგრეთვე Deaton (2010) და Bothwell et al. (2016) .

17. [ , , ] მკურნალობის ეფექტის სხვაობა-განსხვავებულმა შეფასებებმა შეიძლება უფრო ზუსტი იყოს, ვიდრე განსხვავებული საშუალო მაჩვენებლები. მოგვწერეთ ინოვატორი A / B- ის ტესტირებისას, რომელიც იწყება დამწყები სოციალური მედიის კომპანიაში, რომელიც განმარტავს ონლაინ ექსპერიმენტის გაშვებისთვის განსხვავებულობის განსხვავებულ მიდგომას. შენიშვნა უნდა შეიცავდეს პრობლემის შესახებ განცხადებას, ზოგიერთ ინტუიციას იმ პირობების შესახებ, რომლითაც განსხვავება განსხვავებულმა დამფუძნებელმა გაიზრდება განსხვავებათა საშუალო მაჩვენებელი და მარტივი სიმულაციური შესწავლა.

18. [ , ] გარი ლოვემენი ჰარვარდის ბიზნეს სკოლის პროფესორი იყო, სანამ მსოფლიოში ერთ-ერთი უმსხვილესი კაზინო კომპანია Harrah- ის აღმასრულებელი დირექტორი გახდა. როდესაც ის Harrah- ში გადავიდა, კომპანია Loveman- მა შეცვალა კომპანიის ხშირი და მსგავსი ლოიალურობის პროგრამა, რომელმაც შეისყიდა კლიენტების ქცევის შესახებ დიდი რაოდენობით მონაცემები. ამ გაზომვის სისტემაზე მუდმივად, კომპანია ექსპერიმენტებს მართავდა. მაგალითად, მათ შეუძლიათ განახორციელონ ექსპერიმენტი, რათა შეაფასონ კუპონის ეფექტი უფასო სასტუმროში ღამის კონკრეტულ სათამაშო ნიმუშებთან ერთად. აი, როგორ შეაფასა Loveman აღწერილი ექსპერიმენტები Harrah ყოველდღიური ბიზნეს პრაქტიკა:

    "როგორც თქვენ არ ავიწროებ ქალებს, არ იპარავენ და თქვენ გაქვთ კონტროლის ჯგუფი. ეს არის ერთ-ერთი რამ, რაც შეიძლება დაკარგოთ თქვენი სამუშაო Harrah's- არ აკონტროლებს საკონტროლო ჯგუფს " (Manzi 2012, 146)

    ელ-ფოსტის ახალი თანამშრომელი დაწერეთ, თუ რატომ იგრძნობს Loveman- ს იმდენად მნიშვნელოვანია, რომ ჰქონდეს საკონტროლო ჯგუფი. თქვენ უნდა შევეცადოთ, რომ შეიცავდეს მაგალითს - ან რეალური ან გახანგრძლივებული - თქვენი აზრის ილუსტრირება.

19. [ , ] ახალი ექსპერიმენტი მიზნად ისახავს ვაქცინაციის გაზრდის ტექსტური შეტყობინების შეხსენებების მიღებას. ასამდე ორმოცდაათი კლინიკა, თითოეული 600 პაციენტით, მზად არიან მონაწილეობა მიიღონ. ყოველ კლინიკაში 100 დოლარის ფიქსირებული ღირებულებაა, რომლის მუშაობაც გსურთ და თითოეული ტექსტისთვის $ 1 ღირს, რომლითაც გსურთ გაგზავნოთ. გარდა ამისა, ნებისმიერი კლინიკა, რომელიც თქვენ მუშაობთ, შეაფასებს შედეგს (თუ არა ვინმეს მიღებული ვაქცინაცია) უფასოდ. ვივარაუდოთ, რომ თქვენ გაქვთ $ 1,000 ბიუჯეტი.

    1. რა პირობებში შეიძლება უკეთესი იყოს თქვენი რესურსების მცირე რაოდენობა კლინიკებზე და რა მდგომარეობაში უნდა იყოს უფრო ფართოდ გავრცელება?
    2. რა ფაქტორები განსაზღვრავს ყველაზე პატარა ეფექტს, რომელიც შეძლებს თქვენს ბიუჯეტთან საიმედოდ გამოვლენას?
    3. ჩაწერეთ მემო-ნი ეს ახსნა-განმარტება, რომ პოტენციურ funder- ზე.

20. [ , ] მთავარი პრობლემა ონლაინ კურსებთან არის წახალისება: ბევრი სტუდენტი, რომლებიც კურსებს იწყებენ ბოლომდე მიდიან. წარმოიდგინეთ, რომ თქვენ მუშაობს ონლაინ სწავლის პლატფორმაზე და პლატფორმაზე დიზაინერმა შეიმუშავა ვიზუალური პროგრესი ბარი, რომელიც მიიჩნევს, რომ ხელს შეუშლის სტუდენტებს კურსის გამოტოვებამდე. გინდა შესწავლა პროგრესის ბარის ეფექტი სტუდენტების შესახებ, რომელიც შეისწავლის დიდი კომპიუტერული მეცნიერების კურსს. ექსპერიმენტში წარმოქმნილი ნებისმიერი ეთიკური საკითხის მოგვარების შემდეგ თქვენ და თქვენს კოლეგებს აწუხებთ, რომ რა თქმა უნდა, არ შეიძლება საკმარისი სტუდენტი არ ჰქონდეს პროგრესის ბარის შედეგების საიმედოდ გამოვლენას. მომდევნო გათვლებით, შეიძლება ვივარაუდოთ, რომ სტუდენტთა ნახევარი მიიღებს პროგრეს ბარს და ნახევარ არა. გარდა ამისა, თქვენ შეიძლება ვივარაუდოთ, რომ არ არსებობს ჩარევა. სხვა სიტყვებით რომ ვთქვათ, მონაწილეები მხოლოდ დაზარალდებიან თუ არა მათ მკურნალობა ან კონტროლი; ისინი არ იმოქმედებენ თუ არა სხვა ადამიანებმა მკურნალობა ან კონტროლი (უფრო ფორმალური დეფინიციისთვის, იხ. Gerber and Green (2012) მე -8 თავი). შეინახეთ დამატებითი დამატებითი ვარაუდები, რომლითაც გააკეთე.

    1. დავუშვათ პროგრეს ბარი, რომ გაიზარდოს სტუდენტების პროპორციით, რომლებიც 1% -ით გაიზრდებიან კლასს; რა არის ნიმუში ზომა საჭირო საიმედოდ გამოვლენის ეფექტი?
    2. დავუშვათ პროგრეს ბარი, რომ გაიზარდოს სტუდენტების პროპორციით, რომლებიც 10% -ით გაიზრდებიან კლასს; რა არის ნიმუში ზომა საჭირო საიმედოდ გამოვლენის ეფექტი?
    3. ახლა წარმოიდგინეთ, რომ ექსპერიმენტი აწარმოე და სტუდენტებს, რომლებმაც დაასრულა ყველა კურსის მასალები, მიიღეს საბოლოო გამოცდა. როდესაც შეადაროთ საბოლოო გამოცდის ქულა სტუდენტებს, რომლებმაც მიიღეს პროგრესი ბარი, რომელთაც არ გაუკეთებიათ, გაცილებით გაოცდებით, რომ სტუდენტებს, რომლებსაც პროგრესი არ მიუღიათ, რეალურად გაიზარდა. ეს ნიშნავს იმას, რომ პროგრესმა ბარმა სტუდენტებს ნაკლებად შეისწავლა? რას შეისწავლით ამ შედეგების მონაცემები? (მინიშნება: Gerber and Green (2012)

21. [ , , ] წარმოიდგინეთ, რომ თქვენ ვმუშაობთ, როგორც მონაცემები მეცნიერი ტექნიკური კომპანია. მარკეტინგის დეპარტამენტიდან ვინმე სთხოვს ექსპერიმენტის შეფასებისას, რომ ისინი გეგმავს ინვესტიციის (ROI) დაბრუნების მიზნით ახალი ონლაინ რეკლამის კამპანიისთვის. ROI განისაზღვრება როგორც წმინდა მოგება კამპანიის ხარჯით გაყოფილი კამპანიიდან. მაგალითად, კამპანია, რომელიც არ ჰქონდა გავლენას გაყიდვასთან, იქნებოდა ROI- ის 100%; კამპანია, სადაც მოგება გენერირებული იყო ხარჯების თანაბარი იქნებოდა 0-ის ROI; და კამპანია, სადაც მოგება გენერირებული იყო ორმაგი ღირებულება ექნება ROI 200%.

    ექსპერიმენტის დაწყებამდე მარკეტინგის განყოფილება მოგაწვდით ინფორმაციას მათი ადრეული კვლევის საფუძველზე (სინამდვილეში ეს ღირებულებები დამახასიათებელია Lewis- ისა და Rao- ის (2015) რეალურ ონლაინ რეკლამებზე.

    • საშუალო გაყიდვების თითო მომხმარებელს შემდეგნაირად შესვლა ნორმალური განაწილება საშუალოდ $ 7 და სტანდარტული გადახრა $ 75.
    • კამპანია სავარაუდოდ გაიზრდება გაყიდვების მომხმარებლისთვის 0.35 აშშ დოლარის ოდენობით, რაც შეესაბამება მომხმარებელზე 0.175 აშშ დოლარის მოგებას.
    • ექსპერიმენტის დაგეგმილი ზომა შეადგენს 200,000 ადამიანს: ნახევარი მკურნალობის ჯგუფში და საკონტროლო ჯგუფში ნახევარი.
    • კამპანიის ღირებულება შეადგენს $ 0.14 მონაწილეს.
    • კამპანიის მოსალოდნელი ROI 25% [ \((0.175 - 0.14)/0.14\) ]. სხვა სიტყვებით რომ ვთქვათ, მარკეტინგის დეპარტამენტი მიიჩნევს, რომ მარკეტინგში დახარჯული ყოველ 100 დოლარად, კომპანია მიიღებს დამატებით $ 25 მოგებას.

    შევახსენო ამ ექსპერიმენტის შეფასების შენიშვნა. შენი შენიშვნა უნდა გამოვიყენოთ მტკიცებულება სიმულაციისაგან, რომელიც ქმნის და ის უნდა მოიხსნას ორ მნიშვნელოვან საკითხზე: (1) გსურთ თუ არა ამ ექსპერიმენტის დაწყება დაგეგმილი? თუ ასეა, რატომ? თუ არა, რატომ არ? დარწმუნდით, რომ ამ გადაწყვეტილების მისაღებად გამოიყენეთ კრიტერიუმები. (2) რა ნიმუშის ზომა გთავაზობ ამ ექსპერიმენტს? კვლავ დარწმუნდით, რომ ნათელი იყოს კრიტერიუმების შესახებ, რომ იყენებთ ამ გადაწყვეტილებას.

    კარგი შენიშვნა მიმართავს ამ კონკრეტულ შემთხვევაში; უკეთესი შენიშვნა ამ შემთხვევაში შეიძლება განზოგადდეს ერთგვარად (მაგ., აჩვენოს თუ როგორ შეცვლის გადაწყვეტილება კამპანიის ეფექტის ზომის ფუნქციას); და დიდი შენიშვნა წარადგენს სრულად განზოგადებულ შედეგს. თქვენი შენიშვნა უნდა გამოიყენოთ გრაფიკებზე, რათა დაეხმაროს თქვენს შედეგებს.

    აქ არის ორი მინიშნებები. პირველ რიგში, მარკეტინგის განყოფილება შესაძლოა მოგაწოდოთ რაიმე არასაჭირო ინფორმაციაზე და შესაძლოა მათ არ მოგცათ გარკვეული ინფორმაცია. მეორე, თუ იყენებთ R- ს, უნდა იცოდეს, რომ rlnorm () ფუნქცია არ იმუშავებს ისე, რომ ბევრი ადამიანი ელოდება.

    ეს საქმიანობა მოგაწვდით პრაქტიკაში ძალაუფლების ანალიზს, შექმნის სიმულაციებს და კომუნიკაციას თქვენს შედეგებს სიტყვებით და გრაფიკით. ეს უნდა დაეხმაროს თქვენ განახორციელოთ ძალა ანალიზის ნებისმიერი სახის ექსპერიმენტი, არა მხოლოდ ექსპერიმენტი განკუთვნილია შეაფასებს ROI. ეს საქმიანობა მიიჩნევს, რომ თქვენ გაქვთ გარკვეული გამოცდილება სტატისტიკური ტესტირებისა და ენერგიის ანალიზთან. თუ არ იცნობენ ენერგეტიკულ ანალიზს, ვურჩევ, რომ წაიკითხოთ "Power Primer" Cohen (1992) .

    ეს საქმიანობა შთაგონებულია საყვარელი RA Lewis and Rao (2015) , რომელიც ნათლად ასახავს მასიური ექსპერიმენტების ფუნდამენტურ სტატისტიკურ შეზღუდვას. მათი ქაღალდი, რომელიც თავდაპირველად პროვოკაციულ ტიტულს წარმოადგენდა "რეკლამისადმი დაბრუნების გაზომვის შესახებ" -როგორც ჩანს, რამდენად რთულია ონლაინ რეკლამის განთავსებაზე დაბრუნება, თუნდაც ციფრული ექსპერიმენტებით მილიონობით მომხმარებელი. ზოგადად, RA Lewis and Rao (2015) ასახავს ფუნდამენტურ სტატისტიკურ ფაქტს, რომელიც განსაკუთრებით მნიშვნელოვანია ციფრული ასაკის ექსპერიმენტებისათვის: ძნელია შეფასდეს ხმაურიანი შედეგების მონაცემების ფონზე მცირე მკურნალობის ეფექტი.

22. [ , ] იგივე გააკეთე, როგორც წინა კითხვა, არამედ იმიტომ, რომ სიმულაცია არ უნდა გამოიყენოთ ანალიტიკური შედეგები.

23. [ , , ] ისევე, როგორც წინა კითხვა, მაგრამ გამოიყენე როგორც სიმულაციური და ანალიტიკური შედეგები.

24. [ , , ] წარმოიდგინეთ, რომ ზემოთ აღწერილი მემუარობის შესახებ წერია, ხოლო მარკეტინგის დეპარტამენტიდან ერთი ახალი ინფორმაცია იძლევა ინფორმაციას: ისინი ექსპერიმენტის დაწყებამდე და მის შემდეგ გაყიდვამდე 0.4 კორელაციას მოელიან. როგორ შეცვლის ეს რეკომენდაციები თქვენს შენიშვნაში? (მინიშნება: იხ. სექცია 4.6.2 განსხვავებათა სხვაობის შეფასებისა და სხვაობა-განსხვავებების შეფასების შესახებ).

25. [ , ] ახალი ვებ-დაფუძნებული დასაქმების პროგრამის ეფექტურობის შეფასების მიზნით, უნივერსიტეტმა ჩაატარა რანდომიზებული კონტროლის პროცესი, რომელშიც 10 000 მოსწავლე სწავლობს. უნიკალური გამოწერისთვის უფასო გამოწერა გაიგზავნა ექსკლუზიური ელ-ფოსტით 500 000 შემთხვევით შერჩეულ სტუდენტზე, ხოლო 5000 სტუდენტი საკონტროლო ჯგუფში იმყოფებოდა და არ ჰქონდა გამოწერა. თორმეტი თვის შემდეგ, შემდგომი კვლევა (არარეალიზების გარეშე) აჩვენა, რომ როგორც მკურნალობისა და კონტროლის ჯგუფებში, 70% სტუდენტი უზრუნველყოფდა სრულ განაკვეთზე დასაქმებას მათ მიერ არჩეულ სფეროში (ცხრილი 4.6). ამრიგად, როგორც ჩანს, ვებ-სერვისი არ იმოქმედა.

    თუმცა, უნივერსიტეტში ჭკვიანი მონაცემების მეცნიერი უფრო მჭიდროდ უყურებდა მონაცემებს და აღმოაჩინა, რომ მკურნალობის ჯგუფში მხოლოდ 20% სტუდენტი ელ-ფოსტის მიღების შემდეგ ანგარიშში შესვლას ახდენს. გარდა ამისა, და გარკვეულწილად გასაკვირი, მათ შორის, ვინც შესვლა შევიდა ნახვა, მხოლოდ 60% უზრუნველყოფდა სრულ განაკვეთზე დასაქმების მათ არჩეულ სფეროში, რომელიც იყო დაბალია, ვიდრე განაკვეთი ადამიანები, რომლებიც არ შეხვიდეთ და დაბალია, ვიდრე განაკვეთი ხალხს საკონტროლო მდგომარეობაში (ცხრილი 4.7).

    1. წარმოადგინეთ ახსნა, თუ რა მოხდა.
    2. რა არის ორი განსხვავებული გზა ამ ექსპერიმენტის მკურნალობის ეფექტის გამოთვლა?
    3. ამ შედეგის გათვალისწინებით, უნდა მიაწოდოს ეს სერვისი ყველა სტუდენტს? უბრალოდ ნათელია, რომ ეს არ არის მარტივი პასუხი კითხვაზე.
    4. რა უნდა გააკეთონ მომავალში?

    მინიშნება: ეს შეკითხვა სცილდება მასში მოცემულ მასალებს, მაგრამ ექსპერიმენტებში გავრცელებულ საკითხებს ეხება. ამ ტიპის ექსპერიმენტული დიზაინი უწოდებენ წამახალისებელ დიზაინს, რადგან მონაწილეები ეხმარებიან მკურნალობის პროცესში ჩართვას. ეს პრობლემა არის მაგალითი იმისა, რასაც უწოდებენ ცალმხრივ შეუსაბამობას (იხ. Gerber and Green (2012) მე -5 თავი).

26. [ შემდგომი გამოკვლევის შემდეგ გაირკვა, რომ წინა კითხვის დროს აღწერილი ექსპერია უფრო რთულია. აღმოჩნდა, რომ სერვისის ხელმისაწვდომობისთვის გადახდილი საკონტროლო ჯგუფების 10% -მა დაასრულა 65% -იანი დასაქმების მაჩვენებელი (ცხრილი 4.8).

    1. ჩაწერეთ ელ-ფოსტის შეჯამება, რასაც ფიქრობთ, რა ხდება და რეკომენდირებულია სამოქმედო კურსი.

    მინიშნება: ეს შეკითხვა სცილდება მასში მოცემულ მასალებს, მაგრამ ექსპერიმენტებში გავრცელებულ საკითხებს ეხება. ეს პრობლემა არის მაგალითი, თუ რა ჰქვია ორმხრივ შეუსაბამობას (იხ. Gerber and Green (2012) თავი 6).