fəaliyyət

Key:

• Çətinlik dərəcəsi: asan orta , çətin , çox çətin
• (Riyaziyyat tələb )
• (Kodlaşdırma tələb )
• məlumatların toplanması ( )
• Seçdiklərimə ( )

1. [ , ] Berinsky və həmkarları (2012) üç klassik təcrübələr təkrarlanmağa qismən Mechanical Türk qiymətləndirir. Klassik Asiya Disease dizayn təcrübə kopya Tversky and Kahneman (1981) . Sizin nəticələri matç Tversky və Kahneman nin edirsiniz? Sizin nəticələri matç Berinsky və həmkarları edirsiniz? Nə-if bir şey-ki, bu sorğu eksperimentlər üçün Mechanical Türk istifadə haqqında bizə öyrətmək?

2. [ , ] Adlı bir qədər dil-in-yanaq yazıda "Biz qırmaq lazımdır," sosial psixoloq Robert Cialdini, müəlliflərindən biri Schultz et al. (2007) , o, çünki o, əsasən laboratoriya eksperimentlər aparır bir nizam-intizam (psixologiya) sahəsində təcrübələr bunu qarşılaşdığı problemlər hissəsində, erkən professoru onun iş təqaüdçü olduğunu yazırdı (Cialdini 2009) . Cialdini dissertasiyasını oxumaq və ona digital təcrübələr imkanları işığında onun break-up yenidən onu çağıran bir e-poçt yazın. Onun məsələləri tədqiqat xüsusi nümunələri istifadə edin.

3. [ ] Üz kiçik ilkin uğurlar kilidi-in olub-olmadığını müəyyən və ya fade etmək üçün, van de Rijt və və həmkarları (2014) təsadüfi seçilmiş iştirakçılara uğur hədiyyə dörd müxtəlif sistemlərinə müdaxilə və bu ixtiyari uğur uzunmüddətli təsirləri qiymətləndirilir. Siz oxşar təcrübələr run bilər ki, digər sistemlər hesab edə bilər? elmi dəyəri məsələləri baxımından bu sistemi qiymətləndirilməsi, alqoritmik confounding və etika (Fəsil 2).

4. [ , ] Bir sınaq nəticələri iştirakçıları asılı ola bilər. bir sınaq yaradın və sonra iki müxtəlif cəlb strategiyaları istifadə Amazon Mechanical Türk (MTurk) onu axır. Nəticələri mümkün qədər fərqli olacaq, belə ki, təcrübə və cəlb strategiyaları seçmək üçün cəhd edin. Məsələn, işə qəbul strategiyaları səhər və axşam iştirakçıları cəlb etmək və ya yüksək və aşağı ödəniş ilə iştirakçıları kompensasiya ola bilər. cəlb strategiyasının fərqlər bu cür iştirakçıları və müxtəlif eksperimental nəticələrin müxtəlif hovuzlar gətirib çıxara bilər. Necə müxtəlif nəticələr çıxmaq idi? ki MTurk eksperimentlər çalışan haqqında nə deyir?

5. [ , , , ] Siz Mənəvi Contagion iş planlaşdırır Təsəvvür edin ki (Kramer, Guillory, and Hancock 2014) . Bir əvvəlki müşahidə öyrənilməsi nəticələrini istifadə Kramer (2012) hər bir vəziyyətdə iştirakçıların sayı qərar. Bu iki tədqiqatlar mükəmməl belə aydın etmək bütün fərziyyələr siyahısı əmin olun uyğun gəlmir:

   1. Qüvvədə kimi böyük təsir aşkar etmək üçün lazım olardı neçə iştirakçı qərar qəbul edəcək simulyasiya Run Kramer (2012) ilə \ (\ alpha = 0,05 \) və \ (1 - \ beta = 0.8 \).
   2. analitik eyni hesablanması etməyin.
   3. Alınan nəticələr nəzərə alaraq Kramer (2012) Mənəvi Contagion edildi (Kramer, Guillory, and Hancock 2014) (yəni, lazım artıq iştirakçıları var idi) artıq-powered?
   4. Sizin hesablanması ən böyük təsir edilən fərziyyələr, Of?

6. [ , , , ] Yuxarıda sual cavab, əksinə əvvəlki müşahidə iş istifadə edərək daha Kramer (2012) tərəfindən əvvəllər təbii təcrübə nəticələrini istifadə Coviello et al. (2014) .

7. [ ] Hər iki Rijt et al. (2014) və Margetts et al. (2011) , həm də ərizə imzalanması insanların prosesi öyrənmək eksperimentlər həyata keçirir. Müqayisə və dizayn və bu işlərin nəticələri kontrast.

8. [ ] Dwyer, Maki, and Rothman (2015) sosial norma və proenvironmental davranış arasında əlaqələr iki sahədə təcrübələr aparmışdır. Burada onların kağız mücərrəd var:

   "Necə psixoloji elm proenvironmental davranış təşviq etmək üçün istifadə edilə bilər? iki tədqiqatlar, ictimai Vanna enerji konservasiya davranış təşviqinə yönəlmiş müdaxilələr təsviri norma və şəxsi məsuliyyət təsir araşdırdı. kimsə ki, qəbulu üçün təsviri norma siqnalizasiya, bir boş ictimai vanna otağı daxil əvvəl Study 1, yüngül status (yəni, off və ya) manipulyasiya edilib. İştirakçılar daxil olduqda onlar off əgər işıqları söndürmək üçün əhəmiyyətli dərəcədə daha çox idi. Təhsil 2, əlavə şərt olan işıq off dönüş norma müttəfiqinə tərəfindən nümayiş olunub daxil, lakin iştirakçılar onu dönüş üçün cavabdeh özləri deyil idi. Personal məsuliyyət davranış sosial normaların təsiri moderatorluq; İştirakçılar işıq dönüş üçün cavabdeh deyil zaman, normanın təsiri aşağı idi. Bu nəticələr proenvironmental müdaxilələrin səmərəliliyini tənzimləmək bilər necə təsviri norma və şəxsi məsuliyyət göstərir. "

   onların kağız oxuyun və təhsil 1-təkrarlanması dizayn.

9. [ , ] Əvvəlki suala əsaslanaraq, indi sizin dizayn həyata keçirir.

   1. nəticələr müqayisə edirsiniz?
   2. Nə bu fərqləri izah edə bilər?

10. [ ] Amazon Mechanical Türk qəbul iştirakçıları istifadə təcrübələr haqqında əhəmiyyətli müzakirələr olmuşdur. Paralel olaraq da bakalavr tələbə əhalinin işə iştirakçıları istifadə təcrübələr haqqında əhəmiyyətli müzakirələr olmuşdur. müqayisə və tədqiqatçılar iştirakçıları Turkers və ögrenci təzadlı bir-iki səhifə memo yazın. Sizin müqayisə elmi və maddi-texniki məsələləri, həm də müzakirə daxil olmalıdır.

11. [ ] Jim Manzi kitabı Nəzarətsiz (2012) biznes sınaq hakimiyyətə gözəl giriş. Kitabda bu hekayə çatdırdı:

    "Mən əsl biznes dahi, təcrübələr hakimiyyəti dərin, intuitiv başa düşülməsini idi self-made milyarder ilə görüşdə dəfə idi. Onun şirkəti şərti hikmət onlar dediyi kimi, istehlakçıların artır satış cəlb ki, böyük mağaza pəncərə ekran yaratmaq üçün çalışırıq böyük vəsait sərf etmişdir. Ekspertlər diqqətlə dizayn sonra dizayn test və satış hər yeni ekran dizayn əhəmiyyətli səbəb təsirini göstərən saxlanılır il ərzində fərdi test baxış iclaslarında. Senior marketinq və kommersiya idarəçiləri Toto bu tarixi test nəticələri nəzərdən keçirmək üçün CEO ilə görüşüb. eksperimental məlumatların bütün təqdim sonra, onlar şərti hikmət səhv olduğunu pəncərə satış sürücü yoxdur ki, başa çatıb. Onların tövsiyə fəaliyyət bu sahədə xərcləri və səy azaltmaq idi. Bu dramatik şərti hikmət ləğv sınaq qabiliyyətini nümayiş etdirdi. CEO cavab sadə idi: "Ey nəticə üçün dizaynerlər çox yaxşı deyil ki." Onun həlli mağaza ekran dizayn səy artırmaq və yeni insanlar bunu almaq idi. " (Manzi 2012, 158–9)

    CEO narahatlıq qüvvədə hansı növü?

12. [ ] Əvvəlki suala əsaslanaraq, siz təcrübələr nəticələri müzakirə olunub görüşdə olduğunu düşünün. Siz xahiş edə bilər dörd sual, etibarlılıq hər növü (statistik, tikintisi daxili və xarici) bir hansılardır?

13. [ ] Bernedo, Ferraro, and Price (2014) təsvir su qənaət müdaxilə yeddi il sonra qüvvəyə öyrənir Ferraro, Miranda, and Price (2011) (4.10 Şəkil bax). Yazıda, Bernedo və həmkarları da var və müalicə təslim edildi köçürülüb deyil ev davranış müqayisə təsiri arxasında mexanizmi anlamaq üçün çalışırıq. Yəni, təxminən, onlar müalicə və ya ev sahibi təsir görmek üçün cəhd edin.

    1. Kağız oxuyun dizayn təsvir və onların nəticələri ümumiləşdirir. oxşar müdaxilələrin dəyəri səmərəliliyinin qiymətləndirilməsi necə b) onların nəticələri təsir edirsiniz? Əgər belədirsə, nə üçün? Əgər, nə yox?

14. [ ] Bir təqib In Schultz et al. (2007) , Schultz və həmkarları iki kontekstlərdə (bir otel və Devremülk qat) bir müxtəlif ekoloji davranış (dəsmal təkrar) üzrə təsviri və injunctive normaları təsiri üç təcrübələr bir sıra çıxış (Schultz, Khazian, and Zaleski 2008) .

    1. Bu üç təcrübələr dizayn və nəticələri ümumiləşdirir.
    2. Necə bütün əgər, onlar sizin şərh dəyişə bilərəm Schultz et al. (2007) ?

15. [ ] Cavab olaraq Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) elektrik vərəqələrinin dizayn öyrənmək üçün laboratoriya kimi təcrübələr bir sıra qaçdı. Burada mücərrəd təsvir necə:

    "Sorğu-based sınaq olaraq, hər bir iştirakçı (b) qonşuları müqayisə və cihaz qəza ilə (c) tarixi istifadə, (a) tarixi istifadə haqqında məlumat əhatə edən, nisbətən yüksək elektrik istifadə bir ailə üçün bir hipotetik elektrik qanun gördüm. İştirakçılar, (a) masalar, o cümlədən (b) bar qrafik və (c) icon qrafik üç formatda bütün məlumat növləri gördüm. Biz üç əsas nəticələri haqqında hesabat. Birincisi, istehlakçıların bir cədvəldə təqdim edildiyi ən masalar sadə point oxu asanlaşdırmaq bəlkə də, çünki elektrik istifadə məlumatların hər növü aydın. İkincisi, arzularım və elektrik saxlamaq üçün niyyət, format müstəqil tarixi istifadə məlumat üçün güclü idi. Üçüncüsü, aşağı enerji savadlılıq şəxslər az bütün məlumat anladım. "

    Digər təqib tədqiqatlar fərqli olaraq, maraq əsas nəticəsi Canfield, Bruin, and Wong-Parodi (2016) faktiki davranış davranış məlumat verilmir. enerji qənaət təşviq geniş tədqiqat proqramı təhsil bu cür güclü və zəif cəhətləri hansılardır?

16. [ , ] Smith and Pell (2003) paraşüt səmərəliliyini nümayiş işlər satirik meta-analiz edir. Onlar bağlamaq:

    çox müdaxilələr xəstə sağlamlıq qarşısını almaq üçün nəzərdə kimi, "paraşüt səmərəliliyi randomizə nəzarət məhkəmə istifadə edərək, ciddi qiymətləndirməyə tabe deyil. sübut əsaslı tibb Advocates yalnız müşahidə məlumatları istifadə edərək qiymətləndirdi müdaxilələrə qəbul tənqid. Biz sübut əsaslı tibb ən radikal başkahramanlarıdır təşkil və bir cüt kor iştirak əgər hər kəs, randomize, plasebo nəzarət paraşüt crossover sınaq faydalana bilər ki, düşünürəm. "

    Eksperimental sübut fetishization qarşı irəli sürərək, New York Times kimi ümumi oxucu qəzeti, üçün uyğun bir op-ed yazın. xüsusi, konkret örnekler təmin edir. Ip ucu: Həmçinin bax, Bothwell et al. (2016) və Deaton (2010)

17. [ , , ] Difference-in-fərqlər bir müalicə təsiri estimators fərq-in-orta estimators daha dəqiq ola bilər. Bir online təcrübə çalışan fərq-in-fərqlərin yanaşma dəyəri izah start-up sosial media şirkəti A / B test məsul mühəndis bir memo yazın. memo problemin bir şərh fərq-in-fərq Tahmincisi fərq-in-orta estimator üstün olan şərtlər altında haqqında bəzi intuisiya və sadə simulyasiya iş daxil olmalıdır.

18. [ , ] Gary Loveman Harrah nin baş icraçı direktoru, dünyanın ən böyük kazino şirkətlərindən biri olmaq əvvəl Harvard Business School professor idi. o Harrah nin köçürülüb zaman, Loveman müştəri davranışı haqqında məlumatların böyük miqdarda toplanmış tez-tez təyyarəçi kimi sədaqət proqramı ilə şirkət transformasiya. bu həmişə-on ölçü sistemi üst şirkət eksperimentlər çalışan başladı. Məsələn, müəyyən bir qumar model ilə müştərilər üçün pulsuz hotel gecə üçün kupon təsirini qiymətləndirmək üçün bir sınaq run bilər. Burada Loveman Harrah nin gündəlik biznes təcrübələri üçün sınaq əhəmiyyətini təsvir necə:

    "Bu qadınlar narahat yoxdur kimi, oğurlamaq deyil, və nəzarət qrup var. Bu Harrah's-bir nəzarət qrupu çalışan üçün iş itirə bilər şeyi biridir. " (Manzi 2012, 146)

    Loveman bir nəzarət qrupu üçün belə vacib hesab niyə izah yeni işçi bir e-poçt yazın. Siz nümunə-ya real və ya sizin point göstərmək üçün up-hazırlanmış daxil üçün cəhd etməlidir.

19. [ , ] Yeni təcrübə peyvənd alışını mətn mesajı xatırlatmaları qəbul təsirini qiymətləndirmək məqsədi daşıyır. 150 klinikalar, 600 bilərlər xəstə ilə hər iştirak etməyə hazırıq. Burada işləmək istədiyiniz hər klinika üçün 100 dollar sabit dəyəri və bu göndərmək istədiyiniz hər bir mətn mesajı üçün 1 dollar təşkil edir. Bundan əlavə, siz ilə iş hər hansı bir internat pulsuz (kimsə bir peyvənd qəbul olub) nəticəsini ölçmək edəcək. 1000 dollar büdcə var ki daşımır.

    1. hansı şərtlər altında bu daha geniş onları yaymaq daha yaxşı ola bilər klinikaları kiçik bir sıra və nə şəraitdə resursları diqqət daha yaxşı ola bilər?
    2. Hansı amillər siz etibarlı büdcə ilə aşkar olacaq kiçik təsiri ölçüsü müəyyən edərdiniz?
    3. potensial funder bu ticarət-off izah memo yazın.

20. [ , ] Online kurslar böyük bir problem aşınma edir; kursları başlamaq çox tələbələr düşmə-out son. Bir online təlim platformasından çalışır, və platforma bir dizayner o, əlbəttə həyata düşmə tələbələri qarşısını almaq kömək edəcək düşünür vizual irəliləyiş bar yaratmışdır düşünün. Siz böyük bir hesablama sosial elm kurs tələbələri tərəqqi bar təsiri test etmək istəyirəm. təcrübə yarana biləcək hər hansı etik məsələləri sonra, sizin və həmkarları kurs etibarlı tərəqqi bar təsiri aşkar etmək üçün kifayət qədər tələbə ola bilər ki, narahat almaq. Aşağıda hesablamalar tərəqqi bar və yarım deyil alacaq tələbələrin yarısı kəsb edə bilər. Əlavə, heç bir müdaxilə olduğunu güman edə bilər. Başqa sözlə, siz iştirakçıları yalnız müalicə və ya nəzarət qəbul olub təsir kəsb edə bilər; onlar digər insanlar müalicə və ya nəzarət (bir daha formal müəyyən edilməsi üçün, bax qəbul olub tərəfindən həyata Gerber and Green (2012) , Ch. 8). siz hər hansı bir əlavə fərziyyələr takip edin.

    1. tərəqqi bar 1 bal ilə sinif başa tələbələrin nisbəti artırılması gözlənilir düşünək, etibarlı təsiri aşkar etmək üçün lazım nümunə ölçüsü nədir?
    2. tərəqqi bar 10 faiz bəndi sinif başa tələbələrin nisbəti artırılması gözlənilir düşünək, etibarlı təsiri aşkar etmək üçün lazım nümunə ölçüsü nədir?
    3. İndi bütün kurs materialları yekun imtahan verib başa təcrübə və tələbə run ki, təsəvvür. Siz tərəqqi bar almadığını tələbələr həqiqətən yüksək vurdu ki, çox sizin sürpriz, siz tapmadı ki, o, tərəqqi bar qəbul tələbə imtahan puanları müqayisə zaman. Bu tərəqqi bar az öyrənmək üçün tələbələr səbəb deməkdir? Bu nəticəsi məlumatlar nə öyrənə bilərik? (Ip ucu: Bax Gerber and Green (2012) , Ch 7).

21. [ , ] Bir sevimli yazıda, Lewis and Rao (2015) qabarıq hətta kütləvi təcrübələr əsas statistik məhdudiyyət göstərir. kağız ilk "Reklam qaytarır ölçü yaxın qeyri-mümkün haqqında" təxribat adı idi ki, hətta digital təcrübələr müştərilərin milyonlarla cəlb ilə online reklam investisiya qaytarılması ölçmək üçün nə qədər çətin gösterir. Ümumiyyətlə, kağız aydın səs-küylü nəticəsi data arasında kiçik müalicə təsiri qiymətləndirmək çətindir olduğunu göstərir. Və ya diffently ifadə edərək, kağız təxmin müalicə təsiri böyük etimad fasilələrlə olacaq göstərir ki, zaman təsir-to-standart sapma (\ (\ frac {\ delta \ bar {Y}} {\ sigma} \)) nisbəti kiçik. Bu yazıda əhəmiyyətli ümumi dərs kiçik təsir-to-standart sapma nisbəti ilə təcrübələr nəticəsində (məsələn, ad kampaniyaları ROI) unsatisfying olacaq ki. Sizin problem bir reklam kampaniyası ROI ölçmək üçün planlaşdırılmış təcrübə evaluting şirkətin marketinq şöbəsinin kimsə bir memo yazmaq olacaq. Sizin memo kompüter simülasyonları nəticələrinin qrafik ilə dəstəklənməlidir.

    Burada sizə lazım ola bilər ki, bəzi fon məlumat var. Bu ədədi dəyərlər Bütün hesabat real təcrübələr tipik Lewis and Rao (2015) :

    • ROI, online reklam kampaniyaları üçün əsas metrik, kampaniya dəyəri bölünür kampaniyası (kampaniyasının təşviqat minus dəyərindən ümumi mənfəət) xalis mənfəət müəyyən edilir. -100% -i ROI və yaradılan mənfəət 0 bir ROI olardı xərclərinə bərabər idi kampaniyası olardı Sales təsir kampaniya Məsələn.

    • müşteri başına orta satış: USD $ 75 standart sapma ilə $ 7.

    • Kampaniya müşteri başına $ 0,175 mənfəət artmasına uyğun olan müşteri başına $ 0.35 satış artırmaq nəzərdə tutulur. Başqa sözlə, ümumi margin 50% təşkil edir.

    • təcrübə planlaşdırılan həcmi 200,000 nəfər, nəzarət qrupu müalicə qrup yarım yarısı.

    • Kampaniya dəyəri iştirakçısı başına $ 0.14.

    Bu təcrübə evaluting bir memo yazın. planlaşdırıldığı kimi bu təcrübə başlanması gəlir istəyirsiniz? Əgər belədirsə, nə üçün? Əgər nə dəyişikliklər məsləhətdir?

    Yaxşı memo bu xüsusi halda çıxış edəcək; Daha yaxşı memo bir şəkildə bu halda ümumiləşdirmək (məsələn, göstərmək necə təsir-to-standart sapma nisbəti bir funksiyası kimi qərar dəyişikliklər); və böyük bir memo tam ümumiləşdirilmiş nəticə təqdim edəcək.

22. [ , ] Əvvəlki suala eyni, lakin daha simulyasiya daha analitik nəticələr istifadə etməlidir.

23. [ , , ] Əvvəlki suala eyni, lakin simulyasiya və analitik nəticələr də istifadə.

24. [ , , ] Yuxarıdakı-istifadə deməkdir Tahmincisi bir fərq daha çox bir fərq in-fərqlər Tahmincisi istifadə tövsiyə simulyasiya, analitik nəticələr ya Marketinq şöbəsinin də və bəzilərini bilərsiniz təsvir memo yazılı Təsəvvür edin ki, (Bölmə 4.6.2 bax) . sınaq sonra təcrübə əvvəl satış və satış arasında 0,4 nisbət sizin nəticəyə dəyişdirmək necə izah yeni qısa memo yazın.

25. [ , ] Yeni bir web-based karyera xidmət effektivliyini qiymətləndirmək üçün, bir universitet karyera xidmətləri ofis məktəbin son il girən 10.000 tələbələri arasında randomizə nəzarət sınaq aparılır. digər 5000 tələbələr nəzarət qrupu və bir abunə yoxdur isə unikal log-informasiya ilə bir pulsuz abunə təsadüfi seçilmiş tələbələrin 5000 eksklüziv e-poçt dəvəti ilə göndərildi. On iki ay sonra, (heç bir qeyri-cavab) təqib sorğu həm müalicə və nəzarət qrupları, tələbələrin 70% seçdikləri sahəsində (Cədvəl 4.5) tam zaman məşğulluq təmin ki, göstərir. Belə ki, web-based xidmət heç bir təsiri idi ki, görünür.

    Lakin, universitetdə bir ağıllı data alim bir az daha yaxından data baxdı və müalicə qrupunda tələbələrin yalnız 20% heç bir e-poçt aldıqdan sonra hesabınıza daxil ki, tapılmadı. Bundan əlavə, və bir qədər təəccüblü, veb daxil olanlar arasında yalnız 60% insanlar üçün faiz çox daxil etməyib insanlar üçün dərəcəsi aşağı və aşağı seçdikləri sahəsində tam zaman məşğulluq təmin etmişdir nəzarət vəziyyəti (Cədvəl 4.6).

    1. baş ola bilər nə üçün izahat təmin edir.
    2. Bu təcrübə müalicə təsiri hesablamaq üçün iki müxtəlif yolları hansılardır?
    3. Bu nəticə nəzərə alaraq, universitet Karyera Xidmət bütün şagirdlərə bu web-based karyera xidmət təmin etməlidir? Just aydın olmaq, bu sadə cavab bir sual deyil.
    4. onlar növbəti nə etməliyəm?

    Ip ucu: Bu sual bu fəsildə əhatə maddi kənara gedir, lakin təcrübələr ümumi məsələləri. İştirakçılar müalicə ilə məşğul təşviq çünki eksperimental dizayn Bu bəzən təşviqi dizayn adlanır. Bu problem birtərəfli qeyri-uyğunluq adlanır nə bir nümunəsidir (bax Gerber and Green (2012) , Ch. 5)

26. [ ] Əlavə müayinə sonra, əvvəlki suala təsvir təcrübə daha mürəkkəb idi ki, həyata çevirir. Bu nəzarət qrupu insanların 10% daxil olmaq üçün ödənilmiş və onlar 65% (Cədvəl 4.7) bir məşğulluq nisbəti ilə sona çatdı ki çevrilir.

    1. Siz baş düşünmək və fəaliyyət kursunu tövsiyə nə ümumiləşdirilməsi bir e-poçt yazın.

    Ip ucu: Bu sual bu fəsildə əhatə maddi kənara gedir, lakin təcrübələr ümumi məsələləri. Bu problem iki tərəfli qeyri-uyğunluq adlanır nə bir nümunəsidir (bax Gerber and Green (2012) , Ch. 6)