faaliyetler

anahtar:

• Zorluk derecesi: kolay orta , zor , çok zor
• (Matematik gerektirir )
• (Kodlama gerektirir )
• veri koleksiyonu ( )
• Favorilerim ( )

1. [ , ] Berinsky ve arkadaşları (2012) üç klasik deneyler kopyalayan kısmen Mekanik Türk'ü değerlendirir. Klasik Asya Hastalık çerçeveleme deneyi çoğaltmak Tversky and Kahneman (1981) . sonuçlarınız maç Tversky'nin ve Kahneman en musunuz? sonuçlarınız maç Berinsky ve meslektaşları mı? Ne-eğer bir şey-yok bu anket deneyler için Mekanik Türk'ü kullanımı hakkında bize öğretecek?

2. [ , ] Başlıklı biraz dil-yanak yazıda "Biz Break Up zorunda," sosyal psikolog Robert Cialdini, yazarlarından biri Schultz et al. (2007) , o çünkü esas olarak laboratuvar deneyleri yürüten bir disiplin (psikoloji) alan deneyler yapıyor karşılaştığı zorlukları kısmen, erken bir profesör olarak işinden emekli olduğunu yazdı (Cialdini 2009) . Cialdini'nin kağıt okumak ve ona dijital deneyler olanakları ışığında yaptığı break-up gözden geçirmeye çağıran bir e-posta yazın. Onun endişeleri gidermek araştırma belirli örnekler kullanın.

3. [ ] Uzakta küçük başlangıç ​​başarılar kilit-in olup olmadığını belirlemek veya solmaya amacıyla, van de Rijt ve ve arkadaşları (2014) rastgele seçilen katılımcılara başarı ihsan dört farklı sistemlere müdahale, ve sonra bu keyfi başarı uzun vadeli etkileri ölçülür. Eğer benzer deneyler çalıştırmak hangi diğer sistemlere düşünebiliyor musunuz? bilimsel değeri konular açısından bu sistemleri değerlendirmek, algoritmik karıştırıcı ve etik (Bölüm 2).

4. [ , ] Bir denemenin sonuçları katılımcılara bağlı olabilir. Bir deneme oluşturun ve sonra iki farklı işe alım stratejileri kullanılarak Amazon Mechanical Turk (MTurk) çalıştırın. Sonuçlar mümkün olduğunca farklı olacak şekilde deney ve işe alım stratejilerini almaya çalışın. Örneğin, işe alım stratejileri sabah ve akşam katılacakları belirlemek için ya da yüksek ve düşük ücretli katılımcılara telafi etmek için olabilir. işe alım stratejisi farklılıklar bu tür katılımcı ve farklı deneysel sonuçların farklı havuzları yol açabilir. Nasıl farklı sonuçlarınız çıkmak mı? Bu MTurk üzerinde deneyler çalışan hakkında ne gösterir?

5. [ , , , ] Eğer Duygusal Contagion çalışması planladıklarını düşünün (Kramer, Guillory, and Hancock 2014) . Önceki bir gözlemsel çalışmanın sonuçlarını kullanın Kramer (2012) her durumda katılımcı sayısını karar. Bu iki çalışma mükemmel yani açıkça yaptığınız tüm varsayımları listelemek için emin olun eşleşmiyor:

   1. Yürürlükte kadar büyük bir etki tespit etmek için gerekli olurdu kaç katılımcıların karar verecek bir simülasyon çalıştırın Kramer (2012) \ ile (\ alfa = 0.05 \) ve \ (1 - \ beta = 0.8 \).
   2. analitik aynı hesaplama yapın.
   3. Elde edilen sonuçlar göz önüne alındığında Kramer (2012) Duygusal Contagion edildi (Kramer, Guillory, and Hancock 2014) (yani, gerektiğinden daha fazla katılımcı var mı) üzerinden çalışan?
   4. hesaplama en büyük etkiye sahip yaptığınız varsayımlar, bir?

6. [ , , , ] Yukarıdaki soruya cevap değil, daha erken gözlemsel çalışma kullanarak daha Kramer (2012) tarafından bir önceki doğal deney sonuçlarını kullanmak Coviello et al. (2014) .

7. [ ] Hem Rijt et al. (2014) ve Margetts et al. (2011) hem de dilekçe insanların sürecini incelemek deneyleri. Karşılaştırın ve tasarım ve bu çalışmaların bulguları kontrast.

8. [ ] Dwyer, Maki, and Rothman (2015) , sosyal normlar ve proenvironmental davranışları arasındaki ilişkiyi iki saha deneyleri gerçekleştirilmiştir. İşte onların kağıt soyut:

   "Nasıl psikolojik bilim proenvironmental davranışı teşvik etmek yararlı olabileceği? iki çalışmada, kamu banyolarda enerji tasarrufu davranışını teşvik etmeyi amaçlayan müdahaleler tanımlayıcı norm ve kişisel sorumluluk etkilerini inceledik. Birisi o ayar için tanımlayıcı norm sinyalizasyon, boş bir ortak banyo girmeden önce Çalışma 1'de, ışık durumu (yani, açık veya kapalı) manipüle edildi. Katılımcılar girdikleri zaman kapalı olsaydı ışıkları kapatmak için önemli ölçüde daha fazlaydı. Çalışmanın 2, ek koşul olan ışığı kapatarak norm Konfederasyon tarafından gösterilmiştir dahil, ancak katılımcıların açmadan sorumlu kendileri değil idi. Kişisel sorumluluk davranışı üzerindeki sosyal normların etkisinin Moderatörlüğünü; Katılımcılar ışık açma sorumlu değilken, norm etkisi azaldığı gözlendi. Bu sonuçlar proenvironmental müdahalelerin etkinliğini düzenleyen nasıl tanımlayıcı norm ve kişisel sorumluluk gösterir. "

   onların kağıt okumak ve çalışmanın 1 bir çoğaltma tasarımı.

9. [ , ] Bir önceki soruya Bina, hemen şimdi tasarım yürütmek.

   1. Sonuçlar nasıl karşılaştırılır?
   2. Ne bu farklılıkları açıklayabilir?

10. [ ] Amazon Mechanical Turk işe alınan katılımcılar kullanarak deneyler hakkında önemli tartışma olmuştur. Buna paralel olarak, aynı zamanda lisans öğrencisi nüfus işe alınan katılımcılar kullanarak deneyler hakkında önemli tartışma olmuştur. karşılaştırma ve araştırmacılar katılımcıları olarak Turkers ve lisans öğrencileri zıt iki sayfalık not yazın. Karşılaştırma bilimsel ve lojistik konularda hem bir tartışma içermelidir.

11. [ ] Jim Manzi kitabı Kontrolsüz (2012) iş deney güç haline harika bir giriştir. Kitapta bu hikayeyi geçirilen:

    "Ben gerçek bir iş deha, deney iktidarın derin, sezgisel anlayış, vardı bir self-made milyarder ile bir toplantı kez oldu. Onun şirket geleneksel bilgelik gerektiği söylediği gibi, tüketiciler ve artışlar satış çekecek büyük bir mağaza vitrin oluşturmak için çalışıyoruz önemli kaynaklar geçirdi. Uzmanlar dikkatle tasarım sonra tasarım test ve satış her yeni ekran tasarımı anlamlı nedensel etkisini gösteren tuttu yıllık bir süre boyunca bireysel test yorum oturumlarında. Üst düzey pazarlama ve mağazacılık yöneticileri toto bu tarihsel test sonuçlarını yorumlayan CEO ile bir araya geldi. Deneysel verilerin tüm sunduktan sonra, onlar geleneksel bilgelik yanlış olduğunu pencere görüntüler satışları yok olduğu sonucuna vardı. Onların önerilen eylem bu alandaki maliyetleri ve çaba azaltmak oldu. Bu dramatik geleneksel bilgelik devirmek için deney yeteneğini gösterdi. Genel Müdür'ün yanıtı basitti: 'Benim sonuç için tasarımcılar çok iyi olmamasıdır.' Onun çözümü mağaza ekran tasarımı çaba artırmak ve yeni insanlar bunu almak oldu. " (Manzi 2012, 158–9)

    CEO endişe geçerlilik Hangi tür nedir?

12. [ ] Bir önceki soru üzerine kurarak, deneylerden elde edilen sonuçlar tartışılmıştır toplantıda olduğunu düşünün. Eğer sorabilirsiniz dört soru, geçerlilik her tür (istatistik, inşa, iç ve dış) için bir nelerdir?

13. [ ] Bernedo, Ferraro, and Price (2014) açıklanan su tasarrufu müdahale yedi yıl yürürlüğe çalışmalar Ferraro, Miranda, and Price (2011) (4.10 Şekil). Bu yazıda, Bernedo ve arkadaşları da var ve tedavi teslim edildi sonra taşındı değil hanelerin davranışını karşılaştırarak etkisi arkasında mekanizmasını anlamaya çalışıyoruz. Yani kabaca, bunlar tedavi ev ya da ev sahibi etkiledi olup olmadığını görmek için deneyin.

    1. , Kağıt okumak onların tasarımını ve bulgularını özetlemektedir. benzer müdahalelerin maliyet etkinliğini değerlendirmek nasıl b) bulgularının etkiler mi? Eğer öyleyse, neden? Değilse, neden olmasın?

14. [ ] Bir takibinde Schultz et al. (2007) , Schultz ve arkadaşları iki bağlamlarda (bir otel ve Devremülk kat mülkiyeti) farklı bir çevresel davranış (havlu yeniden kullanım) üzerinde açıklayıcı ve ihtiyati normların etkisi üç bir dizi deney gerçekleştirmek (Schultz, Khazian, and Zaleski 2008) .

    1. Bu üç deney tasarımı ve bulgularını özetler.
    2. Nasıl, hiç değilse, onlar senin yorumunu değiştiririm Schultz et al. (2007) ?

15. [ ] Yanıt olarak Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) elektrik faturalarının tasarımını incelemek için laboratuvar gibi bir dizi deney koştu. İşte soyut tarif nasıl:

    "Bir anket bazlı deneyde, her katılımcı (b) komşularına karşılaştırmalar ve cihaz arıza (c) tarihsel kullanımı (a) tarihsel kullanımı hakkında bilgi kapsayan nispeten yüksek elektrik kullanımı ile bir aile için varsayımsal elektrik faturası gördüm. Katılımcılar, (a) tablolar dahil, (b) çubuk grafikler, ve (c) simgesi grafikleri bir üç formatta tüm bilgi türlerini gördük. Biz üç ana bulguları rapor. İlk olarak, tüketicilerin bir tablo sunuldu zaman en tablolar basit nokta okunmasını kolaylaştırmak belki de elektrik kullanımı bilgilerin her tür anladım. İkinci olarak, tercihler ve elektrik tasarrufu için niyet, format bağımsız tarihsel kullanım bilgileri için güçlü idi. Üçüncü olarak, düşük enerji okuryazarlık bireylerin daha az tüm bilgileri anladım. "

    Diğer takip çalışmaların aksine, ilgi ana sonucu Canfield, Bruin, and Wong-Parodi (2016) fiili davranış davranış rapor edilmemiştir. enerji tasarrufu teşvik daha geniş bir araştırma programının çalışmanın bu tip güçlü ve zayıf yönleri nelerdir?

16. [ , ] Smith and Pell (2003) paraşüt etkinliğini gösteren çalışmalar hiciv meta-analizdir. Onlar sonuçlandırmak:

    Birçok müdahaleler hasta sağlığı önlemek amacıyla olduğu gibi ", paraşüt etkinliği randomize kontrollü çalışmalar ile sıkı değerlendirmeye tabi olmamıştır. kanıta dayalı tıp savunucuları sadece gözlemsel veriler kullanılarak değerlendirilen müdahaleler benimsenmesini eleştirdi. Biz kanıta dayalı tıbbın en radikal kahramanları düzenlenen ve çift kör katıldı eğer herkes, randomize, plasebo kontrollü paraşüt crossover deneme yarar olabilir düşünüyorum. "

    Deneysel kanıt fetişleştirilmesine karşı savunarak, New York Times gibi genel bir okur gazetesi, uygun bir op-ed yazınız. spesifik ve somut örnekler verin. İpucu: Ayrıca bakınız, Bothwell et al. (2016) ve Deaton (2010)

17. [ , , ] Fark-in-farklılıkları bir tedavi etkisinin tahmin edicileri fark-in-ortalama tahmin edicilerin daha hassas olabilir. bir online deneme çalıştırırken için fark-in-farklılıkların yaklaşımın değerini açıklayan bir start-up sosyal medya şirketi olan A / B testinde sorumlu bir mühendis bir not yazın. memo sorunun bir açıklama, fark-in-fark tahmincisi farkı-in-ortalama tahmincisi daha iyi performans göstereceğini hangi koşullar altında ilgili bazı sezgi ve basit bir simülasyon çalışması içermelidir.

18. [ , ] Gary LoveMan Harrah en CEO'su, dünyanın en büyük kumarhane şirketlerinden biri olmadan önce Harvard Business School'da profesör oldu. O Harrah en taşındı, LoveMan müşteri davranışları hakkında veri muazzam miktarda toplanan bir uçanlar gibi sadakat programı ile şirket dönüştürdü. Bu her zaman açık ölçüm sisteminin üst kısmında, şirket deneyleri yayınlanmaya başladı. Örneğin, belirli bir kumar deseni ile müşterileri için ücretsiz bir otel gece için bir kupon etkisini değerlendirmek için bir deney çalışabilir. İşte LoveMan Harrah gündelik iş uygulamalarına deney önemini tarif nasıl:

    "Bu kadınları rahatsız etmeyin gibi, sen çalmazlar, ve bir kontrol grubuna sahip olmak lazım. Bu Harrah's-olmayan bir kontrol grubu koşan için işinizi kaybetmek şeylerden biridir. " (Manzi 2012, 146)

    LoveMan bir kontrol grubuna sahip olmak kadar önemli olduğunu düşünüyor neden açıklayan bir yeni çalışan bir e-posta yazın. Bir örnek-ya gerçek ya da noktayı açıklamak kadar yapılan eklemeyi denemelisiniz.

19. [ , ] Yeni bir deneme aşı alımı kısa mesaj hatırlatmaları alma etkisini tahmin etmek için hedefliyor. 150 klinikleri, 600 uygun hastalar, her biri katılmak için hazırız. Orada çalışmak istediğiniz her klinik için 100 dolarlık bir sabit maliyet olduğunu ve göndermek istediğiniz her kısa mesaj için 1 dolar maliyeti. Ayrıca, birlikte çalıştığınız herhangi klinikler ücretsiz (birisi aşısı olsun) sonuçları ölçecek. 1000 dolarlık bir bütçeye sahip olduğunu varsayalım.

    1. Hangi koşullar altında, daha yaygın bunları yaymak için daha iyi olabilir kliniklerinin az sayıda ve hangi koşullar altında kaynak odaklanmak daha iyi olabilir?
    2. Ne faktörler güvenilir bir bütçe ile tespit etmek mümkün olacak en küçük etki boyutunu belirlemek istiyorsunuz?
    3. Potansiyel destekçinizle bu dengeler açıklayan bir not yazın.

20. [ , ] Online dersler ile büyük bir sorun yıpratma ise; dersler başlamadan çok sayıda öğrenci düşüyor-out sonuna kadar. Eğer bir online öğrenme platformu çalışmaktadır ve platformda bir tasarımcı, o tabii bırakma öğrencileri önlemeye yardımcı olacaktır düşünen bir görsel ilerleme çubuğu yarattığını düşünün. Büyük bir hesaplama sosyal bilimler dersinde öğrencilere ilerleme çubuğunun etkisini test etmek istiyorum. Deneyde ortaya çıkabilecek herhangi bir etik konularına değinildikten sonra, sizin ve arkadaşları ders güvenilir ilerleme çubuğunun etkilerini tespit etmek için yeterli öğrenci yok diye endişeli olsun. Size aşağıda Hesaplamalarda ilerleme çubuğu ve yarım değil alacak öğrencilerin yarısı varsayabiliriz. Ayrıca, hiçbir girişim olduğunu varsayabiliriz. Başka bir deyişle, katılımcıların sadece tedavi veya kontrol almış olup etkilenen varsayabiliriz; onlar değil, diğer insanların tedavi veya kontrol (daha resmi tanımı için, bkz elde edip etkilenir Gerber and Green (2012) , Ch. 8). Yaptığınız herhangi bir ek varsayımlar takip ediniz.

    1. İlerleme çubuğu 1 puan sınıfı bitirmek öğrencilerin oranını artması beklenmektedir varsayalım, güvenilir etkisini tespit etmek için gerekli örneklem büyüklüğü nedir?
    2. İlerleme çubuğu 10 puanlık sınıf bitirmek öğrencilerin oranını artması beklenmektedir varsayalım, güvenilir etkisini tespit etmek için gerekli örneklem büyüklüğü nedir?
    3. Şimdi tüm ders materyalleri final sınav almış tamamlamış deney ve öğrencileri çalıştırmak olduğunu düşünün. İlerleme çubuğunu almamış öğrenciler aslında daha yüksek puan olduğunu, senin için sürpriz çok, sen bulamadık o, ilerleme çubuğu alınan öğrencilerin final sınavı puanları karşılaştırmak. Bu ilerleme çubuğu daha az öğrenmelerini neden olduğu anlamına mı geliyor? Bu sonuç verilerden neler öğrenebiliriz? (İpucu: Bkz Gerber and Green (2012) , Ch 7).

21. [ , ] Güzel bir yazıda, Lewis and Rao (2015) canlı bile büyük deneylerin temel istatistiksel sınırlama göstermektedir. Kağıt başlangıçta "Reklam İade Ölçüm Yakın imkansızlığı üzerine" kışkırtıcı bir başlık vardı hatta dijital deneyler müşterilerinin milyonlarca içeren ile, çevrimiçi reklamların yatırım getirisini ölçmek için ne kadar zor -Shows. Daha genel olarak, kağıt açıkça gürültülü sonuç verileri ortasında küçük bir tedavi etkisi tahmin etmek zor olduğunu göstermektedir. Ya diffently belirtildiği gibi, kağıt tahmini tedavi etkileri büyük güven aralıkları sahip olacağını gösterdiğinde darbe için standart-sapma (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) oranı küçüktür. Bu yazıda önemli genel ders küçük darbe için standart-sapma oranına sahip deneylerden elde edilen sonuçlar (örneğin, reklam kampanyalarının YG) yetersiz olmasıdır. Buradaki zorluk, bir reklam kampanyasının ROI ölçmek için planlanan deney multisipliner şirket pazarlama departmanında birine bir not yazmak için olacaktır. Notunuz bilgisayar simülasyonları sonuç grafikleri ile desteklenmelidir.

    İşte ihtiyacınız olabilecek bazı arka plan bilgileri var. Bu sayısal değerler tüm bildirilen gerçek deneyler tipik Lewis and Rao (2015) :

    • YG, çevrimiçi reklam kampanyaları için önemli bir metrik, kampanyanın maliyeti bölü kampanyanın (kampanyanın kampanya eksi maliyetinden brüt kar) dönem net kar olarak tanımlanır. % 100'lük bir yatırım getirisi ve üretilen kar 0 bir ROI olurdu maliyetlerine eşit bir kampanya olurdu satış üzerinde hiçbir etkiye sahip bir kampanya örneğin.

    • Müşteri başına ortalama satış 75 $ bir standart sapma ile 7 $.

    • Kampanya müşteri başına 0,175 $ kâr artışa tekabül eden müşteri başına 0,35 $ satışları artırması bekleniyor. Diğer bir deyişle, brüt kar marjı% 50'dir.

    • Deneyin planlanan büyüklüğü 200.000 kişi, kontrol grubunda tedavi grubunda yarı yarıya olduğunu.

    • Kampanyanın maliyeti katılımcı başına 0,14 $ olduğunu.

    Bu deney multisipliner bir not yazın. planlandığı gibi bu denemeyi başlatılması tavsiye eder misiniz? Eğer öyleyse, neden? Değilse, hangi değişikliklerin önerirsiniz?

    İyi bir not, bu özel davayı ele alacaktır; Daha iyi bir not bir şekilde, bu durumda genelleme (örneğin, gösterdiğine darbeye karşı standart-sapma oranının bir fonksiyonu olarak, karar değişikliği); ve büyük bir not tamamen genelleştirilmiş sonucu sunacak.

22. [ , ] Bir önceki soruda olduğu gibi aynı mı, değil simülasyon daha size analitik sonuçları kullanılmalıdır.

23. [ , , ] Bir önceki soruda olduğu gibi aynı mı, ama simülasyon ve analitik sonuçlar her ikisini de kullanabilirsiniz.

24. [ , , ] Yukarıdaki kullanan araçlar tahmincisi bir fark yerine bir fark-in-farklılıkları tahmincisi kullanılmasını önermektedir simülasyon, analitik sonuçlar, ya da pazarlama departmanı hem-ve birisi ya tarif notu yazdım düşünün (Bölüm 4.6.2 bakınız) . deneyden sonra deneyden önce satış ve satış arasında bir korelasyon 0.4 senin sonucunu değiştirmemektedir nasıl açıklayan yeni bir kısa not yazın.

25. [ , ] Yeni bir web tabanlı kariyer hizmet etkinliğini değerlendirmek amacıyla, bir üniversite kariyer hizmetleri ofis okul nihai yılına giriyor 10.000 öğrenciler arasında bir randomize kontrollü çalışma yürüttük. Diğer 5.000 öğrenci, kontrol grubunda yer alan ve bir abonelik yok iken benzersiz log-in bilgi ile ücretsiz abonelik, rastgele seçilen öğrencilerin 5,000 için özel bir e-posta daveti aracılığıyla gönderildi. Oniki ay sonra, (hayır olmayan tepki ile) bir takip anketi hem tedavi ve kontrol gruplarının, öğrencilerin% 70'i kendi seçtikleri alanda (Tablo 4.5) tam zamanlı istihdam güvenli olduğunu göstermektedir. Böylece, web tabanlı hizmet hiçbir etkisi olmadığını görünüyor.

    Ancak, üniversitede bir akıllı veri bilim adamı biraz daha yakından verilere baktı ve tedavi grubundaki öğrencilerin sadece% 20 hiç e-posta aldıktan sonra hesaba giriş bulundu. Dahası, ve biraz şaşırtıcı, web sitesi oturum olanlar arasında sadece% 60 insanlar için oran daha giriş yapmadıysanız insanlar için orandan daha düşük ve düşük seçtikleri alanda, tam zamanlı istihdam güvenli vardı kontrol durumu (Tablo 4.6).

    1. ne olmuş olabileceğine ilişkin bir açıklama.
    2. Bu deneyde tedavinin etkisini hesaplamak için iki farklı yolları nelerdir?
    3. Bu sonuç göz önüne alındığında, üniversite kariyer hizmeti tüm öğrencilere bu web tabanlı kariyer hizmeti vermelidir? Sadece açık olması için, bu bir basit cevabı olan bir soru değil.
    4. sonraki ne yapmalıyım?

    İpucu: Bu soru Bu bölümde malzemenin ötesinde, ama deneylerde ortak sorunları giderir. Katılımcılar tedaviye yapmaya teşvik edilmektedir, çünkü deneysel tasarım Bu tip bazen bir teşvik tasarım olarak adlandırılır. Bu sorun tek taraflı uyumsuzluk olarak adlandırılan bir örnektir (bkz Gerber and Green (2012) , Ch. 5)

26. [ ] Daha fazla inceleme sonra, önceki soruda tarif deneme daha karmaşık olduğu ortaya çıkıyor. Kontrol grubundaki kişilerin% 10 hizmetine erişim için ödenen ve onlar% 65 (Tablo 4.7) bir istihdam oranı ile sona erdi çıkıyor.

    1. Eğer oluyor düşünmek ve bir eylem şekli ne tavsiye özetleyen bir e-posta yazın.

    İpucu: Bu soru Bu bölümde malzemenin ötesinde, ama deneylerde ortak sorunları giderir. Bu sorun iki taraflı uyumsuzluk olarak adlandırılan bir örnektir (bkz Gerber and Green (2012) , Ch. 6)