kagiatan

Key:

• darajat kasulitan: gampang , sedeng , teuas Pisan teuas
• merlukeun math ( )
• merlukeun coding ( )
• kumpulan data ( )
• paporit mah ( )

1. [ , ] Berinsky sareng kolega (2012) ngaevaluasi Mechanical Turk sabagian ku nu nyimpen ulangan tilu percobaan Palasik. Ngayakeun réplikasi nu Palasik Asian framing Kasakit percobaan ku Tversky and Kahneman (1981) . Naha hasil Anjeun cocog Tversky jeung Kahneman urang? Naha hasil Anjeun cocog Berinsky sareng kolega? Naon-lamun nanaon-teu ieu ngajarkeun urang ngeunaan ngagunakeun Mechanical Turk keur percobaan survey?

2. [ , ] Dina kertas rada basa-di-macana judulna "Kami Boga ka Tatakrama Nepi," nu psikolog sosial Robert Cialdini, salah sahiji pangarang tina Schultz et al. (2007) , wrote nu manéhna retiring awal ti pakasaban minangka profésor, dina bagian alatan tantangan manéhna Nyanghareupan ngalakonan percobaan widang dina disiplin (psikologi) nu utamana konduktor percobaan lab (Cialdini 2009) . Baca kertas Cialdini, sarta nulis manéhna surelek urging manéhna mikiran-Na break-up di nu caang tina kemungkinan percobaan digital. Paké conto husus panalungtikan nu nepikeun masalah-Na.

3. [ ] Dina raraga pikeun nangtukeun naha sukses awal leutik ngonci-atawa diudar jauh, van de Rijt jeung sareng kolega (2014) diintervensi kana opat sistem beda bestowing kasuksésan dina pamilon nu dipilih sacara acak, terus diukur dina impacts jangka panjang sukses sawenang ieu. Dupi anjeun mikir sistem séjén nu Anjeun bisa ngajalankeun percobaan sarua? Evaluate sistem ieu dina watesan masalah nilai ilmiah, algorithmic confounding (tempo Bab 2), jeung étika.

4. [ , ] Hasil hiji percobaan bisa gumantung kana pamilon. Nyieun percobaan terus ngajalankeun eta dina Amazon Mechanical Turk (MTurk) ngagunakeun dua strategi rekrutmen beda. Coba nyokot nu strategi ékspérimén jeung rekrutmen kituna hasil bakal jadi beda mungkin. Contona, strategi rekrutmen Anjeun bisa jadi ka recruit pamilon dina isuk jeung sore atawa pikeun ngimbangan pamilon jeung bayar luhur jeung low. rupa ieu béda dina strategi rekrutmen bisa ngakibatkeun pools beda pamilon jeung hasil percobaan beda. Kumaha beda teu hasil Anjeun ngahurungkeun kaluar? Naon nu nembongkeun ngeunaan ngajalankeun percobaan dina MTurk?

5. [ , , , ] Bayangkeun nu éta perencanaan nu emosi ulikan Contagion (Kramer, Guillory, and Hancock 2014) . Pake hasil ti hiji ulikan observational saméméhna ku Kramer (2012) mutuskeun jumlah pamilon dina unggal kaayaan. Dua studi teu cocog sampurna jadi yakin ka kuduna daptar sadaya asumsi nu nyieun:

   1. Ngajalankeun simulasi nu bakal mutuskeun sabaraha pamilon bakal geus diperlukeun pikeun ngadeteksi pangaruh salaku badag salaku pangaruh dina Kramer (2012) jeung \ (\ alpha = 0.05 \) jeung \ (1 - \ béta = 0,8 \).
   2. Naha itungan sarua analytically.
   3. Dibikeun hasil ti Kramer (2012) ieu emosi Contagion (Kramer, Guillory, and Hancock 2014) leuwih-Powered (ie, teu eta geus leuwih peserta ti diperlukeun)?
   4. Tina asumsi nu dijieun, nu boga pangaruh pangbadagna dina itungan anjeun?

6. [ , , , ] Jawab pertanyaan di luhur, tapi tinimbang ngagunakeun saméméhna ulikan observational ku Kramer (2012) maké hasil tina percobaan alam tadi ku Coviello et al. (2014) .

7. [ ] Boh Rijt et al. (2014) jeung Margetts et al. (2011) duanana ngalakukeun percobaan nu diajar prosés jalma Signing petisi a. Bandingkeun jeung kontras desain jeung papanggihan studi ieu.

8. [ ] Dwyer, Maki, and Rothman (2015) dilakukeun dua percobaan widang dina hubungan antara norma sosial jeung paripolah proenvironmental. Di dieu teh abstrak kertas maranéhanana:

   "Kumaha bisa élmu psikologi jadi garapan pikeun ngarojong paripolah proenvironmental? Dina dua studi, interventions aimed di promosi paripolah konservasi énérgi dina mandi umum nalungtik nu pangaruh tina norma deskriptif jeung tanggung jawab pribadi. Dina Study 1, status cahya (ie, atawa off) ieu dimanipulasi saméméh batur diasupkeun hiji kamar mandi umum unoccupied, signalling norma deskriptif keur setting éta. Peserta éta nyata leuwih gampang ngahurungkeun lampu off lamun maranehna éta off basa aranjeunna diasupkeun. Dina Study 2, hiji kaayaan tambahan ieu kaasup nu norma of ngarobah off cahya ieu nunjukkeun ku confederate, tapi pamilon éta teu sorangan tanggung jawab ngarobah eta dina. tanggung jawab Personal moderated pangaruh norma sosial dina paripolah; lamun pamilon éta teu tanggung jawab ngarobah dina cahaya, pangaruh norma ieu sabagean gede. hasil ieu nunjukkeun kumaha norma jeung tanggung jawab pribadi deskriptif bisa ngatur efektivitas interventions proenvironmental. "

   Baca kertas maranéhanana jeung ngarancang hiji réplikasi ulikan 1.

9. [ , ] Wangunan di Patarosan saméméhna, ayeuna ngalakonan desain Anjeun.

   1. Kumaha hasil ngabandingkeun?
   2. Naon bisa ngajelaskeun béda ieu?

10. [ ] Aya geus debat penting ngeunaan percobaan ngagunakeun pamilon direkrut ti Amazon Mechanical Turk. Dina paralel, aya ogé geus debat penting ngeunaan percobaan ngagunakeun pamilon direkrut ti populasi mahasiswa sarjana. Nulis mémo dua kaca ngabandingkeun jeung kontras nu Turkers jeung undergraduates minangka partisipan panalungtik. ngabandingkeun Anjeun kudu di antarana sawala boh isu ilmiah jeung logistik.

11. [ Buku] Jim Manzi sacara Uncontrolled (2012) mangrupa bubuka éndah kana kakawasaan experimentation di bisnis. Dina buku manéhna relayed carita ieu:

    "Ieu mah sakali dina pasamoan jeung genius bisnis bener, a billionaire timer dijieun anu kungsi, understating intuitif jero kakawasaan percobaan. pausahaan-Na spent daya signifikan nyoba nyieun gede mintonkeun toko jandela nu bakal mikat pamakéna jeung nambahan penjualan, saperti hikmah konvensional ceuk maranehna kudu. Para ahli sacara saksama dites desain sanggeus desain, sarta dina sesi review test individu liwat hiji periode taun terus mintonkeun no pangaruh kausal signifikan unggal desain pintonan anyar dina penjualan. Senior marketing jeung sambarangan executives papanggih jeung CEO pikeun nempoan hasil test sajarah ieu di Toto. Sanggeus presenting sakabéh data ékspérimén, maranéhanana menyimpulkan yén hikmah konvensional ieu mintonkeun salah-nu jandela teu ngajalankeun penjualan. aksi maranéhanana disarankeun ieu ngurangan waragad jeung usaha di wewengkon ieu. Ieu nyirorot nunjukkeun kamampuh experimentation ka ngagulingkeun hikmah konvensional. response CEO sacara ieu basajan: 'kacindekan My nyaeta désainer Anjeun teu pohara alus.' Leyuran nya éta pikeun ngaronjatkeun usaha dina rarancang toko pintonan, sarta pikeun meunangkeun jalma anyar ngalakukeun hal eta. " (Manzi 2012, 158–9)

    tipe nu tina validitas nyaeta patalina jeung masalah tina CEO kitu?

12. [ ] Wangunan di Patarosan saméméhna, ngabayangkeun nu éta di pasamoan mana hasil percobaan anu dibahas. Naon opat pertanyaan nu bisa ménta, hiji keur unggal tipe validitas (statistik, nyusunna, internal, jeung luar)?

13. [ ] Bernedo, Ferraro, and Price (2014) ngulik pangaruh tujuh taun pipilueun hemat cai digambarkeun dina Ferraro, Miranda, and Price (2011) (tempo Gambar 4.10). Dina makalah ieu, Bernedo sareng kolega oge neangan ngarti mékanisme balik pangaruh ku ngabandingkeun paripolah rumahtangga nu geus jeung geus teu pindah sanggeus perlakuan ieu dikirimkeun. Nyéta, kasarna, maranéhanana nyoba ningali naha perlakuan impacted imah atawa homeowner teh.

    1. Baca kertas, ngagambarkeun desain, sarta nyimpulkeun papanggihan maranéhanana. b) Naha papanggihan maranéhanana dampak kumaha anjeun kudu assess biaya-efektivitas interventions sarua? Upami kitu, kunaon? Lamun henteu, naha teu?

14. [ ] Dina nurutan-up ka Schultz et al. (2007) , Schultz sareng kolega ngalakukeun runtuyan tilu percobaan dina pangaruh norma deskriptif jeung injunctive dina paripolah lingkungan beda (anduk dipake deui) dina dua konteks (a hotel jeung condominium timeshare) (Schultz, Khazian, and Zaleski 2008) .

    1. Nyimpulkeun desain jeung papanggihan tilu percobaan kasebut.
    2. Kumaha, lamun di sadaya, ulah maranehna ngarobah interpretasi anjeun Schultz et al. (2007) ?

15. [ ] Dina response ka Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) lumpat runtuyan percobaan lab kawas pikeun diajar desain tagihan listrik. Di dieu nu kumaha maranéhanana ngagambarkeun dina abstrak:

    "Dina percobaan basis survey, unggal pamilon nempo hiji bil listrik hypothetical keur kulawarga kalawan ngagunakeun listrik rélatif luhur, ngawengku informasi ngeunaan (a) ngagunakeun sajarah, (b) babandingan jeung tatanggana, jeung (c) ngagunakeun sajarah jeung Perkakas ngarecahna. Peserta nempo sakabeh tipe informasi dina salah sahiji tina tilu format kaasup (a) tabel, (b) bar grafik, jeung (c) ikon grafik. Urang wartoskeun dina tilu papanggihan utama. Kahiji, pamakéna dipikaharti unggal tipe informasi listrik-pamakéan paling lamun diwakilan dina méja, sugan sabab tabel mempermudah titik maca basajan. Kadua, karesep jeung karsa pikeun nyalametkeun listrik éta neneng pikeun inpo pamakean sajarah, bebas format. Katilu, individu jeung melek énergi handap dipikaharti sadaya inpo kurang. "

    Teu kawas séjén studi nuturkeun-up, hasil utama dipikaresep di Canfield, Bruin, and Wong-Parodi (2016) anu dilaporkeun paripolah teu paripolah nu sabenerna. Naon nu kaunggulan jeung kelemahan jenis ieu ulikan dina program panalungtikan lega promosi tabungan énergi?

16. [ , ] Smith and Pell (2003) nyaeta meta-analysis satirical studi demonstrating efektivitas parachutes. Maranéhanana disimpulkeun:

    "Salaku loba interventions dimaksudkeun pikeun nyegah kaséhatan gering, éféktivitas parachutes tacan subjected ka evaluasi rigorous kalayan ngagunakeun percobaan dikawasa randomized. Ngabela kadokteran dumasar bukti geus dikritik nyoko interventions dievaluasi ku cara make data ngan observational. Urang mikir yén dulur bisa nguntungkeun lamun tokoh protagonis paling radikal kadokteran dumasar bukti diayakeun jeung milu dina buta ganda, randomized, placebo dikawasa, kawin silang sidang of parasut teh. "

    Tulis hiji op-ed cocog pikeun hiji koran readership umum, saperti The New York Times, arguing ngalawan fetishization tina bukti ékspérimén. Nyadiakeun husus, conto kongkrit. Hint: Tempo ogé, Bothwell et al. (2016) jeung Deaton (2010)

17. [ , , ] Béda-di-béda estimators tina pangaruh perlakuan bisa leuwih hade ti estimators béda-di-mean. Nulis mémo ka insinyur di muatan A uji / B di hiji pausahaan media sosial mimiti-up dijelaskeun nilai pendekatan beda-di-béda pikeun ngajalankeun hiji percobaan online. mémo kudu di antarana hiji pernyataan masalah, sababaraha intuisi ngeunaan kaayaan ngabawah beda-di-béda estimator bakal outperform beda-di-mean estimator, jeung ulikan simulasi basajan.

18. [ , ] Gary Loveman ieu dosen di Harvard Business School saméméh jadi CEO Harrah urang, salah sahiji pausahaan kasino panggedena di dunya. Lamun manéhna pindah ka Harrah sacara, Loveman robah pausahaan jeung program kasatiaan flier kawas sering nu dikumpulkeun jumlah tremendous data ngeunaan paripolah customer. Di luhur sistem ukuran ieu sok di, pausahaan mimiti ngajalankeun percobaan. Contona, maranéhanana bisa ngajalankeun hiji percobaan ka evaluate pangaruh Kupon pikeun hiji hotel bébas peuting pikeun konsumén jeung pola judi husus. Di dieu nu kumaha Loveman digambarkeun pentingna experimentation ka lila bisnis sapopoé Harrah sacara:

    "Ieu jiga nu teu ngaganggu awewe, teu maok, sarta anjeun saena boga grup kontrol. Ieu salah sahiji hal anu bisa leungit proyek Anjeun keur di Harrah's-teu ngajalankeun grup kontrol. " (Manzi 2012, 146)

    Tulis surelek ka pagawe anyar dijelaskeun naha Loveman nyangka nya kitu penting boga grup kontrol. Anjeun kudu nyoba di antarana conto-boh nyata atawa diwangun-to ngagambarkeun titik Anjeun.

19. [ , ] A percobaan anyar boga tujuan pikeun estimasi pangaruh narima panginget talatah teks dina uptake vaksinasi. 150 klinik, unggal jeung 600 penderita layak, nu daék milu. Aya biaya tetep 100 dollar keur unggal klinik Anjeun hoyong gawekeun, sarta waragad 1 dollar keur unggal talatah teks nu Anjeun hoyong kirim. Salajengna, naon waé klinik yén anjeun gawé bareng bakal ngukur hasilna (naha batur narima vaksinasi) haratis. Nganggap yen Anjeun gaduh anggaran 1000 dollar.

    1. Dina kaayaan naon bisa eta jadi leuwih alus pikeun museurkeun daya Anjeun dina sajumlah leutik klinik jeung dina kaayaan naon bisa eta jadi leuwih alus pikeun nyebarkeun eta leuwih loba?
    2. faktor naon nu bakal nangtukeun ukuran éfék pangleutikna nu baris sanggup reliably ngadeteksi jeung anggaran Anjeun?
    3. Nulis mémo dijelaskeun dagang-offs ieu ka funder poténsial.

20. [ , ] A masalah utama jeung kursus-kursus online nyaéta attrition; loba mahasiswa nu ngamimitian kursus mungkas nepi muterna-kaluar. Bayangkeun yén anjeun digawé di hiji platform learning online, jeung desainer di platform geus nyiptakeun kamajuan bar visual yén Aisyah nyangka bakal mantuan nyegah siswa ti muterna kaluar tangtu. Anjeun hoyong nguji pangaruh tina kamajuan bar dina siswa dina tangtu élmu sosial badag komputer. Sanggeus alamat nu mana wae nu isu etika nu bisa hudang dina percobaan, Anjeun sareng kolega Anjeun meunangkeun hariwang nu tangtu bisa teu boga cukup siswa reliably ngadeteksi efek tina kamajuan bar. Dina itungan di handap Anjeun bisa nganggap yén satengahna siswa bakal nampa kamajuan bar jeung satengah teu. Salajengna, Anjeun bisa nganggap yén teu aya gangguan. Dina basa sejen, Anjeun bisa nganggap yén pamilon ngan kapangaruhan ku naha maranéhanana narima perlakuan atawa kontrol; maranehna teu effected ku naha lain urang narima perlakuan atawa kontrol (keur harti nu leuwih formal, tempo Gerber and Green (2012) , Ch. 8). Mangga ngalacak mana wae asumsi tambahan nu Anjeun jieun.

    1. Anggap kamajuan bar diperkirakeun ngaronjatkeun saimbang siswa anu rengse kelas ku 1 persentase titik, naon ukuran sampel diperlukeun pikeun reliably ngadeteksi pangaruh kitu?
    2. Anggap kamajuan bar diperkirakeun ngaronjatkeun saimbang siswa anu rengse kelas ku 10 titik persentase, naon ukuran sampel diperlukeun pikeun reliably ngadeteksi pangaruh kitu?
    3. Ayeuna dibayangkeun nu geus ngajalankeun ékspérimén jeung siswa anu geus réngsé kabéh bahan tangtu geus nyokot hiji ujian ahir. Lamun ngabandingkeun skor ujian ahir siswa anu narima kamajuan bar ka maranéhanana anu teu, anjeun manggihan, loba reuwas Anjeun, nu siswa anu teu narima kamajuan bar sabenerna ngoleksi luhur. Teu ieu hartina yén kamajuan bar disababkeun siswa diajar kurang? Naon anu bisa anjeun diajar ti data hasil ieu? (Hint: Tempo Gerber and Green (2012) , Ch 7.)

21. [ , ] Dina kertas denok, Lewis and Rao (2015) vividly ngagambarkeun hiji watesan statistical fundamental percobaan komo masif. kertas-nu tadina kungsi judul provokatif "Dina Near-impossibility of Ngukur nu mulih deui ka Advertising" The -shows kumaha hésé nya éta pikeun ngukur mulang dina investasi tina Iklan online, komo jeung percobaan digital ngalibetkeun jutaan konsumén. More umum, kertas jelas nembongkeun yén éta téh hésé estimasi pangaruh perlakuan leutik amidst data hasil ribut. Atawa nyatakeun diffently, kertas nunjukeun yen ditaksir éfék perlakuan bakal boga interval kapercayaan gede lamun dampak-to-standar-simpangan (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) ratio leutik. Nu palajaran umum penting ti makalah ieu nyaeta hasil ti percobaan jeung ratio dampak-to-standar-simpangan leutik (misalna ROI tina kampanye iklan) bakal unsatisfying. tangtangan Anjeun bakal nulis mémo ka batur di jurusan pamasaran perusahaan evaluting hiji percobaan rencanana pikeun ngukur ROI hiji kampanye iklan. mémo anjeun kudu dirojong jeung grafik tina hasil simulasi komputer.

    Di dieu Kang sababaraha émbaran kasang tukang nu bisa Anjeun kudu. Sadaya ieu nilai numeris anu has tina percobaan nyata dilaporkeun dina Lewis and Rao (2015) :

    • ROI, hiji métrik konci pikeun kampanye iklan online, dihartikeun jadi kauntungan net ti kampanye (kauntungan leuwih gancang manan anu ti biaya kampanye dikurangan kampanye) dibagi ku biaya kampanye. Contona kampanye anu teu boga pangaruh dina penjualan bakal boga ROI tina -100% jeung kampanye mana kauntungan dihasilkeun éta sarua jeung waragad bakal boga ROI 0.

    • nu jualan mean per customer nyaéta $ 7 jeung simpangan baku tina $ 75.

    • kampanye diperkirakeun nambahan penjualan ku $ 0,35 per customer nu pakait jeung hiji kanaékan kauntungan tina $ 0,175 per customer. Dina basa sejen, margin kasar nyaéta 50%.

    • ukuran rencanana percobaan nyaeta 200,000 urang, satengah di group perlakuan jeung satengah dina grup kontrol.

    • biaya kampanye nyaeta $ 0,14 per pamilon.

    Nulis mémo evaluting percobaan ieu. Dupi anjeun nyarankeun launching percobaan ieu rencanana? Upami kitu, kunaon? Lamun henteu, robah naon anu anjeun nyarankeun?

    A mémo alus bakal nepikeun kasus husus ieu; mémo hade bakal generalize ti hal ieu dina hiji jalan (misalna mintonkeun kumaha parobahan kaputusan salaku fungsi rasio dampak-to-standar-simpangan); jeung mémo gede bakal nampilkeun hasil pinuh digeneralisasi.

22. [ , ] Naha sarua jeung Patarosan saméméhna, tapi tinimbang simulasi anjeun kudu make hasil analytic.

23. [ , , ] Naha sarua jeung Patarosan saméméhna, tapi make boh simulasi jeung hasil analytic.

24. [ , , ] Bayangkeun nu geus ditulis mémo ditétélakeun di luhur-ngagunakeun boh simulasi, hasil analytic, atawa duanana-jeung batur ti departemen marketing ngajak ngagunakeun béda-di-béda estimator tinimbang béda mean estimator (tempo Bagéan 4.6.2) . Nulis mémo pondok anyar dijelaskeun kumaha hiji 0,4 korelasi antara penjualan saméméh percobaan jeung penjualan sanggeus percobaan bakal ngarobah kacindekan Anjeun.

25. [ , ] Dina raraga evaluate efektivitas layanan karir basis web anyar, hiji kantor jasa karir universitas dipigawé hiji sidang kontrol randomized antara 10.000 siswa ngasupkeun taun ahir maranéhanana sakola. A langganan bébas jeung informasi log-di unik dikirim ngaliwatan surelek ondangan ekslusif ka 5.000 siswa dipilih sacara acak, sedengkeun 5.000 siswa séjén aya di kelompok kontrol jeung teu boga langganan a. Dua belas bulan ka hareup, hiji survey nurutan-up (jeung no non-response) nunjukeun yen boh perlakuan jeung kontrol grup, 70% siswa geus aman pagawean full-time dina widang dipilih maranéhanana (Table 4,5). Ku kituna, jigana nu ladenan basis web teu boga pangaruh.

    Tapi, élmuwan data palinter di universitas melong data bit leuwih raket jeung manggihan yén ngan 20% siswa dina grup perlakuan kungsi asup kana akun sanggeus narima surelek. Salajengna, jeung rada heran, antara maranéhanana anu geus asup kana website ngan 60% geus aman pagawean full-time dina widang maranéhanana dipilih, nu ieu leuwih handap laju pikeun jalma nu teu asup jeung leuwih handap laju pikeun jalma di kaayaan kontrol (Table 4,6).

    1. Nyadiakeun penjelasan keur naon bisa jadi geus kajadian.
    2. Naon dua cara pikeun ngitung éfék perlakuan dina percobaan ieu?
    3. Dibikeun hasil ieu, kudu ladenan karir universitas nyadiakeun layanan karir basis web ieu ka sadaya siswa? Ngan jadi jelas, ieu teu pertanyaan jeung jawaban basajan.
    4. Naon anu kudu maranehna ngalakukeun saterusna?

    Hint: Patarosan ieu mana leuwih bahan katutupan di bagean ieu, tapi alamat isu ilahar di percobaan. Jenis ieu desain percobaan kadangkala disebut desain dorongan sabab pamilon nu wanti ka kalibet dina perlakuan. Masalah Ieu conto naon anu disebut hiji-sided non-minuhan (tempo Gerber and Green (2012) , Ch. 5)

26. [ ] Sanggeus ujian salajengna, tétéla yén percobaan digambarkeun dina Patarosan saméméhna ieu komo leuwih pajeulit. Tétéla nu 10% tina jalma di kelompok kontrol nu mayar kanggo aksés ka ladénan, sarta maranéhanana réngsé nepi kalawan laju pagawean 65% (Table 4,7).

    1. Tulis surelek nyimpulkeun naon mikir ieu lumangsung jeung nyarankeun kursus aksi.

    Hint: Patarosan ieu mana leuwih bahan katutupan di bagean ieu, tapi alamat isu ilahar di percobaan. Masalah Ieu conto naon anu disebut dua sided non-minuhan (tempo Gerber and Green (2012) , Ch. 6)