Kegiatan

Kunci:

• tingkat kesulitan: mudah , medium , hard , sangat keras
• membutuhkan matematika ( )
• membutuhkan coding ( )
• pengumpulan data ( )
• kesukaanku ( )

1. [ . ] Berinsky dan rekan (2012) mengevaluasi Mechanical Turk sebagian oleh mereplikasi tiga percobaan klasik. Meniru klasik Asia framing Penyakit percobaan oleh Tversky and Kahneman (1981) . Apakah hasil pertandingan Tversky dan Kahneman ini? Apakah hasil pertandingan Berinsky dan rekan? Apa-jika ada-ayat ini ajarkan tentang menggunakan Mechanical Turk untuk eksperimen survei?

2. [ . ] Dalam sebuah makalah yang agak lidah-di-pipi berjudul "Kami Harus Break Up," psikolog sosial Robert Cialdini, salah satu penulis dari Schultz et al. (2007) , menulis bahwa ia pensiun dini dari pekerjaannya sebagai profesor, sebagian karena tantangan yang dihadapinya melakukan percobaan lapangan dalam disiplin (psikologi) yang terutama melakukan percobaan laboratorium (Cialdini 2009) . Membaca koran Cialdini, dan menulis email kepadanya mendesak dia untuk mempertimbangkan kembali nya break-up dalam terang kemungkinan eksperimen digital. Gunakan contoh spesifik dari penelitian yang membahas keprihatinannya.

3. [ ] Dalam rangka untuk menentukan apakah keberhasilan awal kecil mengunci-in atau memudar, van de Rijt dan dan rekan (2014) melakukan intervensi ke dalam empat sistem yang berbeda menganugerahkan sukses di peserta yang dipilih secara acak, dan kemudian mengukur dampak jangka panjang dari keberhasilan sewenang-wenang ini. Dapatkah Anda memikirkan sistem lain di mana Anda bisa menjalankan percobaan serupa? Evaluasi sistem ini dalam hal isu-isu nilai ilmiah, algoritmik pembaur (lihat Bab 2), dan etika.

4. [ . ] Hasil percobaan dapat bergantung pada para peserta. Membuat eksperimen dan kemudian jalankan di Amazon Mechanical Turk (MTurk) menggunakan dua strategi rekrutmen yang berbeda. Cobalah untuk memilih strategi eksperimen dan rekrutmen sehingga hasilnya akan berbeda seperti mungkin. Misalnya, strategi perekrutan Anda bisa merekrut peserta di pagi dan malam hari atau untuk mengkompensasi peserta dengan gaji tinggi dan rendah. jenis-perbedaan dalam strategi perekrutan dapat menyebabkan kolam yang berbeda dari peserta dan hasil eksperimen yang berbeda. Bagaimana yang berbeda tidak hasil Anda berubah? Apa yang mengungkapkan tentang menjalankan percobaan pada MTurk?

5. [ . . . ] Bayangkan bahwa Anda sedang merencanakan Emotional studi Contagion (Kramer, Guillory, and Hancock 2014) . Menggunakan hasil dari studi observasional sebelumnya oleh Kramer (2012) untuk menentukan jumlah peserta di setiap kondisi. Kedua penelitian tidak cocok dengan sempurna jadi pastikan untuk secara eksplisit daftar semua asumsi yang Anda buat:

   1. Menjalankan simulasi yang akan memutuskan berapa banyak peserta akan diperlukan untuk mendeteksi efek besar seperti efek di Kramer (2012) dengan \ (\ alpha = 0,05 \) dan \ (1 - \ beta = 0,8 \).
   2. Melakukan perhitungan yang sama analitis.
   3. Mengingat hasil dari Kramer (2012) telah Emotional Contagion (Kramer, Guillory, and Hancock 2014) lebih bertenaga (yaitu, apakah itu memiliki lebih peserta dari yang dibutuhkan)?
   4. Asumsi yang Anda buat, yang memiliki efek terbesar pada perhitungan Anda?

6. [ . . . ] Menjawab pertanyaan di atas, tapi daripada menggunakan sebelumnya studi observasional oleh Kramer (2012) menggunakan hasil dari percobaan alami sebelumnya oleh Coviello et al. (2014) .

7. [ ] Kedua Rijt et al. (2014) dan Margetts et al. (2011) keduanya melakukan eksperimen yang mempelajari proses-orang menandatangani petisi. Membandingkan dan kontras desain dan temuan dari studi ini.

8. [ ] Dwyer, Maki, and Rothman (2015) melakukan dua percobaan lapangan pada hubungan antara norma-norma sosial dan perilaku proenvironmental. Berikut abstrak kertas mereka:

   "Bagaimana mungkin ilmu psikologi dimanfaatkan untuk mendorong perilaku proenvironmental? Dalam dua studi, intervensi yang bertujuan untuk mempromosikan perilaku konservasi energi di kamar mandi umum meneliti pengaruh dari norma deskriptif dan tanggung jawab pribadi. Dalam studi 1, status cahaya (yaitu, on atau off) dimanipulasi sebelum seseorang memasuki kamar mandi umum kosong, menandakan norma deskriptif untuk pengaturan itu. Peserta secara signifikan lebih mungkin untuk mematikan lampu jika mereka mati ketika mereka masuk. Dalam studi 2, kondisi tambahan termasuk di mana norma mematikan cahaya itu ditunjukkan oleh konfederasi, tetapi peserta tidak sendiri bertanggung jawab untuk menyalakannya. tanggung jawab pribadi moderator pengaruh norma sosial terhadap perilaku; ketika peserta tidak bertanggung jawab atas menyalakan lampu, pengaruh norma berkurang. Hasil ini menunjukkan bagaimana norma dan tanggung jawab pribadi deskriptif dapat mengatur efektivitas intervensi proenvironmental. "

   Membaca koran dan merancang replikasi dari penelitian 1.

9. [ . ] Bangunan pada pertanyaan sebelumnya, sekarang membawa keluar desain Anda.

   1. Bagaimana hasil membandingkan?
   2. Apa yang mungkin menjelaskan perbedaan ini?

10. [ ] Ada perdebatan substansial tentang percobaan menggunakan peserta direkrut dari Amazon Mechanical Turk. Secara paralel, ada juga perdebatan substansial tentang percobaan menggunakan peserta direkrut dari populasi mahasiswa sarjana. Tulis memo dua halaman membandingkan dan mengkontraskan Turkers dan mahasiswa sebagai peserta peneliti. perbandingan Anda harus mencakup diskusi tentang kedua isu ilmiah dan logistik.

11. [ Buku] Jim Manzi ini tidak terkendali (2012) adalah pengenalan yang indah ke dalam kekuatan eksperimen dalam bisnis. Dalam buku tersebut dia sampaikan cerita ini:

    "Saya pernah dalam pertemuan dengan jenius bisnis sejati, seorang miliarder buatan sendiri yang memiliki, mengecilkan intuitif yang mendalam dari kekuatan percobaan. Perusahaannya menghabiskan sumber daya yang signifikan mencoba untuk membuat besar display toko jendela yang akan menarik konsumen dan meningkatkan penjualan, sebagai kebijaksanaan konvensional mengatakan mereka seharusnya. Para ahli hati-hati diuji desain setelah desain, dan dalam sesi review tes individu selama periode tahun terus menunjukkan tidak berpengaruh kausal yang signifikan dari setiap desain tampilan baru pada penjualan. Senior marketing dan merchandising eksekutif bertemu dengan CEO untuk meninjau hasil tes sejarah ini di toto. Setelah menyajikan semua data eksperimen, mereka menyimpulkan bahwa kebijaksanaan konvensional adalah menampilkan salah-jendela tidak mendorong penjualan. Aksi mereka direkomendasikan adalah untuk mengurangi biaya dan usaha di daerah ini. Hal ini secara dramatis menunjukkan kemampuan eksperimen untuk membatalkan kebijaksanaan konvensional. Tanggapan CEO sederhana: 'Kesimpulan saya adalah bahwa desainer Anda tidak sangat baik. " Solusi nya adalah untuk meningkatkan upaya dalam desain tampilan toko, dan untuk mendapatkan orang-orang baru untuk melakukannya. " (Manzi 2012, 158–9)

    Jenis yang validitas adalah perhatian dari CEO?

12. [ ] Bangunan pada pertanyaan sebelumnya, bayangkan bahwa Anda berada di pertemuan di mana hasil percobaan dibahas. Apa empat pertanyaan yang Anda bisa meminta, satu untuk setiap jenis validitas (statistik, membangun, internal dan eksternal)?

13. [ ] Bernedo, Ferraro, and Price (2014) mempelajari efek tujuh tahun dari intervensi hemat air dijelaskan dalam Ferraro, Miranda, and Price (2011) (lihat Gambar 4.10). Dalam makalah ini, Bernedo dan rekan juga berusaha untuk memahami mekanisme di balik efek dengan membandingkan perilaku rumah tangga yang memiliki dan tidak bergerak setelah perawatan disampaikan. Artinya, kira-kira, mereka mencoba untuk melihat apakah pengobatan yang berdampak pada rumah atau pemilik rumah.

    1. Membaca koran, menggambarkan desain mereka, dan meringkas temuan mereka. b) Apakah temuan mereka memengaruhi bagaimana Anda harus menilai efektivitas biaya intervensi serupa? Jika demikian, mengapa? Jika tidak, mengapa tidak?

14. [ ] Dalam tindak lanjut Schultz et al. (2007) , Schultz dan rekan melakukan serangkaian tiga percobaan pada efek dari norma-norma deskriptif dan ganti pada perilaku lingkungan yang berbeda (handuk reuse) dalam dua konteks (hotel dan kondominium timeshare) (Schultz, Khazian, and Zaleski 2008) .

    1. Meringkas desain dan temuan tiga percobaan tersebut.
    2. Bagaimana, jika sama sekali, apakah mereka mengubah penafsiran Anda dari Schultz et al. (2007) ?

15. [ ] Menanggapi Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) berlari serangkaian percobaan laboratorium seperti untuk mempelajari desain tagihan listrik. Berikut adalah cara mereka menggambarkannya secara abstrak:

    "Dalam sebuah eksperimen berbasis survei, setiap peserta melihat tagihan listrik hipotetis untuk keluarga dengan penggunaan listrik yang relatif tinggi, meliputi informasi tentang (a) penggunaan sejarah, (b) perbandingan dengan tetangga, dan (c) penggunaan sejarah dengan alat breakdown. Peserta melihat semua jenis informasi dalam salah satu dari tiga format termasuk (a) tabel, (b) grafik batang, dan (c) ikon grafik. Kami melaporkan tiga temuan utama. Pertama, konsumen memahami setiap jenis informasi listrik digunakan paling saat itu disajikan di meja, mungkin karena meja memfasilitasi membaca titik sederhana. Kedua, preferensi dan niat untuk menghemat listrik adalah yang terkuat untuk informasi penggunaan sejarah, independen format. Ketiga, individu dengan keaksaraan energi yang lebih rendah dipahami semua informasi yang kurang. "

    Tidak seperti lainnya studi tindak lanjut, hasil utama bunga di Canfield, Bruin, and Wong-Parodi (2016) yang melaporkan perilaku tidak perilaku aktual. Apa kekuatan dan kelemahan dari jenis studi dalam program penelitian yang lebih luas mempromosikan penghematan energi?

16. [ . ] Smith and Pell (2003) adalah meta-analisis satir studi menunjukkan efektivitas parasut. Mereka menyimpulkan:

    "Seperti banyak intervensi dimaksudkan untuk mencegah sakit, efektivitas parasut belum mengalami evaluasi ketat dengan menggunakan uji coba terkontrol secara acak. Para pendukung kedokteran berbasis bukti telah mengkritik adopsi intervensi dievaluasi dengan menggunakan data hanya observasional. Kami berpikir bahwa semua orang akan mendapat manfaat jika protagonis yang paling radikal dari kedokteran berbasis bukti terorganisir dan berpartisipasi dalam double blind, acak, plasebo terkontrol, Crossover percobaan parasut. "

    Menulis op-ed cocok untuk pembaca surat kabar umum, seperti The New York Times, berdebat melawan fetishization bukti eksperimental. Memberikan spesifik, contoh-contoh konkret. Petunjuk: Lihat juga, Bothwell et al. (2016) dan Deaton (2010)

17. [ . . ] Perbedaan-in-perbedaan estimator dari efek pengobatan bisa lebih tepat daripada estimator perbedaan-in-rata. Menulis memo kepada seorang insinyur yang bertanggung jawab atas pengujian A / B di sebuah perusahaan media sosial start-up menjelaskan nilai pendekatan perbedaan-in-perbedaan untuk menjalankan eksperimen online. memo itu harus mencakup pernyataan dari masalah, beberapa intuisi tentang kondisi di mana perbedaan-in-perbedaan estimator akan mengungguli perbedaan-in-rata estimator, dan sebuah studi simulasi sederhana.

18. [ . ] Gary Loveman adalah seorang profesor di Harvard Business School sebelum menjadi CEO Harrah, salah satu perusahaan kasino terbesar di dunia. Ketika ia pindah ke Harrah, Loveman mengubah perusahaan dengan program loyalitas flier-seperti sering yang dikumpulkan jumlah besar data tentang perilaku pelanggan. Di atas sistem pengukuran ini selalu-on, perusahaan mulai menjalankan percobaan. Misalnya, mereka mungkin menjalankan eksperimen untuk mengevaluasi efek dari kupon untuk sebuah hotel malam gratis untuk pelanggan dengan pola perjudian tertentu. Berikut adalah cara Loveman menggambarkan pentingnya eksperimen untuk praktik bisnis sehari-hari Harrah:

    "Ini seperti Anda tidak melecehkan wanita, Anda tidak mencuri, dan Anda harus memiliki kelompok kontrol. Ini adalah salah satu hal yang dapat Anda kehilangan pekerjaan Anda selama Harrah's-tidak menjalankan kelompok kontrol. " (Manzi 2012, 146)

    Menulis email ke karyawan baru menjelaskan mengapa Loveman berpikir itu sangat penting untuk memiliki kelompok kontrol. Anda harus mencoba untuk memasukkan contoh-baik yang nyata atau dibuat-untuk menggambarkan hal Anda.

19. [ . ] Sebuah percobaan baru bertujuan untuk mengestimasi dampak menerima pengingat pesan teks pada serapan vaksinasi. 150 klinik, masing-masing dengan 600 pasien yang memenuhi syarat, bersedia untuk berpartisipasi. Ada biaya tetap 100 dolar untuk setiap klinik Anda ingin bekerja dengan, dan biaya 1 dollar untuk setiap pesan teks yang ingin Anda kirim. Selanjutnya, setiap klinik bahwa Anda bekerja dengan akan mengukur hasil (apakah seseorang menerima vaksinasi) secara gratis. Asumsikan bahwa Anda memiliki anggaran 1000 dolar.

    1. Dalam kondisi apa yang mungkin lebih baik untuk memfokuskan sumber daya Anda pada sejumlah kecil klinik dan dalam kondisi apa mungkin lebih baik untuk menyebarkannya lebih luas?
    2. Faktor-faktor apa yang akan menentukan ukuran efek terkecil yang Anda akan dapat mampu mendeteksi dengan anggaran Anda?
    3. Tulis memo yang menjelaskan trade-off ini ke penyandang dana potensial.

20. [ . ] Masalah utama dengan kursus online adalah gesekan; banyak siswa yang mulai program berakhir menjatuhkan-out. Bayangkan bahwa Anda bekerja di sebuah platform pembelajaran online, dan desainer di platform telah menciptakan sebuah progress bar visual yang dia pikir akan membantu mencegah siswa dari putus saja. Anda ingin menguji efek dari progress bar pada siswa dalam kursus ilmu sosial besar komputasi. Setelah menangani masalah etika yang mungkin timbul dalam percobaan, Anda dan rekan Anda khawatir bahwa kursus mungkin tidak memiliki cukup siswa untuk mampu mendeteksi efek dari progress bar. Dalam perhitungan di bawah ini Anda dapat mengasumsikan bahwa setengah dari siswa akan menerima progress bar dan setengah tidak. Selanjutnya, Anda dapat mengasumsikan bahwa tidak ada gangguan. Dengan kata lain, Anda dapat mengasumsikan bahwa peserta hanya dipengaruhi oleh apakah mereka menerima perlakuan atau kontrol; mereka tidak dipengaruhi oleh apakah orang lain menerima perlakuan atau kontrol (untuk definisi yang lebih formal, lihat Gerber and Green (2012) , Ch. 8). Harap melacak setiap asumsi tambahan yang Anda buat.

    1. Misalkan progress bar diharapkan dapat meningkatkan proporsi siswa yang menyelesaikan kelas dengan 1 persen, apa ukuran sampel yang dibutuhkan untuk mampu mendeteksi efek?
    2. Misalkan progress bar diharapkan dapat meningkatkan proporsi siswa yang menyelesaikan kelas dengan 10 poin persentase, apa ukuran sampel yang dibutuhkan untuk mampu mendeteksi efek?
    3. Sekarang bayangkan bahwa Anda telah menjalankan eksperimen dan siswa yang telah menyelesaikan semua materi kursus telah mengambil ujian akhir. Ketika Anda membandingkan nilai ujian akhir siswa yang menerima progress bar untuk mereka yang tidak, Anda menemukan, banyak mengejutkan Anda, bahwa siswa yang tidak menerima progress bar benar-benar mencetak lebih tinggi. Apakah ini berarti bahwa progress bar disebabkan siswa untuk belajar kurang? Apa yang dapat Anda pelajari dari data hasil ini? (Petunjuk: Lihat Gerber and Green (2012) , Ch 7.)

21. [ . ] Dalam sebuah makalah yang indah, Lewis and Rao (2015) jelas menggambarkan batasan statistik dasar percobaan bahkan besar. kertas-yang awalnya memiliki judul provokatif "Di dekat-kemustahilan Mengukur Pengembalian untuk Iklan" The -shows betapa sulitnya untuk mengukur laba atas investasi dari iklan online, bahkan dengan eksperimen digital yang melibatkan jutaan pelanggan. Lebih umum, kertas jelas menunjukkan bahwa sulit untuk memperkirakan efek pengobatan kecil di tengah-tengah data hasil berisik. Atau menyatakan diffently, kertas menunjukkan bahwa perkiraan efek pengobatan akan memiliki interval kepercayaan besar ketika dampak-to-standar deviasi (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) rasio kecil. Pelajaran umum yang penting dari tulisan ini adalah bahwa hasil dari percobaan dengan rasio dampak-to-standar-deviasi kecil (misalnya, ROI kampanye iklan) akan memuaskan. Tantangan Anda akan menulis memo kepada seseorang di departemen pemasaran perusahaan Anda evaluasi bagi percobaan direncanakan untuk mengukur ROI dari kampanye iklan. memo Anda harus didukung dengan grafik dari hasil simulasi komputer.

    Berikut ini beberapa informasi latar belakang yang mungkin Anda butuhkan. Semua nilai-nilai numerik yang khas dari percobaan nyata dilaporkan pada Lewis and Rao (2015) :

    • ROI, kunci metrik untuk kampanye iklan online, didefinisikan sebagai laba bersih dari kampanye (laba kotor dari biaya kampanye dikurangi kampanye) dibagi dengan biaya kampanye. Misalnya kampanye yang tidak berpengaruh pada penjualan akan memiliki ROI -100% dan kampanye di mana keuntungan yang dihasilkan adalah sama dengan biaya akan memiliki ROI 0.

    • penjualan rata-rata per pelanggan adalah $ 7 dengan standar deviasi dari $ 75.

    • Kampanye ini diharapkan dapat meningkatkan penjualan sebesar $ 0.35 per pelanggan yang sesuai dengan kenaikan laba dari $ 0,175 per pelanggan. Dengan kata lain, margin kotor adalah 50%.

    • ukuran direncanakan percobaan adalah 200.000 orang, setengah pada kelompok perlakuan dan setengah pada kelompok kontrol.

    • biaya kampanye ini adalah $ 0,14 per peserta.

    Tulis memo evaluasi bagi eksperimen ini. Apakah Anda merekomendasikan meluncurkan percobaan ini seperti yang direncanakan? Jika demikian, mengapa? Jika tidak, perubahan apa yang akan Anda rekomendasikan?

    Sebuah memo yang baik akan membahas kasus khusus ini; memo yang lebih baik akan generalisasi dari kasus ini dalam satu cara (misalnya, menunjukkan bagaimana perubahan keputusan sebagai fungsi dari rasio dampak-to-standar deviasi); dan memo besar akan menyajikan hasil sepenuhnya umum.

22. [ . ] Lakukan hal yang sama seperti pertanyaan sebelumnya, tapi bukan simulasi Anda harus menggunakan hasil analisis.

23. [ . . ] Lakukan hal yang sama seperti pertanyaan sebelumnya, tapi menggunakan kedua simulasi dan hasil analisis.

24. [ . . ] Bayangkan bahwa Anda telah menulis memo yang dijelaskan di atas-baik menggunakan simulasi, hasil analisis, atau keduanya-dan seseorang dari departemen pemasaran merekomendasikan menggunakan perbedaan-in-perbedaan estimator daripada perbedaan dalam cara estimator (lihat Bagian 4.6.2) . Menulis memo pendek baru menjelaskan bagaimana sebuah 0,4 korelasi antara penjualan sebelum percobaan dan penjualan setelah percobaan akan mengubah kesimpulan Anda.

25. [ . ] Dalam rangka untuk mengevaluasi efektivitas layanan karir berbasis web baru, kantor layanan karir universitas melakukan uji coba terkontrol secara acak di antara 10.000 siswa memasuki tahun terakhir mereka sekolah. Langganan gratis dengan informasi log-in yang unik dikirim melalui email undangan eksklusif untuk 5.000 siswa yang dipilih secara acak, sedangkan 5.000 siswa lain dalam kelompok kontrol dan tidak memiliki langganan. Dua belas bulan kemudian, survei tindak lanjut (tanpa non-respon) menunjukkan bahwa pada kedua perlakuan dan kelompok kontrol, 70% dari siswa telah mengamankan pekerjaan penuh-waktu di bidang yang mereka (Tabel 4.5). Dengan demikian, tampaknya bahwa layanan berbasis web tidak berpengaruh.

    Namun, seorang ilmuwan data yang pintar di universitas melihat data yang sedikit lebih dekat dan menemukan bahwa hanya 20% dari siswa pada kelompok perlakuan pernah login ke account setelah menerima email tersebut. Selanjutnya, dan agak mengherankan, di antara mereka yang telah login ke website hanya 60% telah mengamankan pekerjaan penuh-waktu dalam bidang pilihan mereka, yang lebih rendah dari tingkat bagi orang-orang yang tidak login dan lebih rendah dari tarif untuk orang-orang di kondisi kontrol (Tabel 4.6).

    1. Memberikan penjelasan untuk apa yang mungkin terjadi.
    2. Apa dua cara yang berbeda untuk menghitung efek dari pengobatan dalam percobaan ini?
    3. Mengingat hasil ini, harus layanan karir universitas menyediakan layanan karir berbasis web ini untuk semua siswa? Hanya untuk menjadi jelas, ini bukan pertanyaan dengan jawaban sederhana.
    4. Apa yang harus mereka lakukan selanjutnya?

    Petunjuk: Pertanyaan ini melampaui materi yang dibahas dalam bab ini, namun membahas masalah umum dalam percobaan. Jenis desain eksperimental kadang-kadang disebut desain dorongan karena peserta didorong untuk terlibat dalam perawatan. Masalah ini adalah contoh dari apa yang disebut satu sisi non-kepatuhan (lihat Gerber and Green (2012) , Ch. 5)

26. [ ] Setelah pemeriksaan lebih lanjut, ternyata percobaan yang dijelaskan dalam pertanyaan sebelumnya bahkan lebih rumit. Ternyata 10% dari orang-orang dalam kelompok kontrol dibayar untuk akses ke layanan, dan mereka berakhir dengan tingkat kerja 65% (Tabel 4.7).

    1. Menulis email meringkas apa yang Anda pikirkan yang terjadi dan merekomendasikan tindakan.

    Petunjuk: Pertanyaan ini melampaui materi yang dibahas dalam bab ini, namun membahas masalah umum dalam percobaan. Masalah ini adalah contoh dari apa yang disebut dua sisi non-kepatuhan (lihat Gerber and Green (2012) , Ch. 6)