Kegiatan

• tingkat kesulitan: mudah , medium , keras , sangat keras
• membutuhkan matematika ( )
• membutuhkan pengkodean ( )
• pengumpulan data ( )
• kesukaanku ( )

1. [ , ] Berinsky dan rekan (2012) mengevaluasi MTurk sebagian dengan mereplikasi tiga eksperimen klasik. Replikasikan eksperimen framing Penyakit Asia Klasik oleh Tversky and Kahneman (1981) . Apakah hasil Anda cocok dengan Tversky dan Kahneman? Apakah hasil Anda cocok dengan Berinsky dan rekan-rekannya? Apa — jika ada — apakah ini mengajarkan kita tentang menggunakan MTurk untuk eksperimen survei?

2. [ , ] Dalam sebuah makalah yang agak menjulurkan lidah berjudul "Kita Harus Putuskan," psikolog sosial Robert Cialdini, salah satu penulis Schultz et al. (2007) , menulis bahwa dia pensiun awal dari pekerjaannya sebagai profesor, sebagian karena tantangan yang dia hadapi melakukan percobaan lapangan dalam disiplin (psikologi) yang terutama melakukan percobaan laboratorium (Cialdini 2009) . Baca kertas Cialdini, dan tuliskan surel untuknya agar dia mempertimbangkan kembali keterpisahannya dengan berbagai kemungkinan percobaan digital. Gunakan contoh spesifik dari penelitian yang membahas kekhawatirannya.

3. [ ] Untuk menentukan apakah keberhasilan awal kecil mengunci atau memudar, van de Rijt dan dan rekan (2014) mengintervensi ke dalam empat sistem yang berbeda menganugerahkan keberhasilan pada peserta yang dipilih secara acak, dan kemudian mengukur dampak jangka panjang dari keberhasilan yang sewenang-wenang ini. Dapatkah Anda memikirkan sistem lain di mana Anda dapat menjalankan eksperimen serupa? Evaluasi sistem ini dalam hal masalah nilai ilmiah, pengganggu algoritmik (lihat bab 2), dan etika.

4. [ , ] Hasil eksperimen dapat bergantung pada peserta. Buat percobaan lalu jalankan di MTurk menggunakan dua strategi perekrutan yang berbeda. Cobalah untuk memilih strategi percobaan dan rekrutmen sehingga hasilnya akan berbeda - beda . Misalnya, strategi rekrutmen Anda dapat merekrut peserta di pagi dan sore hari atau untuk memberi kompensasi kepada peserta dengan bayaran tinggi dan rendah. Perbedaan-perbedaan dalam strategi rekrutmen ini dapat mengarah pada kumpulan partisipan yang berbeda dan hasil eksperimen yang berbeda. Seberapa berbeda hasil Anda? Apa yang diungkapkan tentang menjalankan eksperimen di MTurk?

5. [ , , ] Bayangkan bahwa Anda sedang merencanakan eksperimen Emosional Contagion (Kramer, Guillory, and Hancock 2014) . Gunakan hasil dari studi observasional sebelumnya oleh Kramer (2012) untuk menentukan jumlah peserta dalam setiap kondisi. Kedua studi ini tidak cocok dengan sempurna jadi pastikan untuk secara eksplisit mencantumkan semua asumsi yang Anda buat:

   1. Jalankan simulasi yang akan memutuskan berapa banyak peserta yang diperlukan untuk mendeteksi efek sebesar efek dalam Kramer (2012) dengan \(\alpha = 0.05\) dan \(1 - \beta = 0.8\) .
   2. Lakukan perhitungan yang sama secara analitis.
   3. Mengingat hasil dari Kramer (2012) adalah Emotional Contagion (Kramer, Guillory, and Hancock 2014) terlalu bertenaga (yaitu, apakah ia memiliki lebih banyak peserta daripada yang dibutuhkan)?
   4. Asumsi yang Anda buat, yang memiliki pengaruh terbesar pada perhitungan Anda?

6. [ , , ] Jawab pertanyaan sebelumnya lagi, tetapi kali ini daripada menggunakan studi observasional sebelumnya oleh Kramer (2012) , gunakan hasil dari percobaan alami sebelumnya oleh Lorenzo Coviello et al. (2014) .

7. [ ] Baik Margetts et al. (2011) dan van de Rijt dkk. (2014) melakukan eksperimen yang mempelajari proses orang yang menandatangani petisi. Bandingkan dan bedakan desain dan temuan dari studi ini.

8. [ ] Dwyer, Maki, and Rothman (2015) melakukan dua percobaan lapangan pada hubungan antara norma-norma sosial dan perilaku pro-lingkungan. Inilah abstrak makalah mereka:

   “Bagaimana ilmu psikologi dimanfaatkan untuk mendorong perilaku pro lingkungan? Dalam dua penelitian, intervensi yang bertujuan untuk mempromosikan perilaku konservasi energi di kamar mandi umum memeriksa pengaruh norma-norma deskriptif dan tanggung jawab pribadi. Dalam Studi 1, status cahaya (yaitu, aktif atau nonaktif) dimanipulasi sebelum seseorang memasuki kamar mandi umum yang tidak diduduki, menandakan norma deskriptif untuk pengaturan itu. Peserta secara signifikan lebih cenderung mematikan lampu jika mereka pergi ketika mereka masuk. Dalam Studi 2, kondisi tambahan dimasukkan di mana norma mematikan lampu ditunjukkan oleh seorang konfederasi, tetapi peserta tidak bertanggung jawab sendiri untuk menyalakannya. Tanggung jawab pribadi memoderasi pengaruh norma sosial pada perilaku; ketika peserta tidak bertanggung jawab untuk menyalakan lampu, pengaruh norma itu berkurang. Hasil ini menunjukkan bagaimana norma deskriptif dan tanggung jawab pribadi dapat mengatur efektivitas intervensi proenvironmental. ”

   Bacalah kertas mereka dan rancang replikasi pembelajaran 1.

9. [ , ] Berdasarkan pertanyaan sebelumnya, sekarang laksanakan desain Anda.

   1. Bagaimana hasilnya dibandingkan?
   2. Apa yang bisa menjelaskan perbedaan-perbedaan ini?

10. [ Ada banyak perdebatan tentang eksperimen menggunakan peserta yang direkrut dari MTurk. Secara paralel, ada juga perdebatan substansial tentang eksperimen menggunakan peserta yang direkrut dari populasi mahasiswa sarjana. Tulis memo dua halaman yang membandingkan dan membandingkan Turkers dan undergraduates sebagai peserta penelitian. Perbandingan Anda harus mencakup diskusi tentang masalah ilmiah dan logistik.

11. [ ] Buku Jim Manzi Tidak Terkendali (2012) adalah pengantar yang bagus untuk kekuatan eksperimen dalam bisnis. Dalam buku itu ia menyampaikan kisah berikut:

    “Saya pernah bertemu dengan seorang jenius bisnis sejati, miliarder yang memiliki kemauan sendiri, yang memiliki pemahaman yang mendalam dan intuitif tentang kekuatan eksperimen. Perusahaannya menghabiskan sumber daya yang signifikan mencoba menciptakan tampilan jendela toko besar yang akan menarik konsumen dan meningkatkan penjualan, seperti yang dikatakan oleh kebijakan konvensional. Pakar menguji desain dengan hati-hati setelah desain, dan dalam sesi ulasan pengujian individual selama periode tahun terus menunjukkan tidak ada efek kausal yang signifikan dari setiap desain tampilan baru pada penjualan. Eksekutif pemasaran dan merchandising senior bertemu dengan CEO untuk meninjau hasil tes sejarah ini dalam toto. Setelah menyajikan semua data eksperimen, mereka menyimpulkan bahwa kearifan konvensional salah — jendela itu tidak mendorong penjualan. Tindakan yang direkomendasikan mereka adalah untuk mengurangi biaya dan upaya di bidang ini. Ini secara dramatis menunjukkan kemampuan eksperimen untuk membalikkan kebijaksanaan konvensional. Tanggapan CEO sederhana: "Kesimpulan saya adalah bahwa desainer Anda tidak begitu bagus." Solusinya adalah meningkatkan usaha dalam desain tampilan toko, dan membuat orang baru melakukannya. ” (Manzi 2012, 158–9)

    Jenis validitas apa yang menjadi perhatian CEO?

12. [ ] Berdasarkan pertanyaan sebelumnya, bayangkan Anda berada di pertemuan di mana hasil dari eksperimen tersebut didiskusikan. Apa empat pertanyaan yang dapat Anda tanyakan — satu untuk setiap jenis validitas (statistik, konstruk, internal, dan eksternal)?

13. [ ] Bernedo, Ferraro, and Price (2014) mempelajari efek tujuh tahun dari intervensi hemat air yang dijelaskan di Ferraro, Miranda, and Price (2011) (lihat gambar 4.11). Dalam makalah ini, Bernedo dan rekan juga berusaha untuk memahami mekanisme di balik efek dengan membandingkan perilaku rumah tangga yang telah dan belum pindah setelah pengobatan itu disampaikan. Artinya, secara kasar, mereka mencoba untuk melihat apakah perawatan berdampak pada rumah atau pemilik rumah.

    1. Bacalah makalah, jelaskan desain mereka, dan rangkum temuan mereka.
    2. Apakah temuan mereka berdampak pada bagaimana Anda harus menilai efektivitas biaya dari intervensi serupa? Jika ya, mengapa? Jika tidak, mengapa tidak?

14. [ ] Dalam tindak lanjut Schultz et al. (2007) , Schultz dan rekan melakukan serangkaian tiga percobaan pada efek deskriptif dan norma-norma injunctive pada perilaku lingkungan yang berbeda (penggunaan kembali handuk) dalam dua konteks (hotel dan kondominium timeshare) (Schultz, Khazian, and Zaleski 2008) .

    1. Ringkaskan desain dan temuan dari ketiga percobaan ini.
    2. Bagaimana, jika memang ada, apakah mereka mengubah interpretasi Anda tentang Schultz et al. (2007) ?

15. [ ] Menanggapi Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) menjalankan serangkaian percobaan seperti laboratorium untuk mempelajari desain tagihan listrik. Beginilah cara mereka menggambarkannya secara abstrak:

    “Dalam sebuah eksperimen berbasis survei, setiap peserta melihat tagihan listrik hipotetis untuk keluarga dengan penggunaan listrik yang relatif tinggi, yang mencakup informasi tentang (a) penggunaan historis, (b) perbandingan dengan tetangga, dan (c) penggunaan historis dengan perincian alat. Peserta melihat semua jenis informasi dalam satu dari tiga format termasuk (a) tabel, (b) grafik batang, dan (c) grafik ikon. Kami melaporkan tiga temuan utama. Pertama, konsumen memahami setiap jenis informasi penggunaan listrik paling banyak ketika disajikan dalam tabel, mungkin karena tabel memfasilitasi pembacaan titik sederhana. Kedua, preferensi dan niat untuk menghemat listrik adalah yang terkuat untuk informasi penggunaan historis, tidak bergantung pada format. Ketiga, individu dengan literasi energi yang lebih rendah memahami semua informasi lebih sedikit. ”

    Tidak seperti studi tindak lanjut lainnya, hasil utama yang menarik di Canfield, Bruin, and Wong-Parodi (2016) dilaporkan perilaku, bukan perilaku yang sebenarnya. Apa kekuatan dan kelemahan dari jenis penelitian ini dalam program penelitian yang lebih luas yang mempromosikan penghematan energi?

16. [ , ] Smith and Pell (2003) mempresentasikan meta-analisis satir dari studi yang menunjukkan efektivitas parasut. Mereka menyimpulkan:

    “Seperti banyak intervensi yang ditujukan untuk mencegah kesehatan yang buruk, efektivitas parasut belum mengalami evaluasi yang ketat dengan menggunakan uji coba terkontrol secara acak. Para pendukung obat berbasis bukti telah mengkritik adopsi intervensi dievaluasi dengan hanya menggunakan data observasi. Kami berpikir bahwa setiap orang mungkin akan mendapat manfaat jika protagonis paling radikal dari obat-obatan berbasis bukti terorganisir dan berpartisipasi dalam uji coba parasut ganda, acak, plasebo terkontrol, persilangan parasut. ”

    Tulis op-ed yang cocok untuk surat kabar pembaca umum, seperti New York Times , dengan alasan menentang pemalsuan bukti eksperimental. Berikan contoh spesifik dan konkret. Petunjuk: Lihat juga Deaton (2010) dan Bothwell et al. (2016) .

17. [ , , ] Difference-in-difference estimator dari efek pengobatan dapat lebih tepat daripada estimator perbedaan-di-mean. Tulis memo untuk insinyur yang bertanggung jawab atas pengujian A / B di perusahaan media sosial baru yang menjelaskan nilai pendekatan perbedaan-dalam-perbedaan untuk menjalankan percobaan online. Memo tersebut harus mencakup pernyataan masalah, beberapa intuisi tentang kondisi di mana estimator perbedaan-dalam-perbedaan akan mengungguli estimator perbedaan-in-mean, dan studi simulasi sederhana.

18. [ , ] Gary Loveman adalah seorang profesor di Harvard Business School sebelum menjadi CEO Harrah's, salah satu perusahaan kasino terbesar di dunia. Ketika dia pindah ke Harrah's, Loveman mengubah perusahaan dengan program kesetiaan seperti frequent-flier yang mengumpulkan sejumlah besar data tentang perilaku pelanggan. Di atas sistem pengukuran yang selalu aktif ini, perusahaan mulai menjalankan eksperimen. Misalnya, mereka mungkin menjalankan eksperimen untuk mengevaluasi efek kupon untuk malam hotel gratis bagi pelanggan dengan pola perjudian tertentu. Inilah bagaimana Loveman menggambarkan pentingnya eksperimen untuk praktik bisnis sehari-hari Harrah:

    “Ini seperti Anda tidak melecehkan wanita, Anda tidak mencuri, dan Anda harus memiliki kelompok kontrol. Ini adalah salah satu hal yang dapat membuat Anda kehilangan pekerjaan di Harrah's — tidak menjalankan kelompok kontrol. ” (Manzi 2012, 146)

    Tulis email kepada karyawan baru yang menjelaskan mengapa Loveman menganggap penting memiliki kelompok kontrol. Anda harus mencoba memasukkan contoh — nyata atau dibuat — untuk mengilustrasikan maksud Anda.

19. [ , ] Percobaan baru bertujuan untuk memperkirakan pengaruh menerima pengingat pesan teks tentang pengambilan vaksinasi. Seratus lima puluh klinik, masing-masing dengan 600 pasien yang memenuhi syarat, bersedia untuk berpartisipasi. Ada biaya tetap $ 100 untuk setiap klinik yang ingin Anda kerjakan, dan biayanya $ 1 untuk setiap pesan teks yang ingin Anda kirim. Selanjutnya, semua klinik yang Anda gunakan akan mengukur hasilnya (apakah seseorang menerima vaksinasi) secara gratis. Asumsikan bahwa Anda memiliki anggaran sebesar $ 1.000.

    1. Dalam kondisi apa yang mungkin lebih baik untuk memfokuskan sumber daya Anda pada sejumlah kecil klinik dan di bawah kondisi apa yang mungkin akan lebih baik untuk menyebarkannya secara lebih luas?
    2. Faktor apa yang akan menentukan ukuran efek terkecil yang dapat Anda deteksi dengan andal dengan anggaran Anda?
    3. Tulis memo yang menjelaskan trade-off ini kepada calon pemberi dana.

20. [ , ] Masalah utama dengan kursus online adalah atrisi: banyak siswa yang memulai kursus akhirnya putus sekolah. Bayangkan bahwa Anda bekerja di platform pembelajaran online, dan seorang perancang di platform telah menciptakan bilah kemajuan visual yang menurutnya akan membantu mencegah siswa keluar dari kursus. Anda ingin menguji efek dari progress bar pada siswa dalam kursus ilmu sosial komputasi besar. Setelah mengatasi masalah etika apa pun yang mungkin muncul dalam eksperimen, Anda dan rekan Anda khawatir bahwa pelatihan mungkin tidak memiliki cukup siswa untuk secara andal mendeteksi efek bilah kemajuan. Dalam perhitungan berikut, Anda dapat mengasumsikan bahwa setengah dari siswa akan menerima bilah kemajuan dan setengah tidak. Lebih lanjut, Anda dapat mengasumsikan bahwa tidak ada gangguan. Dengan kata lain, Anda dapat mengasumsikan bahwa peserta hanya dipengaruhi oleh apakah mereka menerima perlakuan atau kontrol; mereka tidak dipengaruhi oleh apakah orang lain menerima perlakuan atau kontrol (untuk definisi yang lebih formal, lihat bab 8 dari Gerber and Green (2012) ). Melacak semua asumsi tambahan yang Anda buat.

    1. Misalkan progress bar diharapkan dapat meningkatkan proporsi siswa yang menyelesaikan kelas dengan 1 poin persentase; berapa ukuran sampel yang diperlukan untuk mendeteksi efek dengan andal?
    2. Misalkan progress bar diharapkan untuk meningkatkan proporsi siswa yang menyelesaikan kelas dengan 10 poin persentase; berapa ukuran sampel yang diperlukan untuk mendeteksi efek dengan andal?
    3. Sekarang bayangkan Anda telah menjalankan eksperimen, dan siswa yang telah menyelesaikan semua materi pelajaran telah mengikuti ujian akhir. Ketika Anda membandingkan nilai ujian akhir siswa yang menerima bilah kemajuan dengan skor dari mereka yang tidak, Anda menemukan, banyak yang mengejutkan Anda, bahwa siswa yang tidak menerima bilah kemajuan benar-benar mendapat skor lebih tinggi. Apakah ini berarti bahwa progress bar menyebabkan siswa kurang belajar? Apa yang bisa Anda pelajari dari data hasil ini? (Petunjuk: Lihat bab 7 dari Gerber and Green (2012) )

21. [ , , ] Bayangkan Anda bekerja sebagai ilmuwan data di perusahaan teknologi. Seseorang dari departemen pemasaran meminta bantuan Anda dalam mengevaluasi eksperimen yang mereka rencanakan untuk mengukur laba atas investasi (ROI) untuk kampanye iklan online baru. ROI didefinisikan sebagai laba bersih dari kampanye dibagi dengan biaya kampanye. Misalnya, kampanye yang tidak berpengaruh pada penjualan akan memiliki ROI -100%; kampanye di mana keuntungan yang dihasilkan sama dengan biaya akan memiliki ROI 0; dan kampanye di mana keuntungan yang dihasilkan dua kali lipat biaya akan memiliki ROI 200%.

    Sebelum meluncurkan eksperimen, departemen pemasaran memberi Anda informasi berikut berdasarkan penelitian sebelumnya mereka (pada kenyataannya, nilai-nilai ini adalah ciri khas dari kampanye iklan online nyata yang dilaporkan dalam Lewis dan Rao (2015) ):

    • Penjualan rata-rata per pelanggan mengikuti distribusi log-normal dengan rata-rata $ 7 dan deviasi standar $ 75.
    • Kampanye ini diharapkan dapat meningkatkan penjualan sebesar $ 0,35 per pelanggan, yang sesuai dengan peningkatan laba sebesar $ 0,175 per pelanggan.
    • Ukuran yang direncanakan dari percobaan ini adalah 200.000 orang: setengah dalam kelompok perlakuan dan setengahnya pada kelompok kontrol.
    • Biaya kampanye adalah $ 0,14 per peserta.
    • ROI yang diharapkan untuk kampanye adalah 25% [ \((0.175 - 0.14)/0.14\) ]. Dengan kata lain, departemen pemasaran percaya bahwa untuk setiap 100 dolar yang dihabiskan untuk pemasaran, perusahaan akan mendapatkan tambahan $ 25 dalam laba.

    Tulis memo yang mengevaluasi eksperimen yang diusulkan ini. Memo Anda harus menggunakan bukti dari simulasi yang Anda buat, dan memo itu harus mengatasi dua masalah besar: (1) Apakah Anda merekomendasikan peluncuran percobaan ini seperti yang direncanakan? Jika ya, mengapa? Jika tidak, mengapa tidak? Pastikan untuk jelas tentang kriteria yang Anda gunakan untuk membuat keputusan ini. (2) Berapa ukuran sampel yang akan Anda rekomendasikan untuk eksperimen ini? Sekali lagi, pastikan Anda menjelaskan kriteria yang Anda gunakan untuk mengambil keputusan ini.

    Memo yang baik akan membahas kasus spesifik ini; memo yang lebih baik akan menggeneralisasi dari kasus ini dengan satu cara (misalnya, menunjukkan bagaimana keputusan berubah sebagai fungsi ukuran pengaruh kampanye); dan memo besar akan menyajikan hasil yang sepenuhnya digeneralisasikan. Memo Anda harus menggunakan grafik untuk membantu mengilustrasikan hasil Anda.

    Ini dua petunjuk. Pertama, departemen pemasaran mungkin telah memberi Anda beberapa informasi yang tidak perlu, dan mereka mungkin gagal memberi Anda beberapa informasi yang diperlukan. Kedua, jika Anda menggunakan R, ketahuilah bahwa fungsi rlnorm () tidak berfungsi seperti yang diharapkan banyak orang.

    Kegiatan ini akan memberi Anda latihan dengan analisis daya, membuat simulasi, dan mengkomunikasikan hasil Anda dengan kata-kata dan grafik. Ini akan membantu Anda melakukan analisis daya untuk segala jenis eksperimen, bukan hanya eksperimen yang dirancang untuk memperkirakan ROI. Aktivitas ini mengasumsikan bahwa Anda memiliki pengalaman dengan pengujian statistik dan analisis daya. Jika Anda tidak akrab dengan analisis daya, saya sarankan Anda membaca "A Power Primer" oleh Cohen (1992) .

    Kegiatan ini terinspirasi oleh makalah yang indah oleh RA Lewis and Rao (2015) , yang dengan gamblang mengilustrasikan keterbatasan statistik mendasar dari eksperimen yang masif sekalipun. Makalah mereka - yang semula memiliki judul provokatif “Tentang Hampir Tidak Mungkin Mengukur Pengembalian Iklan” - menunjukkan betapa sulitnya mengukur laba atas investasi iklan online, bahkan dengan eksperimen digital yang melibatkan jutaan pelanggan. Secara umum, RA Lewis and Rao (2015) mengilustrasikan fakta statistik mendasar yang sangat penting untuk eksperimen era digital: sulit untuk memperkirakan efek pengobatan kecil di tengah data hasil yang berisik.

22. [ , ] Lakukan hal yang sama seperti pertanyaan sebelumnya, tetapi, daripada simulasi, Anda harus menggunakan hasil analisis.

23. [ , , ] Lakukan hal yang sama seperti pertanyaan sebelumnya, tetapi gunakan hasil simulasi dan analitik.

24. [ , , ] Bayangkan Anda telah menulis memo yang dijelaskan di atas, dan seseorang dari departemen pemasaran menyediakan satu bagian informasi baru: mereka mengharapkan korelasi 0,4 antara penjualan sebelum dan sesudah percobaan. Bagaimana ini mengubah rekomendasi dalam memo Anda? (Petunjuk: lihat bagian 4.6.2 untuk lebih lanjut tentang perbedaan estimator dan estimator selisih-dalam-perbedaan).

25. [ , ] Untuk mengevaluasi efektivitas program bantuan pekerjaan berbasis web baru, sebuah universitas melakukan uji coba terkontrol secara acak di antara 10.000 siswa yang memasuki tahun terakhir sekolah mereka. Langganan gratis dengan informasi log-in unik dikirim melalui undangan email eksklusif ke 5.000 siswa yang dipilih secara acak, sedangkan 5.000 siswa lainnya berada dalam kelompok kontrol dan tidak memiliki langganan. Dua belas bulan kemudian, survei lanjutan (tanpa tanggapan) menunjukkan bahwa pada kelompok perlakuan dan kontrol, 70% siswa telah mendapatkan pekerjaan penuh waktu di bidang yang mereka pilih (Tabel 4.6). Dengan demikian, tampaknya layanan berbasis web tidak berpengaruh.

    Namun, seorang ilmuwan data pintar di universitas melihat data sedikit lebih dekat dan menemukan bahwa hanya 20% dari siswa dalam kelompok perlakuan yang pernah masuk ke akun setelah menerima email. Lebih lanjut, dan agak mengejutkan, di antara mereka yang masuk ke situs web, hanya 60% yang mendapatkan pekerjaan penuh waktu di bidang pilihan mereka, yang lebih rendah daripada tarif untuk orang yang tidak masuk dan lebih rendah dari tarif untuk orang-orang. dalam kondisi kontrol (tabel 4.7).

    1. Berikan penjelasan tentang apa yang mungkin telah terjadi.
    2. Apa dua cara berbeda untuk menghitung efek perawatan dalam eksperimen ini?
    3. Dengan hasil ini, haruskah menyediakan layanan ini untuk semua siswa? Hanya untuk menjadi jelas, ini bukan pertanyaan dengan jawaban sederhana.
    4. Apa yang harus mereka lakukan selanjutnya?

    Petunjuk: Pertanyaan ini melampaui materi yang dibahas dalam bab ini, tetapi membahas masalah-masalah umum dalam eksperimen. Jenis desain eksperimental ini kadang-kadang disebut desain dorongan karena peserta didorong untuk terlibat dalam perawatan. Masalah ini adalah contoh dari apa yang disebut ketidakpatuhan satu sisi (lihat bab 5 dari Gerber and Green (2012) ).

26. [ ] Setelah pemeriksaan lebih lanjut, ternyata eksperimen yang dijelaskan dalam pertanyaan sebelumnya bahkan lebih rumit. Ternyata 10% dari orang-orang dalam kelompok kontrol membayar untuk akses ke layanan, dan mereka berakhir dengan tingkat pekerjaan 65% (tabel 4.8).

    1. Tulis email yang merangkum apa yang Anda pikir sedang terjadi dan merekomendasikan suatu tindakan.

    Petunjuk: Pertanyaan ini melampaui materi yang dibahas dalam bab ini, tetapi membahas masalah-masalah umum dalam eksperimen. Masalah ini adalah contoh dari apa yang disebut ketidakpatuhan dua sisi (lihat bab 6 dari Gerber and Green (2012) ).