Activities

• degree saka kasulitan: gampang , medium , hard , atos banget
• mbutuhake math ( )
• mbutuhake kode ( )
• koleksi data ( )
• Pendhaftaran favorit ( )

1. [Sunting] , ] Berinsky lan kolega (2012) mandhapake MTurk kanthi ngringkes telung eksperimen klasik. Replikasi eksperimen framing Tversky and Kahneman (1981) Asia klasik dening Tversky and Kahneman (1981) . Apa asilmu cocog karo Tversky lan Kahneman? Apa asil sampeyan cocog karo sing Berinsky lan kolega? Apa-apa manawa-apa iki mulang kita babagan nggunakake MTurk kanggo nyinaoni percobaan?

2. [Sunting] , ] Ing kertas sing cetha ing pipi sing judulé "We Have to Break Up," psikolog sosial Robert Cialdini, salah sawijining penulis Schultz et al. (2007) , nyatakake dheweke wis pensiun saka tugas minangka profesor, amarga amarga tantangan dheweke nangani eksperimen lapangan sajrone disiplin (psikologi) sing utamane nglakoni eksperimen lab (Cialdini 2009) . Maca cathetan Cialdini, lan nulis email sing nganjurake supaya dheweke bali maneh babagan kemungkinan eksperimen digital. Gunakake conto-conto spesifik panaliten sing ngatasi masalah.

3. [Sunting] ] Kanggo nemtokake manawa sukses awal cilik ngunci utawa mundur, van de Rijt lan kanca-kanca (2014) ngintervensi dadi 4 sistem sing ngasilake sukses ing peserta sing dipilih kanthi acak, banjur ngukur dampak jangka panjang kasile iki. Apa sampeyan mikir sistem liyane sing bisa nyedhaki eksperimen sing padha? Evaluasi sistem kasebut sajrone masalah nilai ilmiah, algorithmic confounding (pirsani bab 2), lan etika.

4. [Sunting] , ] Hasil eksperimen bisa gumantung marang peserta. Nggawe eksperimen lan banjur mbukak ing MTurk kanthi nggunakake rong cara panrima. Coba milih eksperimen lan strategi rekrutmen supaya asil bakal dadi beda sabisa. Contone, strategi rekrutmen bisa kanggo nganakake panriman peserta ing wayah esuk lan sore utawa kanggo ngganti peserta kanthi bayaran dhuwur lan kurang. Jenis-jenis sing beda ing strategi rekrutmen bisa nyebabake macem-macem klompok peserta lan asil eksperimen sing beda. Kaping sepira asil sampeyan katon beda? Apa sing mbukak babagan eksperimen ing MTurk?

5. [Sunting] , , ] Mbayangno yen sampeyan wis ngrancang eksperimen Conto Emosional (Kramer, Guillory, and Hancock 2014) . Gunakake asil saka pangamatan observational sadurunge dening Kramer (2012) kanggo nemtokake jumlah peserta ing saben kondisi. Iki loro pasinaon ora cocog karo sampurna supaya manawa kanthi jelas nyathet kabeh asumsi sing sampeyan gawe:

   1. Nglakoni simulasi sing bakal nemtokake carane akeh peserta bakal dibutuhake kanggo ndeteksi efek sing gedhe kaya efek ing Kramer (2012) kanthi \(\alpha = 0.05\) lan \(1 - \beta = 0.8\) .
   2. Nglakoni pitungan kanthi analitis.
   3. Amarga asil saka Kramer (2012) Kontrol Emosi (Kramer, Guillory, and Hancock 2014) luwih dhuwur (yaiku, luwih akeh tinimbang dibutuhake)?
   4. Saka asumsi sing digawe, sing duwe efek paling gedhe ing pitungan sampeyan?

6. [Sunting] , , ] Njawab pitakonan sadurunge maneh, nanging wektu iki tinimbang nggunakake studi observasional sadurunge dening Kramer (2012) , gunakake asil saka eksperimen alami sadurunge dening Lorenzo Coviello et al. (2014) .

7. [Sunting] ] Both Margetts et al. (2011) lan van de Rijt et al. (2014) nganakake eksperimen sinau proses wong sing ndhaftarake petisi. Dibandhingake lan kontras desain lan temuan kasebut.

8. [Sunting] ] Dwyer, Maki, and Rothman (2015) nganakake loro eksperimen lapangan babagan hubungan antarane norma sosial lan prilaku lingkungan. Punika abstrak saka kertas:

   "Piye carane ilmu psikologis bisa dimanfaatake kanggo nyengkuyung tingkah laku proenvironmental? Ing rong pasinaon, intervensi ngarahake kanggo ningkatake prilaku konservasi energi ing jedhing umum nguji pengaruh norma-norma deskriptif lan tanggung jawab pribadi. Ing Study 1, status cahya (ie, on utawa off) dimanipulasi sadurunge wong ngetik kamar mandi umum sing ora dikarepake, menehi tandha norma deskriptif kanggo setelan kasebut. Peserta sing luwih gedhé bisa nguripake lampu kasebut yen kedadeyan nalika padha mlebu. Ing Study 2, kawontenan tambahan kalebu ing norma nguripake cahya dituduhake dening salah, nanging peserta ora tanggung jawab kanggo ngowahi. Tanggung jawab pribadi nganakake pengaruh norma-norma sosial tumrap prilaku; nalika peserta ora tanggung jawab kanggo ngowahi cahya, pangaruh norma iki kurang. Hasil kasebut nunjukake carane norma-norma deskriptif lan tanggung jawab pribadi bisa ngatur efektifitas intervensi proenvironmental. "

   Maca kertas lan ngrancang replikasi studi 1.

9. [Sunting] , ] Bangunan ing pitakonan sadurunge, saiki nindakake rancangan sampeyan.

   1. Apa asil dibandhingake?
   2. Apa sing bisa nerangake beda-beda iki?

10. [Sunting] ] Ana perdebatan substansial babagan eksperimen nggunakake peserta sing direkrut saka MTurk. Ing pawarta, ana uga perdebatan substansial babagan eksperimen kanthi nggunakake peserta sing direkrut saka populasi mahasiswa. Tulis memo rong halaman mbandingake lan mbedakake Turker lan mahasiswa minangka peserta riset. Perbandhingan sampeyan kudu kalebu diskusi loro masalah ilmiah lan logistik.

11. [Sunting] ] Buku Jim Manzi Uncontrolled (2012) yaiku introduksi apik kanggo daya eksperimen ing bisnis. Ing buku kasebut, dheweke ngandharake crita iki:

    "Aku tau ing rapat karo jenius bisnis sejati, miliarder dhéwé sing wis ngetrapake kekuwatan percobaan jero, intuitif. Perusahaané ngasilake sumber daya sing gedhe kanggo nyoba nggawe tampilan jendela gedhe sing bakal narik kawigaten para konsumen lan mundhak dodolan, amarga kawicaksanan konvensional kasebut kudu. Ahli-ahli mesthi dites desain kanthi resik, lan ing sesi review tes individu liwat periode taun katahan ora nuduhake efek nyebabake wujud saben desain tampilan anyar ing dodolan. Eksekutif senior marketing lan merchandising ketemu karo CEO kanggo maneh asil test sajarah ing toto. Sawise nemtokake kabeh data eksperimen, padha nyimpulake yen kawicaksanan konvensional salah - sing nampilake jendhela ora ngedol penjualan. Tindakan sing disaranake kanggo ngurangi biaya lan usaha ing wilayah iki. Iki sacara dramatis nuduhake kemampuan eksperimen kanggo mbobol kawicaksanan konvensional. Tanggepan CEO iku prasaja: 'Kesimpulan kula yaiku yen perancang sampeyan ora apik banget.' Solusie iku kanggo nambah gaweyan ing desain tampilan nyimpen, lan kanggo njaluk wong anyar kanggo nindakake. " (Manzi 2012, 158–9)

    Jinis sing sah yaiku keprihatinan saka CEO?

12. [Sunting] ] Bangunan ing pitakonan sadurunge, mbayangno yen sampeyan ana ing patemon ing ngendi asil saka eksperimen kasebut dibahas. Apa papat pitakonan sing bisa takon-siji kanggo saben jinis validitas (statistik, mbangun, internal, lan eksternal)?

13. [Sunting] ] Bernedo, Ferraro, and Price (2014) nyinaoni efek pitung taun saka intervensi Ferraro, Miranda, and Price (2011) banyu sing diterangake ing Ferraro, Miranda, and Price (2011) (pirsani angka 4.11). Ing koran kasebut, Bernedo lan kanca-kanca uga nyoba kanggo mangerteni mekanisme kasebut kanthi mbandhingaké prilaku rumah tangga sing wis lan ora dipindhah sawisé perawatan kasebut dikirim. Iku, kira-kira, padha nyoba kanggo ndeleng apa perawatan sing nyedhiyakake omah utawa homeowner.

    1. Maca kertas, njlèntrèhaké rancangané, lan ngringkes temuané.
    2. Apa temuan kasebut nyebabake sampeyan kudu netepake efektifitas biaya saka intervensi sing padha? Yen mangkono, ngapa? Yen ora, kenapa ora?

14. [Sunting] ] Ing Schultz et al. (2007) , Schultz lan kanca-kancane nampilake seri telung eksperimen babagan pengaruh norma deskriptif lan injunctif ing prilaku lingkungan sing beda-beda (reuse gulung) ing rong konteks (hotel lan kondominium timeshare) (Schultz, Khazian, and Zaleski 2008) .

    1. Nyimpulake desain lan temuan eksperimen telu iki.
    2. Carane, yen kabeh, padha ngganti interpretasi sampeyan Schultz et al. (2007) ?

15. [Sunting] ] Kanggo nanggepi Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) nglakokake eksperimen eksperimen lab kanggo sinau desain tagihan listrik. Mangkene carane dheweke njlèntrèhaké ing abstrak:

    "Ing eksperimen berbasis survey, saben peserta nemokake tagihan listrik hipotetis kanggo kulawarga kanthi nggunakake listrik sing relatif dhuwur, kalebu informasi babagan (a) penggunaan historis, (b) bandingake karo tetangga, lan (c) nggunakake historis karo kegagalan piranti. Peserta weruh kabeh jinis informasi ing salah siji saka telung format kalebu (a) tabel, (b) grafik garis, lan (c) grafik lambang. Kita nglapurake telung penemuan utama. Kapisan, konsumen mangertos saben jinis informasi panggunaan listrik ingkang paling nalika dipresentasikan ing meja, mbok bilih wonten tabel ingkang nggadahi pandhuan titik ingkang prasaja. Kapindho, pilihan lan niat kanggo nyimpen listrik dadi paling kuat kanggo informasi panggunaan historis, tanpa format. Kapindho, individu sing nduweni kesusastraan energi luwih murah mangertos kabeh informasi kurang. "

    Ora kaya studi panularan liyane, asil utama saka kapentingan ing Canfield, Bruin, and Wong-Parodi (2016) kacarita tingkah laku, ora nyata prilaku. Apa kekiyatan lan kelemahane jinis sinau iki sajrone program riset sing luwih akeh ngenalaken penghematan energi?

16. [Sunting] , ] Smith and Pell (2003) nyatake meta-analisis satiris saka studi sing nuduhake efektivitas parasut. Padha nyimpulake:

    "Minangka akeh intervensi sing dimaksudake kanggo nyegah kesehatan sing gerah, efektivitas parasut ora ditindakake kanthi evaluasi kaku kanthi nggunakake uji coba kanthi acak. Penasehat obat-obatan sing adhedhasar bukti wis ngritik adopsi intervensi sing dievaluasi kanthi nggunakake data observasi mung. Kita mikir yen saben wong bisa entuk manfaat yen protagonists paling radikal saka bukti basis medicine diatur lan melu ing wuta pindho, randomized, placebo kontrol, nyoba crossover parasut. "

    Tulis op-ed cocok kanggo koran umum-pembaca, kayata New York Times , arguing marang fetishization bukti eksperimental. Nyedhiyakake, conto konkrit sing spesifik. Petunjuk: Deleng uga Deaton (2010) lan Bothwell et al. (2016) .

17. [Sunting] , , Pengangguran beda-beda ing efek perawatan bisa luwih tepat tinimbang prabédan beya-beda. Tulis memo menyang insinyur sing ngetokake ujian A / B ing perusahaan media sosial wiwitan sing njelasake nilai saka pendekatan sing beda-beda kanggo ngolah eksperimen online. Memo kudu kalebu statement saka masalah, sawetara intuisi babagan kondisi ing ngisor iki sing prabédan ing prabédan bakal ngluwihi pangaji beda-ing-tegese, lan sinau simulasi prasaja.

18. [Sunting] , ] Gary Loveman minangka profesor ing Harvard Business School sadurunge dadi CEO saka Harrah, salah sawijining perusahaan kasino paling gedhe ing donya. Nalika pindhah menyang Harrah, Loveman ngowahi perusahaan kasebut kanthi program kesetiaan kaya-flier sing ngumpetake jumlah data babagan prilaku pelanggan. Ing ndhuwur sistem pangukuran tansah iki, perusahaan mulai nggarap eksperimen. Contone, bisa uga nglakokake eksperimen kanggo ngevaluasi efek kupon kanggo wengi hotel gratis kanggo para pelanggan kanthi pola gambling tartamtu. Punika babagan Loveman nyathetaken wigatos percobaan tumrap praktik bisnis Harrah:

    "Iku kaya sampeyan ora ngganggu wanita, sampeyan ora nyolong, lan sampeyan kudu duwe grup kontrol. Iki minangka salah sawijining perkara sing bisa ngilangi proyek sampeyan ing Harrah's-ora nglakokake grup kontrol. " (Manzi 2012, 146)

    Tulis email menyang pegawe anyar sing njelasake yen Loveman mikir yen penting banget kanggo duwe grup kontrol. Sampeyan kudu nyoba kanggo nyakup conto-kayata nyata utawa arupi-kanggo nggambarake titik sampeyan.

19. [Sunting] , ] Ekspedisi anyar yakuwi kanggo ngira efek saka nampa pangeling pesen teks babagan pangobatan vaksinasi. Klinik satus lan sèket, saben kanthi 600 pasien sing layak, wis melu. Ana biaya tetep $ 100 kanggo saben klinik sing pengin digarap, lan biaya $ 1 kanggo saben pesen teks sing arep dikirim. Luwih, klinik-klinik sing sampeyan gunakake kanggo ngukur kasil (manawa wong nampa vaksinasi) gratis. Anggap sampeyan duwe budget $ 1,000.

    1. Apa kahanan apa luwih becik kanggo musatake sumber daya ing sawetara klinik lan apa kahanan sing luwih apik kanggo nyebar luwih akeh?
    2. Apa faktor sing bakal nemtokake ukuran efek sing paling cilik sing bakal bisa dideteksi kanthi budget sampeyan?
    3. Tulis memo sing njlèntrèhaké perdagangan kasebut kanggo funder potensial.

20. [Sunting] , ] Masalah utama karo kursus online yaiku attrition: akeh siswa sing miwiti kursus pungkasan nempel metu. Mbayangno sing digunakake ing platform pembelajaran online, lan desainer ing platform nggawe garis progres visual sing dheweke mikir bakal mbiyantu nyegah mahasiswa metu saka dalan kasebut. Sampeyan pengin nyoba efek saka bar kemajuan ing mahasiswa ing kursus ilmu sosial komputasi gedhe. Sawise ngatasi masalah etika sing bisa muncul ing eksperimen, sampeyan lan kanca-kanca bakal nuwuhake kahanan sing mesthi wae ora cukup kanggo bisa ndeteksi efek efek bar progres. Ing perhitungan ing ngisor iki, sampeyan bisa ngira yen setengah murid bakal nampa garis progres lan setengah ora. Luwih, sampeyan bisa nganggep yen ora ana gangguan. Ing tembung liyane, sampeyan bisa nganggep yen para peserta mung kena pengaruh manawa padha nampa perawatan utawa kontrol; wong ora ditrapake manawa wong liya nampa perawatan utawa kontrol (kanggo definisi luwih formal, pirsani bab 8 saka Gerber and Green (2012) ). Nglacak sembarang asumsi tambahan sing digawe.

    1. Upamane bar progres diajukake nambah proporsi siswa sing ngrampungake kelas kanthi 1 titik persentase; apa ukuran sampel sing perlu kanggo ndeteksi efek kasebut?
    2. Upamane bar progres diajukake nambah proporsi siswa sing ngrampungake kelas kanthi 10 persentase poin; apa ukuran sampel sing perlu kanggo ndeteksi efek kasebut?
    3. Saiki bayangake yen sampeyan nglakoni eksperimen kasebut, lan siswa sing wis rampung kabeh bahan kursus wis njupuk ujian akhir. Yen sampeyan mbandhingake skor ujian final siswa sing nampa bar progres kanthi skor saka sing ora, sampeyan nemokake, akeh sing kaget, yen murid sing ora nampa garis progresor mung ngetung luwih dhuwur. Punapa punika tegesipun bilih kemajenganipun nyebabaken siswa sinau kurang? Apa sampeyan bisa sinau saka data hasil kasebut? (Petunjuk: Waca bab 7 saka Gerber and Green (2012) )

21. [Sunting] , , ] Mbayangno sing digunakake minangka ilmuwan data ing perusahaan teknologi. Sapa saka departemen marketing nyuwun bantuan sampeyan ing ngevaluasi eksperimen sing dirancang kanggo ngukur panulise investasi (ROI) kanggo kampanye iklan online sing anyar. ROI ditetepake minangka keuntungan netepake kampanye sing dibagi dening biaya kampanye. Contone, kampanye sing ora duwe pangaruh ing sales bakal duwe ROI saka -100%; kampanye sing entuk keuntungan sing padha karo biaya bakal duwe ROI 0; lan kampanye ing ngendi bathi sing dikasilake kaping pindho bakal duwe ROI 200%.

    Sadurunge nglakokake eksperimen kasebut, departemen marketing menehi informasi ing ngisor iki adhedhasar panaliten kasebut sadurungé (ing kasunyatan, nilai-nilai kasebut khas saka kampanye iklan online nyata sing dilapurake ing Lewis lan Rao (2015) ):

    • Rata-rata sales per customer nderek distribusi normal-normal kanthi rata-rata $ 7 lan standar deviasi saka $ 75.
    • Kampanye iki dijenengi kanggo ningkatake dodolan dening $ 0.35 saben pelanggan, sing cocog karo keuntungan ing $ 0.175 saben pelanggan.
    • Ukuran eksperimen sing direncanakake yaiku 200.000 wong: setengah ing grup perawatan lan setengah ing grup kontrol.
    • Biaya kampanye yaiku $ 0.14 saben peserta.
    • ROI sing dikarepake kanggo kampanye iku 25% [ \((0.175 - 0.14)/0.14\) ]. Ing tembung liya, departemen pamasaran percaya yen saben 100 dolar digunakake ing marketing, perusahaan bakal entuk keuntungan $ 25 tambahan.

    Tulis memo sing ngevaluasi eksperimen sing ngajokaken iki. Memo sampeyan kudu nggunakake bukti saka simulasi sing digawe, lan kudu ngatasi loro masalah utama: (1) Apa saranake ngetokake eksperimen iki minangka ngrancang? Yen mangkono, ngapa? Yen ora, kenapa ora? Priksa manawa sampeyan kritis babagan kritéria sing sampeyan gunakake kanggo nggawe keputusan iki. (2) Ukuran sampel apa sing disaranake kanggo eksperimen iki? Maneh dhisik, manawa sampeyan krungu bab kritéria sing sampeyan gunakake kanggo nggawe keputusan iki.

    A memo apik bakal nemtokake kasus tartamtu iki; Mémo sing luwih apik bakal umumake saka kahanan iki kanthi cara siji (contone, nuduhake kaputusan keputusan minangka fungsi ukuran efek kampanye); lan memo gedhe bakal ngasilake asil sing wis umum. Memo sampeyan kudu nggunakake grafik kanggo nggambarake asil sampeyan.

    Kene loro pitakon. Pisanan, departemen pamasaran bisa uga nyedhiyakake sampeyan karo sawetara informasi sing ora perlu, lan mungkin ora bisa menehi sampeyan informasi penting. Kapindho, yen sampeyan nggunakake R, sumurup yen fungsi rlnorm () ora bisa nglakoni cara sing dianggep akeh.

    Kegiatan iki bakal menehi sampeyan latihan kanthi analisis daya, nggawe simulasi, lan nyambangi asil karo tembung lan gambar. Sampeyan kudu mbantu nggarap analisis daya kanggo kabeh eksperimen, ora mung eksperimen sing dirancang kanggo ngira ROI. Kegiatan iki nganggep sampeyan duwe sawetara pengalaman karo analisis statistik lan analisis daya. Yen sampeyan ora kenal analisis daya, aku nyaranake sampeyan maca "A Power Primer" dening Cohen (1992) .

    Kegiatan iki diilhami dening kertas sing apik dening RA Lewis and Rao (2015) , kanthi gamblang ilustrasi watesan statistik dhasar saka eksperimen sing gedhé banget. Kertas kasebut - sing asale saka judhul provokatif "On the Near-Impossibility of Measuring the Returns to Advertising" -dadi carane angel iku kanggo ngukur bali ing investasi iklan online, malah karo percobaan digital nglibatno jutaan pelanggan. Sacara umum, RA Lewis and Rao (2015) nggambarake fakta statistik dhasar sing penting banget kanggo eksperimen umur digital: angel ngira efek perawatan cilik ing tengah-tengah data asil rame.

22. [Sunting] , ] Apa padha karo pitakonan sadurunge, nanging, tinimbang simulasi, sampeyan kudu nganggo asil analitis.

23. [Sunting] , , ] Aja padha karo pitakonan sadurunge, nanging nggunakake simulasi lan asil analitik.

24. [Sunting] , , ] Mbayangno yen sampeyan wis nulis mémo sing wis dijelasake ing ndhuwur, lan wong saka departemen marketing nyedhiyakake siji informasi anyar: padha nyana korélasi 0,4 ing antarane dodolan sadurungé lan sawise eksperimen. Kepiye cara ngganti rekomendasi ing memo sampeyan? (Petunjuk: waca bagean 4.6.2 kanggo luwih prabédan tegese lan prabédan ing beda-beda.)

25. [Sunting] , ] Kanggo ngevaluasi efektivitas program bantuan dhasar berbasis web anyar, sawijining universitas nganakake uji coba kontrol kanthi acak ing antarane 10.000 siswa sing mlebu sekolah pungkasan. Langganan gratis karo informasi log unik dikirim liwat undangan email ekslusif kanggo 5,000 siswa sing dipilih sacara acak, sementara 5,000 siswa liyane berada ing grup kontrol lan ora duwe langganan. Durung puluhan wulan salajengipun, survei tindak lanjut (tanpa responden) nedahaken bilih wonten ing kelompok perawatan lan kontrol, 70% siswa kedah nguwaosi lapangan kerja ing lapangan ingkang kapilih (Tabel 4.6). Mangkono, pranyata layanan basis web ora nduweni pengaruh.

    Nanging, ilmuwan data sing pinter ing universitas nyumurupi data sing luwih cedhak lan nemokake yen mung 20% ​​siswa ing grup perawatan sing wis dicathet ing akun sawise nampa email. Luwih, lan rada kaget, ing antarane wong-wong sing mlebu log ing situs web, mung 60% wis nampa full-time lapangan ing lapangan sing dipilih, sing luwih murah tinimbang tingkat wong sing ora mlebu lan luwih murah tinimbang tingkat wong ing kondisi kontrol (Tabel 4.7).

    1. Nyedhiyani penjelasan apa sing bisa kedadeyan.
    2. Apa loro cara sing beda kanggo ngitung efek saka perawatan ing eksperimen iki?
    3. Given asil iki, ngirim nyedhiyakake layanan iki kanggo kabeh mahasiswa? Cukup dadi jelas, iki ora dadi pitakonan karo jawaban sing prasaja.
    4. Apa sing kudu dilakoni sabanjure?

    Petunjuk: Pitakonan iki ngluwihi materi sing ditrapake ing bab iki, nanging alamat masalah umum ing eksperimen. Desain eksperimen jenis iki kadhangkala disebut desain dorongan amarga peserta didhukung kanggo ngobati perawatan kasebut. Masalah iki minangka conto saka apa sing disebut minangka noncompliance siji-sisi (pirsani bab 5 Gerber and Green (2012) ).

26. [Sunting] ] Sawise pemeriksaan luwih lanjut, ternyata eksperimen sing dijelasake ing pitakonan sadurunge malah luwih rumit. Minangka 10% wong ing grup kontrol mbayar akses menyang layanan, lan padha karo tingkat pengangguran 65% (Tabel 4.8).

    1. Tulis email sing nyimpulake apa sing sampeyan kira wis kedadeyan lan rekomendasikake tindakan.

    Petunjuk: Pitakonan iki ngluwihi materi sing ditrapake ing bab iki, nanging alamat masalah umum ing eksperimen. Masalah iki minangka conto saka apa sing diarani noncompliance loro-lorone (pirsani bab 6 Gerber and Green (2012) ).