4.4 Bergerak di luar percobaan sederhana

Mari kita bergerak di luar percobaan sederhana. Tiga konsep yang berguna untuk eksperimen kaya: validitas, heterogenitas efek pengobatan, dan mekanisme.

Para peneliti yang baru untuk eksperimen sering fokus pada pertanyaan yang sangat spesifik, sempit: apakah pengobatan ini "bekerja"? Misalnya, apakah panggilan telepon dari seorang sukarelawan mendorong seseorang untuk memilih? Apakah mengubah tombol website dari biru untuk kenaikan tarif klik-melalui hijau? Sayangnya, longgar ungkapan tentang apa yang "bekerja" mengaburkan fakta bahwa percobaan difokuskan secara sempit tidak benar-benar memberitahu Anda apakah pengobatan "bekerja" dalam pengertian umum. Sebaliknya, difokuskan secara sempit percobaan menjawab pertanyaan yang jauh lebih spesifik: apa efek rata-rata pengobatan khusus ini dengan implementasi khusus ini untuk populasi ini peserta pada saat ini? Saya akan menelepon percobaan yang berfokus pada pertanyaan sempit percobaan sederhana.

percobaan sederhana dapat memberikan informasi berharga, tetapi mereka gagal untuk menjawab banyak pertanyaan yang penting dan menarik seperti: ada beberapa orang untuk siapa pengobatan memiliki efek yang lebih besar atau lebih kecil ?; ada pengobatan lain yang akan lebih efektif ?; dan bagaimana percobaan ini berhubungan dengan teori-teori sosial yang lebih luas?

Dalam rangka untuk menunjukkan nilai bergerak di luar eksperimen sederhana, mari kita mempertimbangkan salah satu percobaan lapangan analog favorit saya, sebuah studi oleh P. Wesley Schultz dan koleganya pada hubungan antara norma-norma sosial dan konsumsi energi (Schultz et al. 2007) . Schultz dan koleganya tergantung doorhangers pada 300 rumah tangga di San Marcos, California, dan doorhangers ini menyampaikan pesan yang berbeda dirancang untuk mendorong konservasi energi. Kemudian, Schultz dan koleganya mengukur efek dari pesan-pesan pada konsumsi listrik, baik setelah satu minggu dan tiga minggu; lihat Gambar 4.3 untuk penjelasan lebih rinci dari desain eksperimental.

Gambar 4.3: Skema desain dari Schultz et al. (2007) . Percobaan lapangan melibatkan mengunjungi sekitar 300 rumah tangga di San Marcos, California lima kali selama periode delapan minggu. Pada setiap kunjungan para peneliti secara manual mengambil pembacaan dari meteran listrik rumah ini. Pada dua kunjungan para peneliti ditempatkan doorhangers di rumah memberikan beberapa informasi tentang penggunaan energi mereka. Pertanyaan penelitian adalah bagaimana isi pesan tersebut akan berdampak penggunaan energi.

Percobaan memiliki dua kondisi. Pada kondisi pertama, rumah tangga menerima hemat kiat energi umum (misalnya, penggunaan penggemar bukannya AC) dan informasi tentang penggunaan energi rumah tangga mereka dibandingkan dengan rata-rata penggunaan energi di lingkungan mereka. Schultz dan koleganya menyebut ini kondisi deskriptif normatif karena informasi tentang penggunaan energi di lingkungan mereka memberikan informasi tentang perilaku khas (yaitu, norma deskriptif). Ketika Schultz dan rekan melihat penggunaan energi yang dihasilkan dalam kelompok ini, pengobatan tampaknya tidak berpengaruh, baik dalam jangka pendek atau jangka panjang; dengan kata lain, pengobatan tampaknya tidak "bekerja" (Gambar 4.4).

Tapi, untungnya, Schultz et al. (2007) tidak puas analisis sederhana ini. Sebelum eksperimen dimulai mereka beralasan bahwa pengguna berat listrik-orang di atas rata-rata-mungkin mengurangi konsumsi mereka, dan bahwa pengguna cahaya listrik-orang di bawah rata-rata-mungkin benar-benar meningkatkan konsumsi mereka. Ketika mereka melihat data, itulah apa yang mereka temukan (Gambar 4.4). Dengan demikian, apa yang tampak seperti pengobatan yang tidak memiliki efek sebenarnya pengobatan yang memiliki dua efek offsetting. Para peneliti menyebut kenaikan kontra-produktif antara pengguna cahaya efek bumerang.

Gambar 4.4: Hasil dari Schultz et al. (2007) . Panel pertama menunjukkan bahwa perlakuan norma deskriptif diperkirakan memiliki efek pengobatan rata-rata nol. Namun, panel kedua menunjukkan bahwa efek pengobatan rata-rata ini sebenarnya terdiri dari dua efek offsetting. Untuk pengguna berat, pengobatan penurunan penggunaan tetapi untuk pengguna ringan, pengobatan peningkatan penggunaan. Akhirnya, panel ketiga menunjukkan bahwa perlakuan kedua, yang digunakan norma deskriptif dan ganti, memiliki sekitar efek yang sama pada pengguna berat tapi meringankan efek bumerang pada pengguna cahaya.

Selanjutnya, Schultz dan koleganya diantisipasi kemungkinan ini, dan dalam kondisi kedua mereka dikerahkan perawatan yang sedikit berbeda, satu eksplisit dirancang untuk menghilangkan efek bumerang. Rumah tangga dalam kondisi kedua menerima pengobatan-umum yang sama tips menghemat energi yang tepat dan informasi tentang penggunaan energi rumah tangga mereka dibandingkan dengan lingkungan-dengan satu tambahan kecil mereka: untuk orang-orang dengan konsumsi di bawah rata-rata, para peneliti menambahkan :) dan untuk orang dengan konsumsi atas rata-rata mereka menambahkan :( a. emoticon ini dirancang untuk memicu apa yang para peneliti disebut norma ganti. norma Keputusan Hukum merujuk persepsi apa yang sering disetujui (dan disetujui) sedangkan norma deskriptif mengacu pada persepsi dari apa yang sering dilakukan (Reno, Cialdini, and Kallgren 1993) .

Dengan menambahkan satu emoticon kecil ini, para peneliti secara dramatis mengurangi efek bumerang (Gambar 4.4). Jadi, dengan membuat ini sederhana perubahan-perubahan yang didorong oleh teori abstrak sosial psikologis (Cialdini, Kallgren, and Reno 1991) -yang peneliti mampu mengubah program dari salah satu yang tampaknya tidak bekerja menjadi satu yang bekerja, dan, secara bersamaan, mereka mampu berkontribusi pada pemahaman umum tentang bagaimana norma-norma sosial mempengaruhi perilaku manusia.

Pada titik ini, bagaimanapun, Anda mungkin melihat bahwa ada sesuatu yang sedikit berbeda tentang percobaan ini. Secara khusus, percobaan Schultz dan koleganya tidak benar-benar memiliki kelompok kontrol dengan cara yang sama yang terkontrol secara acak percobaan dilakukan. Perbandingan antara desain dan desain Restivo dan van de Rijt menggambarkan perbedaan antara dua desain utama yang digunakan oleh para peneliti. Di antara-subyek desain, seperti Restivo dan van de Rijt, ada kelompok perlakuan dan kelompok kontrol, dan di dalam-pelajaran desain perilaku peserta dibandingkan sebelum dan setelah perawatan (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dalam sebuah percobaan dalam subyek itu seolah-olah setiap peserta bertindak sebagai kelompok kontrol sendiri. Kekuatan antara-subyek desain adalah bahwa hal itu memberikan perlindungan terhadap pembaur (seperti yang saya jelaskan sebelumnya), dan kekuatan dalam-subyek percobaan meningkat presisi dalam perkiraan. Ketika masing-masing peserta bertindak sebagai kontrol mereka sendiri, antara partisipan variasi dihilangkan (lihat Lampiran Teknis). Untuk pertanda suatu yang akan datang kemudian ketika saya menawarkan saran tentang merancang eksperimen digital, ada desain akhir, yang disebut desain campuran, yang menggabungkan lebih teliti dalam-pelajaran desain dan perlindungan terhadap pengganggu antara-subyek desain.

Gambar 4.5: Tiga desain eksperimental. Standard acak percobaan terkontrol menggunakan antara-subyek desain. Contoh dari antara-subyek desain Restivo dan van de Rijt ini (2012) percobaan pada barnstars dan kontribusi ke Wikipedia: peneliti secara acak membagi peserta ke dalam perlakuan dan kelompok kontrol, memberi peserta dalam kelompok perlakuan barnstar, dan membandingkan hasil untuk dua kelompok. Tipe kedua dari desain adalah dalam-pelajaran desain. Dua percobaan di Schultz dan rekan (2007) studi pada norma-norma sosial dan penggunaan energi menggambarkan dalam-pelajaran desain: peneliti membandingkan penggunaan listrik dari peserta sebelum dan setelah menerima perawatan. Dalam-subjek desain menawarkan peningkatan presisi statistik dengan menghilangkan antara subjek varians (lihat Lampiran Teknis), tetapi mereka terbuka untuk kemungkinan pembaur (misalnya, perubahan cuaca antara periode pra-pengobatan dan perawatan) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dalam-subjek desain juga tindakan kadang-kadang disebut berulang desain. Akhirnya, desain campuran menggabungkan lebih teliti dalam-subyek desain dan perlindungan terhadap pengganggu antara-subyek desain. Dalam desain campuran, peneliti membandingkan perubahan hasil bagi orang-orang dalam pengobatan dan kelompok kontrol. Ketika peneliti sudah memiliki informasi pra-pengobatan, seperti halnya di banyak percobaan digital, desain campuran yang lebih baik untuk antara-subyek desain karena keuntungan dalam presisi (lihat Lampiran Teknis).

Secara keseluruhan, desain dan hasil Schultz et al. (2007) menunjukkan nilai bergerak di luar percobaan sederhana. Untungnya, Anda tidak perlu menjadi seorang jenius untuk membuat eksperimen seperti ini. Para ilmuwan sosial telah mengembangkan tiga konsep yang akan membimbing Anda menuju eksperimen kreatif kaya dan lebih: 1) validitas, 2) heterogenitas efek pengobatan, dan 3) mekanisme. Artinya, jika Anda terus tiga ide dalam pikiran saat Anda merancang eksperimen, Anda secara alami akan membuat eksperimen lebih menarik dan berguna. Untuk menggambarkan tiga konsep ini dalam tindakan, saya akan menjelaskan sejumlah tindak lanjut percobaan lapangan sebagian digital yang dibangun pada desain yang elegan dan hasil menarik di Schultz et al. (2007) . Seperti yang akan Anda lihat, melalui desain lebih berhati-hati, pelaksanaan, analisis, dan interpretasi, Anda juga bisa bergerak di luar percobaan sederhana.