4.4 Bergerak di luar percobaan sederhana
Mari kita beralih dari eksperimen sederhana. Tiga konsep berguna untuk eksperimen yang kaya: validitas, heterogenitas efek perawatan, dan mekanisme.
Peneliti yang baru dalam eksperimen sering fokus pada pertanyaan yang sangat spesifik dan sempit: Apakah perawatan ini "berhasil"? Misalnya, apakah panggilan telepon dari seorang sukarelawan mendorong seseorang untuk memilih? Apakah mengubah tombol situs web dari biru menjadi hijau meningkatkan rasio klik-tayang? Sayangnya, ungkapan longgar tentang apa yang "berhasil" mengaburkan fakta bahwa eksperimen yang terfokus secara sempit tidak benar-benar memberi tahu Anda apakah suatu perawatan "bekerja" dalam arti umum. Sebaliknya, eksperimen yang berfokus sempit menjawab pertanyaan yang jauh lebih spesifik: Apa efek rata-rata dari perlakuan khusus ini dengan penerapan khusus untuk populasi peserta saat ini? Saya akan memanggil eksperimen yang fokus pada eksperimen sederhana pertanyaan sempit ini.
Eksperimen sederhana dapat memberikan informasi yang berharga, tetapi mereka gagal menjawab banyak pertanyaan yang penting dan menarik, seperti apakah ada beberapa orang yang mendapat perlakuan lebih besar atau lebih kecil; apakah ada pengobatan lain yang akan lebih efektif; dan apakah eksperimen ini berkaitan dengan teori sosial yang lebih luas.
Untuk menunjukkan nilai bergerak di luar eksperimen sederhana, mari kita pertimbangkan percobaan medan analog oleh P. Wesley Schultz dan rekan tentang hubungan antara norma sosial dan konsumsi energi (Schultz et al. 2007) . Schultz dan koleganya menggantung penutup pintu pada 300 rumah tangga di San Marcos, California, dan pengantar pintu ini menyampaikan pesan berbeda yang dirancang untuk mendorong konservasi energi. Kemudian, Schultz dan rekan mengukur pengaruh pesan-pesan ini terhadap konsumsi listrik, baik setelah satu minggu dan setelah tiga minggu; lihat gambar 4.3 untuk deskripsi lebih rinci tentang desain eksperimental.
Gambar 4.3: Skema desain eksperimental dari Schultz et al. (2007) . Percobaan lapangan melibatkan kunjungan sekitar 300 rumah tangga di San Marcos, California lima kali selama periode delapan minggu. Pada setiap kunjungan, para peneliti secara manual mengambil pembacaan dari meteran listrik rumah. Pada dua kunjungan, mereka menempatkan penutup pintu di setiap rumah yang menyediakan beberapa informasi tentang penggunaan energi rumah tangga. Pertanyaan penelitian adalah bagaimana isi pesan-pesan ini akan memengaruhi penggunaan energi.
Percobaan memiliki dua kondisi. Pada awalnya, rumah tangga menerima kiat-kiat penghematan energi umum (misalnya, menggunakan kipas sebagai ganti AC) dan informasi tentang penggunaan energi mereka dibandingkan dengan penggunaan energi rata-rata di lingkungan mereka. Schultz dan rekannya menyebut ini sebagai kondisi normatif deskriptif karena informasi tentang penggunaan energi di lingkungan menyediakan informasi tentang perilaku yang khas (yaitu, norma deskriptif). Ketika Schultz dan rekannya melihat penggunaan energi yang dihasilkan dalam kelompok ini, perlakuan itu tampaknya tidak memiliki efek, baik dalam jangka pendek maupun panjang; dengan kata lain, perawatan tidak tampak "berhasil" (gambar 4.4).
Untungnya, Schultz dan rekannya tidak puas dengan analisis sederhana ini. Sebelum percobaan dimulai, mereka beralasan bahwa pengguna listrik yang banyak — orang-orang di atas rata-rata — mungkin mengurangi konsumsi mereka, dan bahwa pengguna listrik yang ringan — orang-orang di bawah rata-rata — mungkin benar-benar meningkatkan konsumsi mereka. Ketika mereka melihat data, itulah yang mereka temukan (gambar 4.4). Dengan demikian, apa yang tampak seperti perawatan yang tidak memiliki efek sebenarnya adalah perawatan yang memiliki dua efek pengimbang. Peningkatan kontraproduktif di antara pengguna cahaya adalah contoh dari efek bumerang , di mana perawatan dapat memiliki efek berlawanan dari apa yang dimaksudkan.
Gambar 4.4: Hasil dari Schultz et al. (2007) . Panel (a) menunjukkan bahwa perlakuan norma deskriptif memiliki perkiraan efek pengobatan rata-rata nol. Namun, panel (b) menunjukkan bahwa efek pengobatan rata-rata ini sebenarnya terdiri dari dua efek pengimbang. Untuk pengguna berat, perawatan mengurangi penggunaan tetapi untuk pengguna ringan, perawatan meningkatkan penggunaan. Akhirnya, panel (c) menunjukkan bahwa perlakuan kedua, yang menggunakan norma-norma deskriptif dan injunctive, memiliki efek yang hampir sama pada pengguna berat tetapi mengurangi efek bumerang pada pengguna cahaya. Diadaptasi dari Schultz et al. (2007) .
Bersamaan dengan kondisi pertama, Schultz dan rekan juga berlari kondisi kedua. Rumah tangga dalam kondisi kedua menerima perlakuan yang sama persis — kiat-kiat penghematan energi umum dan informasi tentang penggunaan energi rumah tangga mereka dibandingkan dengan rata-rata untuk lingkungan mereka — dengan satu tambahan kecil: untuk orang-orang dengan konsumsi di bawah rata-rata, para peneliti menambahkan: ) dan untuk orang-orang dengan konsumsi di atas rata-rata mereka menambahkan :(. Emotikon ini dirancang untuk memicu apa yang disebut para peneliti sebagai norma-norma hukuman. norma-norma injunctive merujuk pada persepsi tentang apa yang secara umum disetujui (dan tidak disetujui), sedangkan norma-norma deskriptif merujuk pada persepsi tentang apa yang biasa dilakukan (Reno, Cialdini, and Kallgren 1993) .
Dengan menambahkan satu emoticon kecil ini, para peneliti secara dramatis mengurangi efek bumerang (gambar 4.4). Dengan demikian, dengan membuat perubahan sederhana ini - perubahan yang dimotivasi oleh teori psikologi sosial abstrak (Cialdini, Kallgren, and Reno 1991) - para peneliti mampu mengubah sebuah program yang tampaknya tidak bekerja menjadi satu yang berhasil, dan, secara bersamaan, mereka mampu berkontribusi pada pemahaman umum tentang bagaimana norma-norma sosial mempengaruhi perilaku manusia.
Namun, pada titik ini, Anda mungkin memperhatikan bahwa ada sesuatu yang sedikit berbeda dari eksperimen ini. Secara khusus, eksperimen Schultz dan rekannya tidak benar-benar memiliki kelompok kontrol dengan cara yang sama seperti eksperimen terkontrol acak. Perbandingan antara desain ini dan desain Restivo dan van de Rijt menggambarkan perbedaan antara dua desain eksperimental utama. Dalam desain antara subjek , seperti Restivo dan van de Rijt, ada kelompok perlakuan dan kelompok kontrol. Dalam desain dalam subjek , di sisi lain, perilaku peserta dibandingkan sebelum dan sesudah perawatan (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dalam eksperimen di dalam subjek, seolah-olah setiap peserta bertindak sebagai kelompok kontrolnya sendiri. Kekuatan desain antara subjek adalah bahwa mereka memberikan perlindungan terhadap pembaur (seperti yang saya jelaskan sebelumnya), sementara kekuatan eksperimen dalam mata pelajaran meningkatkan ketepatan perkiraan. Akhirnya, untuk memberi bayangan sebuah gagasan yang akan datang kemudian ketika saya menawarkan saran tentang merancang eksperimen digital, desain_mencampur_meningkatkan ketepatan yang diperbaiki dari desain dalam subjek dan perlindungan terhadap pembauran antar-desain subjek (gambar 4.5).
Gambar 4.5: Tiga desain eksperimental. Eksperimen terkontrol acak standar menggunakan desain antara subjek . Contoh desain antara subjek adalah eksperimen Restivo dan van de Rijt (2012) pada barnstars dan kontribusi ke Wikipedia: para peneliti secara acak membagi peserta ke dalam kelompok perlakuan dan kontrol, memberi peserta dalam kelompok perlakuan barnstar, dan membandingkan hasil untuk dua kelompok. Jenis desain kedua adalah desain dalam subjek . Dua percobaan dalam penelitian Schultz dan rekan (2007) tentang norma-norma sosial dan penggunaan energi mengilustrasikan desain dalam subjek: para peneliti membandingkan penggunaan listrik dari peserta sebelum dan sesudah menerima perawatan. Di dalam subjek desain menawarkan peningkatan presisi statistik, tetapi mereka terbuka untuk pembaur mungkin (misalnya, perubahan cuaca antara pra-perawatan dan periode perawatan) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Desain dalam subjek juga kadang disebut desain berulang. Akhirnya, desain campuran menggabungkan ketepatan yang ditingkatkan dari desain dalam subjek dan perlindungan terhadap pembauran antara desain subjek. Dalam desain campuran, peneliti membandingkan perubahan hasil untuk orang dalam kelompok perlakuan dan kontrol. Ketika peneliti sudah memiliki informasi pra-perawatan, seperti halnya dalam banyak percobaan digital, desain campuran umumnya lebih disukai untuk desain antar-subjek karena mereka menghasilkan peningkatan ketepatan perkiraan.
Secara keseluruhan, desain dan hasil penelitian oleh Schultz dan rekan (2007) menunjukkan nilai bergerak di luar eksperimen sederhana. Untungnya, Anda tidak perlu menjadi seorang jenius kreatif untuk merancang eksperimen seperti ini. Ilmuwan sosial telah mengembangkan tiga konsep yang akan memandu Anda menuju eksperimen yang lebih kaya: (1) validitas, (2) heterogenitas efek pengobatan, dan (3) mekanisme. Artinya, jika Anda tetap mengingat ketiga gagasan ini saat merancang eksperimen, Anda secara alami akan membuat eksperimen yang lebih menarik dan bermanfaat. Untuk mengilustrasikan ketiga konsep ini dalam aksi, saya akan mendeskripsikan sejumlah tindak lanjut percobaan lapangan digital sebagian yang dibangun di atas desain elegan dan hasil menarik dari Schultz dan rekan (2007) . Seperti yang akan Anda lihat, melalui desain, implementasi, analisis, dan interpretasi yang lebih hati-hati, Anda juga dapat bergerak melampaui eksperimen sederhana.
