4.4.2 Heterogenitas efek pengobatan

Eksperimen biasanya mengukur efek rata-rata, tetapi efeknya mungkin tidak sama untuk semua orang.

Ide kunci kedua untuk bergerak di luar eksperimen sederhana adalah heterogenitas efek pengobatan . Percobaan Schultz et al. (2007) kuat menggambarkan bagaimana perlakuan yang sama dapat memiliki efek yang berbeda pada berbagai jenis orang (gambar 4.4). Dalam kebanyakan percobaan analog, bagaimanapun, para peneliti berfokus pada efek pengobatan rata-rata karena ada sejumlah kecil peserta dan sedikit yang diketahui tentang mereka. Namun, dalam eksperimen digital, sering ada lebih banyak peserta dan lebih banyak yang diketahui tentang mereka. Dalam lingkungan data yang berbeda ini, peneliti yang terus memperkirakan hanya efek pengobatan rata-rata akan kehilangan cara di mana perkiraan tentang heterogenitas efek pengobatan dapat memberikan petunjuk tentang cara kerja perawatan, bagaimana cara meningkatkannya, dan bagaimana hal itu dapat ditargetkan. bagi mereka yang paling mungkin mendapat manfaat.

Dua contoh heterogenitas efek pengobatan berasal dari penelitian tambahan pada Laporan Energi Home. Pertama, Allcott (2011) menggunakan ukuran sampel yang besar (600.000 rumah tangga) untuk membagi sampel lebih jauh dan memperkirakan efek Laporan Energi Rumah dengan menguraikan penggunaan energi pra-perawatan. Sementara Schultz et al. (2007) menemukan perbedaan antara pengguna berat dan ringan, Allcott (2011) menemukan bahwa ada juga perbedaan dalam kelompok pengguna berat dan ringan. Sebagai contoh, pengguna terberat (mereka yang berada di desil paling atas) mengurangi penggunaan energi mereka dua kali lebih banyak daripada seseorang di tengah kelompok pengguna berat (gambar 4.8). Selanjutnya, memperkirakan efek dengan perilaku pra-perlakuan juga mengungkapkan bahwa tidak ada efek bumerang, bahkan untuk pengguna paling ringan (gambar 4.8).

Gambar 4.8: Heterogenitas efek pengobatan di Allcott (2011) . Penurunan penggunaan energi berbeda untuk orang-orang di desil yang berbeda dari penggunaan baseline. Diadaptasi dari Allcott (2011) , gambar 8.

Dalam sebuah studi yang terkait, Costa and Kahn (2013) berspekulasi bahwa efektivitas Laporan Energi Home dapat bervariasi berdasarkan ideologi politik peserta dan bahwa perawatan mungkin benar-benar menyebabkan orang dengan ideologi tertentu untuk meningkatkan penggunaan listrik mereka. Dengan kata lain, mereka berspekulasi bahwa Laporan Energi Rumah mungkin menciptakan efek bumerang untuk beberapa jenis orang. Untuk menilai kemungkinan ini, Costa dan Kahn menggabungkan data Opower dengan data yang dibeli dari pengumpul pihak ketiga yang mencakup informasi seperti pendaftaran partai politik, donasi ke organisasi lingkungan, dan partisipasi rumah tangga dalam program energi terbarukan. Dengan dataset yang digabungkan ini, Costa dan Kahn menemukan bahwa Laporan Home Energy menghasilkan efek yang sangat mirip bagi para peserta dengan ideologi yang berbeda; tidak ada bukti bahwa setiap kelompok menunjukkan efek bumerang (gambar 4.9).

Gambar 4.9: Heterogenitas efek pengobatan di Costa and Kahn (2013) . Efek perawatan rata-rata yang diperkirakan untuk seluruh sampel adalah -2,1% [-1,5%, -2,7%]. Setelah menggabungkan informasi dari percobaan dengan informasi tentang rumah tangga, Costa and Kahn (2013) menggunakan serangkaian model statistik untuk memperkirakan efek pengobatan untuk kelompok orang yang sangat spesifik. Dua perkiraan disajikan untuk setiap kelompok karena perkiraan bergantung pada kovariat yang dimasukkan dalam model statistik mereka (lihat model 4 dan 6 pada tabel 3 dan 4 di Costa and Kahn (2013) ). Seperti contoh ini mengilustrasikan, efek pengobatan dapat berbeda untuk orang yang berbeda dan perkiraan efek pengobatan yang berasal dari model statistik dapat bergantung pada detail dari model tersebut (Grimmer, Messing, and Westwood 2014) . Diadaptasi dari Costa and Kahn (2013) , tabel 3 dan 4.

Seperti yang diilustrasikan dua contoh ini, di era digital, kita dapat berpindah dari memperkirakan efek pengobatan rata-rata untuk memperkirakan heterogenitas efek pengobatan karena kita dapat memiliki lebih banyak peserta dan kita tahu lebih banyak tentang para peserta tersebut. Mempelajari tentang heterogenitas efek pengobatan dapat memungkinkan penargetan pengobatan di tempat yang paling efektif, memberikan fakta-fakta yang merangsang pengembangan teori baru, dan memberikan petunjuk tentang mekanisme yang mungkin, topik yang sekarang saya putar.