4.4 Beralih daripada eksperimen mudah

Mari kita bergerak di luar eksperimen mudah. Tiga konsep adalah berguna untuk eksperimen kaya: kesahan, kepelbagaian kesan rawatan, dan mekanisme.

Penyelidik yang baru kepada eksperimen sering memberi tumpuan kepada yang sangat khusus, soalan sempit: tidak rawatan ini "kerja"? Sebagai contoh, adakah panggilan telefon daripada seorang sukarelawan menggalakkan seseorang untuk mengundi? Adakah menukar butang laman web dari biru ke kadar klik-melalui peningkatan hijau? Malangnya, penyusunan kata-kata longgar tentang apa yang "kerja-kerja" mengaburi hakikat bahawa eksperimen difokuskan secara sempit tidak benar-benar memberitahu anda sama ada rawatan "kerja-kerja" dalam pengertian umum. Sebaliknya, difokuskan secara sempit eksperimen menjawab satu soalan yang lebih khusus: apakah kesan purata rawatan ini tertentu dengan pelaksanaan tertentu ini untuk penduduk ini peserta pada masa ini? Saya akan panggil eksperimen yang memberi tumpuan kepada soalan yang sempit ini eksperimen mudah.

eksperimen mudah boleh memberikan maklumat yang berharga, tetapi mereka gagal untuk menjawab banyak soalan yang kedua-duanya adalah penting dan menarik seperti: ada sesetengah orang untuk siapa rawatan mempunyai kesan yang lebih besar atau lebih kecil ?; ada satu lagi rawatan yang akan menjadi lebih berkesan ?; dan bagaimana eksperimen ini berkaitan dengan teori-teori sosial yang lebih luas?

Dalam usaha untuk menunjukkan nilai bergerak di luar eksperimen mudah, mari kita mengambil kira salah satu uji kaji lapangan analog kegemaran saya, satu kajian oleh P. Wesley Schultz dan rakan-rakan mengenai hubungan antara norma-norma sosial dan penggunaan tenaga (Schultz et al. 2007) . Schultz dan rakan-rakan digantung doorhangers 300 isi rumah di San Marcos, California, dan doorhangers ini menyampaikan mesej yang berbeza direka untuk menggalakkan pemuliharaan tenaga. Kemudian, Schultz dan rakan-rakan diukur kesan mesej ini pada penggunaan elektrik, kedua-duanya selepas satu minggu dan tiga minggu; lihat Rajah 4.3 bagi penerangan yang lebih terperinci reka bentuk eksperimen.

Rajah 4.3: Skema reka bentuk dari Schultz et al. (2007) . Percubaan bidang yang terlibat melawat kira-kira 300 isi rumah di San Marcos, California lima kali selama lapan minggu. Pada setiap melawat penyelidik secara manual mengambil bacaan daripada meter kuasa rumah ini. Dalam dua daripada lawatan penyelidik diletakkan doorhangers di rumah menyediakan beberapa maklumat mengenai penggunaan tenaga mereka. Soalan kajian adalah bagaimana kandungan mesej ini akan memberi kesan kepada penggunaan tenaga.

Eksperimen mempunyai dua keadaan. Dalam keadaan yang pertama, isi rumah menerima tips penjimatan tenaga umum (contohnya, penggunaan kipas dan bukannya penghawa dingin) dan maklumat mengenai penggunaan tenaga rumah mereka berbanding dengan purata penggunaan tenaga di kawasan kejiranan mereka. Schultz dan rakan dipanggil ini keadaan normatif deskriptif kerana maklumat mengenai penggunaan tenaga di kawasan kejiranan mereka memberi maklumat mengenai kelakuan biasa (iaitu, norma deskriptif). Apabila Schultz dan rakan-rakan melihat penggunaan tenaga yang terhasil dalam kumpulan ini, rawatan yang nampaknya tiada kesan, sama ada jangka pendek atau jangka panjang; dalam erti kata lain, rawatan yang tidak kelihatan "kerja" (Rajah 4.4).

Tetapi, nasib baik, Schultz et al. (2007) tidak berpuas hati dengan analisis mudah ini. Sebelum percubaan mula mereka memberi alasan bahawa banyak menggunakan tenaga elektrik rakyat di atas min-mungkin mengurangkan penggunaan mereka, dan yang pengguna cahaya elektrik-orang di bawah min-mungkin sebenarnya meningkatkan penggunaan mereka. Apabila mereka melihat data, yang betul-betul apa yang mereka dapati (Rajah 4.4). Oleh itu, apa yang kelihatan seperti rawatan yang tidak mempunyai kesan sebenarnya satu rawatan yang mempunyai dua kesan pengimbangan. Para penyelidik dipanggil peningkatan tidak produktif ini di kalangan pengguna cahaya kesan boomerang.

Rajah 4.4: Keputusan dari Schultz et al. (2007) . Panel pertama menunjukkan bahawa rawatan norma deskriptif mempunyai anggaran sifar kesan rawatan purata. Walau bagaimanapun, panel kedua menunjukkan bahawa ini kesan rawatan purata adalah sebenarnya terdiri daripada dua kesan pengimbangan. Bagi penggunaan yang tinggi, rawatan menurun penggunaan tetapi untuk pengguna cahaya, rawatan peningkatan penggunaan. Akhirnya, panel ketiga menunjukkan bahawa rawatan yang kedua, yang digunakan norma deskriptif dan injunksi, mempunyai kira-kira kesan yang sama pada pengguna berat tetapi dikurangkan kesan boomerang kepada pengguna cahaya.

Selanjutnya, Schultz dan rakan-rakan yang dijangka kemungkinan ini, dan dalam keadaan kedua mereka dikerahkan rawatan yang sedikit berbeza, satu jelas direka untuk menghapuskan kesan boomerang. Isi rumah dalam keadaan kedua menerima rawatan umum yang sama tips penjimatan tenaga yang tepat dan maklumat mengenai penggunaan tenaga isi rumah mereka berbanding dengan kawasan kejiranan-dengan mereka satu tambahan kecil: bagi orang-orang dengan penggunaan bawah tahap sederhana, penyelidik berkata :) dan untuk orang dengan penggunaan melebihi purata mereka menambah :( a. ini emotikon telah direka untuk mencetuskan apa penyelidik dipanggil norma injunksi. norma injunksi merujuk kepada persepsi apa yang biasanya diluluskan (dan tidak diluluskan) manakala norma deskriptif merujuk kepada persepsi apa yang biasanya dilakukan (Reno, Cialdini, and Kallgren 1993) .

Dengan menambah satu smiley kecil ini, penyelidik banyak mengurangkan kesan boomerang (Rajah 4.4). Oleh itu, dengan membuat ini satu yang mudah perubahan-perubahan yang didorong oleh teori abstrak sosial psikologi (Cialdini, Kallgren, and Reno 1991) -The penyelidik dapat menghidupkan program dari satu yang tidak kelihatan untuk bekerja ke dalam satu yang bekerja, dan, pada masa yang sama, mereka dapat menyumbang kepada pemahaman umum bagaimana norma-norma sosial mempengaruhi tingkah laku manusia.

Pada ketika ini, walau bagaimanapun, anda mungkin menyedari bahawa ada sesuatu yang sedikit berbeza tentang eksperimen ini. Khususnya, eksperimen Schultz dan rakan-rakan tidak benar-benar mempunyai kumpulan kawalan dengan cara yang sama yang terkawal rawak eksperimen lakukan. Perbandingan antara reka bentuk ini dan reka bentuk Restivo dan van de Rijt menggambarkan perbezaan antara dua reka bentuk utama yang digunakan oleh penyelidik. Di antara-mata pelajaran reka bentuk, seperti Restivo dan van de Rijt, terdapat satu kumpulan rawatan dan kumpulan kawalan, dan di dalam-mata pelajaran reka bentuk tingkah laku peserta berbanding sebelum dan selepas rawatan (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dalam uji kaji dalam-subjek maka seolah-olah setiap peserta bertindak sebagai kumpulan kawalan sendiri. Kekuatan antara-mata pelajaran reka bentuk adalah bahawa ia menyediakan perlindungan terhadap faktor pembaur (seperti yang saya diterangkan sebelum ini), dan kekuatan eksperimen dalam-mata pelajaran meningkat ketepatan dalam anggaran. Apabila setiap peserta bertindak sebagai kawalan mereka sendiri, di antara-peserta variasi dihapuskan (lihat Teknikal Lampiran). Untuk menjadi bayangan yang yang akan datang kemudian apabila saya menawarkan nasihat mengenai mereka bentuk eksperimen digital, terdapat reka bentuk yang akhir, yang dipanggil reka bentuk yang bercampur-campur, yang menggabungkan ketepatan yang lebih baik reka bentuk dalam-subjek dan perlindungan terhadap membaurkan reka bentuk antara-mata pelajaran.

Rajah 4.5: Tiga reka bentuk eksperimen. Standard rawak eksperimen terkawal menggunakan antara-mata pelajaran reka bentuk. Contoh reka bentuk antara-mata pelajaran adalah Restivo dan van de Rijt ini (2012) percubaan pada barnstars dan sumbangan kepada Wikipedia: penyelidik dibahagikan secara rawak peserta ke dalam rawatan dan kumpulan kawalan, memberikan peserta dalam kumpulan rawatan barnstar, dan berbanding hasil untuk dua kumpulan. Sejenis kedua reka bentuk adalah rekaan dalam-mata pelajaran. Kedua-dua eksperimen dalam Schultz dan ini rakan sekerja (2007) kajian mengenai norma-norma sosial dan penggunaan tenaga menggambarkan reka bentuk dalam-mata pelajaran: penyelidik berbanding penggunaan elektrik peserta sebelum dan selepas menerima rawatan. Dalam masa-mata pelajaran reka bentuk menawarkan ketepatan statistik yang lebih baik dengan menghapuskan antara subjek varians (lihat Teknikal Lampiran), tetapi mereka adalah terbuka kepada faktor pembaur mungkin (contohnya, perubahan cuaca antara pra-rawatan dan rawatan tempoh) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dalam masa-mata pelajaran reka bentuk juga langkah-langkah kadang-kadang dipanggil berulang reka bentuk. Akhir sekali, reka bentuk campuran menggabungkan ketepatan yang lebih baik daripada dalam-mata pelajaran reka bentuk dan perlindungan terhadap membaurkan reka bentuk antara-mata pelajaran. Dalam reka bentuk yang bercampur-campur, penyelidik membandingkan perubahan dalam hasil bagi orang-orang dalam rawatan dan kumpulan kawalan. Apabila penyelidik sudah mempunyai maklumat pra-rawatan, seperti yang berlaku di banyak eksperimen digital, reka bentuk campuran adalah lebih baik untuk reka bentuk antara-mata kerana keuntungan dalam ketepatan (lihat Teknikal Lampiran).

Secara keseluruhan, reka bentuk dan keputusan Schultz et al. (2007) menunjukkan nilai bergerak di luar eksperimen mudah. Nasib baik, anda tidak perlu menjadi seorang genius untuk membuat eksperimen seperti ini. ahli sains sosial telah membangunkan tiga konsep yang akan membimbing anda ke arah percubaan kreatif yang lebih kaya dan lebih: 1) sah, 2) kepelbagaian kesan rawatan, dan 3) mekanisme. Iaitu, jika anda menyimpan ketiga-tiga idea dalam fikiran semasa anda mereka bentuk eksperimen anda, anda secara semulajadi akan mewujudkan eksperimen lebih menarik dan berguna. Dalam usaha untuk menggambarkan ketiga-tiga konsep dalam tindakan, saya akan menerangkan beberapa uji kaji lapangan sebahagiannya digital susulan yang dibina di atas reka bentuk yang elegan dan keputusan yang menarik dalam Schultz et al. (2007) . Seperti yang anda akan lihat, melalui reka bentuk lebih berhati-hati, pelaksanaan, analisis, dan tafsiran, anda juga boleh bergerak di luar eksperimen mudah.