4.4 Beralih daripada eksperimen mudah

Mari kita bergerak melangkaui eksperimen mudah. Tiga konsep berguna untuk eksperimen kaya: kesahihan, heterogenitas kesan rawatan, dan mekanisme.

Penyelidik yang baru untuk eksperimen sering memberi tumpuan kepada soalan yang sangat khusus dan sempit: Adakah rawatan ini "berfungsi"? Contohnya, apakah panggilan telefon dari sukarelawan menggalakkan seseorang untuk mengundi? Adakah menukar butang laman web dari biru ke hijau meningkatkan kadar klik? Malangnya, perbualan yang longgar mengenai apa yang "berfungsi" mengaburkan fakta bahawa eksperimen yang terfokus secara sempit tidak benar-benar memberitahu anda sama ada rawatan "berfungsi" secara umum. Sebaliknya, eksperimen yang difokuskan secara sempit menjawab soalan yang lebih spesifik: Apakah kesan purata rawatan spesifik ini dengan pelaksanaan spesifik ini untuk penduduk peserta ini pada masa ini? Saya akan panggil eksperimen yang menumpukan kepada persoalan sederhana ini .

Eksperimen mudah boleh memberikan maklumat yang berharga, tetapi mereka gagal menjawab banyak soalan yang penting dan menarik, seperti sama ada terdapat beberapa orang yang mempunyai rawatan yang lebih besar atau lebih kecil; sama ada terdapat satu lagi rawatan yang akan lebih berkesan; dan sama ada eksperimen ini berkaitan dengan teori sosial yang lebih luas.

Untuk menunjukkan nilai bergerak melangkaui eksperimen mudah, mari kita pertimbangkan uji kaji medan analog oleh P. Wesley Schultz dan rakan sekerja mengenai hubungan antara norma sosial dan penggunaan tenaga (Schultz et al. 2007) . Schultz dan rakan-rakannya meletakkan penjaga pintu pada 300 isi rumah di San Marcos, California, dan penjaga pintu itu menyampaikan mesej berbeza yang direka untuk menggalakkan pemuliharaan tenaga. Kemudian, Schultz dan rakan sekerja mengukur kesan mesej ini mengenai penggunaan elektrik, kedua-duanya selepas satu minggu dan selepas tiga minggu; lihat Rajah 4.3 untuk penerangan terperinci mengenai reka bentuk eksperimen.

Rajah 4.3: Skematik reka bentuk eksperimen dari Schultz et al. (2007) . Eksperimen lapangan melibatkan lawatan kira-kira 300 isi rumah di San Marcos, California lima kali dalam tempoh lapan minggu. Pada setiap lawatan, para penyelidik secara manual mengambil bacaan dari meter kuasa rumah. Pada dua lawatan itu, mereka meletakkan penjaga pintu di setiap rumah yang memberikan maklumat tentang penggunaan tenaga isi rumah. Soal penyelidikan adalah bagaimana kandungan mesej ini akan memberi kesan kepada penggunaan tenaga.

Eksperimen mempunyai dua syarat. Pada mulanya, isi rumah menerima tip penjimatan tenaga umum (contohnya menggunakan peminat dan bukan penghawa dingin) dan maklumat tentang penggunaan tenaga mereka berbanding penggunaan tenaga purata di kawasan kejiranan mereka. Schultz dan rakan sekerja menyebutnya syarat normatif deskriptif kerana maklumat tentang penggunaan tenaga di kawasan kejiranan menyediakan maklumat tentang tingkah laku biasa (iaitu, norma deskriptif). Apabila Schultz dan rakan-rakan melihat penggunaan tenaga yang dihasilkan dalam kumpulan ini, rawatan itu kelihatan tidak mempunyai kesan, sama ada dalam jangka pendek atau panjang; dengan kata lain, rawatan itu nampaknya tidak "berfungsi" (angka 4.4).

Nasib baik, Schultz dan rakan sekerja tidak dapat menyelesaikan analisis mudah ini. Sebelum percubaan bermula, mereka berpendapat bahawa pengguna berat elektrik-orang di atas rata-rata dapat mengurangkan penggunaannya, dan pengguna cahaya elektrik-orang di bawah rata-rata sebenarnya meningkatkan penggunaannya. Apabila mereka memandang data, itulah yang mereka temukan (Rajah 4.4). Oleh itu, apa yang kelihatan seperti rawatan yang tidak mempunyai kesan sebenarnya merupakan rawatan yang mempunyai dua kesan penipisan. Peningkatan produktif ini di kalangan pengguna cahaya adalah contoh kesan bumerang , di mana rawatan boleh memberi kesan yang bertentangan dari apa yang dimaksudkan.

Rajah 4.4: Keputusan dari Schultz et al. (2007) . Panel (a) menunjukkan bahawa rawatan norma deskriptif mempunyai anggaran kesan rawatan purata sifar. Walau bagaimanapun, panel (b) menunjukkan bahawa kesan rawatan purata ini sebenarnya terdiri daripada dua kesan pengimbangan. Bagi pengguna berat, rawatan menurun penggunaan tetapi untuk pengguna ringan, rawatan meningkat penggunaan. Akhirnya, panel (c) menunjukkan bahawa rawatan kedua, yang menggunakan norma deskriptif dan injunksi, mempunyai kesan yang sama pada pengguna berat tetapi mengurangkan kesan bumerang kepada pengguna cahaya. Diadaptasi dari Schultz et al. (2007) .

Serentak dengan keadaan pertama, Schultz dan rakan-rakannya juga mengalami keadaan kedua. Isi rumah dalam keadaan kedua menerima petua penjimatan tenaga umum yang tepat dan maklumat tentang penggunaan tenaga rumah tangga mereka berbanding dengan rata-rata untuk kejiranan mereka-dengan satu tambahan kecil: untuk orang yang menggunakan purata di bawah, penyelidik menambah: ) dan untuk orang-orang yang menggunakan purata di atas, mereka menambahkan: (.) ​​Emotikon-emotikon ini direka untuk mencetuskan apa yang ditegaskan oleh para penyelidik norma injunctif. Norma-norma injunktif merujuk kepada persepsi yang lazimnya diluluskan (dan tidak disetujui), sedangkan norma deskriptif merujuk kepada persepsi apa yang biasa dilakukan (Reno, Cialdini, and Kallgren 1993) .

Dengan menambah satu emotikon kecil ini, penyelidik secara dramatik mengurangkan kesan bumerang (angka 4.4). Oleh itu, dengan membuat satu perubahan mudah ini-perubahan yang termotivasi oleh teori psikologi sosial yang abstrak (Cialdini, Kallgren, and Reno 1991) penyelidik dapat mengubah satu program yang sepertinya tidak berfungsi dengan yang bekerja, dan, pada masa yang sama, mereka dapat menyumbang kepada pemahaman umum tentang bagaimana norma-norma sosial mempengaruhi tingkah laku manusia.

Walau bagaimanapun, pada ketika ini, anda mungkin menyedari bahawa sesuatu adalah sedikit berbeza mengenai eksperimen ini. Secara khususnya, eksperimen Schultz dan rakan sekerja tidak benar-benar mempunyai kumpulan kawalan dengan cara yang sama yang dilakukan oleh percubaan terkawal secara rawak. Perbandingan antara reka bentuk dan restivo dan van de Rijt menggambarkan perbezaan antara dua reka bentuk eksperimen utama. Reka bentuk antara subjek , seperti Restivo dan van de Rijt, terdapat kumpulan rawatan dan kumpulan kawalan. Dalam reka bentuk dalam subjek , sebaliknya, kelakuan peserta dibandingkan sebelum dan selepas rawatan (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dalam percubaan dalam subjek, seolah-olah setiap peserta bertindak sebagai kumpulan kawalannya sendiri. Kekuatan reka bentuk antara subjek ialah mereka memberikan perlindungan terhadap pengadu (sebagaimana yang saya nyatakan sebelum ini), manakala kekuatan eksperimen dalam-subjek meningkat ketepatan anggaran. Akhirnya, untuk meramalkan idea yang akan datang kemudian apabila saya menawarkan nasihat tentang merancang eksperimen digital, reka bentuk _mixed menggabungkan ketepatan yang lebih baik dalam reka bentuk dalam-subjek dan perlindungan terhadap pengadunan antara subjek-subjek (gambar 4.5).

Rajah 4.5: Tiga reka bentuk eksperimen. Eksperimen terkawal rawak standard menggunakan reka bentuk antara subjek . Satu contoh reka bentuk antara subjek adalah Restivo dan van de Rijt (2012) percubaan pada barnstars dan sumbangan kepada Wikipedia: para penyelidik secara rawak membahagikan peserta ke dalam kumpulan rawatan dan kawalan, memberikan peserta dalam kumpulan rawatan barnstar, dan membandingkan hasil untuk dua kumpulan. Jenis kedua reka bentuk adalah reka bentuk dalam-subjek . Kedua-dua eksperimen dalam kajian Schultz dan rakan-rakan (2007) mengenai norma-norma sosial dan penggunaan tenaga menggambarkan reka bentuk dalam-subjek: penyelidik membandingkan penggunaan tenaga peserta sebelum dan selepas menerima rawatan. Reka bentuk dalam subjek menawarkan ketepatan statistik yang lebih baik, tetapi mereka terbuka untuk kemungkinan pengadun (contohnya, perubahan cuaca antara tempoh pra-rawatan dan rawatan) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Reka bentuk dalam subjek juga kadang-kadang dipanggil reka bentuk langkah berulang. Akhir sekali, reka bentuk bercampur menggabungkan ketepatan reka bentuk dalam-subjek yang lebih baik dan perlindungan terhadap pemalsuan reka bentuk antara subjek. Dalam reka bentuk campuran, seorang penyelidik membandingkan perubahan hasil untuk orang dalam kumpulan rawatan dan kawalan. Apabila penyelidik sudah mempunyai maklumat pra-rawatan, seperti yang berlaku dalam banyak eksperimen digital, reka bentuk bercampur umumnya lebih baik untuk reka bentuk antara subjek kerana ia menghasilkan ketepatan perkiraan yang lebih baik.

Keseluruhan, reka bentuk dan hasil kajian oleh Schultz dan rakan-rakan (2007) menunjukkan nilai bergerak melampaui percubaan mudah. Mujurlah, anda tidak perlu menjadi seorang jenius kreatif untuk mereka bentuk eksperimen seperti ini. Ahli sains sosial telah membangunkan tiga konsep yang akan membimbing anda ke arah eksperimen yang lebih kaya: (1) keabsahan, (2) heterogenitas kesan rawatan, dan (3) mekanisme. Iaitu, jika anda menyimpan tiga idea ini semasa anda sedang merekabentuk percubaan anda, anda tentu akan membuat eksperimen yang lebih menarik dan bermanfaat. Untuk menggambarkan ketiga-tiga konsep dalam tindakan ini, saya akan menerangkan beberapa eksperimen medan digital sebahagiannya yang dibuat berdasarkan reka bentuk yang elegan dan hasil yang menarik dari Schultz dan rakan-rakan (2007) . Seperti yang anda lihat, melalui reka bentuk, pelaksanaan, analisis, dan tafsiran yang lebih berhati-hati, anda juga boleh melangkaui eksperimen mudah.