4.2 Apakah eksperimen?

Rawak eksperimen terkawal mempunyai empat bahan-bahan utama: pengambilan peserta, rawak rawatan, penghantaran rawatan, dan pengukuran hasil.

Rawak eksperimen terkawal boleh mengambil pelbagai bentuk dan boleh digunakan untuk mengkaji pelbagai jenis tingkah laku. Tetapi, di teras mereka, rawak eksperimen terkawal mempunyai empat bahan-bahan utama: pengambilan peserta, rawak rawatan, penghantaran rawatan, dan pengukuran hasil. Era digital tidak mengubah sifat asas eksperimen, tetapi ia membuat mereka lebih mudah logistik. Sebagai contoh, pada masa lalu, ia mungkin telah menjadi sukar untuk mengukur tingkah laku berjuta-juta orang, tetapi yang kini rutin berlaku dalam banyak sistem digital. Penyelidik yang boleh memikirkan bagaimana untuk memanfaatkan peluang-peluang baru akan dapat menjalankan eksperimen yang adalah mustahil sebelum ini.

Untuk membuat ini semua sedikit lebih konkrit kedua-dua apa yang telah di tahap yang sama dan apa yang telah berubah-mari kita mempertimbangkan Michael Restivo dan Arnout van de Rijt ini (2012) . Para penyelidik mahu memahami kesan ganjaran peer tidak rasmi ke atas sumbangan editorial untuk Wikipedia. Khususnya, mereka mengkaji kesan barnstars, anugerah bahawa mana-mana ahli Wikipedia boleh memberi kepada mana-mana ahli Wikipedia lain untuk mengakui kerja keras dan usaha yang wajar. Restivo dan van de Rijt memberikan barnstars 100 Wikipedia layak. Kemudian, Restivo dan van de Rijt dikesan sumbangan seterusnya oleh penerima; Wikipedia dalam tempoh 90 hari akan datang. Lebih mengejutkan mereka, bangsa yang kepadanya mereka dianugerahkan barnstars cenderung untuk membuat sedikit suntingan selepas menerima satu. Dalam erti kata lain, barnstars seolah-olah tidak menggalakkan daripada menggalakkan sumbangan.

Mujurlah, Restivo dan van de Rijt tidak menjalankan eksperimen "mengusik dan memerhati"; mereka telah menjalankan percubaan terkawal rawak. Jadi, di samping memilih 100 penyumbang utama untuk menerima barnstar, mereka juga mengambil 100 penyumbang utama kepada yang mereka tidak memberi barnstar a. Ini ratus berkhidmat sebagai kumpulan kawalan, dan yang mendapat barnstar dan yang tidak ditentukan secara rawak. Apabila Restivo dan van de Rijt melihat kumpulan kawalan mereka mendapati ia turut penurunan mendadak sumbangan juga. Akhir sekali, apabila penyelidik berbanding orang dalam kumpulan rawatan (iaitu, menerima barnstars) dan orang-orang dalam kumpulan kawalan, mereka mendapati bahawa barnstar yang disebabkan editor menyumbang kira-kira 60% lebih. Tetapi, peningkatan dalam sumbangan telah mengambil tempat sebagai sebahagian daripada penurunan keseluruhan dalam kedua-dua kumpulan.

Sebagai kajian ini menggambarkan, kumpulan kawalan dalam eksperimen adalah kritikal dengan cara yang agak paradoks. Dalam usaha untuk mengukur dengan tepat kesan barnstars, Restivo dan van der Rijt diperlukan untuk melihat orang yang tidak menerima barnstars. Banyak kali penyelidik yang tidak biasa dengan eksperimen gagal untuk menghargai nilai yang luar biasa daripada kumpulan kawalan. Jika Restivo dan van de Rijt tidak mempunyai kumpulan kawalan, mereka akan ditarik tepat kesimpulan yang salah. Kumpulan kawalan adalah begitu penting bahawa Ketua Pegawai Eksekutif sebuah syarikat kasino utama telah berkata bahawa hanya terdapat tiga cara yang pekerja boleh dipecat dari syarikatnya: kecurian, gangguan seksual, dan menjalankan percubaan tanpa kumpulan kawalan (Schrage 2011) .

Restivo dan van de Rijt ini kajian menunjukkan empat bahan-bahan utama eksperimen: pengambilan, rawak, campur tangan, dan hasil. Bersama-sama, empat bahan membolehkan saintis untuk bergerak di luar korelasi dan mengukur kesan sebab dan akibat rawatan. Secara khusus, rawak bermakna bahawa apabila anda membandingkan hasil untuk rawatan dan kumpulan kawalan anda mendapatkan anggaran kesan sebab dan akibat campur tangan yang untuk set yang peserta. Dalam erti kata lain, dengan percubaan terkawal rawak anda boleh yakin bahawa mana-mana perbezaan dalam hasil adalah disebabkan oleh campur tangan dan bukan confounder, tuntutan yang saya buat tepat dalam Lampiran teknikal menggunakan rangka kerja hasil yang berpotensi.

Di samping menjadi satu contoh yang bagus mekanik eksperimen, Restivo dan van de Rijt itu kajian juga menunjukkan bahawa logistik eksperimen digital boleh benar-benar berbeza daripada eksperimen analog. Dalam Restivo dan eksperimen van de Rijt, ia adalah mudah untuk memberi barnstar untuk sesiapa sahaja di dunia dan ia adalah mudah untuk mengesan hasil nombor-the suntingan-tempoh masa yang panjang (kerana sejarah suntingan secara automatik direkodkan oleh Wikipedia). Keupayaan untuk menyampaikan rawatan dan mengukur outcome tanpa sebarang kos adalah kualitatif tidak seperti eksperimen pada masa lalu. Walaupun eksperimen ini melibatkan 200 orang, ia mungkin telah berjalan dengan 2,000 atau 20,000 orang. Perkara utama menghalang penyelidik dari meningkatkan skala eksperimen mereka dengan faktor 100 tidak kos, ia adalah etika. Iaitu, Restivo dan van de Rijt tidak mahu memberi barnstars kepada editor yg tdk pantas dan mereka tidak mahu percubaan mereka untuk mengganggu komuniti Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Jadi, walaupun eksperimen Restivo dan van de Rijt adalah agak mudah, ia jelas menunjukkan bahawa beberapa perkara tentang eksperimen telah di tahap yang sama dan ada yang berubah. Khususnya, logik asas eksperimen adalah sama, tetapi logistik telah berubah. Seterusnya, untuk lebih jelas mengasingkan peluang yang diwujudkan oleh perubahan ini, saya akan membandingkan eksperimen yang penyelidik boleh lakukan sekarang untuk jenis eksperimen yang telah dilakukan pada masa lalu.