4.2 Apakah eksperimen?

Rawak eksperimen terkawal mempunyai empat bahan-bahan utama: pengambilan peserta, rawak rawatan, penghantaran rawatan, dan pengukuran hasil.

Eksperimen terkawal rawak mempunyai empat bahan utama: pengambilan peserta, rawak rawatan, penghantaran rawatan, dan pengukuran hasil. Umur digital tidak mengubah sifat asas eksperimen, tetapi ia memudahkan logistik. Sebagai contoh, pada masa lalu, mungkin sukar untuk mengukur tingkah laku berjuta-juta orang, tetapi kini secara rutin berlaku dalam banyak sistem digital. Penyelidik yang dapat mengetahui cara memanfaatkan peluang-peluang baru ini akan dapat menjalankan eksperimen yang mustahil sebelum ini.

Untuk menjadikan ini semua lebih konkrit-sama ada yang tetap sama dan apa yang telah berubah-mari kita pertimbangkan percubaan oleh Michael Restivo dan Arnout van de Rijt (2012) . Mereka mahu memahami kesan ganjaran rakan sebaya secara tidak formal terhadap sumbangan editorial kepada Wikipedia. Khususnya, mereka mengkaji kesan barnstars , penghargaan yang diberikan oleh mana-mana ahli Wikipedia kepada mana-mana pelayar lain untuk mengakui kerja keras dan ketekunan wajar. Restivo dan van de Rijt memberikan barnstars kepada 100 orang yang pantas. Kemudian, mereka mengesan sumbangan berikutnya kepada Wikipedia selama 90 hari akan datang. Banyak yang mengejutkan, orang yang mereka dianugerahkan barnstars cenderung untuk membuat pengeditan yang lebih sedikit selepas menerima satu. Dalam erti kata lain, barnstars nampaknya tidak menggalakkan daripada menggalakkan sumbangan.

Nasib baik, Restivo dan van de Rijt tidak menjalankan percubaan "memerhatikan dan mematuhi"; mereka menjalankan percubaan terkawal secara rawak. Jadi, selain memilih 100 penyumbang utama untuk menerima barnstar, mereka juga memilih 100 penyumbang utama yang mereka tidak memberikannya. Ini 100 berkhidmat sebagai kumpulan kawalan. Dan secara kritis, siapa yang berada dalam kumpulan rawatan dan yang berada dalam kumpulan kawalan ditentukan secara rawak.

Apabila Restivo dan van de Rijt memandang tingkah laku orang dalam kumpulan kawalan, mereka mendapati bahawa sumbangan mereka juga berkurangan. Tambahan pula, apabila Restivo dan van de Rijt membandingkan orang dalam kumpulan rawatan (iaitu, menerima barnstars) kepada orang-orang dalam kumpulan kawalan, mereka mendapati bahawa orang dalam kumpulan rawatan menyumbang lebih kurang 60%. Dengan kata lain, sumbangan kedua-dua kumpulan telah menipu, tetapi kumpulan kawalan jauh lebih cepat.

Oleh kerana kajian ini menggambarkan, kumpulan kawalan dalam eksperimen adalah kritikal dengan cara yang agak paradoks. Untuk tepat mengukur kesan barnstars, Restivo dan van de Rijt perlu memerhatikan orang yang tidak menerima barnstars. Banyak kali penyelidik yang tidak biasa dengan eksperimen gagal menghargai nilai yang luar biasa dari kumpulan kawalan. Sekiranya Restivo dan van de Rijt tidak mempunyai kumpulan kawalan, mereka pasti akan membuat kesimpulan yang salah. Kumpulan kawalan sangat penting bahawa CEO sebuah syarikat kasino utama mengatakan bahawa terdapat hanya tiga cara pekerja dapat dipecat dari syarikatnya: kecurian, gangguan seksual, atau menjalankan eksperimen tanpa kumpulan kawalan (Schrage 2011) .

Kajian Restivo dan van de Rijt menggambarkan empat ramuan utama eksperimen: perekrutan, rawak, campur tangan, dan hasil. Bersama-sama, keempat ramuan ini membolehkan para saintis bergerak melampaui korelasi dan mengukur kesan penyebab rawatan. Khususnya, rawak bermaksud bahawa orang dalam kumpulan rawatan dan kawalan akan sama. Ini adalah penting kerana ia bermakna bahawa apa-apa perbezaan hasil antara kedua-dua kumpulan itu boleh dikaitkan dengan rawatan dan bukan pemadam.

Sebagai tambahan kepada ilustrasi mekanik eksperimen, kajian Restivo dan van de Rijt juga menunjukkan bahawa logistik eksperimen digital boleh sama sekali berbeza dengan eksperimen analog. Dalam percubaan Restivo dan van de Rijt, mudah untuk memberikan barnstar kepada sesiapa sahaja, dan mudah untuk menjejaki jumlah hasil pengeditan-sepanjang tempoh masa yang panjang (kerana sejarah edit dicatat secara automatik oleh Wikipedia). Keupayaan untuk menyampaikan rawatan dan mengukur hasil tanpa kos secara kualitinya tidak seperti eksperimen pada masa lalu. Walaupun eksperimen ini melibatkan 200 orang, ia boleh dijalankan dengan 2,000 atau bahkan 20,000 orang. Perkara utama yang menghalang penyelidik daripada mencuba percubaan mereka dengan faktor 100 adalah tidak kos; ia adalah etika. Iaitu, Restivo dan van de Rijt tidak mahu memberikan barnstar kepada editor yang tidak layak, dan mereka tidak mahu eksperimen mereka mengganggu komuniti Wikipedia (Restivo and Rijt 2012, 2014) . Saya akan kembali kepada beberapa pertimbangan etika yang dibangkitkan oleh eksperimen kemudian dalam bab ini dan dalam bab 6.

Kesimpulannya, percubaan Restivo dan van de Rijt jelas menunjukkan bahawa sementara logik dasar percubaan tidak berubah, logistik eksperimen-era digital dapat secara dramatik berbeza. Selanjutnya, untuk lebih jelas mengasingkan peluang yang dicipta oleh perubahan ini, saya akan membandingkan eksperimen yang boleh dilakukan penyelidik sekarang dengan jenis eksperimen yang telah dilakukan pada masa lalu.