4.2 Apa percobaan?

Acak percobaan terkontrol memiliki empat bahan utama: perekrutan peserta, pengacakan pengobatan, pemberian pengobatan, dan pengukuran hasil.

Percobaan terkontrol acak memiliki empat bahan utama: perekrutan peserta, pengacakan pengobatan, pengiriman pengobatan, dan pengukuran hasil. Era digital tidak mengubah sifat dasar eksperimen, tetapi membuatnya lebih mudah secara logistik. Misalnya, di masa lalu, mungkin sulit untuk mengukur perilaku jutaan orang, tetapi itu sekarang secara rutin terjadi di banyak sistem digital. Peneliti yang dapat mengetahui cara memanfaatkan peluang baru ini akan dapat menjalankan eksperimen yang tidak mungkin dilakukan sebelumnya.

Untuk menjadikan ini semua lebih konkret — baik yang tetap sama dan apa yang telah berubah — mari kita pertimbangkan eksperimen oleh Michael Restivo dan Arnout van de Rijt (2012) . Mereka ingin memahami pengaruh imbalan rekan informal pada kontribusi editorial ke Wikipedia. Secara khusus, mereka mempelajari efek dari barnstars , sebuah penghargaan yang dapat diberikan oleh Wikipedian ke Wikipedian lain untuk mengakui kerja keras dan uji tuntas. Restivo dan van de Rijt memberikan barnstars ke 100 pengguna Wikipedians yang layak. Kemudian, mereka melacak kontribusi penerimanya kepada Wikipedia selama 90 hari ke depan. Sangat mengherankan mereka, orang-orang yang diberikan kepada mereka barnstars cenderung melakukan pengeditan lebih sedikit setelah menerima satu. Dengan kata lain, barnstars tampaknya lebih mengecilkan hati daripada mendorong kontribusi.

Untungnya, Restivo dan van de Rijt tidak menjalankan eksperimen “perturb and amati”; mereka menjalankan eksperimen terkontrol secara acak. Jadi, selain memilih 100 kontributor top untuk menerima barnstar, mereka juga memilih 100 kontributor teratas yang tidak mereka berikan. 100 ini berfungsi sebagai kelompok kontrol. Dan, secara kritis, yang berada dalam kelompok perlakuan dan yang berada dalam kelompok kontrol ditentukan secara acak.

Ketika Restivo dan van de Rijt melihat perilaku orang-orang dalam kelompok kontrol, mereka menemukan bahwa kontribusi mereka juga menurun. Lebih lanjut, ketika Restivo dan van de Rijt membandingkan orang-orang dalam kelompok perlakuan (yaitu, menerima barnstars) kepada orang-orang dalam kelompok kontrol, mereka menemukan bahwa orang dalam kelompok perlakuan berkontribusi sekitar 60% lebih banyak. Dengan kata lain, kontribusi kedua kelompok itu memburuk, tetapi kelompok kontrol itu melakukan jauh lebih cepat.

Seperti yang diilustrasikan oleh penelitian ini, kelompok kontrol dalam eksperimen sangat penting dengan cara yang agak paradoksal. Untuk secara tepat mengukur efek barnstars, Restivo dan van de Rijt perlu mengamati orang-orang yang tidak menerima barnstars. Sering kali, para peneliti yang tidak akrab dengan eksperimen gagal untuk menghargai nilai luar biasa dari kelompok kontrol. Jika Restivo dan van de Rijt tidak memiliki kelompok kontrol, mereka akan menarik kesimpulan yang salah. Kelompok kontrol sangat penting sehingga CEO dari perusahaan kasino besar mengatakan bahwa hanya ada tiga cara karyawan dapat dipecat dari perusahaannya: untuk pencurian, pelecehan seksual, atau untuk menjalankan eksperimen tanpa kelompok kontrol (Schrage 2011) .

Studi Restivo dan van de Rijt mengilustrasikan empat bahan utama percobaan: rekrutmen, pengacakan, intervensi, dan hasil. Bersama-sama, keempat bahan ini memungkinkan para ilmuwan untuk bergerak melampaui korelasi dan mengukur efek kausal dari perawatan. Secara khusus, pengacakan berarti orang-orang dalam kelompok perlakuan dan kelompok kontrol akan sama. Ini penting karena itu berarti bahwa perbedaan hasil antara kedua kelompok dapat dikaitkan dengan pengobatan dan bukan perancu.

Selain menjadi ilustrasi yang bagus dari mekanisme eksperimen, penelitian Restivo dan van de Rijt juga menunjukkan bahwa logistik eksperimen digital dapat benar-benar berbeda dari eksperimen analog. Dalam eksperimen Restivo dan van de Rijt, mudah untuk memberikan barnstar kepada siapa pun, dan mudah untuk melacak hasilnya — jumlah pengeditan — selama jangka waktu yang panjang (karena riwayat penyuntingan secara otomatis direkam oleh Wikipedia). Kemampuan untuk memberikan perawatan dan mengukur hasil tanpa biaya secara kualitatif tidak seperti eksperimen di masa lalu. Meskipun percobaan ini melibatkan 200 orang, itu bisa saja dijalankan dengan 2.000 atau bahkan 20.000 orang. Hal utama yang mencegah para peneliti meningkatkan eksperimen mereka dengan faktor 100 bukanlah biaya; itu etika. Artinya, Restivo dan van de Rijt tidak ingin memberikan barnstars kepada editor yang tidak layak, dan mereka tidak ingin eksperimen mereka mengganggu komunitas Wikipedia (Restivo and Rijt 2012, 2014) . Saya akan kembali ke beberapa pertimbangan etis yang diajukan oleh eksperimen di bab ini dan di Bab 6.

Kesimpulannya, eksperimen Restivo dan van de Rijt dengan jelas menunjukkan bahwa sementara logika dasar eksperimen belum berubah, logistik eksperimen era digital bisa sangat berbeda. Selanjutnya, untuk lebih jelas mengisolasi peluang yang dibuat oleh perubahan ini, saya akan membandingkan eksperimen yang dapat peneliti lakukan sekarang dengan jenis eksperimen yang telah dilakukan di masa lalu.