4.2 Apa percobaan?

Acak percobaan terkontrol memiliki empat bahan utama: perekrutan peserta, pengacakan pengobatan, pemberian pengobatan, dan pengukuran hasil.

Acak percobaan terkontrol dapat mengambil banyak bentuk dan dapat digunakan untuk mempelajari berbagai jenis perilaku. Tapi, pada intinya, secara acak percobaan terkontrol memiliki empat bahan utama: perekrutan peserta, pengacakan pengobatan, pemberian pengobatan, dan pengukuran hasil. Era digital tidak mengubah sifat dasar dari eksperimen, tapi itu tidak membuat mereka lebih mudah logistik. Misalnya, di masa lalu itu mungkin sulit untuk mengukur perilaku jutaan orang, tapi yang sekarang rutin terjadi di banyak sistem digital. Para peneliti yang tahu bagaimana memanfaatkan kesempatan baru akan dapat menjalankan eksperimen yang tidak mungkin sebelumnya.

Untuk membuat ini semua sedikit lebih konkrit-baik apa yang telah tinggal yang sama dan apa yang telah berubah-mari kita pertimbangkan Michael Restivo dan Arnout van de Rijt ini (2012) . Para peneliti ingin mengetahui pengaruh imbalan rekan informal tentang kontribusi editorial ke Wikipedia. Secara khusus, mereka mempelajari efek barnstars, penghargaan bahwa setiap Wikipediawan dapat memberikan kepada setiap Wikipediawan lainnya untuk mengakui kerja keras dan due diligence. Restivo dan van de Rijt memberi barnstars 100 Wikipediawan layak. Kemudian, Restivo dan van de Rijt dilacak kontribusi berikutnya penerima 'Wikipedia selama 90 hari ke depan. Banyak kejutan mereka, orang-orang kepada siapa mereka diberikan barnstars cenderung membuat lebih sedikit pengeditan setelah menerima satu. Dalam kata lain, barnstars tampaknya mengecilkan daripada mendorong kontribusi.

Untungnya, Restivo dan van de Rijt tidak menjalankan "mengganggu dan mengamati" eksperimen; mereka menjalankan percobaan terkontrol secara acak. Jadi, selain memilih 100 kontributor top untuk menerima barnstar, mereka juga meraih 100 kontributor atas kepada siapa mereka tidak memberikan barnstar a. ratus ini menjabat sebagai kelompok kontrol, dan yang mendapat barnstar dan yang tidak ditentukan secara acak. Ketika Restivo dan van de Rijt memandang kelompok kontrol mereka menemukan bahwa itu penurunan tajam pada kontribusi juga. Akhirnya, ketika peneliti membandingkan orang pada kelompok perlakuan (yaitu, menerima barnstars) dan orang-orang di kelompok kontrol, mereka menemukan bahwa barnstar menyebabkan editor untuk berkontribusi sekitar 60% lebih. Tapi, ini peningkatan kontribusi sedang berlangsung sebagai bagian dari sebuah penurunan keseluruhan pada kedua kelompok.

Seperti penelitian ini menggambarkan, kelompok kontrol dalam percobaan sangat penting dengan cara yang agak paradoks. Dalam rangka untuk secara tepat mengukur efek dari barnstars, Restivo dan van der Rijt diperlukan untuk mengamati orang yang tidak menerima barnstars. Banyak kali peneliti yang tidak akrab dengan percobaan gagal untuk menghargai nilai yang luar biasa dari kelompok kontrol. Jika Restivo dan van de Rijt tidak memiliki kelompok kontrol, mereka akan ditarik persis kesimpulan yang salah. Kelompok kontrol sangat penting bahwa CEO dari sebuah perusahaan kasino besar telah mengatakan bahwa hanya ada tiga cara yang karyawan bisa dipecat dari perusahaannya: pencurian, pelecehan seksual, dan menjalankan eksperimen tanpa kelompok kontrol (Schrage 2011) .

Penelitian Restivo dan van de Rijt menggambarkan empat bahan utama dari percobaan: perekrutan, pengacakan, intervensi, dan hasil. Bersama-sama, keempat elemen tersebut memungkinkan para ilmuwan untuk bergerak di luar korelasi dan mengukur efek kausal perawatan. Secara khusus, pengacakan berarti bahwa ketika Anda membandingkan hasil untuk pengobatan dan kelompok kontrol Anda mendapatkan perkiraan efek kausal intervensi yang untuk itu set peserta. Dengan kata lain, dengan percobaan terkontrol secara acak Anda dapat yakin bahwa setiap perbedaan hasil disebabkan oleh intervensi dan tidak perancu, klaim yang saya buat tepat di Lampiran Teknis menggunakan kerangka hasil potensial.

Selain menjadi ilustrasi yang bagus dari mekanisme percobaan, studi Restivo dan van de Rijt juga menunjukkan bahwa logistik eksperimen digital dapat benar-benar berbeda dari eksperimen analog. Dalam Restivo dan percobaan van de Rijt ini, itu mudah untuk memberikan barnstar kepada siapa pun di dunia dan itu mudah untuk melacak hasil-jumlah suntingan-selama jangka waktu (karena mengedit sejarah secara otomatis direkam oleh Wikipedia). Kemampuan untuk memberikan pengobatan dan mengukur hasil tanpa biaya secara kualitatif seperti eksperimen di masa lalu. Meskipun percobaan ini melibatkan 200 orang, itu bisa dijalankan dengan 2.000 atau 20.000 orang. Hal utama mencegah peneliti dari scaling up percobaan mereka dengan faktor 100 tidak dikenakan biaya, itu etika. Artinya, Restivo dan van de Rijt tidak ingin memberikan barnstars untuk editor tidak layak dan mereka tidak ingin percobaan mereka untuk mengganggu masyarakat Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Jadi, meskipun percobaan Restivo dan van de Rijt relatif sederhana, jelas menunjukkan bahwa beberapa hal tentang percobaan telah tinggal yang sama dan beberapa telah berubah. Secara khusus, logika dasar dari eksperimen adalah sama, tetapi logistik telah berubah. Selanjutnya, agar lebih jelas mengisolasi peluang yang diciptakan oleh perubahan ini, saya akan membandingkan eksperimen peneliti dapat lakukan sekarang untuk jenis eksperimen yang telah dilakukan di masa lalu.