4.1 Pendahuluan

Dalam pendekatan yang dicakup sejauh ini dalam buku ini - mengamati perilaku (Bab 2) dan mengajukan pertanyaan (Bab 3) - peneliti mengumpulkan data tanpa secara sengaja dan sistematis mengubah dunia. Pendekatan yang dibahas dalam bab ini — menjalankan eksperimen — pada dasarnya berbeda. Ketika para peneliti menjalankan eksperimen, mereka secara sistematis melakukan intervensi di dunia untuk menciptakan data yang ideal untuk menjawab pertanyaan tentang hubungan sebab-akibat.

Pertanyaan sebab-akibat sangat umum dalam penelitian sosial, dan contohnya meliputi pertanyaan seperti: Apakah peningkatan gaji guru meningkatkan pembelajaran siswa? Apa pengaruh upah minimum terhadap tingkat pekerjaan? Bagaimana ras pelamar pekerjaan mempengaruhi peluangnya mendapatkan pekerjaan? Selain pertanyaan-pertanyaan kausal yang eksplisit ini, terkadang pertanyaan sebab dan akibat tersirat dalam pertanyaan yang lebih umum tentang maksimalisasi beberapa metrik kinerja. Misalnya, pertanyaan “Warna apa yang harus disumbangkan tombol di situs web LSM?” Adalah banyak pertanyaan tentang efek warna tombol yang berbeda pada donasi.

Salah satu cara untuk menjawab pertanyaan sebab-akibat adalah dengan mencari pola dalam data yang ada. Misalnya, kembali ke pertanyaan tentang pengaruh gaji guru pada pembelajaran siswa, Anda dapat menghitung bahwa siswa belajar lebih banyak di sekolah yang menawarkan gaji guru yang tinggi. Tapi, apakah korelasi ini menunjukkan bahwa gaji yang lebih tinggi menyebabkan siswa belajar lebih banyak? Tentu saja tidak. Sekolah di mana guru mendapat lebih banyak mungkin berbeda dalam banyak hal. Misalnya, siswa di sekolah dengan gaji guru tinggi mungkin berasal dari keluarga yang lebih kaya. Dengan demikian, apa yang tampak seperti pengaruh guru bisa berasal dari membandingkan berbagai jenis siswa. Perbedaan tak terukur antara siswa disebut pembaur , dan, secara umum, kemungkinan pembaur menimbulkan kekacauan pada kemampuan peneliti untuk menjawab pertanyaan sebab-akibat dengan mencari pola dalam data yang ada.

Salah satu solusi untuk masalah pembaur adalah mencoba membuat perbandingan yang adil dengan menyesuaikan untuk perbedaan yang dapat diamati antar kelompok. Misalnya, Anda mungkin dapat mengunduh data pajak properti dari sejumlah situs web pemerintah. Kemudian, Anda dapat membandingkan kinerja siswa di sekolah dengan harga rumah yang serupa tetapi gaji guru berbeda, dan Anda mungkin masih menemukan bahwa siswa belajar lebih banyak di sekolah dengan gaji guru lebih tinggi. Tetapi masih ada banyak pembaur yang mungkin. Mungkin orang tua dari para siswa ini berbeda dalam tingkat pendidikan mereka. Atau mungkin sekolah-sekolah berbeda dalam kedekatan mereka dengan perpustakaan umum. Atau mungkin sekolah dengan gaji guru yang lebih tinggi juga memiliki gaji yang lebih tinggi untuk kepala sekolah, dan pembayaran pokok, bukan gaji guru, benar-benar apa yang meningkatkan pembelajaran siswa. Anda dapat mencoba mengukur dan menyesuaikan faktor-faktor ini juga, tetapi daftar pembaur yang mungkin pada dasarnya tidak ada habisnya. Dalam banyak situasi, Anda tidak bisa mengukur dan menyesuaikan untuk semua pembaur yang mungkin. Menanggapi tantangan ini, para peneliti telah mengembangkan sejumlah teknik untuk membuat perkiraan kausal dari data non-eksperimental — saya membahas beberapa di antaranya dalam bab 2 — tetapi, untuk jenis pertanyaan tertentu, teknik ini terbatas, dan eksperimen menawarkan yang menjanjikan. alternatif.

Eksperimen memungkinkan para peneliti untuk bergerak melampaui korelasi dalam data yang terjadi secara alami untuk menjawab pertanyaan sebab-akibat dengan andal. Di era analog, eksperimen sering sulit dan mahal secara logistik. Sekarang, di era digital, kendala logistik secara bertahap memudar. Tidak hanya lebih mudah melakukan eksperimen seperti yang dilakukan di masa lalu, sekarang mungkin untuk menjalankan jenis eksperimen baru.

Dalam apa yang saya tulis sejauh ini saya sudah agak longgar dalam bahasa saya, tetapi penting untuk membedakan antara dua hal: eksperimen dan eksperimen terkontrol acak. Dalam sebuah eksperimen , seorang peneliti mengintervensi dunia dan kemudian mengukur hasilnya. Saya pernah mendengar pendekatan ini digambarkan sebagai "perturb dan amati." Dalam sebuah eksperimen terkontrol acak, seorang peneliti mengintervensi beberapa orang dan bukan untuk orang lain, dan peneliti memutuskan orang mana yang menerima intervensi dengan pengacakan (misalnya, membalik koin). Percobaan terkontrol acak menciptakan perbandingan yang adil antara dua kelompok: satu yang telah menerima intervensi dan satu yang belum. Dengan kata lain, eksperimen terkontrol acak adalah solusi untuk masalah pembaur. Namun, eksperimen tentang perturbasi dan observasi hanya melibatkan satu kelompok yang telah menerima intervensi, dan oleh karena itu hasilnya dapat mengarahkan peneliti ke kesimpulan yang salah (seperti yang akan saya tunjukkan segera). Terlepas dari perbedaan penting antara eksperimen dan eksperimen terkontrol acak, peneliti sosial sering menggunakan istilah ini secara bergantian. Saya akan mengikuti konvensi ini, tetapi, pada titik-titik tertentu, saya akan melanggar konvensi untuk menekankan nilai eksperimen terkontrol acak atas eksperimen tanpa pengacakan dan kelompok kontrol.

Percobaan terkontrol acak telah terbukti menjadi cara yang ampuh untuk belajar tentang dunia sosial, dan dalam bab ini, saya akan menunjukkan lebih banyak tentang cara menggunakannya dalam penelitian Anda. Di bagian 4.2, saya akan mengilustrasikan logika dasar eksperimen dengan contoh eksperimen di Wikipedia. Kemudian, di bagian 4.3, saya akan menjelaskan perbedaan antara percobaan laboratorium dan percobaan lapangan dan perbedaan antara percobaan analog dan eksperimen digital. Lebih lanjut, saya akan berpendapat bahwa percobaan lapangan digital dapat menawarkan fitur terbaik dari percobaan laboratorium analog (kontrol ketat) dan percobaan lapangan analog (realisme), semua pada skala yang tidak mungkin sebelumnya. Selanjutnya, di bagian 4.4, saya akan menjelaskan tiga konsep — validitas, heterogenitas efek perawatan, dan mekanisme — yang sangat penting untuk merancang eksperimen yang kaya. Dengan latar belakang seperti itu, saya akan menggambarkan trade-off yang terlibat dalam dua strategi utama untuk melakukan eksperimen digital: melakukannya sendiri atau bermitra dengan yang kuat. Akhirnya, saya akan menyimpulkan dengan beberapa saran desain tentang bagaimana Anda dapat memanfaatkan kekuatan nyata dari percobaan digital (bagian 4.6.1) dan menjelaskan beberapa tanggung jawab yang datang dengan kekuatan itu (bagian 4.6.2).