4.1 Pendahuluan

Dalam pendekatan tertutup sejauh ini dalam perilaku ini buku-mengamati (Bab 2) dan mengajukan pertanyaan (Bab 3) -researchers mengumpulkan data tentang apa yang terjadi secara alami di dunia. Pendekatan dibahas dalam bab-menjalankan ini percobaan-secara fundamental berbeda. Ketika peneliti menjalankan percobaan, mereka secara sistematis melakukan intervensi di dunia untuk menciptakan data yang cocok untuk menjawab pertanyaan tentang hubungan sebab-akibat.

Penyebab-dan-efek pertanyaan yang sangat umum dalam penelitian sosial, dan contoh-contoh termasuk pertanyaan seperti Apakah peningkatan gaji guru meningkatkan belajar siswa? Apa efek dari upah minimum di tingkat lapangan kerja? Bagaimana ras pekerjaan pemohon efek kesempatannya untuk mendapatkan pekerjaan? Selain pertanyaan-pertanyaan eksplisit kausal, kadang-kadang menyebabkan-dan-efek pertanyaan yang tersirat dalam pertanyaan yang lebih umum tentang maksimalisasi beberapa kinerja metrik. Misalnya, pertanyaan "Apa tombol warna akan memaksimalkan sumbangan pada situs situs LSM?" Adalah benar-benar banyak pertanyaan tentang efek dari warna tombol yang berbeda pada sumbangan.

Salah satu cara untuk menjawab pertanyaan sebab-akibat adalah untuk mencari pola dalam data yang ada. Misalnya, dengan menggunakan data dari ribuan sekolah, Anda mungkin menghitung bahwa siswa belajar lebih banyak di sekolah-sekolah yang menawarkan gaji guru tinggi. Tapi, apakah korelasi ini menunjukkan bahwa gaji yang lebih tinggi menyebabkan siswa untuk mempelajari lebih lanjut? Tentu saja tidak. Sekolah di mana guru mendapatkan lebih mungkin berbeda dalam banyak cara. Misalnya, siswa di sekolah dengan gaji guru yang tinggi mungkin berasal dari keluarga kaya. Dengan demikian, apa yang tampak seperti efek dari guru hanya bisa datang dari membandingkan berbagai jenis siswa. Perbedaan yang tidak terukur antara mahasiswa disebut pembaur, dan secara umum, kemungkinan pembaur membuat kekacauan pada kemampuan peneliti untuk menjawab pertanyaan sebab-akibat dengan mencari pola dalam data yang ada.

Salah satu solusi untuk masalah pembaur adalah mencoba untuk membuat perbandingan yang adil dengan menyesuaikan perbedaan diamati antara kelompok. Misalnya, Anda mungkin dapat men-download data pajak properti dari sejumlah situs web pemerintah. Kemudian, Anda bisa membandingkan kinerja siswa di sekolah di mana harga rumah yang serupa tetapi gaji guru berbeda, dan Anda masih mungkin menemukan bahwa siswa belajar lebih banyak di sekolah dengan gaji guru yang lebih tinggi. Tapi, masih ada banyak kemungkinan pembaur. Mungkin orang tua siswa ini berbeda di tingkat pendidikan atau mungkin sekolah berbeda dalam kedekatan mereka dengan perpustakaan umum atau mungkin sekolah dengan membayar guru yang lebih tinggi juga memiliki gaji yang lebih tinggi untuk kepala sekolah dan membayar pokok, bukan gaji guru, adalah benar-benar apa yang meningkat belajar siswa. Anda bisa mencoba untuk mengukur faktor-faktor lain juga, tapi daftar kemungkinan pembaur pada dasarnya tak ada habisnya. Dalam banyak situasi, Anda hanya tidak dapat mengukur dan menyesuaikan untuk semua pembaur yang mungkin. Pendekatan ini hanya dapat membawa Anda sejauh ini.

Sebuah solusi yang lebih baik untuk masalah pembaur berjalan eksperimen. Percobaan memungkinkan para peneliti untuk bergerak melampaui korelasi di alami data untuk andal menjawab pertanyaan sebab-akibat. Di era analog, percobaan sering logistik sulit dan mahal. Sekarang, di era digital, kendala logistik secara bertahap memudar. Tidak hanya itu lebih mudah untuk melakukan percobaan seperti yang peneliti telah dilakukan di masa lalu, sekarang mungkin untuk menjalankan jenis baru eksperimen.

Dalam apa yang telah ditulis sejauh ini saya sudah agak longgar dalam bahasa saya, tetapi penting untuk membedakan antara dua hal: eksperimen dan acak percobaan terkontrol. Dalam sebuah eksperimen peneliti campur di dunia dan kemudian mengukur hasil. Aku pernah mendengar pendekatan ini digambarkan sebagai "mengganggu dan mengamati." Strategi ini sangat efektif dalam ilmu alam, tetapi dalam ilmu medis dan sosial, ada pendekatan lain yang bekerja lebih baik. Dalam sebuah percobaan terkontrol secara acak peneliti bertindak bagi sebagian orang dan bukan untuk orang lain, dan, kritis, peneliti memutuskan mana orang menerima intervensi oleh pengacakan (misalnya, membalik koin). Prosedur ini memastikan bahwa acak percobaan terkontrol membuat perbandingan yang adil antara dua kelompok: satu yang telah menerima intervensi dan satu yang belum. Dengan kata lain, secara acak percobaan terkontrol adalah solusi untuk masalah pembaur. Meskipun perbedaan penting antara percobaan dan acak percobaan terkontrol, peneliti sosial sering menggunakan istilah tersebut secara bergantian. Saya akan mengikuti konvensi ini, tapi, pada titik-titik tertentu, aku akan mematahkan konvensi untuk menekankan nilai percobaan terkontrol secara acak lebih percobaan tanpa pengacakan dan kelompok kontrol.

Acak percobaan terkontrol telah terbukti menjadi cara yang ampuh untuk belajar tentang dunia sosial, dan dalam bab ini, saya akan mengajarkan Anda tentang bagaimana menggunakannya dalam penelitian Anda. Dalam Bagian 4.2, saya akan menggambarkan logika dasar dari eksperimen dengan contoh percobaan di Wikipedia. Kemudian, di Bagian 4.3, saya akan menjelaskan perbedaan antara percobaan laboratorium dan percobaan lapangan dan perbedaan antara eksperimen analog dan eksperimen digital. Selanjutnya, saya akan berpendapat bahwa percobaan bidang digital dapat menawarkan fitur terbaik dari percobaan laboratorium analog (kontrol ketat) dan percobaan lapangan analog (realisme), semua pada skala yang tidak mungkin sebelumnya. Selanjutnya, dalam Bagian 4.4, saya akan menjelaskan tiga konsep-validitas, heterogenitas efek pengobatan, dan mekanisme-yang penting untuk merancang percobaan kaya. Dengan latar belakang itu, saya akan menjelaskan trade-off yang terlibat dalam dua strategi utama untuk melakukan eksperimen digital: melakukannya sendiri (Bagian 4.5.1) atau bermitra dengan kuat (Bagian 4.5.2). Akhirnya, saya akan menyimpulkan dengan beberapa saran desain tentang bagaimana Anda dapat mengambil keuntungan dari kekuatan sebenarnya dari eksperimen digital (Bagian 4.6.1) dan menjelaskan beberapa tanggung jawab yang datang dengan kekuatan yang (Bagian 4.6.2). Bab ini akan disajikan dengan minimal notasi matematika dan bahasa formal; pembaca tertarik lebih formal, pendekatan matematis untuk eksperimen juga harus membaca Lampiran Teknis pada akhir bab ini.