2.4.3.1 percobaan Alam

Eksperimen alami memanfaatkan kejadian acak di dunia. peristiwa acak + selalu-on sistem data = eksperimen alami

Kunci untuk percobaan terkontrol secara acak yang memungkinkan perbandingan yang adil adalah pengacakan. Namun, kadang-kadang sesuatu terjadi di dunia yang pada dasarnya memberikan orang secara acak atau hampir secara acak untuk perawatan yang berbeda. Salah satu contoh yang paling jelas dari strategi menggunakan eksperimen alami berasal dari penelitian Angrist (1990) yang mengukur efek dari layanan militer pada pendapatan.

Selama perang di Vietnam, Amerika Serikat meningkatkan ukuran angkatan bersenjata melalui draft. Dalam rangka untuk memutuskan mana warga akan dipanggil ke dalam pelayanan, pemerintah AS mengadakan undian. Setiap tanggal lahir diwakili pada selembar kertas, dan kertas ini ditempatkan dalam stoples kaca besar. Seperti yang ditunjukkan pada Gambar 2.5, slip kertas ini diambil dari tabung satu per satu untuk menentukan agar pemuda akan dipanggil untuk melayani (wanita muda yang tidak tunduk pada draft). Berdasarkan hasil, pria kelahiran 14 September disebut pertama, laki-laki yang lahir pada 24 April dipanggil kedua, dan seterusnya. Pada akhirnya, dalam undian ini, laki-laki lahir pada 195 hari yang berbeda dipanggil untuk layanan sementara laki-laki lahir pada 171 hari tidak disebut.

Gambar 2.5: Anggota Kongres Alexander Pirnie (R-NY) menggambar kapsul pertama untuk Selective Service rancangan pada tanggal 1 Desember 1969. Joshua Angrist (1990) dikombinasikan draft lotre dengan data pendapatan dari Administrasi Keamanan Sosial untuk memperkirakan efek dari dinas militer pada pendapatan. Ini adalah contoh penelitian menggunakan eksperimen alami. Sumber: Wikimedia Commons

Meskipun mungkin tidak segera jelas, draft lotre memiliki kesamaan penting untuk percobaan terkontrol secara acak: baik dalam situasi peserta secara acak ditugaskan untuk menerima pengobatan. Dalam kasus draft lotre, jika kita tertarik untuk belajar tentang efek dari rancangan-kelayakan dan dinas militer pada pendapatan pasar tenaga kerja berikutnya, kita dapat membandingkan hasil untuk orang-orang yang tanggal lahir berada di bawah cutoff lotre (misalnya, 14 September, April 24, dll) dengan hasil bagi orang-orang yang ulang tahun yang setelah cutoff (misalnya, 20 Februari, 2 Desember, dll).

Mengingat bahwa pengobatan ini sedang disusun telah ditetapkan secara acak, kita kemudian bisa mengukur efek dari perawatan ini untuk setiap hasil yang telah diukur. Misalnya, Angrist (1990) menggabungkan informasi tentang yang dipilih secara acak dalam draft dengan data penghasilan yang dikumpulkan oleh Badan Keamanan Sosial untuk menyimpulkan bahwa pendapatan veteran putih sekitar 15% kurang dari pendapatan yang sebanding non-veteran . Peneliti lain telah menggunakan trik yang sama juga. Misalnya, Conley and Heerwig (2011) menggabungkan informasi tentang yang dipilih secara acak dalam draft dengan data rumah tangga yang dikumpulkan dari Survei sensus tahun 2000 dan 2005 Komunitas Amerika dan menemukan bahwa begitu lama setelah draft, ada sedikit efek jangka panjang dinas militer pada berbagai hasil seperti kepemilikan perumahan (memiliki vs menyewa) dan stabilitas perumahan (kemungkinan setelah pindah dalam lima tahun sebelumnya).

Sebagai contoh ini menggambarkan, kadang-kadang kekuatan sosial, politik, atau alami membuat eksperimen atau dekat-eksperimen yang dapat dimanfaatkan oleh para peneliti. Sering eksperimen alami adalah cara terbaik untuk memperkirakan hubungan sebab-akibat dalam pengaturan di mana tidak etis atau praktis untuk menjalankan percobaan terkontrol secara acak. Mereka adalah strategi penting untuk menemukan perbandingan yang adil dalam data non-eksperimental. Strategi penelitian ini dapat diringkas dengan persamaan ini:

\ [\ text {acak (atau seolah-olah acak) event} + \ text {selalu-on aliran data} = \ text {eksperimen alami} \ qquad (2,1) \]

Namun, analisis eksperimen alami bisa sangat rumit. Misalnya, dalam kasus draft Vietnam, tidak semua orang yang draft-syarat akhirnya melayani (ada berbagai pengecualian). Dan, pada saat yang sama, beberapa orang yang tidak menyusun-memenuhi syarat sukarela untuk layanan. Seolah-olah dalam uji klinis obat baru, beberapa orang di kelompok perlakuan tidak mengambil obat mereka dan beberapa orang di kelompok kontrol entah bagaimana menerima obat. Masalah ini, disebut dua sisi ketidakpatuhan, serta banyak masalah lain yang dijelaskan secara lebih rinci dalam beberapa bacaan yang direkomendasikan di akhir bab ini.

Strategi mengambil keuntungan dari alami tugas acak mendahului era digital, namun prevalensi data besar membuat strategi ini lebih mudah untuk digunakan. Setelah Anda menyadari beberapa pengobatan telah ditetapkan secara acak, sumber data yang besar dapat memberikan data hasil yang Anda butuhkan untuk membandingkan hasil bagi orang-orang dalam kondisi perlakuan dan kontrol. Sebagai contoh, dalam studi tentang efek dari rancangan dan militer layanan, Angrist memanfaatkan data penghasilan dari Administrasi Keamanan Sosial; tanpa data hasil ini, studi tidak akan mungkin terjadi. Dalam hal ini, Administrasi Keamanan Sosial adalah sumber data yang besar selalu-on. Karena semakin banyak otomatis mengumpulkan sumber data yang ada, kita akan memiliki lebih banyak hasil data yang dapat mengukur efek dari perubahan yang dibuat oleh variasi eksogen.

Untuk menggambarkan strategi ini di era digital, mari kita pertimbangkan Mas dan Moretti ini (2009) penelitian elegan tentang pengaruh teman sebaya terhadap produktivitas. Meskipun di permukaan mungkin terlihat berbeda dari studi Angrist tentang efek dari Draft Vietnam, dalam struktur mereka berdua mengikuti pola di eq. 2.1.

Mas dan Moretti diukur bagaimana rekan-rekan mempengaruhi produktivitas pekerja. Di satu sisi, memiliki rekan kerja keras mungkin menyebabkan pekerja untuk meningkatkan produktivitas mereka karena tekanan teman sebaya. Atau, di sisi lain, rekan kerja keras mungkin menyebabkan pekerja lainnya mengendur bahkan lebih. Cara paling jelas untuk mempelajari efek peer pada produktivitas akan menjadi percobaan terkontrol secara acak di mana para pekerja secara acak ditugaskan untuk pergeseran dengan pekerja dari tingkat produktivitas yang berbeda dan produktivitas kemudian dihasilkan diukur untuk semua orang. Peneliti, bagaimanapun, tidak mengontrol jadwal pekerja dalam setiap bisnis yang nyata, dan begitu Mas dan Moretti harus bergantung pada percobaan alami yang berlangsung di supermarket.

Sama seperti eq. 2.1, studi mereka memiliki dua bagian. Pertama, mereka menggunakan kayu dari sistem kasir supermarket untuk memiliki tepat, individu, dan selalu-on ukuran produktivitas: jumlah item dipindai per detik. Dan, kedua, karena cara penjadwalan yang dilakukan di supermarket ini, mereka memiliki dekat komposisi acak rekan-rekan. Dengan kata lain, meskipun penjadwalan kasir tidak ditentukan oleh undian, itu dasarnya acak. Dalam prakteknya, kepercayaan yang kita miliki dalam percobaan alami sering bergantung pada masuk akal ini "sebagai-olah" klaim acak. Mengambil keuntungan dari variasi acak ini, Mas dan Moretti menemukan bahwa bekerja dengan rekan-rekan produktivitas yang lebih tinggi meningkatkan produktivitas. Selanjutnya, Mas dan Moretti digunakan ukuran dan kekayaan dataset mereka untuk bergerak melampaui estimasi penyebab-dan-efek untuk mengeksplorasi dua isu yang lebih penting dan halus: heterogenitas efek ini (untuk yang jenis pekerja adalah efek yang lebih besar) dan mekanisme balik efek (mengapa memiliki rekan-rekan produktivitas yang tinggi menyebabkan produktivitas yang lebih tinggi). Kami akan kembali ke ini dua penting isu-heterogenitas efek pengobatan dan mekanisme-dalam Bab 5 ketika kita membahas eksperimen secara lebih rinci.

Generalisasi dari studi tentang efek dari Draft Vietnam pada pendapatan dan studi tentang pengaruh teman sebaya terhadap produktivitas, Tabel 2.3 merangkum penelitian lain yang memiliki struktur yang sama persis ini: menggunakan selalu-on sumber data untuk mengukur dampak dari beberapa peristiwa . Sebagai Tabel 2.3 menjelaskan, percobaan alam di mana-mana jika Anda hanya tahu bagaimana untuk mencari mereka.

Dalam prakteknya, para peneliti menggunakan dua strategi yang berbeda untuk menemukan eksperimen alami, yang keduanya dapat berbuah. Beberapa peneliti mulai dengan selalu-data sumber dan mencari peristiwa acak di dunia; lain mulai kejadian acak di dunia dan mencari sumber data yang menangkap dampaknya. Akhirnya, perhatikan bahwa kekuatan alam percobaan datang bukan dari kecanggihan analisis statistik, tapi dari perawatan dalam menemukan perbandingan yang adil diciptakan oleh kecelakaan beruntung sejarah.