4.3 Dua dimensi percobaan: lab-lapangan dan analog-digital
Percobaan laboratorium menawarkan kontrol, percobaan lapangan menawarkan realisme, dan percobaan lapangan digital menggabungkan kontrol dan realisme pada skala.
Percobaan datang dalam berbagai bentuk dan ukuran. Tapi, meskipun perbedaan-perbedaan ini, para peneliti telah menemukan itu bermanfaat untuk mengatur percobaan sepanjang kontinum antara percobaan laboratorium dan percobaan lapangan. Sekarang, bagaimanapun, peneliti juga harus mengatur percobaan sepanjang kontinum antara eksperimen analog dan eksperimen digital. desain ruang dua dimensi ini akan membantu Anda memahami kekuatan dan kelemahan dari pendekatan yang berbeda dan menyarankan bidang kesempatan terbesar (Gambar 4.1).
Gambar 4.1: Skema desain ruang untuk eksperimen. Di masa lalu, percobaan bervariasi sepanjang dimensi lab-bidang. Sekarang, mereka juga bervariasi pada dimensi analog-digital. Menurut pendapat saya, daerah kesempatan terbesar adalah percobaan lapangan digital.
Di masa lalu, cara utama yang peneliti diselenggarakan percobaan adalah sepanjang dimensi lab-bidang. Mayoritas eksperimen dalam ilmu-ilmu sosial percobaan laboratorium di mana mahasiswa melakukan tugas-tugas yang aneh di laboratorium untuk kursus kredit. jenis percobaan ini mendominasi penelitian dalam psikologi karena memungkinkan peneliti untuk membuat perawatan sangat spesifik dirancang untuk menguji teori yang sangat spesifik tentang perilaku sosial. Untuk masalah-masalah tertentu, bagaimanapun, sesuatu yang terasa agak aneh tentang menarik kesimpulan yang kuat tentang perilaku manusia dari orang-orang yang tidak biasa seperti melakukan tugas-tugas yang tidak biasa seperti dalam pengaturan seperti biasa. Keprihatinan ini telah menyebabkan gerakan menuju percobaan lapangan. percobaan lapangan menggabungkan desain yang kuat dari percobaan terkontrol secara acak dengan kelompok-kelompok yang lebih representatif dari peserta, melakukan tugas-tugas yang lebih umum, dalam pengaturan yang lebih alami.
Meskipun beberapa orang berpikir dari lab dan lapangan percobaan sebagai metode yang bersaing, yang terbaik adalah menganggap mereka sebagai metode pelengkap dengan kekuatan dan kelemahan yang berbeda. Misalnya, Correll, Benard, and Paik (2007) digunakan baik percobaan laboratorium dan percobaan lapangan dalam upaya untuk menemukan sumber-sumber dari "hukuman ibu." Di Amerika Serikat, ibu mendapatkan uang lebih sedikit daripada wanita tanpa anak, bahkan ketika membandingkan wanita dengan keterampilan yang sama bekerja di pekerjaan yang serupa. Ada banyak kemungkinan penjelasan untuk pola ini, dan salah satu adalah bahwa perusahaan bias terhadap ibu. (Menariknya, sebaliknya tampaknya benar untuk ayah: mereka cenderung untuk mendapatkan lebih dari laki-laki beranak sebanding). Dalam rangka untuk menilai kemungkinan bias terhadap ibu, Correll dan rekan berlari dua eksperimen: satu di laboratorium dan satu di lapangan.
Pertama, dalam percobaan laboratorium Correll dan rekan mengatakan kepada peserta, yang mahasiswa perguruan tinggi, bahwa sebuah perusahaan komunikasi start-up berbasis di California sedang melakukan pencarian kerja bagi orang untuk memimpin departemen pemasaran East Coast baru. Siswa diberitahu bahwa perusahaan ingin bantuan mereka dalam proses perekrutan dan mereka diminta untuk meninjau resume dari beberapa kandidat potensial dan untuk menilai para kandidat pada sejumlah dimensi seperti kecerdasan mereka, kehangatan, dan komitmen untuk bekerja. Selanjutnya, siswa ditanya apakah mereka akan merekomendasikan menyewa pemohon dan apa yang mereka akan merekomendasikan sebagai gaji awal. Tanpa diketahui para siswa, namun, resume secara khusus dibangun untuk menjadi serupa kecuali untuk satu hal: beberapa resume mengisyaratkan ibu (dengan daftar keterlibatan dalam asosiasi orang tua-guru) dan beberapa tidak. Correll menemukan bahwa siswa kurang mungkin untuk merekomendasikan menyewa ibu dan menawarkan mereka gaji awal yang lebih rendah. Selanjutnya, melalui analisis statistik dari kedua peringkat dan keputusan terkait perekrutan, Correll menemukan bahwa kekurangan ibu sebagian besar dijelaskan oleh fakta bahwa ibu yang dinilai lebih rendah dalam hal kompetensi dan komitmen. Dengan kata lain, Correll berpendapat bahwa sifat-sifat ini adalah mekanisme yang ibu dirugikan. Dengan demikian, eksperimen laboratorium ini memungkinkan Correll dan rekan mengukur efek kausal dan memberikan penjelasan yang mungkin untuk efek itu.
Tentu saja, salah satu mungkin skeptis tentang menarik kesimpulan tentang seluruh pasar tenaga kerja AS berdasarkan keputusan dari beberapa ratus mahasiswa yang mungkin tidak pernah memiliki pekerjaan penuh waktu, apalagi mempekerjakan orang. Oleh karena itu, Correll dan rekan juga melakukan percobaan lapangan pelengkap. Para peneliti menanggapi ratusan lowongan pekerjaan yang diiklankan dengan mengirimkan surat pengantar palsu dan resume. Serupa dengan bahan yang ditampilkan ke mahasiswa, beberapa resume isyarat ibu dan beberapa tidak. Correll dan rekan menemukan bahwa ibu-ibu kurang mungkin untuk dipanggil kembali untuk wawancara daripada wanita tanpa anak sama-sama berkualitas. Dengan kata lain, pengusaha yang nyata membuat keputusan konsekuensial dalam pengaturan alam berperilaku mirip dengan mahasiswa. Apakah mereka membuat keputusan yang sama untuk alasan yang sama? Sayangnya, kita tidak tahu. Para peneliti tidak dapat meminta majikan untuk menilai calon atau menjelaskan keputusan mereka.
Pasangan ini eksperimen mengungkapkan banyak tentang laboratorium dan lapangan percobaan pada umumnya. percobaan laboratorium menawarkan peneliti di dekat kontrol total dari lingkungan di mana peserta membuat keputusan. Jadi, misalnya, dalam percobaan laboratorium, Correll mampu memastikan bahwa semua resume yang dibaca pada pengaturan yang tenang; dalam percobaan lapangan, beberapa resume mungkin tidak bahkan telah dibaca. Selanjutnya, karena peserta dalam pengaturan laboratorium tahu bahwa mereka sedang diteliti, peneliti seringkali mampu mengumpulkan data tambahan yang dapat membantu mereka memahami mengapa peserta membuat keputusan mereka. Misalnya, Correll meminta peserta dalam percobaan laboratorium untuk menilai calon pada dimensi yang berbeda. Data jenis ini proses bisa membantu para peneliti memahami mekanisme di balik perbedaan cara peserta memperlakukan resume.
Di sisi lain, karakteristik yang sama persis yang saya hanya digambarkan sebagai keuntungan juga kadang-kadang dianggap kelemahan. Para peneliti yang lebih memilih percobaan lapangan berpendapat bahwa peserta dalam percobaan laboratorium bisa bertindak sangat berbeda ketika mereka sedang erat diamati. Misalnya, di laboratorium peserta eksperimen mungkin menduga tujuan penelitian dan diubah perilaku mereka agar tidak muncul bias. Selanjutnya, peneliti yang lebih memilih percobaan lapangan mungkin berpendapat bahwa perbedaan-perbedaan kecil di resume hanya bisa menonjol dalam lingkungan laboratorium steril sangat bersih, dan dengan demikian percobaan laboratorium akan over-memperkirakan pengaruh ibu pada keputusan perekrutan nyata. Akhirnya, banyak pendukung percobaan lapangan mengkritik percobaan laboratorium ketergantungan pada peserta ANEH: terutama mahasiswa dari Barat, berpendidikan, Industri Maju, Kaya, dan negara-negara Demokratis (Henrich, Heine, and Norenzayan 2010) . Percobaan oleh Correll dan rekan (2007) menggambarkan dua ekstrem pada kontinum lab-bidang. Di antara dua ekstrem ada berbagai desain hybrid termasuk pendekatan seperti membawa non-siswa ke laboratorium atau pergi ke lapangan tetapi masih memiliki peserta melakukan tugas yang tidak biasa.
Selain dimensi lab-bidang yang telah ada di masa lalu, era digital berarti bahwa para peneliti sekarang memiliki dimensi besar kedua sepanjang yang eksperimen dapat bervariasi: analog-digital. Sama seperti ada percobaan murni laboratorium, percobaan lapangan murni, dan berbagai hibrida di antara, ada eksperimen murni analog, percobaan digital murni, dan berbagai hibrida. Hal ini sulit untuk menawarkan definisi formal dari dimensi ini, tetapi definisi kerja yang berguna adalah bahwa percobaan sepenuhnya digital adalah eksperimen yang menggunakan infrastruktur digital untuk merekrut peserta, mengacak, memberikan pengobatan, dan mengukur hasil. Misalnya, Restivo dan van de Rijt ini (2012) studi barnstars dan Wikipedia adalah percobaan sepenuhnya digital karena menggunakan sistem digital untuk semua empat langkah ini. Demikian juga sepenuhnya eksperimen analog eksperimen yang tidak menggunakan infrastruktur digital untuk setiap empat langkah. Banyak percobaan klasik dalam psikologi eksperimen analog. Di antara dua ekstrem ada sebagian eksperimen digital yang menggunakan kombinasi dari sistem analog dan digital untuk empat langkah.
Kritis, peluang untuk menjalankan eksperimen digital tidak hanya online. Peneliti dapat menjalankan eksperimen sebagian digital dengan menggunakan perangkat digital di dunia fisik untuk memberikan pengobatan atau mengukur hasil. Misalnya, peneliti bisa menggunakan ponsel pintar untuk memberikan pengobatan atau sensor di lingkungan yang dibangun untuk mengukur hasil. Bahkan, seperti yang akan kita lihat nanti dalam bab ini, peneliti telah menggunakan listrik rumah meter untuk mengukur hasil dalam percobaan tentang norma-norma sosial dan konsumsi energi yang melibatkan 8,5 juta rumah tangga (Allcott 2015) . Sebagai perangkat digital menjadi semakin terintegrasi ke dalam kehidupan masyarakat dan sensor menjadi terintegrasi ke dalam lingkungan binaan, peluang tersebut untuk menjalankan eksperimen sebagian digital di dunia fisik akan meningkat secara dramatis. Dengan kata lain, eksperimen digital tidak hanya percobaan secara online.
sistem digital menciptakan kemungkinan-kemungkinan baru untuk eksperimen di mana-mana di sepanjang kontinum lab-bidang. Dalam percobaan laboratorium murni, misalnya, peneliti dapat menggunakan sistem digital untuk pengukuran yang lebih halus dari perilaku peserta; salah satu contoh dari jenis ini ditingkatkan pengukuran peralatan mata-pelacakan yang menyediakan langkah-langkah yang tepat dan berkesinambungan dari lokasi tatapan. Era digital juga menciptakan kemungkinan untuk menjalankan percobaan laboratorium seperti online. Misalnya, para peneliti telah dengan cepat mengadopsi Amazon Mechanical Turk (MTurk) untuk merekrut peserta untuk eksperimen secara online (Gambar 4.2). MTurk cocok "majikan" yang memiliki tugas-tugas yang harus diselesaikan dengan "pekerja" yang ingin menyelesaikan tugas-tugas untuk uang. Tidak seperti pasar tenaga kerja tradisional, namun, tugas-tugas yang terlibat biasanya hanya membutuhkan waktu beberapa menit untuk menyelesaikan dan seluruh interaksi antara majikan dan pekerja adalah maya. Karena MTurk meniru aspek percobaan-membayar lab tradisional orang untuk menyelesaikan tugas-tugas yang mereka tidak akan lakukan untuk bebas itu secara alami cocok untuk jenis tertentu eksperimen. Pada dasarnya, MTurk telah menciptakan infrastruktur untuk mengelola kolam peserta-merekrut dan membayar orang-dan peneliti telah mengambil keuntungan dari infrastruktur yang memasuki kolam renang selalu tersedia peserta.
Gambar 4.2: Makalah diterbitkan dengan menggunakan data dari Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk dan pasar tenaga kerja online lainnya menawarkan peneliti cara yang nyaman untuk merekrut peserta untuk percobaan.
eksperimen digital menciptakan lebih banyak kemungkinan percobaan lapangan seperti. eksperimen bidang digital dapat menawarkan kontrol dan proses data yang ketat untuk memahami mekanisme yang mungkin (seperti percobaan laboratorium) dan lebih beragam peserta membuat keputusan nyata dalam lingkungan alam (seperti percobaan lapangan). Selain kombinasi karakteristik baik dari eksperimen sebelumnya, percobaan lapangan digital juga menawarkan tiga peluang yang sulit di analog lab dan lapangan percobaan.
Pertama, sedangkan sebagian besar analog laboratorium dan lapangan percobaan memiliki ratusan peserta, percobaan lapangan digital dapat memiliki jutaan peserta. Perubahan dalam skala ini adalah karena beberapa eksperimen digital dapat menghasilkan data di nol biaya variabel. Artinya, sekali peneliti telah menciptakan infrastruktur eksperimental, meningkatkan jumlah peserta biasanya tidak meningkatkan biaya. Meningkatkan jumlah peserta dengan faktor 100 atau lebih bukan hanya perubahan kuantitatif, itu adalah perubahan kualitatif, karena memungkinkan peneliti untuk mempelajari hal-hal yang berbeda dari percobaan (misalnya, heterogenitas efek pengobatan) dan menjalankan desain eksperimen yang sama sekali berbeda ( misalnya, eksperimen kelompok besar). Hal ini sangat penting, saya akan kembali ke sana menjelang akhir bab ini ketika saya menawarkan saran tentang menciptakan eksperimen digital.
Kedua, sedangkan sebagian besar analog laboratorium dan lapangan percobaan memperlakukan peserta sebagai widget bisa dibedakan, percobaan lapangan digital sering menggunakan latar belakang informasi tentang peserta dalam desain dan analisis tahap penelitian. Informasi latar belakang ini, yang disebut informasi pra-pengobatan, sering tersedia dalam percobaan digital karena mereka mengambil tempat di lingkungan sepenuhnya diukur. Misalnya, seorang peneliti di Facebook memiliki informasi pre-treatment lebih dari seorang peneliti merancang percobaan laboratorium standar dengan mahasiswa. Informasi pra-perawatan ini memungkinkan peneliti untuk bergerak di luar mengobati peserta widget sebagai dibedakan. Lebih khusus, informasi pra-treatment memungkinkan desain-seperti yang lebih efisien eksperimental sebagai blocking (Higgins, Sävje, and Sekhon 2016) dan rekrutmen peserta yang ditargetkan (Eckles, Kizilcec, and Bakshy 2016) -dan analisis-seperti lebih mendalam sebagai estimasi heterogenitas efek pengobatan (Athey and Imbens 2016a) dan penyesuaian kovariat untuk meningkatkan presisi (Bloniarz et al. 2016) .
Ketiga, sedangkan banyak lab analog dan bidang eksperimen memberikan pengobatan dan hasil ukuran dalam jumlah yang relatif dikompresi waktu, beberapa eksperimen bidang digital melibatkan perawatan yang dapat disampaikan dari waktu ke waktu dan efek juga dapat diukur dari waktu ke waktu. Misalnya, Restivo dan van de Rijt ini percobaan memiliki hasil diukur setiap hari selama 90 hari, dan salah satu eksperimen saya akan memberitahu Anda tentang nanti dalam bab (Ferraro, Miranda, and Price 2011) melacak hasil lebih dari 3 tahun di dasarnya tidak ada biaya. tiga peluang-ukuran, informasi pra-perawatan, dan pengobatan longitudinal dan hasil ini data yang paling umum ketika percobaan dijalankan di atas selalu-pada sistem pengukuran (lihat Bab 2 untuk lebih lanjut tentang selalu-on sistem pengukuran).
Sementara percobaan lapangan digital menawarkan banyak kemungkinan, mereka juga berbagi beberapa kelemahan dengan kedua lab analog dan percobaan lapangan. Misalnya, eksperimen tidak dapat digunakan untuk mempelajari masa lalu, dan mereka hanya dapat memperkirakan efek dari pengobatan yang dapat dimanipulasi. Juga, meskipun percobaan tidak diragukan lagi berguna untuk memandu kebijakan, bimbingan yang tepat mereka dapat menawarkan agak terbatas karena komplikasi seperti ketergantungan lingkungan, masalah kepatuhan, dan efek keseimbangan (Banerjee and Duflo 2009; Deaton 2010) . Akhirnya, percobaan lapangan digital memperbesar kekhawatiran etis yang diciptakan oleh percobaan lapangan. Para pendukung percobaan lapangan terompet kemampuan mereka untuk diam-diam dan secara acak intervensi ke dalam keputusan konsekuensial dibuat oleh jutaan orang. Fitur-fitur ini menawarkan keuntungan ilmiah tertentu, tetapi mereka juga dapat melakukan percobaan lapangan etis kompleks (berpikir tentang hal ini sebagai peneliti memperlakukan orang-orang seperti "tikus laboratorium" dalam skala besar). Selanjutnya, selain kemungkinan bahaya untuk peserta, percobaan lapangan digital, karena skala mereka, dapat juga meningkatkan kekhawatiran tentang gangguan kerja sistem sosial (misalnya, kekhawatiran tentang mengganggu sistem reward Wikipedia jika Restivo dan van der Rijt memberi terlalu banyak barnstars) .
