4.3 Dua dimensi percobaan: lab-lapangan dan analog-digital
Percobaan laboratorium menawarkan kontrol, percobaan lapangan menawarkan realisme, dan percobaan lapangan digital menggabungkan kontrol dan realisme pada skala.
Eksperimen datang dalam berbagai bentuk dan ukuran. Di masa lalu, para peneliti telah menemukan itu berguna untuk mengatur eksperimen sepanjang kontinum antara percobaan laboratorium dan percobaan lapangan . Sekarang, bagaimanapun, peneliti juga harus mengatur eksperimen sepanjang kontinum kedua antara percobaan analog dan eksperimen digital . Ruang desain dua dimensi ini akan membantu Anda memahami kekuatan dan kelemahan pendekatan yang berbeda dan menyoroti area peluang terbesar (gambar 4.1).
Gambar 4.1: Skema ruang desain untuk eksperimen. Di masa lalu, eksperimen bervariasi sepanjang dimensi lapangan lab. Sekarang, mereka juga bervariasi pada dimensi analog-digital. Ruang desain dua dimensi ini diilustrasikan oleh empat percobaan yang saya jelaskan dalam bab ini. Menurut saya, area peluang terbesar adalah percobaan lapangan digital.
Satu dimensi di mana eksperimen dapat diatur adalah dimensi lapangan laboratorium. Banyak percobaan dalam ilmu sosial adalah eksperimen laboratorium di mana mahasiswa sarjana melakukan tugas-tugas aneh di laboratorium untuk kredit saja. Jenis eksperimen ini mendominasi penelitian dalam psikologi karena memungkinkan para peneliti untuk menciptakan pengaturan yang sangat terkontrol untuk secara tepat mengisolasi dan menguji teori tertentu tentang perilaku sosial. Untuk masalah tertentu, bagaimanapun, sesuatu terasa agak aneh tentang menarik kesimpulan yang kuat tentang perilaku manusia dari orang-orang yang tidak biasa seperti melakukan tugas-tugas yang tidak biasa dalam pengaturan yang tidak biasa seperti itu. Kekhawatiran ini telah menyebabkan gerakan menuju percobaan lapangan . Percobaan lapangan menggabungkan desain yang kuat dari eksperimen kontrol acak dengan lebih banyak kelompok perwakilan peserta yang melakukan tugas yang lebih umum dalam pengaturan yang lebih alami.
Meskipun beberapa orang menganggap percobaan lab dan lapangan sebagai metode bersaing, sebaiknya mereka menganggapnya sebagai pelengkap, dengan kekuatan dan kelemahan yang berbeda. Misalnya, Correll, Benard, and Paik (2007) menggunakan eksperimen laboratorium dan eksperimen lapangan dalam upaya menemukan sumber “penalti ibu”. Di Amerika Serikat, ibu mendapatkan lebih sedikit uang daripada wanita tanpa anak, bahkan ketika membandingkan perempuan dengan keterampilan serupa yang bekerja dalam pekerjaan serupa. Ada banyak kemungkinan penjelasan untuk pola ini, salah satunya adalah bahwa para majikan bias terhadap para ibu. (Yang menarik, kebalikannya tampaknya benar untuk para ayah: mereka cenderung menghasilkan lebih banyak daripada pria tanpa anak yang sebanding.) Untuk menilai kemungkinan bias terhadap ibu, Correll dan rekannya menjalankan dua eksperimen: satu di laboratorium dan satu di lapangan.
Pertama, dalam eksperimen laboratorium, mereka memberi tahu para peserta, yang merupakan mahasiswa sarjana, bahwa sebuah perusahaan sedang melakukan pencarian pekerjaan bagi seseorang untuk memimpin departemen pemasaran East Coast yang baru. Para siswa diberitahu bahwa perusahaan menginginkan bantuan mereka dalam proses perekrutan, dan mereka diminta untuk meninjau resume beberapa kandidat potensial dan menilai kandidat pada sejumlah dimensi, seperti kecerdasan, kehangatan, dan komitmen mereka untuk bekerja. Selanjutnya, para siswa ditanya apakah mereka akan merekomendasikan mempekerjakan pemohon dan apa yang akan mereka rekomendasikan sebagai gaji awal. Tanpa sepengetahuan siswa, bagaimanapun, resume secara khusus dibangun untuk menjadi serupa kecuali untuk satu hal: beberapa dari mereka mengisyaratkan keibuan (dengan mendaftar keterlibatan dalam asosiasi orangtua-guru) dan beberapa tidak. Correll dan koleganya menemukan bahwa para siswa cenderung tidak merekomendasikan untuk merekrut para ibu dan bahwa mereka menawarkan gaji awal yang lebih rendah. Selanjutnya, melalui analisis statistik dari kedua peringkat dan keputusan yang terkait dengan perekrutan, Correll dan rekan menemukan bahwa kerugian ibu sebagian besar dijelaskan oleh fakta bahwa mereka dinilai lebih rendah dalam hal kompetensi dan komitmen. Dengan demikian, eksperimen laboratorium ini memungkinkan Correll dan rekan untuk mengukur efek kausal dan memberikan penjelasan yang mungkin untuk efek tersebut.
Tentu saja, orang mungkin skeptis tentang menarik kesimpulan tentang seluruh pasar tenaga kerja AS berdasarkan keputusan beberapa ratus mahasiswa yang mungkin tidak pernah memiliki pekerjaan penuh waktu, apalagi menyewa seseorang. Oleh karena itu, Correll dan rekannya juga melakukan eksperimen lapangan komplementer. Mereka menanggapi ratusan lowongan pekerjaan yang diiklankan dengan surat pengantar palsu dan resume. Mirip dengan materi yang ditunjukkan kepada mahasiswa, beberapa resume mengisyaratkan keibuan dan beberapa tidak. Correll dan rekan menemukan bahwa para ibu kurang mungkin dipanggil kembali untuk wawancara daripada wanita tanpa anak yang sama-sama berkualifikasi. Dengan kata lain, pemberi kerja nyata yang membuat keputusan konsekuensial dalam lingkungan yang alami berperilaku seperti mahasiswa. Apakah mereka membuat keputusan serupa untuk alasan yang sama? Sayangnya, kami tidak tahu. Para peneliti tidak dapat meminta pengusaha untuk menilai kandidat atau menjelaskan keputusan mereka.
Sepasang eksperimen ini mengungkapkan banyak tentang percobaan lab dan lapangan secara umum. Eksperimen laboratorium menawarkan kepada para peneliti kontrol penuh terhadap lingkungan di mana para partisipan membuat keputusan. Jadi, misalnya, dalam eksperimen laboratorium, Correll dan rekannya dapat memastikan bahwa semua resume dibaca dalam suasana yang tenang; dalam percobaan lapangan, beberapa resume mungkin belum dibaca. Lebih lanjut, karena peserta dalam pengaturan laboratorium tahu bahwa mereka sedang dipelajari, peneliti sering mampu mengumpulkan data tambahan yang dapat membantu menjelaskan mengapa peserta membuat keputusan mereka. Misalnya, Correll dan rekannya meminta peserta dalam eksperimen laboratorium untuk menilai kandidat pada dimensi yang berbeda. Jenis data proses ini dapat membantu para peneliti memahami mekanisme di balik perbedaan dalam bagaimana peserta memperlakukan resume.
Di sisi lain, karakteristik yang sama persis yang baru saja saya gambarkan sebagai keuntungan juga terkadang dianggap sebagai kerugian. Peneliti yang lebih suka percobaan lapangan berpendapat bahwa peserta dalam percobaan laboratorium bisa bertindak sangat berbeda karena mereka tahu bahwa mereka sedang dipelajari. Misalnya, dalam eksperimen laboratorium, peserta mungkin telah menebak tujuan penelitian dan mengubah perilaku mereka agar tidak tampak bias. Selanjutnya, para peneliti yang lebih memilih percobaan lapangan mungkin berpendapat bahwa perbedaan kecil dalam resume hanya dapat menonjol di lingkungan laboratorium yang bersih dan steril, dan dengan demikian eksperimen laboratorium akan melebih-lebihkan pengaruh keibuan pada keputusan perekrutan yang nyata. Akhirnya, banyak pendukung eksperimen lapangan mengkritik ketergantungan eksperimen laboratorium pada peserta WEIRD: terutama siswa dari negara-negara Barat, Terdidik, Industri, Kaya, dan Demokrat (Henrich, Heine, and Norenzayan 2010a) . Percobaan oleh Correll dan rekan (2007) menggambarkan dua ekstrem pada kontinum bidang lab. Di antara dua ekstrem ini ada juga berbagai desain hibrida, termasuk pendekatan seperti membawa non-siswa ke laboratorium atau pergi ke lapangan tetapi masih memiliki peserta melakukan tugas yang tidak biasa.
Selain dimensi lapangan laboratorium yang telah ada di masa lalu, era digital berarti bahwa peneliti sekarang memiliki dimensi utama kedua di mana eksperimen dapat bervariasi: analog-digital. Sama seperti ada eksperimen laboratorium murni, eksperimen lapangan murni, dan berbagai hibrida di antaranya, ada eksperimen analog murni, eksperimen digital murni, dan berbagai hibrida. Sulit untuk menawarkan definisi formal dimensi ini, tetapi definisi kerja yang bermanfaat adalah bahwa eksperimen digital sepenuhnya adalah eksperimen yang memanfaatkan infrastruktur digital untuk merekrut peserta, mengacak, memberikan perawatan, dan mengukur hasil. Sebagai contoh, penelitian Restola dan van de Rijt (2012) tentang barnstars dan Wikipedia adalah eksperimen digital sepenuhnya karena menggunakan sistem digital untuk keempat langkah ini. Demikian juga, percobaan analog sepenuhnya tidak menggunakan infrastruktur digital untuk salah satu dari empat langkah ini. Banyak eksperimen klasik dalam psikologi adalah eksperimen analog sepenuhnya. Di antara dua ekstrem ini, ada sebagian percobaan digital yang menggunakan kombinasi sistem analog dan digital.
Ketika beberapa orang berpikir tentang eksperimen digital, mereka langsung memikirkan eksperimen online. Ini sangat disayangkan karena peluang untuk menjalankan eksperimen digital tidak hanya online. Peneliti dapat menjalankan sebagian percobaan digital dengan menggunakan perangkat digital di dunia fisik untuk memberikan perawatan atau mengukur hasil. Misalnya, para peneliti dapat menggunakan smartphone untuk memberikan perawatan atau sensor di lingkungan binaan untuk mengukur hasil. Bahkan, seperti yang akan kita lihat nanti di bab ini, para peneliti telah menggunakan meteran listrik rumah untuk mengukur hasil dalam eksperimen tentang konsumsi energi yang melibatkan 8,5 juta rumah tangga (Allcott 2015) . Ketika perangkat digital semakin terintegrasi ke dalam kehidupan manusia dan sensor menjadi terintegrasi ke dalam lingkungan binaan, peluang ini untuk menjalankan eksperimen digital secara parsial di dunia fisik akan meningkat secara dramatis. Dengan kata lain, eksperimen digital bukan hanya eksperimen online.
Sistem digital menciptakan kemungkinan baru untuk eksperimen di mana saja di sepanjang kontinum bidang lab. Dalam eksperimen laboratorium murni, misalnya, peneliti dapat menggunakan sistem digital untuk pengukuran perilaku peserta yang lebih halus; salah satu contoh dari jenis pengukuran yang ditingkatkan ini adalah peralatan pelacak mata yang menyediakan pengukuran lokasi pandangan yang tepat dan berkesinambungan. Era digital juga menciptakan kemungkinan menjalankan percobaan online seperti lab. Misalnya, para peneliti dengan cepat mengadopsi Amazon Mechanical Turk (MTurk) untuk merekrut peserta untuk eksperimen online (gambar 4.2). MTurk mencocokkan "majikan" yang memiliki tugas yang harus diselesaikan dengan "pekerja" yang ingin menyelesaikan tugas-tugas tersebut untuk mendapatkan uang. Namun, tidak seperti pasar tenaga kerja tradisional, tugas-tugas yang terlibat biasanya hanya membutuhkan beberapa menit untuk diselesaikan, dan seluruh interaksi antara majikan dan pekerja adalah online. Karena MTurk meniru aspek percobaan laboratorium tradisional - membayar orang untuk menyelesaikan tugas yang tidak akan mereka lakukan secara gratis - itu secara alami cocok untuk jenis eksperimen tertentu. Pada dasarnya, MTurk telah menciptakan infrastruktur untuk mengelola sekelompok peserta — merekrut dan membayar orang-orang — dan peneliti telah memanfaatkan infrastruktur tersebut untuk memanfaatkan sekelompok peserta yang selalu tersedia.
Gambar 4.2: Makalah yang diterbitkan menggunakan data dari Amazon Mechanical Turk (MTurk). MTurk dan pasar tenaga kerja online lainnya menawarkan kepada peneliti cara yang nyaman untuk merekrut peserta untuk eksperimen. Diadaptasi dari Bohannon (2016) .
Sistem digital menciptakan lebih banyak kemungkinan untuk eksperimen seperti lapangan. Secara khusus, mereka memungkinkan peneliti untuk menggabungkan kontrol ketat dan data proses yang terkait dengan eksperimen laboratorium dengan peserta yang lebih beragam dan pengaturan lebih alami yang terkait dengan eksperimen laboratorium. Selain itu, percobaan lapangan digital juga menawarkan tiga peluang yang cenderung sulit dalam percobaan analog.
Pertama, sedangkan sebagian besar percobaan laboratorium dan lapangan analog memiliki ratusan peserta, percobaan lapangan digital dapat memiliki jutaan peserta. Perubahan skala ini karena beberapa eksperimen digital dapat menghasilkan data dengan biaya variabel nol. Artinya, begitu peneliti telah menciptakan infrastruktur eksperimental, meningkatkan jumlah peserta biasanya tidak meningkatkan biaya. Meningkatkan jumlah peserta dengan faktor 100 atau lebih bukan hanya perubahan kuantitatif ; ini adalah perubahan kualitatif , karena memungkinkan peneliti untuk belajar hal-hal yang berbeda dari percobaan (misalnya, heterogenitas efek pengobatan) dan menjalankan desain eksperimental yang sama sekali berbeda (misalnya, eksperimen kelompok besar). Poin ini sangat penting, saya akan kembali ke bagian akhir bab ketika saya menawarkan saran tentang membuat eksperimen digital.
Kedua, sedangkan kebanyakan laboratorium analog dan eksperimen lapangan memperlakukan peserta sebagai widget yang tidak dapat dibedakan, percobaan lapangan digital sering menggunakan informasi latar belakang tentang peserta dalam tahap desain dan analisis penelitian. Informasi latar belakang ini, yang disebut sebagai informasi pra-perawatan , sering tersedia dalam eksperimen digital karena mereka berjalan di atas sistem pengukuran yang selalu aktif (lihat bab 2). Sebagai contoh, seorang peneliti di Facebook memiliki lebih banyak informasi pra-perawatan tentang orang-orang dalam eksperimen bidang digitalnya daripada yang dimiliki seorang peneliti universitas tentang orang-orang dalam percobaan lapangan analognya. Pra-perawatan ini memungkinkan desain eksperimental yang lebih efisien — seperti pemblokiran (Higgins, Sävje, and Sekhon 2016) dan perekrutan terarah peserta (Eckles, Kizilcec, and Bakshy 2016) —dan analisis yang lebih mendalam — seperti estimasi heterogenitas efek perawatan (Athey and Imbens 2016a) dan penyesuaian kovariat untuk peningkatan presisi (Bloniarz et al. 2016) .
Ketiga, sementara banyak laboratorium analog dan percobaan lapangan memberikan perawatan dan mengukur hasil dalam jumlah waktu yang relatif terkompresi, beberapa percobaan lapangan digital terjadi dalam rentang waktu yang jauh lebih lama. Misalnya, eksperimen Restivo dan van de Rijt memiliki hasil yang diukur setiap hari selama 90 hari, dan salah satu eksperimen yang akan saya ceritakan nanti dalam bab ini (Ferraro, Miranda, and Price 2011) melacak hasil selama tiga tahun pada dasarnya tidak ada biaya. Tiga peluang ini — ukuran, informasi pra-perawatan, dan pengolahan dan data hasil longitudinal — muncul paling sering ketika percobaan dijalankan di atas sistem pengukuran yang selalu aktif (lihat bab 2 untuk lebih lanjut tentang sistem pengukuran yang selalu aktif).
Meskipun percobaan lapangan digital menawarkan banyak kemungkinan, mereka juga berbagi beberapa kelemahan dengan percobaan laboratorium analog dan analog. Misalnya, eksperimen tidak dapat digunakan untuk mempelajari masa lalu, dan mereka hanya dapat memperkirakan efek perawatan yang dapat dimanipulasi. Juga, meskipun percobaan tidak diragukan lagi berguna untuk memandu kebijakan, panduan yang tepat yang dapat mereka tawarkan agak terbatas karena komplikasi seperti ketergantungan lingkungan, masalah kepatuhan, dan efek keseimbangan (Banerjee and Duflo 2009; Deaton 2010) . Percobaan lapangan digital juga memperbesar kekhawatiran etis yang diciptakan oleh eksperimen lapangan — sebuah topik yang akan saya bahas nanti di bab ini dan di bab 6.
