4.5.2 Buat eksperimen Anda sendiri

Membangun percobaan Anda sendiri mungkin mahal, tapi itu akan memungkinkan Anda untuk membuat eksperimen yang Anda inginkan.

Selain melakukan eksperimen overlay di atas lingkungan yang ada, Anda juga dapat membangun eksperimen Anda sendiri. Keuntungan utama dari pendekatan ini adalah kontrol; jika Anda sedang membangun eksperimen, Anda dapat membuat lingkungan dan perawatan yang Anda inginkan. Lingkungan eksperimental yang dipesan lebih dahulu ini dapat menciptakan peluang untuk menguji teori yang tidak mungkin diuji di lingkungan yang terjadi secara alami. Kelemahan utama membangun eksperimen Anda sendiri adalah harganya mahal dan lingkungan yang dapat Anda buat mungkin tidak memiliki realisme dari sistem yang terjadi secara alami. Para peneliti yang membangun eksperimen mereka sendiri juga harus memiliki strategi untuk merekrut peserta. Ketika bekerja dalam sistem yang ada, para peneliti pada dasarnya membawa eksperimen kepada peserta mereka. Namun, ketika para peneliti membangun eksperimen mereka sendiri, mereka perlu membawa peserta ke sana. Untungnya, layanan seperti Amazon Mechanical Turk (MTurk) dapat memberi para peneliti cara yang nyaman untuk membawa peserta ke eksperimen mereka.

Salah satu contoh yang mengilustrasikan keutamaan lingkungan pesanan untuk menguji teori abstrak adalah percobaan laboratorium digital oleh Gregory Huber, Seth Hill, dan Gabriel Lenz (2012) . Eksperimen ini mengeksplorasi batasan praktis yang mungkin untuk berfungsinya pemerintahan yang demokratis. Studi non-eksperimental sebelumnya tentang pemilihan yang sebenarnya menunjukkan bahwa pemilih tidak dapat menilai kinerja politikus incumbent secara akurat. Secara khusus, pemilih tampaknya menderita tiga bias: (1) mereka berfokus pada kinerja terbaru daripada kumulatif; (2) mereka dapat dimanipulasi oleh retorika, framing, dan pemasaran; dan (3) mereka dapat dipengaruhi oleh peristiwa yang tidak terkait dengan kinerja petahana, seperti keberhasilan tim olahraga lokal dan cuaca. Namun, dalam studi-studi sebelumnya, sulit untuk mengisolasi faktor-faktor ini dari semua hal lain yang terjadi dalam pemilihan yang nyata dan berantakan. Oleh karena itu, Huber dan rekan menciptakan lingkungan pemungutan suara yang sangat sederhana untuk mengisolasi, dan kemudian secara eksperimen mempelajari, masing-masing dari tiga bias yang mungkin.

Saat saya mendeskripsikan pengaturan eksperimental di bawah ini, ini akan terdengar sangat artifisial, tetapi ingat bahwa realisme bukanlah tujuan dalam eksperimen-eksperimen bergaya lab. Sebaliknya, tujuannya adalah untuk secara jelas mengisolasi proses yang Anda coba pelajari, dan isolasi ketat ini kadang-kadang tidak mungkin dalam studi dengan lebih banyak realisme (Falk and Heckman 2009) . Lebih lanjut, dalam kasus khusus ini, para peneliti berpendapat bahwa jika pemilih tidak dapat secara efektif mengevaluasi kinerja dalam pengaturan yang sangat disederhanakan ini, maka mereka tidak akan dapat melakukannya dalam pengaturan yang lebih realistis dan lebih kompleks.

Huber dan rekannya menggunakan MTurk untuk merekrut peserta. Setelah seorang peserta memberikan informed consent dan lulus tes singkat, dia diberitahu bahwa dia berpartisipasi dalam permainan 32 putaran untuk mendapatkan token yang dapat dikonversi menjadi uang sungguhan. Pada awal permainan, setiap peserta diberi tahu bahwa ia telah diberi “alokator” yang akan memberinya token gratis setiap putaran dan bahwa beberapa pengalokasi lebih murah hati daripada yang lain. Lebih lanjut, setiap peserta juga diberitahu bahwa dia akan memiliki kesempatan untuk mempertahankan alokatornya atau ditugaskan yang baru setelah 16 putaran permainan. Mengingat apa yang Anda ketahui tentang sasaran penelitian Huber dan rekan, Anda dapat melihat bahwa pengalokasi mewakili pemerintah dan pilihan ini mewakili pemilihan, tetapi peserta tidak menyadari tujuan umum dari penelitian. Secara total, Huber dan rekannya merekrut sekitar 4.000 peserta yang dibayar sekitar $ 1,25 untuk tugas yang memakan waktu sekitar delapan menit.

Ingat bahwa salah satu temuan dari penelitian sebelumnya adalah bahwa pemilih memberi penghargaan dan menghukum para pemegang jabatan untuk hasil yang jelas di luar kendali mereka, seperti keberhasilan tim olahraga lokal dan cuaca. Untuk menilai apakah keputusan voting peserta dapat dipengaruhi oleh kejadian acak murni dalam pengaturan mereka, Huber dan rekan menambahkan undian ke sistem eksperimental mereka. Baik putaran kedelapan atau babak 16 (yaitu, tepat sebelum kesempatan untuk mengganti alokator) peserta secara acak ditempatkan dalam lotere di mana beberapa memenangkan 5.000 poin, beberapa memenangkan 0 poin, dan beberapa kehilangan 5.000 poin. Lotere ini dimaksudkan untuk meniru berita baik atau buruk yang tidak tergantung pada kinerja politisi. Meskipun peserta secara eksplisit diberitahu bahwa undian tidak terkait dengan kinerja pengalokasi mereka, hasil undian masih berdampak pada keputusan peserta. Peserta yang mendapat manfaat dari undian lebih mungkin menyimpan pengalokasi mereka, dan efek ini lebih kuat ketika lotere terjadi di babak 16 — tepat sebelum keputusan penggantian — daripada ketika terjadi pada putaran 8 (gambar 4.15). Hasil ini, bersama dengan beberapa eksperimen lain di koran, mendorong Huber dan rekan untuk menyimpulkan bahwa bahkan dalam pengaturan yang disederhanakan, pemilih mengalami kesulitan membuat keputusan yang bijaksana, hasil yang berdampak pada penelitian masa depan tentang pengambilan keputusan pemilih (Healy and Malhotra 2013) . Eksperimen Huber dan rekan menunjukkan bahwa MTurk dapat digunakan untuk merekrut peserta untuk eksperimen bergaya laboratorium untuk menguji secara tepat teori yang sangat spesifik. Hal ini juga menunjukkan nilai membangun lingkungan eksperimental Anda sendiri: sulit membayangkan bagaimana proses yang sama ini dapat diisolasi dengan sangat bersih di lingkungan lain.

Gambar 4.15: Hasil dari Huber, Hill, and Lenz (2012) . Peserta yang mendapat manfaat dari undian lebih mungkin untuk mempertahankan alokator mereka, dan efek ini lebih kuat ketika lotere terjadi di babak 16 — tepat sebelum keputusan penggantian — daripada ketika terjadi di babak 8. Diadaptasi dari Huber, Hill, and Lenz (2012) , gambar 5.

Selain membangun eksperimen seperti lab, peneliti juga dapat membuat eksperimen yang lebih mirip bidang. Misalnya, Centola (2010) membangun percobaan lapangan digital untuk mempelajari pengaruh struktur jaringan sosial pada penyebaran perilaku. Pertanyaan penelitiannya mengharuskan dia untuk mengamati perilaku yang sama menyebar di populasi yang memiliki struktur jaringan sosial yang berbeda tetapi sebaliknya tidak dapat dibedakan. Satu-satunya cara untuk melakukan ini adalah dengan eksperimen yang dibuat khusus dan dipesan khusus. Dalam hal ini, Centola membangun komunitas kesehatan berbasis web.

Centola merekrut sekitar 1.500 peserta melalui iklan di situs web kesehatan. Ketika para peserta tiba di komunitas online — yang disebut sebagai Jaringan Gaya Hidup Sehat — mereka memberikan informed consent dan kemudian ditugasi “teman-teman kesehatan.” Karena cara Centola menugaskan teman-teman kesehatan ini, dia dapat merajut struktur jaringan sosial yang berbeda di kelompok yang berbeda. Beberapa kelompok dibangun untuk memiliki jaringan acak (di mana setiap orang memiliki kemungkinan yang sama untuk terhubung), sementara kelompok lain dibangun untuk memiliki jaringan berkelompok (di mana koneksi lebih padat secara lokal). Kemudian, Centola memperkenalkan perilaku baru ke setiap jaringan: peluang untuk mendaftar ke situs web baru dengan informasi kesehatan tambahan. Setiap kali seseorang mendaftar untuk situs web baru ini, semua teman-teman kesehatannya menerima email yang mengumumkan perilaku ini. Centola menemukan bahwa perilaku ini — mendaftar ke situs web baru — menyebar lebih jauh dan lebih cepat di jaringan yang berkelompok daripada di jaringan acak, sebuah temuan yang bertentangan dengan beberapa teori yang ada.

Secara keseluruhan, membangun eksperimen Anda sendiri memberi Anda lebih banyak kendali; ini memungkinkan Anda untuk membangun lingkungan sebaik mungkin untuk mengisolasi apa yang ingin Anda pelajari. Sulit membayangkan bagaimana dua eksperimen yang baru saja saya jelaskan bisa dilakukan di lingkungan yang sudah ada. Lebih lanjut, membangun sistem Anda sendiri mengurangi kekhawatiran etis seputar bereksperimen dalam sistem yang ada. Ketika Anda membangun eksperimen Anda sendiri, Anda mengalami banyak masalah yang dihadapi dalam eksperimen laboratorium: merekrut peserta dan kekhawatiran tentang realisme. Kelemahan terakhir adalah bahwa membangun eksperimen Anda sendiri dapat menjadi mahal dan memakan waktu, meskipun, seperti yang ditunjukkan contoh-contoh ini, eksperimen dapat berkisar dari lingkungan yang relatif sederhana (seperti studi pemungutan suara oleh Huber, Hill, and Lenz (2012) ) ke lingkungan yang relatif kompleks (seperti studi jaringan dan penularan oleh Centola (2010) ).