4.5.1.2 Membangun percobaan Anda sendiri

Membangun percobaan Anda sendiri mungkin mahal, tapi itu akan memungkinkan Anda untuk membuat eksperimen yang Anda inginkan.

Selain overlay percobaan di atas lingkungan yang ada, Anda juga dapat membangun percobaan Anda sendiri. Keuntungan utama dari pendekatan ini adalah kontrol; jika Anda sedang membangun percobaan, Anda dapat menciptakan lingkungan dan perawatan yang Anda inginkan. Ini lingkungan eksperimental dipesan lebih dahulu dapat menciptakan peluang untuk menguji teori yang tidak mungkin untuk menguji dalam lingkungan alami. Kelemahan utama dari membangun percobaan Anda sendiri adalah bahwa hal itu bisa mahal dan bahwa lingkungan yang Anda dapat membuat mungkin tidak memiliki realisme sistem alami. Para peneliti membangun percobaan mereka sendiri juga harus memiliki strategi untuk merekrut peserta. Ketika bekerja dalam sistem yang ada, peneliti pada dasarnya membawa percobaan untuk peserta mereka. Tapi, ketika para peneliti membangun percobaan mereka sendiri, mereka perlu membawa peserta untuk itu. Untungnya, layanan seperti Amazon Mechanical Turk (MTurk) dapat memberikan peneliti cara yang nyaman untuk membawa peserta untuk percobaan mereka.

Salah satu contoh yang menggambarkan kebajikan lingkungan dipesan lebih dahulu untuk menguji teori abstrak adalah lab percobaan digital oleh Gregory Huber, Seth Hill, dan Gabriel Lenz (2012) . Percobaan mengeksplorasi keterbatasan praktis mungkin untuk fungsi pemerintahan yang demokratis. Studi non-eksperimental sebelumnya pemilihan aktual menunjukkan bahwa pemilih tidak dapat secara akurat menilai kinerja politisi incumbent. Secara khusus, para pemilih tampaknya menderita tiga bias: 1) fokus pada baru-baru ini daripada kinerja kumulatif; 2) dimanipulasi oleh retorika, framing, dan pemasaran; dan 3) dipengaruhi oleh peristiwa yang tidak terkait dengan kinerja incumbent, seperti keberhasilan tim olahraga lokal dan cuaca. Dalam studi sebelumnya, namun, itu sulit untuk mengisolasi salah satu faktor dari semua hal-hal lain yang terjadi di, pemilihan berantakan nyata. Oleh karena itu, Huber dan rekan menciptakan lingkungan voting yang sangat disederhanakan untuk mengisolasi, dan kemudian eksperimental belajar, masing-masing tiga bias-bias ini mungkin.

Seperti yang saya jelaskan percobaan set-up di bawah itu akan terdengar sangat buatan, tapi ingat bahwa realisme bukanlah tujuan dalam percobaan laboratorium-gaya. Sebaliknya, tujuannya adalah untuk jelas mengisolasi proses yang sedang Anda coba untuk belajar, dan isolasi yang ketat ini kadang-kadang tidak mungkin dalam studi dengan lebih realisme (Falk and Heckman 2009) . Selanjutnya, dalam kasus ini, para peneliti berpendapat bahwa jika pemilih tidak dapat secara efektif mengevaluasi kinerja dalam pengaturan yang sangat sederhana ini, maka mereka tidak akan bisa melakukannya dalam pengaturan yang lebih kompleks lebih realistis.

Huber dan rekan-rekannya menggunakan Amazon Mechanical Turk (MTurk) untuk merekrut peserta. Setelah peserta disediakan informed consent dan lulus tes singkat, dia diberitahu bahwa dia berpartisipasi dalam permainan putaran 32 untuk mendapatkan token yang dapat dikonversi menjadi uang riil. Pada awal permainan, setiap peserta diberitahu bahwa ia telah ditugaskan "pengalokasi" yang akan memberinya token gratis setiap putaran dan bahwa beberapa penyalur yang lebih murah hati daripada yang lain. Selanjutnya, setiap peserta juga diberitahu bahwa dia akan memiliki kesempatan baik untuk menjaga pengalokasi dia atau diberikan yang baru setelah 16 putaran permainan. Mengingat apa yang Anda ketahui tentang Huber dan tujuan penelitian kolega, Anda dapat melihat bahwa pengalokasi mewakili pemerintah dan pilihan ini merupakan pemilu, namun peserta tidak menyadari tujuan umum penelitian. Secara total, Huber dan rekan merekrut sekitar 4.000 peserta yang membayar sekitar $ 1,25 untuk tugas yang mengambil sekitar 8 menit.

Ingat bahwa salah satu temuan dari penelitian sebelumnya adalah bahwa pemilih reward dan menghukum pemain lama untuk hasil yang jelas di luar kendali mereka, seperti keberhasilan tim olahraga lokal dan cuaca. Untuk menilai apakah keputusan peserta voting bisa dipengaruhi oleh peristiwa murni acak dalam pengaturan mereka, Huber dan rekan menambahkan undian untuk sistem eksperimental mereka. Baik pada 8 putaran atau babak 16 (yaitu, tepat sebelum kesempatan untuk menggantikan pengalokasi) peserta secara acak ditempatkan dalam undian di mana beberapa memenangkan 5000 poin, beberapa memenangkan 0 poin, dan beberapa kehilangan 5000 poin. undian ini dimaksudkan untuk meniru kabar baik atau buruk yang independen dari kinerja politisi. Meskipun peserta secara eksplisit mengatakan bahwa undian itu tidak terkait dengan kinerja pengalokasi mereka, hasil lotere masih berdampak keputusan peserta. Peserta yang mendapatkan manfaat dari lotre lebih mungkin untuk menjaga pengalokasi mereka, dan efek ini lebih kuat ketika lotre terjadi di babak 16-tepat sebelum penggantian keputusan-daripada saat terjadi di babak 8 (Gambar 4.14). Hasil ini, bersama dengan hasil beberapa percobaan lain di koran, dipimpin Huber dan rekan menyimpulkan bahwa bahkan dalam pengaturan disederhanakan, pemilih memiliki kesulitan membuat keputusan yang bijaksana, hasil yang berdampak penelitian masa depan tentang pengambilan keputusan pemilih (Healy and Malhotra 2013) . Percobaan Huber dan rekan menunjukkan bahwa MTurk dapat digunakan untuk merekrut peserta untuk percobaan laboratorium-gaya tepatnya menguji teori yang sangat spesifik. Hal ini juga menunjukkan nilai bangunan lingkungan percobaan Anda sendiri: sulit untuk membayangkan bagaimana proses-proses yang sama bisa diisolasi sehingga bersih dalam pengaturan lainnya.

Gambar 4.14: Hasil dari Huber, Hill, and Lenz (2012) . Peserta yang mendapatkan manfaat dari lotre lebih mungkin untuk mempertahankan pengalokasi mereka, dan efek ini lebih kuat ketika lotre terjadi di babak 16-tepat sebelum penggantian keputusan-daripada saat terjadi di babak 8.

Selain membangun percobaan laboratorium seperti, peneliti juga dapat membangun eksperimen yang lebih lapangan-seperti. Misalnya, Centola (2010) dibangun percobaan lapangan digital untuk mempelajari pengaruh struktur jaringan sosial pada penyebaran perilaku. Pertanyaan penelitian mengharuskan dia untuk mengamati perilaku yang sama menyebar dalam populasi yang memiliki struktur jaringan sosial yang berbeda tetapi sebaliknya bisa dibedakan. Satu-satunya cara untuk melakukan ini adalah dengan dipesan lebih dahulu, percobaan custom-built. Dalam hal ini, Centola membangun komunitas kesehatan berbasis web.

Centola merekrut sekitar 1.500 peserta dengan iklan di situs kesehatan. Ketika peserta tiba di komunitas-yang secara online disebut Gaya Hidup Sehat Jaringan-mereka yang tersedia informed consent dan kemudian ditugaskan "teman kesehatan." Karena cara Centola ditugaskan teman kesehatan ini ia mampu merajut struktur jaringan sosial bersama-sama yang berbeda di berbagai kelompok. Beberapa kelompok dibangun untuk memiliki jaringan acak (di mana semua orang memiliki kemungkinan yang sama untuk dihubungkan) dan kelompok lainnya dibangun untuk memiliki jaringan berkerumun (di mana koneksi yang lebih lokal padat). Kemudian, Centola memperkenalkan perilaku baru ke setiap jaringan, kesempatan untuk mendaftar untuk sebuah website baru dengan informasi kesehatan tambahan. Setiap kali ada yang mendaftar untuk website baru ini, semua teman kesehatannya menerima email mengumumkan perilaku ini. Centola menemukan bahwa ini perilaku-penandatanganan-up untuk baru situs-menyebar lebih lanjut dan lebih cepat dalam jaringan berkerumun dari jaringan acak, sebuah temuan yang bertentangan dengan beberapa teori yang ada.

Secara keseluruhan, bangunan percobaan Anda sendiri memberi Anda lebih banyak kontrol; memungkinkan Anda untuk membangun lingkungan yang mungkin yang terbaik untuk mengisolasi apa yang Anda ingin belajar. Sulit untuk membayangkan bagaimana salah satu dari percobaan ini bisa saja dilakukan di lingkungan yang sudah ada. Selanjutnya, membangun sistem Anda sendiri menurun keprihatinan etis sekitar bereksperimen dalam sistem yang ada. Ketika Anda membangun eksperimen sendiri, namun, Anda mengalami banyak masalah yang dihadapi dalam percobaan laboratorium: merekrut peserta dan kekhawatiran tentang realisme. Kelemahan terakhir adalah bahwa membangun percobaan Anda sendiri dapat mahal dan memakan waktu, meskipun sebagai contoh-contoh ini menunjukkan, percobaan dapat berkisar dari lingkungan yang relatif sederhana (seperti studi voting oleh Huber, Hill, and Lenz (2012) ) untuk relatif lingkungan yang kompleks (seperti studi jaringan dan penularan oleh Centola (2010) ).