4.5.2 Bina percubaan anda sendiri

Membina percubaan anda sendiri mungkin mahal, tetapi ia akan membolehkan anda untuk membuat eksperimen yang anda mahu.

Sebagai tambahan kepada eksperimen overlay di atas persekitaran yang sedia ada, anda juga boleh membina percubaan anda sendiri. Kelebihan utama pendekatan ini adalah kawalan; jika anda membina percubaan, anda boleh mencipta persekitaran dan rawatan yang anda mahu. Persekitaran percubaan terdahulu ini boleh mencipta peluang untuk menguji teori yang mustahil untuk diuji dalam persekitaran semula jadi. Kelemahan utama membina percubaan anda sendiri adalah bahawa ia boleh menjadi mahal dan persekitaran yang anda boleh buat mungkin tidak mempunyai realisme sistem semulajadi. Penyelidik membina percubaan mereka sendiri juga mesti mempunyai strategi untuk merekrut peserta. Apabila bekerja dalam sistem yang sedia ada, penyelidik pada dasarnya membawa eksperimen kepada peserta mereka. Tetapi, apabila penyelidik membina percubaan mereka sendiri, mereka perlu membawa peserta ke situ. Mujurlah, perkhidmatan seperti Amazon Mechanical Turk (MTurk) dapat menyediakan para penyelidik dengan cara yang mudah untuk membawa peserta ke eksperimen mereka.

Satu contoh yang menggambarkan kebaikan persekitaran yang sesuai untuk menguji teori abstrak adalah percubaan percubaan digital oleh Gregory Huber, Seth Hill, dan Gabriel Lenz (2012) . Percubaan ini meneroka batasan praktikal yang mungkin kepada fungsi tadbir urus demokratik. Sebelum kajian tidak eksperimen mengenai pilihanraya yang sebenar mencadangkan bahawa pengundi tidak dapat menilai dengan tepat prestasi ahli politik yang hadir. Khususnya, pengundi kelihatan mengalami tiga kecenderungan: (1) mereka memberi tumpuan kepada prestasi bukan kumulatif baru-baru ini; (2) mereka boleh dimanipulasi oleh retorik, rangka, dan pemasaran; dan (3) mereka boleh dipengaruhi oleh peristiwa yang tidak berkaitan dengan prestasi yang ada, seperti kejayaan pasukan sukan tempatan dan cuaca. Dalam kajian-kajian terdahulu, bagaimanapun, adalah sukar untuk mengasingkan mana-mana faktor-faktor ini dari semua perkara lain yang berlaku dalam pemilihan yang nyata dan kemas. Oleh itu, Huber dan rakan-rakan membuat persekitaran pengundian yang sangat mudah untuk mengasingkan, dan kemudian mengkaji secara eksperimen, masing-masing tiga kemungkinan bias tersebut.

Seperti yang saya nyatakan setperimen percubaan di bawah, ia akan berbunyi sangat buatan, tetapi ingat bahawa realisme bukan matlamat dalam eksperimen gaya-lab. Sebaliknya, matlamatnya adalah dengan jelas mengasingkan proses yang anda sedang cuba untuk belajar, dan pengasingan ketat ini kadang-kadang tidak mungkin dalam kajian dengan lebih realisme (Falk and Heckman 2009) . Selanjutnya, dalam kes ini, penyelidik berpendapat bahawa jika pengundi tidak dapat menilai secara berkesan prestasi dalam tetapan yang sangat mudah ini, maka mereka tidak akan dapat melakukannya dalam suasana yang lebih realistik dan lebih kompleks.

Huber dan rakan sekerja menggunakan MTurk untuk merekrut peserta. Sebaik sahaja peserta memberikan persetujuan yang dimaklumkan dan meluluskan ujian pendek, dia diberitahu bahawa dia telah mengambil bahagian dalam permainan 32 pusingan untuk mendapatkan token yang boleh ditukar menjadi wang sebenar. Pada permulaan permainan, setiap peserta diberitahu bahawa dia telah ditugaskan sebagai "peruntukan" yang akan memberikan token percuma beliau setiap pusingan dan bahawa beberapa penyerah adalah lebih murah daripada yang lain. Lebih-lebih lagi, setiap peserta juga diberitahu bahawa dia akan mempunyai peluang untuk sama-sama mengekalkan alokasi atau diberikan kepada yang baru selepas 16 pusingan permainan. Memandangkan apa yang anda tahu tentang matlamat penyelidikan Huber dan rakan sekerja, anda dapat melihat bahawa penguntukan mewakili kerajaan dan pilihan ini mewakili pilihan raya, tetapi para peserta tidak mengetahui matlamat umum penyelidikan. Secara keseluruhan, Huber dan rakan sekerja merekrut kira-kira 4,000 peserta yang dibayar kira-kira $ 1.25 untuk satu tugas yang mengambil masa kira-kira lapan minit.

Ingatlah bahawa salah satu penemuan dari penyelidikan terdahulu adalah ganjaran pemilih dan menghukum penyandang untuk hasil yang jelas di luar kawalan mereka, seperti kejayaan pasukan sukan tempatan dan cuaca. Untuk menilai sama ada keputusan mengundi para peserta boleh dipengaruhi oleh peristiwa secara rawak dalam suasana mereka, Huber dan rakan-rakan menambahkan loteri ke sistem eksperimen mereka. Sama ada di pusingan ke-8 atau pusingan ke-16 (iaitu, sebelum peluang untuk menggantikan penyerah) peserta secara rawak ditempatkan di loteri di mana ada yang memenangi 5,000 mata, ada yang memenangi 0 mata, dan ada yang kehilangan 5,000 mata. Loteri ini bertujuan untuk meniru berita baik atau buruk yang bebas dari prestasi ahli politik. Walaupun para peserta secara terang-terangan memberitahu bahawa loteri tidak ada kaitan dengan prestasi pengalokasian mereka, hasil loteri masih mempengaruhi keputusan para peserta. Peserta yang mendapat manfaat daripada loteri lebih cenderung untuk mengekalkan peruntukannya, dan kesan ini lebih kuat apabila loteri berlaku dalam pusingan 16 sebelum keputusan penggantian daripada ketika ia berlaku pada pusingan 8 (angka 4.15). Keputusan ini, bersama-sama dengan beberapa eksperimen lain di dalam kertas, telah mengetuai Huber dan rakan sekerja untuk menyimpulkan bahawa walaupun dalam suasana yang mudah, pengundi mengalami kesukaran membuat keputusan yang bijak, hasil yang memberi kesan kepada penyelidikan masa depan mengenai pengambilan keputusan pengundi (Healy and Malhotra 2013) . Eksperimen Huber dan rakan sekerja menunjukkan bahawa MTurk boleh digunakan untuk merekrut peserta untuk eksperimen gaya-lab untuk tepat menguji teori yang sangat spesifik. Ia juga menunjukkan nilai membina persekitaran percubaan anda sendiri: sukar untuk membayangkan bagaimana proses-proses yang sama ini dapat diasingkan begitu bersih di mana-mana tetapan lain.

Rajah 4.15: Keputusan dari Huber, Hill, and Lenz (2012) . Para peserta yang mendapat manfaat daripada loteri lebih cenderung untuk mengekalkan pengagihan mereka, dan kesan ini lebih kuat apabila loteri berlaku pada pusingan 16-sebelum keputusan gantian-daripada ketika terjadi pada pusingan 8. Diadaptasi dari Huber, Hill, and Lenz (2012) , angka 5.

Selain membina percubaan seperti lab, penyelidik juga boleh membina eksperimen yang lebih banyak seperti bidang. Sebagai contoh, Centola (2010) membina satu percubaan medan digital untuk mengkaji kesan struktur rangkaian sosial terhadap penyebaran tingkah laku. Soalan penyelidikannya memerlukannya untuk melihat tingkah laku yang sama menyebar ke dalam populasi yang mempunyai struktur rangkaian sosial yang berbeza tetapi tidak dapat dibezakan. Satu-satunya cara untuk melakukan ini adalah dengan eksperimen yang dibina khas, sesuai. Dalam kes ini, Centola membina komuniti kesihatan berasaskan web.

Centola merekrut kira-kira 1,500 peserta melalui pengiklanan di laman web kesihatan. Apabila para peserta tiba di komuniti dalam talian-yang dipanggil Rangkaian Gaya Hidup yang Sihat-mereka memberikan persetujuan bertulis dan kemudian diberikan "teman-teman kesihatan." Kerana cara Centola menugaskan teman-teman kesihatan ini, dia dapat bersatu bersama struktur rangkaian sosial yang berbeza dalam kumpulan yang berbeza. Sesetengah kumpulan dibina untuk mempunyai rangkaian rawak (di mana semua orang sama-sama berkaitan), manakala kumpulan lain dibina untuk mempunyai rangkaian berkumpulan (di mana sambungan lebih padat di peringkat tempatan). Kemudian, Centola memperkenalkan tingkah laku baru ke dalam setiap rangkaian: peluang untuk mendaftarkan laman web baru dengan maklumat kesihatan tambahan. Setiap orang mendaftar untuk laman web baru ini, semua teman kesihatannya menerima e-mel yang mengumumkan tingkah laku ini. Centola mendapati bahawa tingkah laku ini-mendaftar untuk laman web baru-merebak lebih jauh dan lebih cepat dalam rangkaian berkumpulan daripada dalam rangkaian rawak, suatu penemuan yang bertentangan dengan beberapa teori yang ada.

Secara keseluruhan, membina percubaan anda sendiri memberikan anda lebih banyak kawalan; ia membolehkan anda membina persekitaran terbaik untuk mengasingkan apa yang anda mahu belajar. Sukar untuk membayangkan bagaimana kedua-dua eksperimen yang saya baru-baru ini dapat dijelaskan dalam persekitaran yang sudah ada. Selanjutnya, membina sistem anda sendiri mengurangkan kebimbangan etika sekitar bereksperimen dalam sistem sedia ada. Apabila anda membina percubaan anda sendiri, bagaimanapun, anda menghadapi banyak masalah yang dihadapi dalam percubaan makmal: merekrut peserta dan kebimbangan mengenai realisme. Kelemahan akhir adalah bahawa membina percubaan anda sendiri boleh menjadi mahal dan memakan masa, walaupun, seperti contoh-contoh ini, eksperimen boleh terdiri daripada persekitaran yang sederhana (seperti kajian pengundian oleh Huber, Hill, and Lenz (2012) ) kepada persekitaran yang kompleks (seperti kajian rangkaian dan penularan oleh Centola (2010) ).