4.3 Dua dimensi eksperimen: makmal-lapangan dan analog-digital

Eksperimen makmal menawarkan kawalan, uji kaji lapangan menawarkan realisme, dan uji kaji lapangan digital menggabungkan kawalan dan realisme pada skala.

Eksperimen datang dalam pelbagai bentuk dan saiz. Tetapi, walaupun perbezaan ini, penyelidik telah mendapati ia berguna untuk menganjurkan eksperimen di sepanjang kontinum antara eksperimen makmal dan eksperimen lapangan. Sekarang, bagaimanapun, penyelidik juga perlu menganjurkan eksperimen di sepanjang kontinum antara eksperimen analog dan eksperimen digital. Ini ruang reka bentuk dua dimensi akan membantu anda memahami kekuatan dan kelemahan pendekatan yang berbeza dan mencadangkan bidang peluang besar (Rajah 4.1).

Rajah 4.1: Skema ruang reka bentuk untuk eksperimen. Pada masa lalu, eksperimen diubah sepanjang dimensi makmal-lapangan. Sekarang, mereka juga berbeza-beza pada dimensi analog-digital. Pada pendapat saya, bidang peluang besar adalah uji kaji lapangan digital.

Pada masa lalu, jalan utama yang penyelidik dianjurkan eksperimen adalah sepanjang dimensi makmal-lapangan. Majoriti eksperimen dalam sains sosial adalah eksperimen makmal di mana pelajar ijazah melaksanakan tugas-tugas yang aneh di makmal untuk kredit kursus. Jenis percubaan menguasai penyelidikan dalam bidang psikologi kerana ia membolehkan penyelidik untuk membuat rawatan yang sangat khusus yang direka untuk menguji teori-teori yang sangat khusus mengenai tingkah laku sosial. Untuk masalah tertentu, bagaimanapun, sesuatu yang berasa agak pelik tentang membuat kesimpulan yang tegas mengenai tingkah laku manusia daripada orang yang luar biasa itu melaksanakan tugas-tugas seperti yang luar biasa dalam apa-apa suasana yang luar biasa. Kebimbangan ini telah membawa kepada gerakan ke arah uji kaji lapangan. uji kaji lapangan menggabungkan reka bentuk yang kuat eksperimen kawalan rawak dengan lebih kumpulan wakil peserta, melaksanakan tugas yang lebih biasa, dalam persekitaran yang lebih semula jadi.

Walaupun sesetengah orang berfikir makmal dan medan eksperimen sebagai bersaing kaedah, adalah lebih baik untuk memikirkan mereka sebagai kaedah pelengkap yang mempunyai kekuatan dan kelemahan yang berbeza. Sebagai contoh, Correll, Benard, and Paik (2007) digunakan kedua-dua eksperimen makmal dan kajian lapangan dalam usaha untuk mencari sumber-sumber "hukuman ibu." Di Amerika Syarikat, ibu-ibu mendapatkan wang kurang daripada wanita yang tidak mempunyai anak, walaupun membandingkan wanita dengan kemahiran yang sama yang bekerja dalam pekerjaan yang sama. Terdapat banyak penjelasan yang mungkin bagi corak ini, dan satu adalah bahawa majikan berat sebelah terhadap ibu. (Menariknya, sebaliknya seolah-olah benar untuk nenek moyang mereka cenderung untuk mendapatkan lebih banyak daripada lelaki yang tidak mempunyai anak setanding). Dalam usaha untuk menilai berat sebelah mungkin terhadap ibu-ibu, Correll dan rakan-rakan berlari dua eksperimen: satu di makmal dan di ladang.

Pertama, dalam satu eksperimen makmal Correll dan rakan-rakan memberitahu para peserta, yang merupakan pelajar kolej, bahawa sebuah syarikat komunikasi start-up yang berpangkalan di California telah menjalankan carian pekerjaan bagi seseorang untuk memimpin jabatan pemasaran Pantai Timur baru. Pelajar diberitahu bahawa syarikat itu mahu membantu mereka dalam proses pengambilan dan mereka diminta untuk mengkaji semula resume daripada beberapa calon yang berpotensi dan untuk menilai calon-calon di beberapa dimensi seperti kecerdasan mereka, kehangatan, dan komitmen untuk bekerja. Di samping itu, pelajar telah ditanya sama ada mereka akan mengesyorkan menyewa pemohon dan apa yang mereka akan mengesyorkan sebagai gaji permulaan. Tanpa diketahui kepada pelajar, bagaimanapun, resume telah dibina khusus untuk menjadi sama kecuali satu perkara: beberapa resume isyarat ibu (dengan menyenaraikan penglibatan dalam persatuan ibu bapa dan guru) dan yang lain tidak. Correll mendapati bahawa pelajar adalah kurang kemungkinan untuk mengesyorkan pengambilan ibu dan menawarkan mereka lebih rendah permulaan gaji. Di samping itu, melalui analisis statistik kedua-dua penilaian dan keputusan yang berkaitan pengambilan-the, Correll mendapati bahawa kelemahan ibu 'sebahagian besarnya dijelaskan oleh fakta bahawa ibu-ibu telah dinilai lebih rendah dari segi kecekapan dan komitmen. Dengan kata lain, Correll berhujah bahawa sifat-sifat ini adalah mekanisme di mana ibu-ibu yang kurang bernasib baik. Oleh itu, eksperimen makmal ini dibenarkan Correll dan rakan-rakan untuk mengukur kesan sebab dan akibat dan memberikan penjelasan yang mungkin bagi maksud itu.

Sudah tentu, seseorang mungkin menjadi ragu-ragu mengenai membuat kesimpulan mengenai pasaran buruh AS keseluruhan berdasarkan keputusan beberapa ratus pelajar yang mungkin tidak pernah mempunyai pekerjaan sepenuh masa, apatah lagi mengupah orang. Oleh itu, Correll dan rakan-rakan juga menjalankan eksperimen bidang yang saling melengkapi. Para penyelidik memberi maklum balas kepada beratus-ratus peluang pekerjaan yang diiklankan dengan menghantar surat perlindungan palsu dan resume. Sama dengan bahan-bahan yang ditunjukkan kepada mahasiswa, beberapa resume isyarat ibu dan yang lain tidak. Correll dan rakan-rakan mendapati bahawa ibu-ibu kurang berkemungkinan untuk dipanggil balik untuk temuduga berbanding wanita yang tidak mempunyai anak sama berkelayakan. Dalam erti kata lain, majikan sebenar membuat keputusan berbangkit dalam suasana yang semulajadi berkelakuan sama seperti mahasiswa. Adakah mereka membuat keputusan yang sama untuk sebab yang sama? Malangnya, kita tidak tahu. Para penyelidik tidak dapat meminta majikan untuk menilai calon-calon atau menjelaskan keputusan mereka.

Ini sepasang eksperimen mendedahkan banyak perkara mengenai makmal dan medan eksperimen secara umum. eksperimen makmal menawarkan penyelidik berhampiran kawalan jumlah persekitaran di mana peserta membuat keputusan. Jadi, sebagai contoh, dalam eksperimen makmal, Correll dapat memastikan semua resume telah membaca dalam suasana yang tenang; dalam eksperimen lapangan, beberapa resume mungkin tidak malah pernah dibaca. Selanjutnya, kerana peserta dalam suasana makmal tahu bahawa mereka sedang dikaji, penyelidik sering dapat mengumpul data tambahan yang dapat membantu mereka memahami mengapa peserta membuat keputusan. Sebagai contoh, Correll meminta peserta dalam eksperimen makmal untuk menilai calon pada dimensi yang berbeza. Ini jenis data proses boleh membantu penyelidik memahami mekanisme di sebalik perbezaan dalam bagaimana peserta merawat resume.

Sebaliknya, ciri-ciri yang tepat sama bahawa saya hanya digambarkan sebagai kelebihan juga kadang-kadang dianggap kelemahan. Penyelidik yang lebih suka uji kaji lapangan berhujah bahawa peserta dalam eksperimen makmal boleh bertindak sangat berbeza apabila mereka sedang diperhatikan dengan teliti. Sebagai contoh, di makmal peserta eksperimen mungkin telah meneka matlamat penyelidikan dan diubah tingkah laku mereka supaya tidak kelihatan berat sebelah. Di samping itu, penyelidik yang lebih suka uji kaji lapangan mungkin berpendapat bahawa perbezaan kecil pada resume hanya boleh berdiri di dalam persekitaran makmal yang sangat bersih, steril, dan dengan itu eksperimen makmal akan lebih-menganggarkan kesan ibu kepada keputusan pengambilan sebenar. Akhirnya, ramai penyokong uji kaji lapangan mengkritik eksperimen makmal pergantungan kepada peserta WEIRD: terutamanya pelajar dari Barat, yang berpendidikan, perindustrian, Rich, dan negara-negara Demokratik (Henrich, Heine, and Norenzayan 2010) . Eksperimen dengan Correll dan rakan-rakan (2007) menggambarkan kedua-dua keterlaluan pada kontinum makmal-lapangan. Di antara kedua-dua keterlaluan terdapat pelbagai reka bentuk hibrid termasuk pendekatan seperti membawa bukan pelajar ke dalam makmal atau pergi ke ladang, tetapi masih mempunyai peserta melaksanakan tugas yang luar biasa.

Selain dimensi makmal-bidang yang telah wujud pada masa lalu, era digital bermakna penyelidik kini mempunyai dimensi utama kedua bersama-sama yang eksperimen boleh berbeza-beza: analog-digital. Hanya kerana ada eksperimen tulen makmal, uji kaji lapangan tulen, dan pelbagai kacukan di antara, terdapat eksperimen tulen analog, eksperimen digital tulen, dan pelbagai kacukan. Ia adalah sukar untuk menawarkan definisi formal dimensi ini, tetapi definisi kerja yang berguna adalah bahawa eksperimen digital sepenuhnya adalah eksperimen yang menggunakan infrastruktur digital untuk merekrut peserta, Rawakkan, menyampaikan rawatan, dan mengukur outcome. Sebagai contoh, Restivo dan van de Rijt ini (2012) kajian barnstars dan Wikipedia adalah satu eksperimen digital sepenuhnya kerana ia menggunakan sistem digital untuk keempat-empat langkah-langkah ini. Begitu juga sepenuhnya eksperimen analog adalah eksperimen yang tidak menggunakan infrastruktur digital untuk mana-mana empat langkah. Banyak eksperimen klasik dalam bidang psikologi adalah eksperimen analog. Di antara kedua-dua keterlaluan terdapat sebahagiannya eksperimen digital yang menggunakan gabungan sistem analog dan digital untuk empat langkah.

Kritikal, peluang untuk menjalankan eksperimen digital tidak hanya dalam talian. Penyelidik boleh menjalankan eksperimen sebahagiannya digital dengan menggunakan peranti digital dalam dunia fizikal untuk memberikan rawatan atau mengukur hasil. Sebagai contoh, penyelidik boleh menggunakan telefon pintar untuk menyampaikan rawatan atau sensor dalam alam bina untuk mengukur hasil. Malah, seperti yang kita akan lihat nanti dalam bab ini, penyelidik telah menggunakan meter kuasa rumah bagi mengukur outcome dalam eksperimen mengenai norma-norma sosial dan penggunaan tenaga yang melibatkan 8.5 juta isi rumah (Allcott 2015) . Oleh kerana peranti digital menjadi semakin bersepadu ke dalam kehidupan rakyat dan sensor menjadi bersepadu ke dalam alam bina, peluang-peluang ini untuk menjalankan eksperimen sebahagiannya digital dalam dunia fizikal akan meningkat secara mendadak. Dalam erti kata lain, eksperimen digital bukan sahaja eksperimen dalam talian.

sistem digital mewujudkan kemungkinan baru untuk eksperimen di mana-mana di sepanjang kontinum makmal-lapangan. Dalam uji kaji makmal tulen, sebagai contoh, penyelidik boleh menggunakan sistem digital untuk pengukuran yang lebih halus tingkah laku peserta; satu contoh jenis pengukuran yang lebih baik adalah peralatan mata pengesanan yang menyediakan langkah-langkah yang tepat dan berterusan lokasi pandangannya. Era digital juga mewujudkan kemungkinan untuk menjalankan eksperimen makmal seperti talian. Sebagai contoh, para penyelidik telah cepat diterima pakai Amazon Mekanikal Turk (MTurk) untuk mendapatkan ahli baru untuk eksperimen talian (Rajah 4.2). MTurk perlawanan "majikan" yang mempunyai tugas-tugas yang perlu diselesaikan dengan "pekerja" yang ingin menyempurnakan tugas-tugas untuk wang. Tidak seperti pasaran buruh tradisional, bagaimanapun, tugas-tugas yang terlibat biasanya hanya memerlukan beberapa minit untuk melengkapkan dan seluruh interaksi antara majikan dan pekerja adalah maya. Kerana meniru MTurk aspek makmal eksperimen yang membayar orang tradisional untuk menyelesaikan tugas-tugas yang mereka tidak akan melakukannya secara percuma-ia semula jadi sesuai untuk sesetengah jenis eksperimen. Pada asasnya, MTurk telah mewujudkan infrastruktur untuk menguruskan sekumpulan peserta-merekrut dan membayar orang-dan penyelidik telah mengambil kesempatan daripada infrastruktur yang memanfaatkan kolam sentiasa ada peserta.

Rajah 4.2: Kertas diterbitkan menggunakan data dari Amazon Mekanikal Turk (MTurk) (Bohannon 2016) . MTurk dan pasaran buruh dalam talian menawarkan penyelidik cara yang mudah untuk mendapatkan ahli baru untuk eksperimen.

eksperimen Digital mencipta lebih banyak kemungkinan untuk uji kaji lapangan seperti. uji kaji lapangan digital boleh menawarkan kawalan dan proses data ketat untuk memahami mekanisme yang mungkin (seperti eksperimen makmal) dan lebih pelbagai peserta membuat keputusan sebenar dalam persekitaran yang semula jadi (seperti uji kaji lapangan). Selain ini gabungan ciri-ciri yang baik eksperimen sebelum ini, uji kaji lapangan digital juga menawarkan tiga peluang yang sangat sukar dalam analog makmal dan medan eksperimen.

Pertama, sedangkan sebahagian besar analog makmal dan medan eksperimen mempunyai beratus-ratus peserta, uji kaji lapangan digital boleh mempunyai berjuta-juta peserta. Perubahan ini dalam skala adalah kerana beberapa eksperimen digital boleh menghasilkan data pada sifar kos berubah. Iaitu, apabila penyelidik telah mencipta infrastruktur eksperimen, meningkatkan bilangan peserta biasanya tidak meningkatkan kos. Meningkatkan bilangan peserta dengan faktor 100 atau lebih tidak hanya perubahan kuantitatif, ia adalah satu perubahan kualitatif, kerana ia membolehkan penyelidik untuk belajar perkara-perkara yang berbeza daripada eksperimen (contohnya, kepelbagaian kesan rawatan) dan menjalankan reka bentuk eksperimen yang sama sekali berbeza ( contohnya, eksperimen kumpulan besar). Perkara ini sangat penting, saya akan kembali kepadanya pada akhir bab ini apabila saya menawarkan nasihat mengenai mewujudkan eksperimen digital.

Kedua, sedangkan sebahagian besar analog makmal dan medan eksperimen merawat peserta sebagai widget tidak dapat dibezakan, uji kaji lapangan digital sering menggunakan maklumat latar belakang peserta dalam reka bentuk dan analisis peringkat kajian. Maklumat latar belakang ini, yang dipanggil maklumat pra-rawatan, sering ada dalam eksperimen digital kerana mereka mengambil tempat dalam persekitaran diukur sepenuhnya. Sebagai contoh, seorang penyelidik di Facebook mempunyai maklumat pra-rawatan lebih daripada seorang penyelidik mereka bentuk satu eksperimen makmal standard dengan mahasiswa. Ini maklumat pra-rawatan membolehkan penyelidik untuk bergerak di luar merawat peserta widget yang tidak dapat dibezakan. Lebih khusus lagi, maklumat pra-rawatan membolehkan eksperimen reka bentuk-itu lebih cekap kerana menyekat (Higgins, Sävje, and Sekhon 2016) dan pengambilan disasarkan peserta (Eckles, Kizilcec, and Bakshy 2016) -dan analisis itu lebih berwawasan sebagai anggaran kepelbagaian kesan rawatan (Athey and Imbens 2016a) dan pelarasan covariate untuk bertambah baik ketepatan (Bloniarz et al. 2016) .

Ketiga, sedangkan banyak makmal analog dan bidang eksperimen menyampaikan rawatan dan hasil ukuran dalam jumlah yang agak mampat masa, beberapa eksperimen bidang digital melibatkan rawatan yang boleh dihantar dari masa ke masa dan kesan juga boleh diukur dari masa ke masa. Sebagai contoh, Restivo dan van de Rijt ini eksperimen mempunyai keputusan yang diukur setiap hari selama 90 hari, dan satu daripada eksperimen yang saya akan memberitahu anda mengenai nanti dalam bab ini (Ferraro, Miranda, and Price 2011) menjejaki hasil lebih 3 tahun pada dasarnya tidak ada kos. Ketiga-tiga peluang-saiz, maklumat pra-rawatan dan rawatan membujur dan hasil data yang paling biasa apabila eksperimen yang berjalan di atas sentiasa ke sistem ukuran (lihat Bab 2 untuk lanjut mengenai sentiasa ke sistem pengukuran).

Walaupun uji kaji lapangan digital menawarkan banyak kemungkinan, mereka juga berkongsi beberapa kelemahan dengan kedua-dua makmal analog dan uji kaji lapangan. Sebagai contoh, eksperimen tidak boleh digunakan untuk mengkaji masa lalu, dan mereka hanya boleh menganggarkan kesan rawatan yang boleh dimanipulasi. Juga, walaupun eksperimen sudah pasti berguna kepada dasar petunjuk, bimbingan yang tepat yang mereka boleh menawarkan agak terhad kerana komplikasi seperti pergantungan alam sekitar, masalah pematuhan, dan kesan keseimbangan (Banerjee and Duflo 2009; Deaton 2010) . Akhir sekali, uji kaji lapangan digital membesarkan kebimbangan etika dicipta oleh uji kaji lapangan. Penyokong uji kaji lapangan sangkakala keupayaan mereka untuk unobtrusively dan secara rawak campur tangan ke dalam keputusan berbangkit yang dibuat oleh berjuta-juta orang. Ciri-ciri ini menawarkan kelebihan saintifik tertentu, tetapi mereka juga boleh membuat uji kaji lapangan beretika kompleks (memikirkannya sebagai penyelidik merawat orang-orang seperti "tikus makmal" besar-besaran). Di samping itu, sebagai tambahan kepada kemudaratan mungkin untuk peserta, uji kaji lapangan digital, kerana skala mereka, boleh juga meningkatkan kebimbangan mengenai gangguan bekerja sistem sosial (contohnya, kebimbangan mengenai mengganggu sistem ganjaran Wikipedia jika Restivo dan van der Rijt memberi terlalu banyak barnstars) .