4.3 Dua dimensi percobaan: lab-widang jeung analog-digital

Percobaan Lab nawarkeun kontrol, percobaan widang nawarkeun realisme, jeung percobaan widang digital ngagabung kontrol jeung realisme di skala.

Percobaan datangna dina loba wangun jeung ukuran béda. Baheula, peneliti geus kapanggih eta mantuan pikeun ngatur percobaan sapanjang hiji continuum antara percobaan lab na percobaan sawah. Ayeuna, kumaha oge, peneliti kedah ogé ngatur percobaan sapanjang hiji continuum kadua antara percobaan analog sarta percobaan digital. spasi design dua diménsi ieu bakal nulungan anjeun ngartos kaunggulan na kelemahan ngarupakeun pendeketan béda jeung nyorot daérah kasempetan greatest (inohong 4.1).

Gambar 4.1: Schematic ruang design keur percobaan. Baheula, percobaan variatif sapanjang dimensi lab-sawah. Ayeuna, maranéhna ogé rupa-rupa dina dimensi analog-digital. spasi design dua diménsi ieu gambar ku opat percobaan nu kuring ngajelaskeun dina bab ieu. Dina pamanggih kuring, wewengkon kasempetan greatest nyaeta percobaan widang digital.

Hiji dimensi sapanjang nu percobaan bisa dikelompokeun nyaeta dimensi lab-sawah. Loba percobaan dina élmu sosial nu percobaan lab mana siswa sarjana ngalakukan tugas aneh di lab kanggo Tangtu kiridit. jenis ieu percobaan mendominasi panalungtikan dina psikologi sabab nyandak peneliti mun nyieun pangaturan kacida dikawasa pikeun persis ngasingkeun jeung nguji téori husus ngeunaan kabiasaan sosial. Pikeun masalah tangtu kitu, hal karasaeun bit aneh ngeunaan teken conclusions kuat ngeunaan kabiasaan manusa ti jalma mahiwal sapertos ngajalankeun tugas ilahar misalna dina setting sapertos mahiwal. Menggah ieu geus ngarah ka gerakan arah percobaan sawah. percobaan widang ngagabungkeun desain kuat percobaan kontrol randomized kalawan grup langkung wawakil pamilon ngajalankeun tugas leuwih umum di setélan alam beuki.

Sanajan sababaraha urang mikir lab na widang percobaan salaku padika competing, éta pangalusna mikir éta stasiun lawanna, kalawan kaunggulan na kelemahan béda. Contona, Correll, Benard, and Paik (2007) dipaké duanana percobaan lab sarta percobaan widang dina usaha pikeun manggihan sumber ti "pinalti keibuan." Dina Amérika Serikat, ibu earn kurang duit ti awéwé gabug, sanajan ngabandingkeun awéwé kalayan kaahlian sarupa gawe dina jobs sarupa. Aya loba mungkin guaran pikeun pola ieu, salah sahiji nu yen dunungan anu bias ngalawan ibu. (Narikna, sabalikna sigana bener keur founding:. Aranjeunna condong earn leuwih ti lalaki gabug comparable) Dina raraga assess mungkin bias ngalawan ibu, Correll sareng kolega Anjeun lumpat tina dua eksperimen: hiji di lab jeung hiji di lapangan.

Kahiji, dina percobaan lab aranjeunna ngawartoskeun pamilon, anu éta undergraduates kuliah, nu hiji parusahaan ieu ngalakonan hiji pilarian pagawean pikeun jalma mingpin departemén pamasaran East Basisir anyar na. Siswa anu ngawartoskeun yen parusahaan hayang pitulung maranéhanana dina prosés Ngiring, sarta maranéhanana dipenta pikeun marios dihanca sababaraha Calon poténsial jeung ka meunteun para calon dina Jumlah dimensi, kayaning kecerdasan maranéhanana, kahaneutan, sarta komitmen ka jalan. Salajengna, siswa anu nanya lamun maranéhna bakal nyarankeun Ngiring nu ngalamar tur naon maranéhna bakal nyarankeun salaku gaji dimimitian. Unbeknownst ka murid kitu, dihanca anu husus diwangun janten sarupa iwal hiji hal: sawatara di antarana dibéré keibuan (ku Listing involvement dina pergaulan indungna-guru) jeung sabagian henteu. Correll sareng kolega Anjeun kapanggih yén siswa nya éta kurang kamungkinan kana nyarankeun Ngiring ka ibu sarta yén maranéhna ditawarkeun eta gaji awal handap. Salajengna, ngaliwatan hiji analisa statistik tina boh ratings sarta kaputusan nu patali Ngiring, Correll sareng kolega Anjeun manggihan yén kalemahan ibu 'anu sakitu legana dipedar ku kanyataan yén maranéhanana dipeunteun handap segi kompetensi jeung komitmen. Ku kituna, percobaan lab ieu diwenangkeun Correll sareng kolega Anjeun pikeun ngukur éfék kausal sarta nyadiakeun katerangan mungkin pikeun éfék éta.

Tangtu, hiji bisa jadi skeptis ngeunaan teken conclusions ngeunaan sakabéh pasar tenaga kerja US dumasar kana kaputusan ngeunaan sababaraha ratus undergraduates anu geus meureun pernah ngalaman pakasaban full-waktu, sumawona hired batur. Ku alatan éta, Correll sareng kolega Anjeun ogé dipigawé percobaan widang lawanna. Aranjeunna direspon jeung ratusan bukaan pakasaban diémbarkeun jeung hurup panutup palsu jeung dihanca. Sarupa jeung bahan ditémbongkeun ka undergraduates, sababaraha dihanca dibéré keibuan sarta sababaraha henteu. Correll sareng kolega Anjeun manggihan yén ibu éta kurang kamungkinan meunang disebut deui pikeun ngawawancara ti awéwé gabug disarengan mumpuni. Dina basa sejen, dunungan nyata nyieun kaputusan consequential dina setting alam behaved teuing kawas nu undergraduates. Naha maranéhna nyieun kaputusan sarupa pikeun alesan sarua? Hanjakal, urang teu nyaho. Para panalungtik éta teu bisa nanya ka dunungan mun meunteun para calon atanapi ngajelaskeun kaputusannana.

pasangan ieu percobaan mangka loba ngeunaan lab na widang percobaan umumna. percobaan lab nawiskeun peneliti kontrol deukeut-total lingkungan nu pamilon anu nyieun kaputusan. Ku kituna, misalna, dina percobaan lab, Correll sareng kolega Anjeun éta bisa mastikeun yén sagala dihanca anu maca dina setting sepi; dina percobaan sawah, sababaraha dihanca bisa moal malah geus maca. Salajengna, lantaran peserta dina setting lab nyaho nu sipatna keur ditalungtik, peneliti anu mindeng bisa ngumpulkeun data tambahan nu bisa mantuan ngajelaskeun naha peserta nu nyieun kaputusan maranéhanana. Contona, Correll sareng kolega Anjeun dipenta pamilon dina percobaan lab jeung meunteun para calon dina dimensi béda. Jenis ieu data proses bisa mantuan peneliti neuleuman mékanisme balik béda kumaha pamilon ngubaran dihanca.

Di sisi séjén, ieu ciri anu sarua pasti yén kuring kakarék didadarkeun salaku kaunggulan anu ogé kadang dianggap kalemahan. Peneliti anu resep percobaan widang ngajawab yén pamilon dina percobaan lab bisa meta pisan béda lantaran nyaho nu sipatna keur ditalungtik. Contona, dina percobaan lab, pamilon bisa geus ditebak tujuan panalungtikan sarta dirobah kabiasaan maranéhna ku kituna teu kaciri bias. Salajengna, peneliti anu resep percobaan widang bisa ngajawab yén béda leutik di dihanca ukur bisa nangtung kaluar dina, lingkungan lab steril pisan bersih, sahingga percobaan lab bakal overestimate efek keibuan on kaputusan Ngiring nyata. Tungtungna, loba proponents percobaan widang nyempad reliance lab percobaan 'dina pamilon aneh: utamana mahasiswa ti Kulon, nyakola, Industrialized, Beunghar, jeung nagara Démokratik (Henrich, Heine, and Norenzayan 2010a) . The percobaan ku Correll sareng kolega Anjeun (2007) ngagambarkeun dua extremes dina continuum lab-sawah. Dina antara dua extremes ieu aya ogé rupa-rupa desain hibrid, kaasup deukeut kayaning bringing non-murid kana lab atawa bade kana sawah tapi tetep ngabogaan pamilon ngalakukeun tugas mahiwal.

Salian dimensi lab-widang nu geus eksis kaliwat, umur digital hartina peneliti kiwari boga dimensi utama kadua sapanjang nu percobaan bisa rupa-rupa: analog-digital. Sagampil aya percobaan murni lab, percobaan widang murni, jeung rupa-rupa hibrida di antara, aya percobaan murni analog, percobaan digital murni, jeung rupa-rupa hibrida. Éta tricky mun nawarkeun harti formal dimensi ieu, tapi harti kerja mangpaat éta percobaan sajero digital anu percobaan nu ngagunakeun infrastruktur digital pikeun recruit pamilon, randomize, nganteurkeun perlakuan, jeung ngukur hasil. Contona, Restivo na van de Rijt urang (2012) ulikan ngeunaan barnstars na Wikipedia éta percobaan sajero digital kusabab dipake sistem digital pikeun sakabéh opat hambalan ieu. Kitu ogé, percobaan analog pinuh ulah ngagunakeun infrastruktur digital pikeun salah sahiji opat léngkah ieu. Loba percobaan Palasik dina psikologi anu percobaan analog pinuh. Dina antara dua extremes ieu, aya sawaréh percobaan digital anu ngagunakeun kombinasi sistem digital analog sarta.

Lamun sababaraha urang nganggap percobaan digital, maranéhna langsung pikir percobaan online. Ieu musibah lantaran kasempetan pikeun ngajalankeun percobaan digital henteu ngan online. Peneliti tiasa ngajalankeun percobaan sawaréh digital ku ngagunakeun alat digital di dunya fisik dina urutan pikeun nganteurkeun perlakuan atawa ngukur hasil. Contona, peneliti bisa ngagunakeun smartphone pikeun nganteurkeun perlakuan atawa sensor di lingkungan diwangun keur ngukur hasil. Kanyataanna, sakumaha urang tingali engké dina bab ieu, peneliti geus dipake kakuatan home méter pikeun ngukur hasil dina percobaan ngeunaan pamakéan énérgi ngalibetkeun 8,5 juta rumahtangga (Allcott 2015) . Salaku alat digital jadi beuki terpadu kana kahirupan masarakat jeung sensor janten terpadu kana lingkungan diwangun, kasempetan ieu keur ngajalankeun percobaan sawaréh digital di dunya fisik baris ngaronjatkeun nyirorot. Dina basa sejen, percobaan digital henteu ngan percobaan online.

Sistem digital nyieun kemungkinan anyar keur percobaan madhab sapanjang continuum lab-sawah. Dina percobaan lab murni, contona, peneliti tiasa make sistem digital pikeun ngukurna finer tina kabiasaan pamilon '; hiji conto tina tipe ieu ningkat ukur mangrupa alat panon-nyukcruk nu nyadiakeun ukuran hade tur sinambung lokasi gaze. Umur digital ogé nyiptakeun kamungkinan ngajalankeun percobaan lab-kawas online. Contona, peneliti geus gancang diadopsi Amazon Mechanical Turk (MTurk) kana recruit pamilon pikeun percobaan online (inohong 4.2). MTurk cocog "dunungan" anu gaduh tugas nu perlu réngsé kalawan "buruh" anu keukeuh ngalengkepan tugas jelema duit. Teu kawas pasar tenaga kerja tradisional kitu, tugas aub biasana merlukeun ukur sababaraha menit ngalengkepan, jeung sakabéh interaksi antara dunungan jeung worker nyaeta online. Kusabab MTurk mimics aspék percobaan-Mayar lab tradisional urang keur ngalengkepan tugas nu maranéhna henteu bakal ngalakukeun haratis-mangka sacara alami cocog pikeun jenis nu tangtu percobaan. Intina, MTurk geus dijieun infrastruktur pikeun ngatur hiji kolam renang pamilon-recruiting na Mayar jalma-na peneliti geus nyokot kauntungan tina infrastruktur nu ngetok kana hiji kolam renang salawasna sadia pamilon.

Gambar 4.2: tulak diterbitkeun ngagunakeun data ti Amazon Mechanical Turk (MTurk). MTurk jeung pasar tenaga kerja online sejenna nawiskeun peneliti cara merenah pikeun recruit pamilon pikeun percobaan. Diadaptasi tina Bohannon (2016) .

Sistem digital nyieun malah leuwih kemungkinan keur percobaan widang-kawas. Dina sababaraha hal, aranjeunna ngaktipkeun peneliti mun ngagabungkeun nu kedap kontrol jeung prosés data nu pakait sareng percobaan lab jeung pamilon leuwih beragam sareng setelan alam beuki nu pakait sareng percobaan lab. Sajaba ti éta, percobaan widang digital ogé nawarkeun tilu kasempetan nu biasana hésé dina percobaan analog.

Kahiji, sedengkeun paling analog lab na widang percobaan boga ratusan pamilon, percobaan widang digital bisa mibanda jutaan pamilon. robah di skala ieu kusabab sababaraha percobaan digital bisa ngahasilkeun data di enol ongkos variabel. Hartina, sakali peneliti geus nyieun hiji infrastruktur eksperimen, ngaronjatna jumlah pamilon ilaharna henteu nambahan biaya. Ngaronjatna jumlah pamilon ku faktor 100 atawa leuwih teu ngan hiji robah kuantitatif; éta parobahan kualitatif, sabab nyandak peneliti pikeun neuleuman hal béda ti percobaan (misalna heterogeneity of épék treatment) jeung pikeun ngajalankeun desain eksperimen sagemblengna béda (misalna badag-grup percobaan). titik ieu jadi penting, Kuring gé balik deui ka dinya nuju ka réngséna hiji bab nalika kuring nawiskeun nasihat ngeunaan nyieun percobaan digital.

Kadua, sedengkeun paling analog lab na widang percobaan ngubaran pamilon sakumaha widget ngalelep teu bisa dibédakeun, percobaan widang digital mindeng ngagunakeun informasi tukang ngeunaan pamilon dina rarancang jeung analisis tahapan panalungtikan. Inpo tukang ieu, nu disebut informasi pre-perlakuan, nya mindeng aya dina percobaan digital sabab ngajalankeun on luhureun sistem ukur salawasna-on (tingali surah 2). Contona, hiji panalungtik di Facebook boga informasi pre-perlakuan leuwih ngeunaan jalma dina percobaan widang digital nya ti panalungtik universitas boga ngeunaan jalma dina percobaan widang analog nya. Ieu pre-perlakuan nyandak desain-misalna leuwih efisien eksperimen sakumaha blocking (Higgins, Sävje, and Sekhon 2016) sarta rekrutmen sasaran pamilon (Eckles, Kizilcec, and Bakshy 2016) -and langkung topics analysis-kayaning estimasi tina heterogeneity of épék perlakuan (Athey and Imbens 2016a) sarta adjustment covariate keur ningkat precision (Bloniarz et al. 2016) .

Katilu, sedengkeun loba lab analog sarta médan percobaan nganteurkeun perlakuan jeung hasil ukuran dina jumlah lumayan dikomprés waktu, sababaraha percobaan widang digital lumangsung timescales leuwih leuwih lila. Contona, Restivo na van de Rijt urang percobaan tadi hasilna diukur poéan pikeun 90 poé, sarta salah sahiji percobaan Abdi gé ngabejaan Anjeun tentang engké dina bab (Ferraro, Miranda, and Price 2011) dilacak hasil leuwih tilu taun di dasarna henteu ongkos. tilu kasempetan-ukuran, informasi pre-treatment, sarta pengobatan longitudinal tur hasilna ieu data-timbul ilahar lamun percobaan anu ngajalankeun kana luhureun salawasna-on ukur sistem (tingali surah 2 pikeun nu langkung lengkep ihwal salawasna-on sistem ukur).

Bari percobaan widang digital nawarkeun loba kemungkinan, maranéhna ogé bagikeun sababaraha kelemahan kalawan duanana lab analog sarta percobaan widang analog. Contona, percobaan teu bisa dipaké pikeun diajar kaliwat, sarta aranjeunna ukur bisa estimasi efek tina perlakuan nu bisa dimanipulasi. Ogé, najan percobaan nu undoubtedly mangpaat pikeun panduan kawijakan, hidayah pasti aranjeunna tiasa nawiskeun téh rada diwatesan kusabab komplikasi kayaning gumantungna lingkungan, masalah minuhan, sarta épék kasatimbangan (Banerjee and Duflo 2009; Deaton 2010) . percobaan widang Digital ogé ngagedekeun dina masalah etika dijieun ku percobaan-widang topik Abdi gé alamat engké dina bagean ieu sarta dina bab 6.