4.3 Dua dimensi percobaan: lab-widang jeung analog-digital

Percobaan Lab nawarkeun kontrol, percobaan widang nawarkeun realisme, jeung percobaan widang digital ngagabung kontrol jeung realisme di skala.

Percobaan datang dina loba wangun jeung ukuran anu béda. Tapi, sanajan béda ieu, panalungtik geus manggihan eta mantuan pikeun ngatur percobaan sapanjang continuum antara percobaan lab jeung percobaan widang. Ayeuna kitu, panalungtik kudu oge ngatur percobaan sapanjang continuum antara percobaan analog jeung percobaan digital. rohangan desain dua-dimensi ieu bakal mantuan Anjeun nyurtian kaunggulan jeung kelemahan ngarupakeun pendeketan beda jeung nyarankeun wewengkon kasempetan greatest (Gambar 4.1).

Gambar 4.1: Schematic rohangan desain keur percobaan. Baheula, percobaan variatif sapanjang dimensi lab-widang. Ayeuna, maranéhanana ogé rupa-rupa dina dimensi analog-digital. Dina pamadegan mah, wewengkon kasempetan greatest nyaéta percobaan widang digital.

Baheula, jalan utama anu panalungtik diayakeun percobaan ieu sapanjang dimensi lab-widang. Mayoritas percobaan dina élmu sosial nu percobaan lab mana siswa sarjana ngalakukan tugas aneh di lab pikeun tangtu kiridit. jenis ieu percobaan mendominasi panalungtikan di psikologi sabab nyandak panalungtik pikeun nyieun perlakuan pisan husus dirancang pikeun nguji téori pisan husus ngeunaan paripolah sosial. Pikeun masalah tangtu kitu, hal karasaeun bit hiji aneh ngeunaan teken conclusions kuat ngeunaan paripolah manusa ti jalma mahiwal saperti ngajalankeun tugas mahiwal saperti dina setting saperti mahiwal. Masalah ieu geus ngarah ka gerakan ka arah percobaan widang. percobaan widang ngagabung desain kuat percobaan kontrol randomized jeung grup leuwih wakil pamilon, ngajalankeun tugas leuwih umum, dina setélan leuwih alami.

Sanajan sababaraha urang mikir lab jeung widang percobaan salaku métode competing, geus pangalusna pikeun mikir eta jadi métode lawanna jeung kaunggulan jeung kelemahan beda. Contona, Correll, Benard, and Paik (2007) dipaké boh hiji percobaan lab jeung percobaan widang dina usaha pikeun manggihan sumber tina "hukuman keibuan." Dina Amérika Sarikat, ibu earn kurang duit ti awewe gabug, komo lamun ngabandingkeun awewe jeung kaahlian jiga gawe dina jobs sarupa. Aya loba mungkin explanations pikeun pola ieu, jeung hiji nu pangusaha anu bias ngalawan ibu ibu. (Narikna, sabalikna Sigana bener keur founding: maranéhanana condong earn leuwih loba ti lalaki gabug comparable). Dina raraga assess mungkin bias ngalawan ibu, Correll sareng kolega lumpat dua percobaan: hiji di lab jeung hiji di lapangan.

Kahiji, dina percobaan lab Correll sareng kolega ka pamilon anu éta undergraduates kuliah, nu hiji pausahaan komunikasi mimiti-up basis California ieu ngalakonan hiji search pagawean keur jalma mingpin departemen marketing East Basisir anyar anak. Murid anu ka nu pausahaan hayang bantuan maranéhanana dina prosés Ngiring jeung maranéhanana ménta pikeun nempoan dihanca sababaraha Calon poténsial jeung meunteun para calon dina jumlah dimensi saperti kecerdasan maranéhanana, kahaneutan, sarta komitmen pikeun digawe. Salajengna, siswa anu nanya lamun maranehna bakal nyarankeun Ngiring nu ngalamar jeung naon bakal nyarankeun salaku gaji dimimitian. Unbeknownst ka siswa kitu, dihanca anu husus diwangun jadi sarua iwal hiji hal: sababaraha dihanca dibéré keibuan (ku Listing involvement dina pakaitna indungna-guru) jeung sababaraha henteu. Correll manggihan yén siswa nya éta kurang kamungkinan kana nyarankeun Ngiring nu ibu ibu jeung ditawarkeun eta gaji awal handap. Salajengna, ngaliwatan analisis statistik boh ratings jeung kaputusan nu patali Ngiring, Correll manggihan yén kalemahan ibu ibu 'anu kalolobaan dipedar ku kanyataan yén ibu ibu anu dipeunteun handap dina watesan kompetensi jeung komitmen. Dina basa sejen, Correll boga pamadegan yén Tret ieu mékanisme ngaliwatan nu ibu ibu anu disadvantaged. Ku kituna, percobaan lab ieu beunang Correll sareng kolega pikeun ngukur pangaruh kausal sarta méré katerangan mungkin keur pangaruh éta.

Tangtu, hiji bisa jadi skeptis ngeunaan teken conclusions ngeunaan sakabéh pasar tanaga gawé AS dumasar kana kaputusan tina sababaraha ratus undergraduates anu geus meureun pernah ngalaman waktu pakasaban full, sumawona hired urang. Ku alatan éta, Correll sareng kolega ogé dipigawé hiji percobaan widang lawanna. Para panalungtik direspon ka ratusan bukaan pakasaban diémbarkeun ku ngirim di hurup panutup palsu jeung dihanca. Sarua jeung bahan dipintonkeun ka undergraduates, sababaraha dihanca dibéré keibuan jeung sababaraha henteu. Correll sareng kolega manggihan yén ibu éta kurang kamungkinan meunang disebut deui pikeun wawancara ti awewe gabug sarua mumpuni. Dina basa sejen, pangusaha real nyieun kaputusan consequential dina setting alam behaved loba kawas undergraduates. Naha maranehna nyieun kaputusan sarupa pikeun alesan sarua? Hanjakalna, urang teu nyaho. Para panalungtik éta teu bisa nanya pangusaha ka meunteun para calon atawa ngajelaskeun kaputusan maranéhanana.

pasangan ieu percobaan mangka loba ngeunaan lab jeung widang percobaan sacara umum. percobaan Lab nawarkeun panalungtik deukeut total kontrol lingkungan nu pamilon anu nyieun kaputusan. Jadi, upamana, dina percobaan lab, Correll ieu bisa mastikeun yén sagala dihanca anu maca dina setting tenang; dina percobaan widang, sababaraha dihanca bisa jadi teu geus komo geus maca. Salajengna, sabab pamilon dina setting lab nyaho nu sipatna keur ditalungtik, panalungtik mindeng bisa ngumpulkeun data tambahan nu bisa mantuan maranehna ngarti naha pamilon anu nyieun kaputusan maranéhanana. Contona, Correll nanya pamilon dina percobaan lab ka meunteun para calon dina dimensi anu béda. Jenis ieu data proses bisa mantuan panalungtik ngarti mekanisme balik béda dina kumaha pamilon ngubaran dihanca.

Di sisi séjén, ieu ciri sarua pasti mah ngan digambarkeun salaku kaunggulan ogé kadang dianggap kalemahan. Panalungtik anu resep percobaan widang ngajawab yén pamilon dina percobaan lab bisa meta pisan béda basa aranjeunna keur keur raket observasi. Contona, dina lab peserta percobaan bisa geus ditebak tujuan panalungtikan sarta dirobah paripolah maranéhanana ku kituna teu kaciri bias. Salajengna, panalungtik anu resep percobaan widang bisa ngajawab yén béda leutik dina dihanca ngan bisa nangtung kaluar dina, lingkungan lab steril pisan bersih, sahingga percobaan lab bakal leuwih-estimasi pangaruh keibuan dina kaputusan Ngiring nyata. Ahirna, loba proponents percobaan widang nyempad percobaan lab reliance dina pamilon aneh: utamana siswa ti Kulon, nyakola, Industrialized, Beunghar, jeung nagara Démokratik (Henrich, Heine, and Norenzayan 2010) . Nu percobaan ku Correll sareng kolega (2007) ngagambarkeun dua extremes dina continuum lab-widang. Di antara dua extremes ieu aya rupa-rupa desain hibrid kaasup deukeut saperti bringing non-siswa kana lab atawa bade kana widang tapi masih ngabogaan pamilon ngalakukeun hiji tugas mahiwal.

Salian dimensi lab-widang nu geus aya di jaman baheula, umur digital hartina panalungtik ayeuna boga dimensi utama kadua sapanjang nu percobaan bisa rupa-rupa: analog-digital. Sagampil aya percobaan murni lab, percobaan widang murni, jeung rupa-rupa hibrida di antara, aya percobaan murni analog, percobaan digital murni, jeung rupa-rupa hibrida. Ieu téh tricky nawarkeun hiji définisi formal tina dimensi ieu, tapi harti kerja dipake nyaeta percobaan pinuh digital anu percobaan nu ngagunakeun infrastruktur digital ka recruit pamilon, randomize, nganteurkeun perlakuan, jeung ngukur hasil. Contona, Restivo jeung van de Rijt urang (2012) ulikan barnstars jeung Wikipedia ieu percobaan pinuh digital sabab dipaké sistem digital pikeun sakabéh opat hambalan ieu. Kitu ogé pinuh percobaan analog nu percobaan nu teu ngagunakeun infrastruktur digital keur unggal opat léngkah ieu. Loba percobaan Palasik dina psikologi anu percobaan analog. Di antara dua extremes ieu aya sawaréh percobaan digital anu ngagunakeun kombinasi sistem analog jeung digital pikeun opat léngkah.

Kritis, kasempetan pikeun ngajalankeun percobaan digital anu teu saukur online. Panalungtik bisa ngajalankeun percobaan sawaréh digital kalayan ngagunakeun alat digital di dunya fisik dina raraga pikeun nganteurkeun perlakuan atawa ngukur hasil. Contona, panalungtik bisa make telepon pinter pikeun nganteurkeun perlakuan atawa sensor di lingkungan diwangun pikeun ngukur hasil. Kanyataanna, sakumaha nu ayeuna urang baris nempo saterusna dina ieu bab, panalungtik geus dipaké daya imah méter pikeun ngukur hasil dina percobaan ngeunaan norma sosial jeung konsumsi énergi ngalibetkeun 8,5 juta rumah tangga (Allcott 2015) . Salaku alat digital jadi beuki terpadu kana kahirupan masarakat jeung sensor jadi terpadu kana lingkungan diwangun, kasempetan ieu pikeun ngajalankeun percobaan sawaréh digital di dunya fisik bakal nambahan nyirorot. Dina basa sejen, percobaan digital teu ngan percobaan online.

sistem Digital nyieun kemungkinan anyar pikeun percobaan madhab sapanjang continuum lab-widang. Dina percobaan lab murni, contona, panalungtik bisa maké sistem digital pikeun ukuran finer tina paripolah pamilon '; hiji conto jenis ieu ningkat ukuran nyaeta alat panon-nyukcruk nu nyadiakeun ukuran hade jeung kontinyu lokasi gaze. Umur digital ogé nyieun kamungkinan pikeun ngajalankeun percobaan lab kawas online. Contona, panalungtik geus gancang diadopsi Amazon Mechanical Turk (MTurk) pikeun recruit pamilon pikeun percobaan online (Gambar 4.2). MTurk cocog "dunungan" anu miboga pancén anu kudu réngsé jeung "pagawe" nu hayang ngarengsekeun tugas eta duit. Teu kawas pasar tanaga gawé tradisional kitu, tugas aub biasana ngan butuh sababaraha menit pikeun ngarengsekeun jeung sakabéh interaksi antara dunungan jeung worker nyaéta maya. Sabab MTurk mimics aspék percobaan-Mayar lab tradisional urang pikeun ngarengsekeun tugas nu teu bakal ngalakukeun haratis-eta alami cocog pikeun tipe tangtu percobaan. Intina, MTurk geus nyiptakeun infrastruktur pikeun ngatur hiji pool pamilon-recruiting jeung Mayar jalma-jeung panalungtik geus nyokot kauntungan tina infrastruktur nu ngetok kana hiji pool sok sadia pamilon.

Gambar 4.2: tulak diterbitkeun ngagunakeun data ti Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk jeung pasar tanaga gawé online sejenna nawarkeun panalungtik cara merenah pikeun recruit pamilon pikeun percobaan.

percobaan Digital nyieun komo leuwih kemungkinan keur percobaan widang kawas. percobaan widang Digital bisa nawarkeun kontrol jeung prosés data ketang ngarti mekanisme mungkin (kawas percobaan lab) jeung leuwih rupa-rupa pamilon nyieun kaputusan nyata dina lingkungan alami (kawas percobaan widang). Salian kombinasi ieu ciri hade percobaan tadi, percobaan widang digital ogé nawarkeun tilu kasempetan nu éta hésé dina analog lab jeung widang percobaan.

Kahiji, sedengkeun paling analog lab jeung widang percobaan geus ratusan peserta, percobaan widang digital bisa boga jutaan pamilon. parobahan dina skala Hal ieu sabab sababaraha percobaan digital bisa ngahasilkeun data di nol biaya variabel. Hartina, sakali panalungtik geus dijieun hiji infrastruktur ékspérimén, ngaronjatna jumlah pamilon ilaharna teu nambahan biaya. Ngaronjatna jumlah pamilon ku faktor 100 atawa leuwih mah sakadar parobahan kuantitatif, eta parobahan kualitatif, sabab nyandak panalungtik pikeun diajar hal béda ti percobaan (misalna heterogeneity tina pangaruh perlakuan) jeung ngajalankeun desain percobaan sagemblengna beda ( misalna percobaan koneng gede). titik Ieu jadi penting, Abdi gé mulang ka eta ka arah ahir bab lamun I nawarkeun nasihat ngeunaan nyieun percobaan digital.

Kadua, sedengkeun paling analog lab jeung widang percobaan ngubaran pamilon salaku widget ngalelep teu bisa dibédakeun, percobaan widang digital mindeng ngagunakeun informasi kasang tukang ngeunaan pamilon dina rarancang jeung analisis tahapan panalungtikan. Informasi kasang tukang ieu, nu disebut informasi pre-perlakuan, mindeng sadia di percobaan digital sabab lumangsung dina lingkungan pinuh diukur. Contona, panalungtik di Facebook ngabogaan informasi pre-perlakuan leuwih ti hiji panalungtik ngarancang hiji percobaan lab standar jeung undergraduates. informasi pre-perlakuan ieu nyandak panalungtik pikeun pindah leuwih nyampurkeun pamilon widget salaku ngalelep teu bisa dibédakeun. More husus, informasi pre-perlakuan nyandak desain-kawas leuwih efisien ékspérimén salaku blocking (Higgins, Sävje, and Sekhon 2016) jeung rekrutmen sasaran pamilon (Eckles, Kizilcec, and Bakshy 2016) -and analisis-kawas leuwih topics salaku estimasi tina heterogeneity tina pangaruh perlakuan (Athey and Imbens 2016a) jeung adjustment covariate keur ningkat precision (Bloniarz et al. 2016) .

Katilu, sedengkeun loba lab analog jeung widang percobaan nganteurkeun perlakuan jeung hasil ukuran dina jumlah relatif dikomprés waktu, sababaraha percobaan widang digital ngalibetkeun perlakuan anu bisa dikirimkeun kana waktu jeung efek ogé bisa diukur dumasar kana waktu. Contona, Restivo jeung van de Rijt sacara percobaan ngabogaan hasil diukur poean pikeun 90 poé, jeung salah sahiji percobaan Abdi gé ngabejaan Anjeun tentang saterusna dina bab (Ferraro, Miranda, and Price 2011) ngalacak hasil leuwih 3 taun di dasarna no biaya. tilu kasempetan-ukuran, informasi pre-perlakuan, jeung perlakuan longitudinal jeung hasil ieu data-aya paling umum lamun percobaan nu ngajalankeun di luhur sok di sistem ukuran (tempo Bab 2 pikeun nu langkung lengkep ihwal sok dina sistem ukuran).

Sedengkeun percobaan widang digital nawarkeun loba kemungkinan, maranéhanana ogé babagi sababaraha kelemahan jeung boh lab analog jeung percobaan widang. Contona, percobaan teu bisa dipaké pikeun diajar jaman baheula, jeung maranehna ngan bisa estimasi efek tina perlakuan nu bisa dimanipulasi. Oge, sanajan percobaan nu undoubtedly mangpaat pikeun pituduh kawijakan, nu hidayah pasti bisa nawarkeun téh rada kawates alatan komplikasi saperti gumantungna lingkungan, masalah minuhan, sarta pangaruh kasatimbangan (Banerjee and Duflo 2009; Deaton 2010) . Ahirna, percobaan widang digital ngagedekeun nu masalah etika dijieun ku percobaan widang. Proponents percobaan widang gusti pangabisa maranéhanana unobtrusively jeung acak ngahalangan kana kaputusan consequential dijieun ku jutaan jalma. fitur ieu nawarkeun kaunggulan ilmiah nu tangtu, tapi maranéhanana ogé bisa nyieun percobaan widang ethically kompléks (mikir ngeunaan eta salaku panalungtik nyampurkeun jalma kawas "beurit lab" dina skala masif). Salajengna, sajaba mungkin harms ka pamilon, percobaan widang digital, sabab skala maranéhanana, bisa ogé ngangkat masalah ngeunaan gangguan gawe sistem sosial (misalna kasalempang disrupting sistim ganjaran Wikipedia lamun Restivo jeung van der Rijt méré loba teuing barnstars) .