4.3 туршилтын хоёр хэмжээс: лабораторийн-хээрийн болон аналог дижитал

Lab туршилт хээрийн туршилт бодитой санал, болон дижитал хээрийн туршилт хэмжээнд хяналт тавьж, бодитой нэгтгэх, хянах, санал болгож байна.

Туршилт нь олон янзын хэлбэр дүрс, хэмжээтэй ирдэг. Гэвч эдгээр ялгаатай байгаа хэдий ч, судлаачид энэ нь тус лабораторийн туршилт, хээрийн туршилт хооронд тасралтгүй дагуу туршилт зохион байгуулж олсон байна. Одоо хэдий ч, судлаачид ч туршилт аналог туршилт болон тоон туршилтын хооронд тасралтгүй хамт зохион байгуулах нь зүйтэй. Энэ нь хоёр хэмжээст загвар нь сансрын та давуу болон өөр өөр хандлага сул талыг хамгийн агуу боломж газар (Зураг 4.1) ойлгож, санал туслах болно.

Зураг 4.1: туршилтанд дизайн зай бүдүүвч. Өмнө нь туршилт лабораторийн-хээрийн хэмжээс дагуу харилцан адилгүй. Одоо тэд бас аналог дижитал хэмжээс дээр өөр өөр байдаг. Миний бодлоор бол хамгийн агуу боломж талбай дижитал хээрийн туршилт юм.

Өмнө нь судлаачид туршилт зохион байгуулсан гэж гол арга зам нь лабораторийн-хээрийн хэмжээс хамт байсан юм. Нийгмийн шинжлэх ухааны туршилт дийлэнх нь бакалаврын оюутан сургалтын зээл нь лабораторид хачин ажлуудыг хийж гүйцэтгэхэд лабораторийн туршилт байна. Энэ нь нийгмийн зан үйлийн талаар маш тодорхой онолыг шалгах зорилготой маш тодорхой эмчилгээ бий болгох судлаачдад олгодог, учир нь энэ төрлийн туршилт сэтгэл судлалын судалгаа давамгайлж байна. Зарим асуудал нь, гэхдээ ямар нэг зүйл ийм ер бусын орчинд ийм ер бусын ажлуудыг гүйцэтгэх ийм ер бусын хүмүүсийн хүний ​​зан талаар хүчтэй дүгнэлт дээр зураг зурах талаар жаахан хачин санагддаг. Эдгээр асуудлуудыг хээрийн туршилт тийш нь хөдөлгөөнд хүргэсэн байна. Хээрийн туршилт санамсаргүй хяналтын туршилт хүчтэй дизайн оролцогчдын илүү төлөөлөгч бүлэг нь илүү нийтлэг үүргийг гүйцэтгэх, илүү байгалийн тохиргоо нэгтгэнэ.

Зарим хүмүүс аргыг өрсөлдөгч гэж лаборатори, хээрийн туршилтын боддог боловч энэ нь янз бүрийн давуу болон сул талыг нь нэмэлт арга тэдэнд боддог нь хамгийн сайн арга юм. Жишээ нь, Correll, Benard, and Paik (2007) нь лабораторийн туршилт болон АНУ-д эх үүсвэрийг "эх ялыг." Олох зорилгоор хээрийн туршилт аль алинд нь ашиглаж, эхчүүд, тэр ч байтугай үед үр хүүхэдгүй эмэгтэй багагүй мөнгө олох ижил төстэй ажлын байр ажиллаж ижил ур чадвартай харьцуулах нь эмэгтэйчүүд. энэ загварын олон боломжит тайлбар байдаг бөгөөд нэг нь ажил олгогч эх эсрэг нэг талыг баримталж байгаа юм. (Сонирхолтой нь, эсрэг эцэг өвгөдийнхөө үнэн юм шиг байгаа юм: тэдгээр нь харьцуулж хүүхэдгүй эрэгтэйчүүдээс илүү орлого олох хандлагатай байдаг). лабораторид нэг болон салбарын нэг нь: эхийн эсрэг байж болох алдааг үнэлэхийн тулд Correll болон хамт олон нь хоёр туршилт байв.

Нэгдүгээрт, лабораторийн туршилтанд Correll болон хамт олон оролцогчид, коллежийн төгсөх байсан нь Калифорни мужийн суурилсан эхлэлийн харилцаа холбооны компани өөрийн шинэ East Coast маркетингийн хэлтэст хүргэж нь хүний ​​хөдөлмөрийн хайх гэж хэлсэн. Оюутнууд компани ажилд авах үйл явцад тэдний тусламж хүсч, тэд хэд хэдэн боломжит нэр дэвшигч Товч намтар хянах зэрэг нь тэдний оюун ухаан, дулаанд болон ажиллах амлалт гэх мэт хэмжээ нь хэд хэдэн нэр дэвшигчийг үнэлэх асуусан байна гэж хэлсэн байна. Цаашилбал, сурагчид мэдүүлэг гаргагчид, юу тэд эхлэх цалин гэж зөвлөж байна Ажилд авах санал болгож байна уу гэж асуусан байна. оюутан үл таних боловч, дахин дуугарна тусгайлан нэг зүйл нь бусад ижил төстэй байх баригдсан байна: товч намтар зарим (эцэг эх, багш нар эвлэлдэн нэгдэж оролцоог жагсаан) эх хүн сигнал, зарим нь байхгүй байсан. Correll оюутнууд эх ажилд санал болгох магадлал бага байна, тэдэнд бага гарааны цалин санал болгосон нь тогтоогджээ. Цаашилбал, зэрэглэл болон ажилд авах холбоотой шийдвэрийн аль аль нь статистик дүн шинжилгээ хийх замаар Correll эхийн сул талууд ихээхэн эхчүүд ур чадвар, үүрэг хувьд бага үнэлгээ авсан гэсэн тайлбарлаж байсан нь тогтоогджээ. Өөрөөр хэлбэл, Correll эдгээр шинж чанарууд эхийн дамжуулан эмзэг байдаг механизм гэж үзэж байна. Тиймээс энэ лабораторийн туршилт нь учир шалтгааны хүчин төгөлдөр хэмжиж, тэр нөлөө нь боломжит тайлбар өгөх Correll, хамтран ажиллагсадаа зөвшөөрсөн байна.

Мэдээж хэрэг, нэг нь магадгүй хэзээ ч ганцаараа байг, бүрэн цагийн ажилтай болсон хүн хөлсөлж авсан хэдэн зуун бакалаврийн шийдвэрийн үндсэн дээр бүхэлд нь АНУ-ын хөдөлмөрийн зах зээлийн талаар дүгнэлт эргэлзэж байж болох юм. Тиймээс Correll болон түүний хамтрагчид нь мөн нэмэлт хээрийн туршилт хийсэн. Судлаачид хуурамч хамгаалах үсэг болон дахин сэргэсэн нь илгээж сурталчилсан ажлын нүх зуун хариулсан байна. Бакалаврын харуулсан материал төстэй, зарим нь дуугарна төрөх дохио, зарим нь байхгүй байсан. Correll болон хамт олон эх нь адил мэргэжилтэй хүүхэдгүй эмэгтэйчүүд илүү ярилцлага буцах гэж нэрлэдэг авах магадлал бага байсан нь тогтоогджээ. Өөрөөр хэлбэл, байгалийн орчинд үр дагавартай шийдвэр гаргах бодит ажил олгогчид их бакалаврийн шиг ааш зантай. Тэд ижил шалтгаанаар ижил төстэй шийдвэр гаргах юм бэ? Харамсалтай нь, бид мэдэхгүй. Судлаачид нэр дэвшигчдийг үнэлэх, тэдний шийдвэрийг тайлбарлах ажил олгогч асуух чадсангүй.

туршилт Энэ хос ерөнхий лаборатори, хээрийн туршилтын талаар маш их байгааг харуулж байна. Lab туршилт нь оролцогчид шийдвэр гаргах нь байгаль орчинд нийт хяналт ойролцоо судлаачид санал болгож байна. Тэгэхээр жишээ нь, лабораторийн туршилтанд, Correll бүх дуугарна нам гүм орчинд уншиж байсан гэдгийг баталгаажуулахын тулд боломжтой байсан, хээрийн туршилтын онд дахин сэргэсэн нь зарим нь бүр уншиж байсан байж болох юм. Цаашилбал, лабораторийн орчинд оролцогчид нь тэд судалж байгаа гэдгийг мэддэг учраас, судлаачид ихэвчлэн яагаад оролцогчид шийдвэр гаргах нь тэднийг ойлгоход нь туслах болно нэмэлт мэдээллийг цуглуулах боломжтой байдаг. Жишээ нь, Correll өөр өөр хэмжээтэй дээр нэр дэвшигчдийг үнэлэх лабораторийн туршилтанд оролцогчид асуусан. Үйл явц нь мэдээллийн Энэ төрлийн оролцогчид Товч намтар хэрхэн харьцах ялгаатай ард механизмыг судлаачид ойлгоход нь туслах болно.

Нөгөө талаар, би зүгээр л давуу тал гэж тодорхойлсон эдгээр яг адилхан шинж чанар нь заримдаа сул тал гэж үзэж байна. Хээрийн туршилт илүүд үздэг судлаачид тэдгээр нь хоорондоо нягт ажиглаж байгаа үед лабораторийн туршилтанд оролцогчид нь маш өөр өөр үйл ажиллагаа болно гэж үзэж байна. Жишээ нь, лабораторид туршилт оролцогчид судалгааны зорилго таасан биш, харин тийм илүү хазайсан харагддаг тэдний зан үйлийг өөрчилж байж болох юм. Цаашилбал, товч намтар дээр гэж жижиг ялгааг үзэж болох юм хээрийн туршилт илүүд үздэг судлаачид зөвхөн маш цэвэрхэн, ариутгасан лабораторийн орчинд гарч зогсож чадах, улмаар лабораторийн туршилт бодит ажилд шийдвэрийн талаар эх хүний ​​нөлөө хэт тооцох болно. Ихэвчлэн Баруун, боловсролтой, аж үйлдвэржсэн, баян оюутнууд, болон Ардчилсан орнуудын: Эцэст нь хэлэхэд, хээрийн туршилтын олон дэмжигчид хачин оролцогчдын дээр лабораторийн туршилт хамааралтай шүүмжлэх (Henrich, Heine, and Norenzayan 2010) . Correll болон хамтран ажиллагсад туршилт (2007) лабораторийн-хээрийн тасралтгүй дээр хоёр хязгаарыг харуулж байна. Энэ хоёр эрс тэс хооронд ийм, оюутан бус лабораторид руу авчрах, эсвэл тариан талбай уруу явах боловч оролцогчид нь ер бусын үүрэг гүйцэтгэх байх гэж арга зэрэг гибрид загвар нь олон янзын байдаг.

аналог дижитал: Өнгөрсөн хугацаанд оршин тогтнож байгаа лабораторийн-хээрийн хэмжээс гадна, дижитал нас судлаачид одоо туршилт өөр өөр байдаг нь хамт хоёр гол хэмжээс байна гэсэн үг юм. Цэвэр лабораторийн туршилт, цэвэр хээрийн туршилт, хооронд нь хайбрид нь олон янзын байдаг шиг, цэвэр аналог туршилт, цэвэр тоон туршилт болон хайбрид нь олон янзын байдаг. Энэ хэмжээс нь албан ёсны тодорхойлолтыг санал төвөгтэй байдаг ч ашигтай ажлын тодорхойлолт бүрэн дижитал туршилт, оролцогчдыг сонгон шалгаруулж авах randomize, эмчилгээг хүргэх, мөн үр дүнг хэмжих дижитал дэд бүтцийг ашиглах туршилтууд байдаг. Жишээ нь, Restivo болон ван де Rijt-ын (2012) barnstars судалгаа ба Wikipedia эдгээр алхмуудыг бүх дөрвөн тоон системийг ашигладаг, учир нь бүрэн дижитал туршилт байсан юм. Үүний нэгэн адил бүрэн аналог туршилт эдгээр дөрвөн үе шат ямар ч тоон дэд бүтцийг ашиглах хийж чадахгүй бол туршилт байна. сэтгэл судлал нь сонгодог туршилт олон аналог туршилт байна. Энэ хоёр эрс тэс хооронд хэсэгчлэн дөрвөн үе шат нь аналог болон дижитал системийг хослуулан хэрэглэдэг дижитал туршилт байна.

Устаж, боломж нь зөвхөн онлайн дижитал туршилт биш юм ажиллуулж байна. Судлаачид эмчилгээг хүргэх, эсвэл үр дүнг хэмжих зорилгоор биет дэлхийн дижитал төхөөрөмжүүдийг ашиглан хэсэгчлэн дижитал туршилт ажиллуулж болно. Жишээ нь, судлаачид үр дүнг хэмжих барьсан орчинд эмчилгээ болон мэдрэгч хүргэх ухаалаг гар утас ашиглаж болох юм. Ер нь бид энэ бүлэгт хожим нь харж болно гэж судлаачид аль хэдийн гэрийн цахилгаан метр, нийгмийн хэм хэмжээ, өрхийн 8.5 сая оролцсон эрчим хүчний хэрэглээний талаар туршилт үр дүнг хэмжихэд ашиглаж байна (Allcott 2015) . дижитал төхөөрөмжүүд улам бүр хүмүүсийн амьдралд нэгдсэн болж, мэдрэгч барьсан байгаль орчинд нэгдсэн болсон, эдгээр боломжууд биет дэлхийн зарим тоон туршилт ажиллуулахыг эрс нэмэгдэх болно. Өөрөөр хэлбэл, тоон туршилт нь зөвхөн онлайн туршилт биш юм.

Дижитал систем хаа сайгүй лабораторийн-хээрийн тасралтгүй дагуу туршилт хувьд шинэ боломжийг бий болгох. Цэвэр лабораторийн туршилт Жишээ нь, судлаачид оролцогчдын зан нарийн хэмжих дижитал системийг ашиглаж болно; сайжруулсан хэмжилтийн энэ төрлийн нэг жишээ нь харц байршил тодорхой, тасралтгүй арга хэмжээ хангадаг нүд дагаж тоног төхөөрөмж юм. дижитал нас нь онлайн лабораторийн шиг туршилт ажиллуулах боломжийг бий болгож байна. Жишээ нь, судлаачид маш хурдан онлайн туршилтанд оролцогчид (Зураг 4.2) сонгон шалгаруулж авах Amazon Механик Түрэг (MTurk) баталсан байна. MTurk "ажил олгогч", "ажилтан" мөнгөний төлөө эдгээр ажлыг дуусгахын тулд хүсэж байгаа нь дууссан байх ёстой зорилго байсан таарч. Уламжлалт хөдөлмөрийн зах зээл ялгаатай хэдий ч, ихэвчлэн оролцдог үүрэг хэдхэн минут дуусгах шаардлагатай, ажил олгогч болон ажилтны хооронд бүхэл бүтэн харилцан виртуал юм. уламжлалт лабораторийн туршилт цалинтай хүмүүс нь MTurk дуурайж асуудал нь тэд хийж чадахгүй байсан ажлыг дуусгахын тулд учраас чөлөөт энэ нь байгалийн туршилтын тодорхой төрлийн тохиромжтой байна. Гол нь, MTurk оролцогчид-элсүүлэх нь сан удирдах хүмүүс-, судлаачид оролцсон нь үргэлж бэлэн санд холбох гэж дэд бүтцийн давуу талыг авсан төлөх дэд бүтцийг бий болгосон.

Зураг 4.2: баримт бичиг Amazon Механик Turk (MTurk) мэдээллийг ашиглан нийтэлсэн (Bohannon 2016) . MTurk болон бусад онлайн хөдөлмөрийн зах зээл байгуулан туршилтанд оролцогчдын сонгон шалгаруулж авах нь тохиромжтой арга замыг санал болгож байна.

Дижитал туршилт талбар шиг туршилт нь бүр ч илүү боломжийг бий болгож байна. Дижитал хээрийн туршилт боломжтой механизм (лабораторийн туршилт гэх мэт) болон түүнээс дээш олон оролцогчдыг (хээрийн туршилт гэх мэт) нь байгаль орчинд бодит шийдвэр гаргах ойлгох нь хатуу хяналт тавих, үйл явц мэдээллийг санал болгож болох юм. өмнөх туршилт сайн шинж чанар нь энэ хослол гадна, дижитал хээрийн туршилт нь аналог лаборатори, хээрийн туршилтын хэцүү байсан гурван боломжуудыг санал болгож байна.

Нэгдүгээрт, хамгийн аналог лабораторийн болон хээрийн туршилт оролцогчид хэдэн зуун байж, харин дижитал хээрийн туршилт оролцогчдын сая байж болно. Зарим тоон туршилт тэг хувьсах зардлаар мэдээллийг гаргаж чаддаг, учир нь цар Энэ өөрчлөлт юм. Энэ нь судлаачид оролцогчдын тоог нэмэгдүүлэх нь ихэвчлэн зардал нэмэгдэхгүй байх вэ, туршилтын дэд бүтцийг бий болгож байгаа нэг удаа юм. 100 ба түүнээс дээш хүчин зүйлээр оролцогчдын тоог нэмэгдүүлэх нь зөвхөн тоон өөрчлөлт биш юм, энэ нь туршилт (жишээ нь, эмчилгээний үр нөлөөг олон төлөвт) болон бүхэлд нь өөр өөр туршилтын загвар ажиллуулж (өөр зүйлийг сурах судлаачдад олгодог тул чанарын өөрчлөлт юм жишээ нь, том бүлэг туршилт). Энэ цэг нь маш чухал юм, би тоон туршилт бий болгох талаар зөвлөгөө санал үед бүлгийн сүүлээр Хэрэв буцаж болно.

Хоёрдугаарт, хамгийн аналог лабораторийн, хээрийн туршилт оролцогчдыг хандах бол гэж ялгах виджетийг, дижитал хээрийн туршилт нь ихэвчлэн судалгааны загвар, дүн шинжилгээ хийх үе шатанд оролцогчдын талаар суурь мэдээллийг ашигладаг. Тэд бүрэн хэмжиж орчинд явагдах тул энэ нь суурь мэдээлэл, урьдчилан цэвэрлэх мэдээлэл гэж нэрлэдэг, дижитал туршилт нь ихэвчлэн байдаг. Жишээ нь, Facebook-ийн судлаач бакалаврийн нь стандарт лабораторийн туршилт зохион судлаач илүү урьдчилан цэвэрлэх мэдээлэл байна. Энэ нь өмнөх эмчилгээ мэдээлэл оролцогчид ялгах виджетүүд эмчлэх цааш хөдөлж судлаачдад олгодог. Тодруулбал, өмнөх эмчилгээ мэдээлэл илүү үр ашигтай туршилтын загвар, тухайлбал хаах болгон идэвхжүүлнэ (Higgins, Sävje, and Sekhon 2016) болон оролцогчдын зорилтот ажилд авах (Eckles, Kizilcec, and Bakshy 2016) -гэж илүү гүнзгий дүн шинжилгээ хийх, ийм нэгэн төрлийн тооцох талаар эмчилгээний үр нөлөөг (Athey and Imbens 2016a) , сайжруулсан нарийвчлалтай covariate тохируулалттай (Bloniarz et al. 2016) .

Гуравдугаарт, олон аналог лабораторийн болон хээрийн туршилт хугацаа нь харьцангуй шахсан хэмжээний эмчилгээ болон арга хэмжээ нь үр дүнд хүргэх бол, зарим нь дижитал хээрийн туршилт хугацааны туршид нийлүүлсэн болон нөлөө нь цаг хугацааны турш хэмжиж болох боломжтой эмчилгээ татан оролцуулах. Жишээ нь, Restivo болон ван де Rijt-ийн туршилт 90 хоногийн турш өдөр бүр хэмжиж үр дүнг бөгөөд туршилтын нэг нь би чамайг тухай дараа бүлгийн хэлье (Ferraro, Miranda, and Price 2011) ямар ч гол дээр 3 жилийн хугацаанд үр дүнг зам зардал. туршилт орой дээр ажиллаж байгаа үед эдгээр гурван боломж, хэмжээ, урьдчилан цэвэрлэх мэдээлэл, урт хугацааны эмчилгээ, үр дүн нь хамгийн нийтлэг өгөгдлийн нь үргэлж дээр нь хэмжилт системийн (энэ нь үргэлж дээр нь хэмжилт систем дээр илүү Бүлэг 2-ийг үзнэ үү).

дижитал хээрийн туршилт нь олон боломжийг санал болгодог боловч, тэд нь бас аналог лабораторид, хээрийн туршилт аль алинд нь зарим сул талыг хуваалцаж байна. Жишээ нь, туршилт өнгөрсөн судлах ашиглаж чадахгүй байгаа бөгөөд тэд зөвхөн удирдагдаж болох эмчилгээний үр нөлөөг тооцох болно. Мөн туршилт нь эргэлзээгүй бодлогыг чиглүүлэх хэрэгтэй байдаг боловч, тэд санал болгож чадна тодорхой удирдамж, учир нь байгаль орчны хамааралтай, дагаж мөрдөх асуудал болон тэнцвэрт нөлөө гэх мэт хүндрэл нь зарим талаараа хязгаарлагдмал байдаг (Banerjee and Duflo 2009; Deaton 2010) . Эцэст нь, дижитал хээрийн туршилт хээрийн туршилт бий болгосон ёс зүйн асуудлуудыг хичээнгүйлэн. Хээрийн туршилт дэмжигчид unobtrusively болон санамсаргүйгээр сая хүн хийсэн нөхцөлдсөн шийдвэр болгон оролцох чадварыг бүрээ. Эдгээр онцлогууд нь тодорхой шинжлэх ухааны давуу тал хэдий ч тэд мөн хээрийн туршилт ёс зүйн хувьд төвөгтэй болгох (судлаачид асар их хэмжээний "лабораторийн харх" шиг хүн эмчлэх гэж бодож) болно. Цаашилбал, оролцогч болох хор уршгийг гадна, дижитал хээрийн туршилт, учир нь тэдний хэмжээний, мөн нийгмийн тогтолцоог ажиллаж тасалдуулсны тухай асуудлыг босгож болно (жишээ нь, Restivo болон ван дер Rijt хэтэрхий олон barnstars өгсөн бол Википедиагийн шагналын системийг саад тухай асуудал) .