2.4.3 yaqin tajribalar

Biz qilmagan yoki qila olmaydigan eksperimentlarni taxminiy hisoblashimiz mumkin. Katta ma'lumot manbalaridan ayniqsa, foydadan foydalanishning ikki yondashuvi tabiiy eksperimentlar va o'xshashlik hisoblanadi.

Ba'zi muhim ilmiy va siyosiy masalalar sababli. Masalan, ish uchun ta'lim dasturining ish haqiga ta'siri qanday? Ushbu savolga javob berishga intilgan tadqiqotchi, ta'lim olish uchun ro'yxatdan o'tgan kishilarning daromadlarini boshqalar bilan taqqoslashi mumkin. Biroq, bu guruhlar orasida ish haqi farqining qanchalik katta qismi ta'lim olganligi va ro'yxatga olingan odamlarning oldindan mavjud bo'lgan farqlari sababli qanchalik ko'pmi? Bu juda qiyin savol va u avtomatik ravishda ko'proq ma'lumotlarga ega bo'lmagan narsadir. Boshqacha qilib aytganda, sizning ma'lumotlaringizdagi qancha ishchiga ega bo'lishidan qat'i nazar, oldindan mavjud bo'lgan farqlar haqida tashvish paydo bo'ladi.

Ko'pgina hollarda, ba'zi bir ishlarning kasbiy samaradorligini baholashning eng kuchli usuli, masalan, tadqiqotchi randomizatsiyalangan nazoratli eksperimentni o'tkazishdir. Bu erda tadqiqotchi boshqalarni emas, balki ayrim odamlarga davolanishni tasodifan etkazib beradi. Men barcha 4-bobni tajribalar uchun bag'ishlayman, shuning uchun men bu erda eksperimental ma'lumotlar bilan ishlatilishi mumkin bo'lgan ikkita strategiyaga e'tibor qaratmoqchiman. Birinchi strategiya dunyoda sodir bo'ladigan narsalarni tasodifiy (yoki deyarli tasodifan) davolashni boshqalarga emas, ayrim kishilarga qaratishga bog'liq. Ikkinchi strategiya, davolanishni qabul qilmagan va davolay olmaganlar orasida oldindan mavjud bo'lgan farqlarni hisobga olishga urinishdan tashqari, tajriba ma'lumotlarini statistika nuqtai nazaridan o'zgartirishga bog'liq.

Skeptik, har ikkala strategiyani ham chetlab o'tishi kerak, chunki ular kuchli taxminlar, baholash qiyin bo'lgan taxminlar va amalda ko'pincha buzilgan bo'lishi kerak. Men bu da'voga yoqqan bo'lsam-da, menimcha, bu juda oz. Tajribaviy ma'lumotlardan ishonchli tarzda sababli hisob-kitoblarni amalga oshirish qiyinligi shubhasiz, ammo bu hech qachon sinab ko'rmasligimizni anglatmaydi. Ayniqsa, eksperimental yondashuvlar, agar siz logistik cheklov sizni eksperiment o'tkazishga to'sqinlik qiladigan bo'lsa yoki axloqiy cheklovlar siz eksperimentni o'tkazishni istamasangiz, foydali bo'lishi mumkin. Bundan tashqari, tajribasiz yondashuvlar randomizatsiyalangan nazorat ostida eksperimentni loyihalashtirish uchun allaqachon mavjud bo'lgan ma'lumotlardan foydalanmoqchi bo'lsangiz foydali bo'lishi mumkin.

Davom etishdan oldin, shuningdek, natija tahminlarini qilish ijtimoiy tadqiqotlarning eng murakkab masalalaridan biri va zich va hissiy bahslarga sabab bo'lishi mumkinligini ta'kidlash lozim. Xullas, men u bilan bog'liq tushunchani yaratish uchun men har bir yondashuvning nekbozlik bilan tavsifini taqdim etaman, keyin bu yondashuvni qo'llashda yuzaga keladigan ba'zi qiyinchiliklarni tasvirlayman. Har bir yondashuv haqida batafsil ma'lumot ushbu bobning oxirida keltirilgan. Agar o'zingizning tadqiqotingizga ushbu yondashuvlardan birini qo'llashni rejalashtirsangiz, nedensel natijalar haqida juda ko'p ajoyib kitoblardan birini o'qishni tavsiya qilaman (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Eksperimental ma'lumotlardan natija bashorat qilishning bir yondashuvi, boshqalarga emas, ayrim kishilarga tasodifiy tarzda davolangan bir hodisani izlashdir. Bu holatlarga tabiiy tajribalar deyiladi. Tabiiy eksperimentning eng aniq misollaridan biri, harbiy xizmatlarning daromadga ta'sirini o'lchab beruvchi Joshua Angrist (1990) tadqiqotidan kelib chiqadi. Vetnamda urush paytida Qo'shma Shtatlar qurolli kuchlarning hajmini loyiha orqali oshirdi. Qaysi fuqarolar xizmatga chaqirilishini so'rash uchun AQSh hukumati lotereya o'tkazdi. Har bir tug'ilgan kuni bir qog'ozga yozilgan va shakl 2.7 da ko'rsatilgandek, bu qog'ozlar yosh erkaklarning xizmatga chaqirilishini belgilash uchun bir vaqtning o'zida tanlangan (yosh qizlar loyihaga). Natijalar asosida 14 sentyabrda tug'ilganlar birinchi bo'lib, 24 aprelda tug'ilganlar ikkinchi, ikkinchi va boshqalar. Natijada, ushbu lotereyada 195 kundan buyon tug'ilganlar, 171 kundan keyin tug'ilgan erkaklar bo'lmagan.

Shakl 2.7: Kongress a'zosi Aleksandr Pirni (R-NY) 1969 yil 1 dekabrda tanlov xizmati uchun dastlabki kapsulani yaratdi. Joshua Angrist (1990) Lotereya loyihasini harbiy xizmatning samaradorligini baholash uchun ijtimoiy ta'minot idorasi daromad ma'lumotlarini birlashtirdi daromadlar bo'yicha. Bu tabiiy eksperimentdan foydalanib, tadqiqotning namunasidir. Manba: AQShning tanlangan xizmat tizimi (1969) / Wikimedia Commons .

Garchi bu aniq bo'lmasa-da, loyiha lotereyasi tasodifiy nazorat ostida bo'lgan tajribaga o'xshashdir: har ikki holatda ham ishtirokchilar tasodifiy ravishda davolanish uchun tayinlanadi. Ushbu randomizatsiyalashgan davolanishni o'rganish uchun Angrist har doim katta ma'lumot tizimidan foydalandi: AQShning ijtimoiy xavfsizlik idorasi, har bir Amerikaning ish joyidan tushgan daromadlari haqida ma'lumot to'playdi. Hujjatli lotereyada tasodifiy tanlangan kim hukumat haqidagi ma`lumotni ma`muriy ma`muriy hujjatlarda yig'ilgan daromadlar bilan birlashtirib, Angristning aytishicha, faxriylarning daromadlari shu kabi faxriylarning daromadlaridan 15 foiz kamroq.

Ushbu misolda ko'rsatilishicha, ba'zan ijtimoiy, siyosiy yoki tabiiy kuchlar terapevtlarni tadqiqotchilar tomonidan qo'llab-quvvatlanishi mumkin bo'lgan usullar bilan belgilashadi va ba'zan ushbu muolajalarning ta'siri katta ma'lumot manbalarida saqlanadi. Ushbu tadqiqot strategiyasi quyidagicha umumlashtirilishi mumkin: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Raqamli davrda ushbu strategiyani ko'rsatish uchun Aleksandr Mas va Enriko Moretti (2009) tomonidan ishlab chiqarilgan mahoratli xodimlar bilan ishlash samaradorligini baholashga harakat qilgan bir tadqiqotni ko'rib chiqaylik. Natijalarni ko'rib chiqishdan avval sizda bo'lishi mumkin bo'lgan qarama-qarshiliklar mavjud. Bir tomondan, samarali ishlaydigan hamkasblar bilan ishlash ishchilarga tengdoshlarning bosimlari tufayli samaradorligini oshirishga yordam beradi. Yoki, boshqa tomondan, siz qattiq mehnat qiladigan tengdoshlaringiz ishchi bo'shashib qolishiga olib kelishi mumkin, chunki bu ish uning tengdoshlari tomonidan amalga oshiriladi. Ishdagilarning samaradorlik darajasini o'rganishning eng aniq usuli, ishchilar tasodifiy turli hosildorlik darajasidagi ishchilar bilan almashtirishga tayinlangan randomizatsiyalangan nazoratli tajriba bo'lib, natijada natijaga erishish samaradorligi har bir kishi uchun o'lchanadi. Biroq, tadqiqotchilar ishchilarning har qanday haqiqiy ish rejasini nazorat qilmaydilar, shuning uchun Mas va Moretti bir supermarketda kassirlarni jalb qilgan tabiiy tajribaga tayanishi kerak edi.

Ushbu supermarketda rejalashtirilayotgan ishlar va o'zaro almashinish yo'llari sababli har bir kassir kunning turli vaqtlarida turli xil ishchilarga ega edi. Bundan tashqari, ushbu supermarketda kassirlarning tayinlanishi tengdoshlarning mahsuldorligiga yoki do'koni qanday band bo'lganiga bog'liq emas edi. Boshqacha aytganda, kassirlarning rejalashtirilishi lotereyada aniqlanmagan bo'lsa-da, ishchilar ba'zan tasodifiy yuqori (yoki past) mahsuldorlar bilan ishlashga tayinlanganidek edi. Yaxshiyamki, bu supermarketda raqamli-yoshdagi kassa tizimi bor edi, ular har bir kassirning har doim skanerlashgan narsalarini kuzatdilar. Ushbu chiqish ma'lumotlari bo'yicha Mas va Moretti aniq, individual va doimo samaradorlik o'lchovini yaratishga muvaffaq bo'ldi: soniyada skaner qilingan ma'lumotlar soni. Bu ikki narsani birlashtirib, tengdoshlarning mahsuldorligidagi tabiiy o'zgarishlarni va har doim ham mahsuldorlikni o'lchashni nazarda tutgan - Mas va Moretti, agar kasiyerga o'rtacha ko'rsatkichdan 10% ko'proq ishlaydigan xodimlar tayinlangan bo'lsa, uning samaradorligi 1,5% . Bundan tashqari, ular o'zlarining ma'lumotlarining hajmi va boyligini ikki muhim masalani tadqiq qilish uchun foydalangan: bu ta'sirning heterojenligi (ishchilarning qaysi turlari uchun katta ta'sirmi?) Va uning ta'siri orqasidagi mexanizmlar (Nima uchun yuqori mahsuldorlikdagi tengdoshlarga ega bo'lish yuqori mahsuldorlik?). Biz ushbu ikki muhim masalaga - davolashning samaradorligi va mexanizmlarining heterojenitesiga - 4-bobda eksperimentlarni batafsilroq muhokama qilamiz.

Ushbu ikki tadqiqotdan umumlashtirilganda, 2.3-jadval, xuddi shu tuzilishga ega bo'lgan boshqa ishlarni jamlaydi: ba'zi tasodifiy o'zgarishlarning ta'sirini o'lchash uchun doimiy ma'lumot manbasini qo'llash. Amalda, tadqiqotchilar tabiiy eksperimentlarni topish uchun ikkita turli strategiyadan foydalanadilar, ularning ikkalasi ham samarali bo'lishi mumkin. Ba'zi tadqiqotchilar doimiy ma'lumot manbasidan boshlashadi va dunyodagi tasodifiy voqealarni qidirishadi; Boshqalar dunyodagi tasodifiy hodisani boshlashadi va uning ta'sirini tortadigan ma'lumot manbalarini qidirishadi.

Tabiiy eksperimentlar haqida hozirgi munozarada men muhim bir fikrni qoldirgan edim: tabiatning sizga bergan narsalaridan ba'zan juda qiyin bo'lishi mumkin. Keling, Vetnam misolida qaytamiz. Bu holatda Angrist harbiy xizmatning daromadga ta'sirini baholashga qiziqdi. Afsuski, harbiy xizmat tasodifiy tayinlanmagan; Aksincha, tasodifiy tayinlangan tayyorlangan. Biroq, tayyorlanganlarning hammasi ham (turli imtiyozlar mavjud edi) xizmat qilganlar emas, balki xizmat qilganlarning hammasi tayyorlangan (odamlar ixtiyoriy xizmat qilishlari mumkin). Tasodifiy ravishda tasodifiy tayinlanganligi sababli, tadqiqotchi loyihadagi barcha kishilar uchun yaratilgan ta'sirni baholashi mumkin. Biroq, Angrist loyihaning ta'sirini bilishni istamadi; u harbiy xizmatda bo'lganlarning ta'sirini bilishni xohladi. Biroq, bu taxminni kiritish uchun qo'shimcha taxminlar va asoratlar talab qilinadi. Birinchidan, tadqiqotchilarning fikricha, daromad olishning yagona usuli harbiy xizmat orqali amalga oshiriladi, bu esa cheklashlarni taqiqlash deb ataladi. Masalan, o'qitiladigan erkaklar xizmatda qolishdan qochish uchun ko'proq vaqt maktabda qolgan yoki ish beruvchilar ishdan bo'shagan erkaklarni ishga olishda kamroq bo'lsa, bu taxmin noto'g'ri bo'lishi mumkin. Umuman olganda, cheklash cheklash juda muhim bir taxmindir va odatda tekshirish qiyin. Cheklov cheklovi to'g'ri bo'lsa ham, xizmatning barcha erkaklarga ta'sirini baholash mumkin emas. Buning o'rniga, tadqiqotchilar faqat kompaktlar deb nomlangan erkaklar (ular tayyorlangan paytda xizmat qiladigan, ammo tayyorlanmagan paytda xizmat qiladigan erkaklar) (Angrist, Imbens, and Rubin 1996) uchun ma'lum bir guruhga ta'sirini taxmin qila oladi. Ta'sischilar, aslida, qiziqishning asl aholisi emas edi. E'tibor bering, ushbu muammolar lotereyaning nisbatan toza holatlarida ham paydo bo'ladi. Jinsiy lotereya orqali davolanish tayinlanmagan bo'lsa, boshqa komplikatsiyalar to'plami paydo bo'ladi. Misol uchun, Mas va Moretti'nin kassirlarni o'rganishida, tengdoshlarning tayinlanishi aslida tasodifiy ekanligini taxmin qilish haqida qo'shimcha savollar tug'iladi. Agar bu taxminni qattiq tanqid qilsa, bu ularning hisob-kitoblarini tanqid qilishi mumkin. Natijada, tabiiy eksperimentlar eksperimental ma'lumotlardan natija hisob-kitoblarni bajarish uchun kuchli strategiya bo'lishi mumkin va katta ma'lumot manbalari tabiiy tajribalar yuzaga kelganda ularni kapitalizatsiya qilish qobiliyatini oshiradi. Ammo, ehtimol sizning taxminlaringizga ko'ra, tabiatning nimadan foydalanganligidan ehtiyot bo'lish kerak, ba'zan kuchli taxminlar talab etiladi.

Ikkinchi tajriba, eksperimental ma'lumotlardan natija bashorat qilish uchun sizni aytmoqchi bo'lgan strategiyani, tajriba ma'lumotlarini tuzatgan va davolay olmaganlar orasida oldindan mavjud bo'lgan farqlarni hisobga olishga urinish orqali statistik bo'lmagan tarzda o'zgartirishga bog'liq. U erda juda ko'p, masalan, tuzatish yondashuvlar, lekin men bir deb nomlangan Mos kelgan qaratamiz. Tegishli tadqiqotchi tadqiqotchi eksperimental ma'lumotlardan foydalanib, shunga o'xshash odamlar juftligini yaratishi mumkin, faqatgina davolanishni olgan va boshqasi yo'q. Taqqoslash jarayonida tadqiqotchilar aslida ham budirlar ; ya'ni, ochiq-oydin o'yin yo'q bo'lgan holatlardan tashqarida. Shunday qilib, bu usul aniqroq "mos keluvchi" va "qirqish" deb ataladi, lekin men an'anaviy muddat bilan mos keladi: moslik.

Masif bo'lmagan tajriba ma'lumotlariga asoslangan strategiyalarning bir misolini Liran Einav va uning hamkasblari (2015) tomonidan iste'molchilarning xulq-atvori bo'yicha tadqiqotlar olib boradi. Ular eBayda amalga oshiriladigan auksionlarga qiziqish bildirishdi va ularning ishlarini ta'riflashda men kim oshdi savdosining boshlang'ich bahosini savdoning natijalariga, masalan, sotish bahosiga yoki sotish ehtimoli haqida o'ylashim kerak.

Boshlang'ich bahosini sotish bahosiga ta'sirini baholashning eng sodda usuli, har xil boshlang'ich narxi bilan auksionlarning oxirgi narxini oddiygina hisoblashdir. Agar siz boshlang'ich bahosi berilgan narxni prognoz qilishni xohlasangiz, bu yondashuv yaxshi bo'ladi. Agar sizning savolingiz boshlang'ich narxining ta'siri bilan bog'liq bo'lsa, bu yondashuv ishlamaydi, chunki u adolatli taqqoslashlarga asoslanmaydi; boshlang'ich bahosi pastroq bo'lgan auksionlar boshlang'ich bahosiga ega bo'lganlar (masalan, turli turdagi tovarlar yoki sotuvchilarning turli turlarini o'z ichiga olishi mumkin) bilan ancha farq qilishi mumkin.

Tajribaviy ma'lumotlardan natija bashorat qilganda yuzaga keladigan muammolardan xabardor bo'lsangiz, sodda yondashuvni ataylab, ma'lum bir elementni sotadigan joy tajribasini boshlashingiz mumkin - masalan, golf klubi - qattiq auktsion parametrlari to'plami - aytaylik, bepul yuk va auktsion ikki hafta davomida ochiq-oydin, lekin tasodifiy ajratilgan boshlang'ich narxi bilan. Olingan bozor natijalarini taqqoslab, ushbu tajriba boshlang'ich narxning sotuv bahosiga ta'sirini juda aniq o'lchash imkonini beradi. Biroq, bu o'lchash faqat ma'lum bir mahsulotga va auktsion parametrlari uchun qo'llaniladi. Natijalar turli xil bo'lishi mumkin, masalan, turli turdagi mahsulotlar uchun. Qudratli nazariya bo'lmasa, ushbu tajribadan yagona tajriba o'tkazishning mumkin bo'lgan barcha tajribalaridan extrapolatsiya qilish qiyin. Bundan tashqari, dala tajribalari sinashni xohlashingiz mumkin bo'lgan har qanday o'zgarishlarni bajarish mumkin bo'lmagani uchun etarlicha qimmatga ega.

Turlicha va eksperimental yondashuvlardan farqli o'laroq, Einav va uning hamkasblari uchinchi yondashuvni bajarishdi. O'z strategiyasidagi asosiy hiyla, eBayda allaqachon sodir bo'lgan tajribalar kabi narsalarni kashf etishdan iborat. Misol uchun, 2.8-rasmda aynan bir golf klubi - Taylormade Burner 09 Driver - aynan shu sotuvchi - "budgetgolfer" tomonidan sotiladigan 31 ta ro'yxatlardan ayrimlari ko'rsatilgan. Biroq, bu 31 ta ro'yxatlar bir-biridan farqli xususiyatlarga ega, narxlari, tugatish sanalari va yuk to'lovlari. Boshqacha qilib aytadigan bo'lsak, "budgetgolfer" tadqiqotchilar uchun eksperimentlar o'tkazmoqda.

"Budgetgolfer" tomonidan sotiladigan Taylormade Burner 09 diskini ushbu ro'yxatlar, xuddi shu mahsulotni bir xil sotuvchi tomonidan sotiladigan ro'yxatlarning bir-biriga mos keladigan misolidir, lekin har safar bir oz farqli xususiyatlarga ega. EBay-ning yirik jurnallarida millionlab ro'yxatlarni o'z ichiga olgan yuz minglab mos to'plam mavjud. Shunday qilib, ma'lum bir boshlang'ich bahosi bilan barcha auksionlarning yakuniy narxini taqqoslash o'rniga, Einav va uning hamkasblari mos keladigan to'plamlar bilan taqqoslangan. Einav va uning hamkasblari ushbu yuz minglab mos to'plamlardagi taqqoslashlar natijalarini birlashtirish uchun boshlang'ich bahoni va yakuniy bahoni har bir elementning mos yozuvi qiymatida (masalan, o'rtacha sotuv bahosi) qayta ifodalagan. Misol uchun, agar Taylormade Burner 09 drayveri mos yozuvlar bahosini $ 100 (sotuvga asosan) bo'lsa, u holda boshlang'ich narx $ 10, 0,1 va yakuniy narx 120 dollar sifatida baholanadi.

Shakl 2.8: mos keladigan to'plam misoli. Xuddi shu golf klubi (Taylormade Burner 09 Driver) xuddi shu shaxs tomonidan sotiladigan ("budgetgolfer"), biroq bu savdolarning ba'zilari turli sharoitlarda (masalan, turli boshlang'ich narxi) amalga oshirilgan. Einav et al. (2015) , 1b-bobi.

Eslatib o'tamiz, Einav va uning hamkasblari boshlang'ich bahosining auktsion natijalariga ta'siri bilan qiziqishgan. Birinchidan, yuqori boshlang'ich narxi sotish ehtimolini pasaytiradi va yuqori boshlang'ich narxi so'nggi sotuv bahosini (sotuvga bog'liq holda) ko'paytiradi, deb taxmin qilish uchun chiziqli regressiya ishlatilgan. O'zining o'zi, bu chiziqli munosabatlarni tasvirlaydigan va barcha mahsulotlar bo'yicha o'rtacha hisoblangan bu taxminlar - bularning hammasi qiziq emas. Keyinchalik, Einav va uning hamkasblari turli xil nozik hisob-kitoblarni yaratish uchun ularning katta hajmini ishlatishdi. Masalan, turli xil boshlang'ich baholari uchun ta'siri alohida hisoblab, ular boshlang'ich bahosi va sotish bahosi o'rtasidagi munosabatlar doğrusal bo'lmagan deb topildi (2.9-rasm). Xususan, 0,05 dan 0,85 gacha baholarni boshlash uchun boshlang'ich narxi sotuv bahosiga juda kam ta'sir ko'rsatmoqda, bu birinchi tahlillar bilan butunlay o'tkazib yuborilgan topilma. Bundan tashqari, Einav va uning hamkasblari barcha mahsulotlarni o'rtacha hisoblashdan ko'ra 23 xil toifadagi mahsulotlarga (masalan, chorva mollari, elektronika va sport anjomlari) boshlang'ich narxning ta'sirini baholashdi (2.10-rasm). Ushbu hisob-kitoblar shuni ko'rsatmoqdaki, farqli narsalar (masalan, memorabiliya boshlang'ich narxi sotish ehtimoli bo'yicha kichikroq ta'sir qiladi va oxirgi sotuv bahosiga katta ta'sir ko'rsatadi). Bundan tashqari, DVD'lar kabi boshlang'ich qiymatlar uchun boshlang'ich narxi deyarli narxga deyarli ta'sir qilmaydi. Boshqa so'z bilan aytganda, 23 xil toifadagi natija natijalarini birlashtirgan o'rtacha bu narsalar o'rtasida muhim farqlarni yashiradi.

Shakl 2.9: auksion boshlang'ich bahosi va sotilish ehtimoli (a) va sotish narxlari (b) o'rtasidagi munosabatlar. Boshlang'ich bahosi va sotilish ehtimoli o'rtasida taxminan chiziqli munosabat mavjud, lekin boshlang'ich bahosi va sotish bahosi o'rtasidagi doğrusal bo'lmagan munosabatlar; 0,05 va 0,85 oraliq boshlang'ich narxi boshlang'ich narxi sotuv bahosiga juda kam ta'sir ko'rsatadi. Ikkala holatda ham munosabatlar asosan mahsulot qiymatidan mustaqil. Einav et al. (2015) , 4a va 4b raqamlari.

Shakl 2.10: ob'ektlarning har bir toifasidan baholash; qattiq nuqta birgalikda to'plangan barcha toifalar uchun baholanadi (Einav et al. 2015) . Ushbu hisob-kitoblar shuni ko'rsatmoqdaki, ho'kizlar kabi boshlang'ich narxi sotuvlar ehtimolligi ( \(x\) -axis) va savdo narxining ( \(y\) -axis). Einav et al. (2015) , 8-rasm.

EBayda kim oshdi savdosiga qiziqish bo'lmasa ham, siz 2.9 va 2.10-rasmlar eBayga nisbatan ancha aniqroq tushunishni taklif qilishlari kerak, chunki ular sodda ma'lumotlar bilan izohlanadi va turli xil toifadagi ob'ektlarni birlashtiradi. Keyinchalik, bu nozik bashoratlarni yarim tajribalar bilan ilmiy asosda yaratish mumkin bo'lsa-da, bunday tajribalar asosan mumkin emas edi.

Tabiiy tajribalar bilan bir qatorda, o'xshashlik yomon baholashga olib kelishi mumkin bo'lgan bir qator usullar mavjud. Menimcha, mos keladigan taxminlar bilan bog'liq eng katta tashvish - ularni moslashtirishda ishlatilmaydigan narsalar bilan bartaraf etilishi mumkin. Misol uchun, ularning asosiy natijalarida Einav va uning hamkasblari to'rtta xususiyatga to'g'ri kelgan: sotuvchi identifikatori, mahsulot toifasi, maqola nomi va altyazı. Agar elementlar mos kelmaslik uchun ishlatilmagan bo'lsa, unda bu adolatsiz taqqoslashni keltirib chiqarishi mumkin. Misol uchun, agar "budgetgolfer" qish mavsumida Taylormade Burner 09 diskini narxini pasaytirsa (golf klublari kamroq ommalashgan bo'lsa), unda quyi boshlang'ich narxlarining yakuniy narxlarga tushishiga sabab bo'lishi mumkin, aslida bu talabning mavsumiy o'zgarishlari. Bu xavotirni echishning bir yondashuvi turli xil turli xil usullarni sinab ko'rishdir. Misol uchun, Einav va uning hamkasblari tahlil qilishni takrorlashdi, shuning uchun ularni moslashtirish uchun ishlatiladigan vaqt oralig'i o'zgarib turdi (mos keladigan to'plamlar bir yil ichida, bir oy ichida va birdaniga sotilgan narsalarni o'z ichiga olgan). Yaxshiyamki, ular hamma vaqt oyna uchun xuddi shunday natijalarni topdilar. Taqqoslashning yana bir tashvishi interpretatsiyadan kelib chiqadi. Mos keladigan taxminlar faqat mos keladigan ma'lumotlarga nisbatan qo'llaniladi; ular mos kelmasligi mumkin bo'lgan holatlarga nisbatan qo'llanilmaydi. Misol uchun, o'z tadqiqotlarini bir nechta ro'yxatlarga ega bo'lgan narsalarga cheklash orqali Einav va uning hamkasblari professional va yarim professional sotuvchilarga e'tibor qaratmoqdalar. Shunday qilib, bu taqqoslashlarni sharhlashda, ular faqatgina eBayning ushbu to'plamiga murojaat qilishlarini unutmasligimiz kerak.

Uyg'unlik eksperimental ma'lumotlarda adolatli taqqoslashni topish uchun kuchli strategiya. Ko'pgina ijtimoiy olimlarga o'xshashlik eksperimentlar uchun ikkinchi darajali eng yaxshi hissni beradi, ammo bu biroz yangilanishi mumkin bo'lgan e'tiqoddir. Massiv ma'lumotlarga mos keladigan ma'lumotlar (1) effektlardagi heterojenlik muhim ahamiyatga ega bo'lgan va (2) moslashtirish uchun zarur bo'lgan muhim o'zgaruvchilar o'lchanadigan bo'lsa, tajriba maydonlarining kam sonidan ko'ra yaxshi bo'lishi mumkin. Jadval 2.4 da katta ma'lumot manbalari bilan qanday mos kelishi mumkinligini ko'rsatadigan boshqa misollar keltirilgan.

Natijada eksperimental ma'lumotlardan natija ta'sirini baholash qiyin, ammo tabiiy tajribalar va statistik tuzatishlar (masalan, moslashtirish) kabi yondashuvlardan foydalanish mumkin. Ba'zi hollarda bunday yondashuvlar noto'g'ri yo'l tutishi mumkin, ammo ehtiyotkorlik bilan qo'llanilsa, bu yondashuvlar 4-bobda tasvirlab bergan tajribaviy yondashuvga foydali bo'lishi mumkin. Bundan tashqari, ushbu ikki yondashuv, ayniqsa, katta axborot uzatish tizimlari.