[ , ] Berinskiy va hamkasblari (2012) MTurkni uch klassik eksperimentni takrorlash orqali qisman baholadilar. Tversky and Kahneman (1981) klassik Osiyo kasalliklarini chizish tajribasini takrorlash. Sizning natijalaringiz Tverskiy va Kahnemanga tegishlimi? Sizning natijalaringiz o'sha Berinskiy va hamkasblar bilan mos tushadimi? Nima bo'lganda ham, bu MTurkni tajriba eksperimentlari uchun ishlatishni o'rgatadimi?
[ , Schultz et al. (2007) Mualliflaridan biri, ijtimoiy psixolog Robert Cialdinining "Biz sindirishimiz kerak" degan biroz tilda yozgan maqolasida Schultz et al. (2007) , u professor sifatida o'z ishidan erta ajralgan, qisman laboratoriya tajribalarini olib boradigan intizom (psixologiya) sohasidagi tajribalar bilan shug'ullanganligi tufayli (Cialdini 2009) . Cialdini gazetasini o'qib chiqing va uni raqamli eksperimentlar imkoniyatlarini hisobga olgan holda, uning ajralishini qayta ko'rib chiqishga chaqirgan elektron pochta xabarini yozing. Uning tashvishlariga javob beradigan aniq tadqiqot misollaridan foydalaning.
[ ] Kichik dastlabki yutuqlar qulab tushishini yoki yo'qolishini aniqlash uchun Van de Rijt va uning hamkasblari (2014) tasodifiy tanlangan ishtirokchilarga muvaffaqiyat qozongan to'rt xil tizimga kirishdi va keyinchalik bu o'zboshimchalik muvaffaqiyatining uzoq muddatli ta'sirini o'lchadilar. Shu kabi eksperimentlarni boshlashingiz mumkin bo'lgan boshqa tizimlar haqida o'ylaysizmi? Ushbu tizimlarni ilmiy ahamiyatga ega masalalar, algoritmik aralashtirish (2-bobga qarang) va axloqiy jihatdan baholang.
[ , ] Tajriba natijalari ishtirokchilarga bog'liq bo'lishi mumkin. Sinov yaratish va MTurkda ikki xil ishga olish strategiyasidan foydalaning. Tajriba va ishga qabul qilish strategiyasini tanlashga harakat qiling, natijada natijalar imkon qadar har xil bo'ladi. Misol uchun, ishga olish strategiyasi ertalab va kechqurun ishtirokchilarni jalb qilish yoki ishtirokchilarni yuqori va past haq evaziga qoplash uchun bo'lishi mumkin. Ishga qabul qilish strategiyasidagi bunday farqlar ishtirokchilarning turli hovuzlariga va turli eksperimental natijalarga olib kelishi mumkin. Sizning natijalaringiz qanday farq qilgan? MTurkda eksperimentlar o'tkazish haqida nimani bilib oldingiz?
[ , , ] Siz o'zingizni Emotsional Contagion eksperimentini rejalashtirganingizni tasavvur qiling (Kramer, Guillory, and Hancock 2014) . Kramer (2012) avvalgi kuzatuv natijalaridan olingan natijalarni har bir holatdagi ishtirokchilar sonini aniqlash uchun foydalaning. Ushbu ikki ish mukammal darajada mos kelmaydi, shuning uchun siz yaratgan barcha taxminlarni aniq qilib qo'ying:
[ , , ] Oldingi savolga yana javob berish, ammo bu safar Kramer (2012) avvalgi kuzatish Kramer (2012) foydalanmasdan emas, balki Lorenzo Coviello et al. (2014) .
[ ] Margetts et al. (2011) va Van de Rijt va boshq. (2014) petitsiyaga imzo qo'ygan insonlarni o'rganish tajribasini o'rgangan. Ushbu tadqiqotlar natijalarini solishtirib, solishtirib ko'ring.
[ ] Dwyer, Maki, and Rothman (2015) ijtimoiy normalar va ekologik xarakatlar o'rtasidagi munosabatlarga oid ikkita tajriba o'tkazdi. Mana qog'ozlarning qisqacha bayoni:
"Atrof-muhit xulq-atvorini rag'batlantirish uchun psixologiya fanidan qanday foydalanish mumkin? Ikkita tadkikotda, ijtimoiy hammomlarda energiya tejash xatti-harakatini rag'batlantirishga qaratilgan tashabbuslar tavsif me'yorlari va shaxsiy mas'uliyat ta'sirini o'rganib chiqdi. 1-chi paragrafda yorug'lik holati (ya'ni, ochiq yoki yopiq) kimdir bo'sh joyga qo'yilgan umumiy hammomga kirmasdan oldin manipulyatsiya qilinib, ushbu parametrni tavsiflovchi normani belgiladi. Ishtirokchilar, ular kirganida yopilgan bo'lsa, chiroqlarni o'chirib qo'yish ehtimoli ko'proq edi. 2-chi Tadqiqotda nurni o'chirish me'yori konfederatsiya tomonidan ko'rsatilgandagina qo'shimcha shartlar kiritildi, biroq ishtirokchilar uni o'zlari bajarish uchun mas'ul emaslar. Shaxsiy mas'uliyat ijtimoiy normalarning xatti-harakatlarga ta'sirini boshqargan; ishtirokchilar nurni yoqish uchun javobgar bo'lmaganda, me'yorning ta'siri qisqardi. Ushbu natijalar aniqroq me'yorlar va shaxsiy mas'uliyat atrof-muhitga aralashuvlar samaradorligini qanday tartibga solishi mumkinligini ko'rsatmoqda. "
Tadqiqotning replikatsiyasini o'z qog'ozlarini va dizaynini o'qing.
[ , ] Oldingi savolga binoan, endi sizning dizayningizni bajaring.
[ ] MTurkdan jalb qilingan ishtirokchilarni qo'llagan tajribalar haqida jiddiy munozaralar bo'ldi. Shu bilan bir qatorda, bakalavriat talaba populyatsiyalaridan jalb qilingan ishtirokchilarni qo'llagan tajribalar bo'yicha ham katta munozaralar bo'ldi. Tadqiqot ishtirokchilari sifatida Turker va magistrantlarni qiyoslash va qarama-qarshilik bilan ikki sahifali xat yozing. Sizning taqqoslashingiz ilmiy va logistika masalalarini muhokama qilishni o'z ichiga olishi kerak.
[ Jim Manzi'nin "Nazsiz bo'lmagan" kitobi (2012) biznesda tajriba kuchiga ajoyib kirishdir . Kitobda u quyidagi hikoyani tarqatdi:
"Bir paytlar haqiqiy ishbilarmon, o'zim tayyorlagan milliarder bilan uchrashib, eksperimentlar kuchini chuqur, intuitiv tushuntirib yubordim. Uning shirkati iste'molchilarni jalb qiladigan va savdoni oshiradigan katta do'kon oynalari yaratish uchun jiddiy mablag'larni sarfladi. Mutaxassislar dizayndan so'ng dizaynni sinchkovlik bilan sinovdan o'tkazdilar va yillar davomida individual test sinovlarida seanslardagi har bir yangi dizaynning ahamiyatli ta'sirini ko'rsatmadi. Katta marketing va merchandising rahbarlari ushbu tarixiy test natijalarini tahlil qilish uchun CEO bilan uchrashishdi. Barcha eksperimental ma'lumotlarni taqdim etgandan so'ng, ular an'anaviy donolikning noto'g'ri ekanligiga, ya'ni deraza oynalari sotilishni taqiqlashiga olib kelishdi. Ularning taklifi bu sohada xarajatlarni kamaytirish edi. Bu an'anaviy donolikni yo'q qilish uchun eksperimentlar o'tkazish qobiliyatini keskin namoyon etdi. Bosh direktorning javobi oddiy edi: "Mening xulosam sizning dizaynerlaringiz juda yaxshi emas". Uning echimi do'konni bezashni rejalashtirish va yangi odamlarni jalb qilish uchun harakatni kuchaytirish edi " (Manzi 2012, 158–9)
Boshqaruvchining tashvishi qaysi turdagi amaldir?
[ ] Oldingi savolga binoan, tajriba natijalari muhokama qilingan uchrashuvda ekanligingizni tasavvur qiling. Siz so'rashingiz mumkin bo'lgan to'rtta savol - har bir turdagi amal qilish uchun (statistik, konstruktiv, ichki va tashqi)?
[ ] Bernedo, Ferraro, and Price (2014) Ferraro, Miranda, and Price (2011) tasvirlangan suvni tejashga qaratilgan aralashuvning etti yillik ta'sirini o'rganib chiqdi (4.11-rasmga qarang). Ushbu maqolada, Bernedo va uning hamkasblari davolanishdan keyin ko'chib o'tmaydigan va harakatlanmagan uy xo'jaliklari xatti-harakatlarini taqqoslash orqali ta'sir mexanizmini tushunishga harakat qilishdi. Ya'ni, taxminan, davolanishni uyga yoki uy egasiga ta'sir ko'rsatishga urinishgan.
[ ] Schultz et al. (2007) Shultz va hamkasblari ikkita kontekstda (Schultz, Khazian, and Zaleski 2008) turli xil ekologik harakatlarga (sochiqni qayta ishlatish) tavsiflovchi va injeneriya normalarining ta'siri bo'yicha uchta tajriba o'tkazdi. .
[ ] Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) elektr vizalari loyihasini o'rganish uchun laboratoriyaga o'xshash bir qator eksperimentlarni o'tkazdilar. Quyida abstraktsiyada qanday ta'riflanganligi:
"Tadqiqotga asoslangan tajribada, har bir ishtirokchi (a) tarixiy foydalanish haqidagi ma'lumotni, (b) qo'shnilarga taqqoslashni va (c) qurilma bilan taqqoslaganda tarixiy foydalanishni nazarda tutuvchi nisbatan yuqori elektr energiyasidan foydalanadigan oila uchun far'iy elektr energiya loyihasini ko'rib chiqdi. Ishtirokchilar barcha axborot turlarini (a) jadvallar, (b) bar grafikalar va (v) ikonkali grafikalardan iborat uch formatdan birida ko'rdilar. Biz uchta asosiy topilma haqida xabar qilamiz. Birinchidan, iste'molchilar stolda taqdim etilgan har qanday elektr energiyasidan foydalanish ma'lumotlarini eng ko'p tushungan, chunki jadvallar oddiy o'qishni osonlashtiradi. Ikkinchidan, elektr energiyasini tejash afzalliklari va niyatlari formatdan qat'iy nazar, tarixiy foydalanish uchun eng kuchli ma'lumot edi. Uchinchidan, energiya savodxonligi past bo'lgan shaxslar barcha ma'lumotlarni kamroq tushunishdi. "
Boshqa kuzatuvlardan farqli o'laroq, Canfield, Bruin, and Wong-Parodi (2016) qiziqishining asosiy natijasi haqiqiy xatti-harakatlar emas, balki xatti-harakati haqida xabar berilgan. Ushbu turdagi tadqiqotning kuchli va zaif tomonlari energiya tejashni targ'ib qiluvchi keng qamrovli tadqiqot dasturida qanday?
[ , ] Smith and Pell (2003) parashutlarning samaradorligini ko'rsatadigan izlanishlar meta-tahlilini taqdim etdi. Ular:
"Yomon sog'liqqa qarshi kurashish uchun mo'ljallangan ko'pgina tadbirlarda bo'lgani kabi, parashutlarning samaradorligi randomizatsiyalangan nazorat ostida tekshiruvlar yordamida qattiq baholashga duch kelmagan. Dalillarga asoslangan tibbiyot advokatlari faqat kuzatuv ma'lumotlari yordamida baholangan aralashuvlarni qabul qilishni tanqid qildilar. Dalillarga asoslangan tibbiyotning eng radikal protagonistlari parashyutni er-xotin ko'r, randomizatsiyalangan, platsebo nazorati ostida o'tkazgan sud jarayonida uyushtirgan va ishtirok etgan har bir kishi uchun foydali bo'lishi mumkin, deb o'ylaymiz.
Nyu-York Tayms kabi umumiy o'quvchi gazetasi uchun eksperimental dalillarni fetishlashtirishga qarshi kurashish uchun javob beradi. Aniq, aniq misollar keltiring. Maslahat: Shuningdek, Deaton (2010) va Bothwell et al. (2016) .
[ , , ] Davolash samaradorligini farqlashning farqlari bashorat qilishning farqlaridan ko'ra aniqroq bo'lishi mumkin. On-layn ijtimoiy media shirkatida A / B testlaridan mas'ul bo'lgan muhandisga onlayn-eksperimentni o'tkazish uchun farqni aniqlashning yondoshuvini tushuntirib bering. Memo muammoning bayonotini, farqni farqi differentsiyani baholash vositasida shartlarning farqi in-o'rtacha hisoblovchidan ustun turadigan shartlar va sodda simulyatsiya o'rganishni o'z ichiga olishi kerak.
[ , Gari Loveman Garvard Business School-ning professori bo'lib, dunyodagi eng katta kazino kompaniyalaridan biri bo'lgan Harrah-ning bosh direktori bo'lib ishlagan. Harrahga ko'chib ketganida, Loveman kompaniyani mijozlar xatti-harakatlari haqida juda ko'p miqdordagi ma'lumotlarni to'playdigan tez-tez uchadigan sodiqlik dasturiga aylantirdi. Bu doimiy o'lchov tizimining ustida, kompaniya eksperimentlarni boshlagan. Misol uchun, ular ma'lum bir qimor modeliga ega bo'lgan mijozlar uchun bepul mehmonxona kechasida kuponning samarasini baholash uchun eksperiment o'tkazishlari mumkin. Lovmanning tajriba masalasini Harrahning kundalik ish amaliyotiga o'rgatishi shunday:
"Ayollarni bezovta qilmaysiz, o'g'irlamaysiz, nazorat guruhiga ega bo'lishingiz kerak. Bu sizning ishingizni Harrahda yo'qotishingiz mumkin bo'lgan narsalardan biri, ya'ni nazorat guruhini boshqarmaslikdir " (Manzi 2012, 146)
Lovmanning nima uchun nazorat guruhi bo'lishi juda muhim deb hisoblaganini tushuntirib, yangi xodimga elektron pochta yozish. O'zingizning misolingizni ko'rsatish uchun, masalan, haqiqiy yoki tasavvur qiling.
[ , ] Yangi tajriba emlashni qabul qilish bo'yicha matnli xabarlar eslatmalarini qabul qilishning ta'sirini baholashga qaratilgan. 600 nafar bemorga ega bo'lgan yuz ellikdan ortiq klinikalar ishtirok etishga tayyor. Siz bilan ishlashni istagan har bir klinikada 100 AQSh dollari miqdorida belgilangan harajat bor, va siz jo'natmoqchi bo'lgan har bir matn uchun $ 1 turadi. Bundan tashqari, siz ishlaydigan har qanday klinikalar (kimdir emlashni qabul qiladimi) natijasini o'lchashga imkon beradi. Sizda 1000 dollarlik byudjet bor deb faraz qiling.
[ , ] Onlayn kurslar bilan bog'liq eng katta muammodir. Kursni boshlagan ko'plab talabalar o'zlarini tashlab yuborishadi. Agar onlayn o'quv platformasida ishlayotganingizni tasavvur qiling-a, platformadagi dizaynerlar o'quvchilarning kursdan chiqmasligini oldini olishga yordam beradigan fikrlovchini ko'rsatsin. Talabalaringizning katta hisoblash ijtimoiy fanlar kursida harakatlanish sathining samarasini sinab ko'rishni istaysiz. Eksperimentda yuzaga keladigan axloqiy muammolarni hal qilishdan so'ng, siz va sizning hamkasblaringiz, kursning o'quvchilarning progress barining ta'sirini ishonchli aniqlash uchun yetarli o'quvchilarga ega bo'lmasligi haqida tashvishlanishadi. Quyidagi hisob-kitoblarga ko'ra, talabalarning yarmi taraqqiyot barini oladi va yarmi yo'q. Bundan tashqari, hech qanday shovqin yo'q deb hisoblashingiz mumkin. Boshqacha qilib aytganda, siz davolanishni yoki nazoratni qabul qildingizmi yoki yo'qmi, ishtirokchilarga ta'sir ko'rsatadi, deb o'ylashingiz mumkin. ular boshqa odamlar davolanish yoki nazoratni qo'lga kiritganmi yoki yo'qmi (ko'proq rasmiy ta'rif uchun, Gerber and Green (2012) 8-bobiga qarang). Qilgan har qanday qo'shimcha taxminlarni kuzatib boring.
[ , , ] Texnologik kompaniyalarda ma'lumot olimi sifatida ishlayotganingizni tasavvur qiling. Marketing departamentidan kimdir, yangi onlayn reklama kampaniyasi uchun investitsion daromadni (ROI) o'lchash uchun rejalashtirgan tajribani baholashda yordam so'raydi. ROI kampaniyaning sof foydasi sifatida kampaniya narxiga bo'linadi. Misol uchun, sotuvga hech qanday ta'siri bo'lmagan kampaniya - 100% ROI bo'lishi kerak; hosil qilingan foydaning qiymatiga teng bo'lgan kampaniya, ROning 0 ga teng bo'lishi kerak; va hosil qilingan daromad ikki barobarga teng bo'lgan kampaniya bo'lib, uning qiymati 200% YoQ ga ega bo'ladi.
Eksperimentni boshlashdan oldin marketing bo'limi sizni avvalgi tadqiqotlari asosida quyidagi ma'lumotlarni taqdim etadi (aslida, bu qiymatlar Lewis va Rao (2015) e'lon qilingan real onlayn reklama kampaniyalariga xosdir):
Ushbu tavsiya qilingan eksperimentni baholashni eslatma yozing. Sizning eslatma siz yaratgan simulyatsiyadan dalillarni qo'llashi kerak va u ikkita asosiy masalaga murojaat qilishi kerak: (1) Ushbu eksperimentni rejalashtirilgan tarzda boshlashni tavsiya qilasizmi? Agar shunday bo'lsa, nima uchun? Agar yo'q bo'lsa, nima uchun? Ushbu qarorni qabul qilish uchun foydalanadigan mezonlardan xabardor bo'ling. (2) Ushbu tajriba uchun qaysi namunaviy o'lchovni tavsiya qilasiz? Shunga qaramay, ushbu qarorni qabul qilish uchun foydalanadigan mezonlardan xabardor bo'ling.
Yaxshi eslatma ushbu maxsus ishni ko'rib chiqadi; yaxshi xulosa bu masalaning bir misolida umumlashtiriladi (masalan, qaror o'zgarmoqchi kampaniyaning ta'sir o'lchami funktsiyasi sifatida o'zgaradi); va katta bir eslatma to'liq yalpi natija beradi. Sizning eslatmalaringiz natijalarni ko'rsatishga yordam berish uchun grafiklardan foydalanishi kerak.
Bu erda ikkita maslahat bor. Birinchidan, marketing bo'limi sizni keraksiz ma'lumot bilan ta'minlagan bo'lishi mumkin va ular sizga kerakli ma'lumotlarni taqdim eta olmagan bo'lishi mumkin. Ikkinchidan, agar siz R dan foydalanayotgan bo'lsangiz, rlnorm () funktsiyasi ko'pchilik kutgan tarzda ishlamaydi.
Ushbu faoliyat sizni kuch tahlil qilish, simulyatsiya yaratish va natijalaringizni so'zlar va grafikalar bilan bog'lash bilan ta'minlaydi. Bu ROIni baholash uchun mo'ljallangan tajribalar bilan emas, balki har qanday tajriba uchun kuch tahlilini o'tkazishga yordam beradi. Ushbu faoliyat statistik test va kuch-tahlil bilan tajribangiz borligini ta'kidlaydi. Agar kuch tahlili bilan tanish bo'lmagan bo'lsangiz, Cohen (1992) tomonidan "A Power Primer" ni o'qishni tavsiya etaman.
Ushbu tadbir RA Lewis and Rao (2015) tomonidan chiroyli qog'ozlardan ilhomlangan bo'lib, bu ham katta tajribalarning asosiy statistik cheklanishini yaqqol ifodalaydi. Aslida, "Reklama uchun qaytib kelishni o'lchashning yaqin emasligi haqida" provokatsion nomga ega bo'lgan qog'ozlari - millionlab mijozlarni jalb qilgan raqamli tajribalar bilan ham, on-layn reklamalarni investitsiyalashga sarflangan daromadni o'lchash qanchalik qiyinligini ko'rsatadi. Keyinchalik umuman, RA Lewis and Rao (2015) raqamli yoshdagi tajribalar uchun ayniqsa muhim bo'lgan asosiy statistik faktni tasvirlab beradi: shovqinli natijalar o'rtasida kichik davolash ta'sirini baholash qiyin.
[ , ] Oldingi savolga o'xshash ishni bajaring, lekin simulyatsiya emas, balki analitik natijalarni qo'llash kerak.
[ , , ] Oldingi savolga o'xshash ishni bajaring, ammo simulyatsiya va analitik natijalarni qo'llang.
[ , , ] Yuqorida bayon qilingan xatni yozganingizni tasavvur qiling va marketing departamentidan bir kishi yangi ma'lumotni taqdim etadi: tajriba oldin va keyin sotish o'rtasidagi 0,4 korelasyonni kutishadi. Bu sizning eslatmangizdagi tavsiyalarni qanday o'zgartiradi? (Maslahat: farqni baholash vositasi va farqlar farqi koeffitsienti haqida batafsil ma'lumot uchun 4.6.2-bo'limni ko'ring.)
[ , ] Yangi veb-ga asoslangan ish bilan ta'minlash dasturining samaradorligini baholash uchun bir universitet o'z yakuniy maktabiga kiradigan 10 ming talaba orasida randomizatsiyalangan nazorat sinovini o'tkazdi. 5000 tasodifiy tanlangan talabaga eksklyuziv elektron pochta orqali taklifnoma yuborildi, boshqa 5000 talaba esa nazorat guruhida bo'lgan va unga obuna bo'lmagan. O'n ikki oy o'tgach, keyingi kuzatuv (javob bermaslik bilan), davolanish va nazorat guruhlarida o'quvchilarning 70 foizi o'zlari tanlagan sohada to'liq ish bilan ta'minlanganligini ko'rsatdi (4.6-jadval). Shunday qilib, veb-ga asoslangan xizmatning ta'siri yo'q edi.
Ammo, universitetdagi aqlli ma'lumot olimi ma'lumotlarga biroz ko'proq qarashgan va davolanish guruhidagi talabalarning 20 foizi elektron pochta orqali hisobga kirishgan. Bundan tashqari, veb-saytga kirganlar orasida, faqatgina 60% o'zlarining tanlangan sohalarida to'la vaqtli ish bilan ta'minlashni ta'minladi, bu esa kirib kelmagan va odamlar uchun narxdan pastroq nazorat holatida (4.7-jadval).
Maslahat: Bu savol ushbu bobda keltirilgan ma'lumotlardan tashqarida emas, lekin tajribalardagi umumiy masalalarni hal qiladi. Ishtirokchilari davolash bilan shug'ullanish tavsiya etiladi, chunki tajriba dizayn Ushbu turdagi ba'zan dalda dizayni deyiladi. Bu muammo bir tomonlama mos kelmaslik deb nomlangan narsaning misolidir (Qarang: Gerber and Green (2012) ).
[ ] Keyinchalik tekshiruvdan keyin avvalgi savolda tasvirlangan tajriba yanada murakkablashdi. Tekshiruv guruhidagi odamlarning 10 foizi xizmatdan foydalanish uchun pul to'lashlari kerak edi va ular ish bilan bandlik darajasi 65 foizni tashkil etdi (4.8-jadval).
Maslahat: Bu savol ushbu bobda keltirilgan ma'lumotlardan tashqarida emas, lekin tajribalardagi umumiy masalalarni hal qiladi. Bu muammo ikki tomonlama mos kelmaslik deb ataladigan narsaning misolidir ( Gerber and Green (2012) 6-bobiga qarang).
Guruh | Hajmi | Bandlik darajasi |
---|---|---|
Saytga kirish huquqi berilgan | 5000 | 70% |
Saytga kirish huquqi berilmagan | 5000 | 70% |
Guruh | Hajmi | Bandlik darajasi |
---|---|---|
Saytga kirib, tizimga kirishga ruxsat berildi | 1000 kishi | 60% |
Veb-saytga kirish va hech qachon tizimga kirishga ruxsat berilgan | 4,000 | 72,5% |
Saytga kirish huquqi berilmagan | 5000 | 70% |
Guruh | Hajmi | Bandlik darajasi |
---|---|---|
Saytga kirib, tizimga kirishga ruxsat berildi | 1000 kishi | 60% |
Veb-saytga kirish va hech qachon tizimga kirishga ruxsat berilgan | 4,000 | 72,5% |
Veb-saytga kirish huquqi berilmagan va u uchun to'lanmagan | 500 | 65% |
Veb-saytga kirish huquqi berilmagan va u uchun to'lamagan | 4,500 | 70.56% |