[ , ] Berinsky жана кесиптештери (2012) үч классикалык эксперименттер көбөйө тарабынан жарым-жартылай MTurk бааланат. Классикалык Азия Оорунун ашы- рууда эксперимент жуптала Tversky and Kahneman (1981) . Сиздин натыйжалары дал Tversky жана Канеман анын келеби? Сиздин Натыйжада Berinsky жана кесиптештерибизге дал келеби? Бул сурамжылоо эксперимент үчүн MTurk колдонуу жөнүндө эмнени биле алабыз-нерсе эмне болсо?
[ , ] Аттуу бир тил-жылы жаакка кагаз-жылы: "Биз бузабы керек", коомдук психолог Роберт Cialdini, жүргүзгөндөрдүн бири Schultz et al. (2007) , ал, анткени ал негизинен, лабораториялык да экспериментти өткөрсө, акыл (психолог) талаа эксперименттер кылып кыйынчылыктарга дуушар бөлүгүндө, адис катары өз жумушунан эрте чыгып жатканын жазган (Cialdini 2009) . Оку: Cialdini анын кагаз, ага санариптик эксперименттердин мүмкүнчүлүктөрдү эске алуу менен, анын бөлүнүп-жарылышына кайра аны көндүрө электрондук кат жаз. Анын маселелерди чечүү изилдөөнүн конкреттүү мисалдарды колдонуу.
[ ] Кичинекей алгачкы ийгиликтер менен бекитүү же жокпу, куурап үчүн, де Rijt жана кесиптештери (2014) туш келди тандалган катышуучулар боюнча ийгиликке берген төрт системасына кийлигишип, андан кийин бул негизсиз ийгиликке узак мөөнөттүү таасирлерди ченеди. Эгер сиз ушундай тажрыйба жүргүзүү мүмкүн болгон башка системалардын эстей аласызбы? илимий маанидеги маселелердин көз карашынан алганда, бул системанын баа берүү, алгоритмдик адаштырышты (2-бөлүмүн карагыла), жана этика.
[ , ] Эксперименттин жыйынтыгы катышуучулардын көз каранды болот. эксперимент түзүү жана андан кийин эки башка ишке тартуу стратегиясын колдонуп MTurk аны чуркап. Натыйжалары мүмкүн болушунча ар түрдүү болушу үчүн эксперимент жана жалдоо стратегиясын дос болууга аракет кылам. Мисалы, жалдоо стратегиясы Эртеден кечке катышуучуларын тартуу же жогорку жана төмөнкү акы менен катышуучуларды ордун толтуруу үчүн болушу мүмкүн. жалдоо стратегиясында айырмачылыктарды бул түрлөрү катышуучуларынын жана ар кандай тажрыйбалык натыйжалар ар кандай көлмөлөргө алып келиши мүмкүн. Кандай гана айырмаланат сиздин жыйынтыктар болду? Ошол MTurk боюнча эксперименттерди чуркап жөнүндө эмнени билүүгө болот?
[ , , ] Эгер Emotional Дуушарлануу эксперимент пландап жатканын элестетип (Kramer, Guillory, and Hancock 2014) . Тарабынан мурда байкоо изилдөөнүн жыйынтыктарын пайдалануу Kramer (2012) ар бир абалда катышкандардын санын чечет. Бул эки изилдөө кемчиликсиз абдан ачык, сен баары божомолдор Тизмеге сөзсүз дал келбейт:
[ , , ] Кайрадан мурунку суроо жооп, бирок, бул мурда байкоо изилдөө аркылуу эмес, убакыт Kramer (2012) , менен мурдагы жаратылыш эксперименттин натыйжаларын пайдалануу Lorenzo Coviello et al. (2014) .
[ ] Да Margetts et al. (2011) , ошондой эле де Rijt .Удаалаш. (2014) өтүнүч кол адамдардын жараянын изилдеп эксперименттерди жасашкан. Салыштыр: бул изилдөөлөрдүн долбоорлорду жана жыйынтыктарды салыштырып көр.
[ ] Dwyer, Maki, and Rothman (2015) коомдук ченемдерди жана колдогон экологиялык кыймыл менен болгон мамилеси тууралуу эки талаа тажрыйба жүргүзүштү. Мына, алардын кагаз абстракттуу болот:
"Proenvironmental жүрүм-турумун бекемдеш үчүн кандай психологиялык илим үчүн колдонулушу керек? Эки изилдөөнүн, мамлекеттик дааратканага энергия сактоо жүрүм багытталган чаралар сүрөттөлгөн ченемдерди жана жеке жоопкерчилик таасирине карап. Изилдөө 1-жылы жарык статусу (б.а., же өчүрүү) Кимдир бирөө бул жагдай боюнча сүрөттөмө норма кабар, бир ээн коомдук даараткана киргенге чейин сүйлөгөндөй болду. Алар киргенде катышуучулары кыйла жарыкты өчүрүп, алар жок болсо, кайрылууга мүмкүн эле. 2-сабактын-жылы кошумча шарт жарыкты өчүрүп ченеми бир Confederate тарабынан көрсөтүлгөн кайсы-жылы киргизилген, бирок катышуучулар аны жандыруу үчүн өздөрү жооптуу эмес. жүрүм-коомдук нормалардын таасири жеке жоопкерчилик алып барышты; Катышуучулар жарык бурулуп жооптуу эмес болгон учурда, ченем таасири азайып калды. Бул жыйынтыктар сыпаттама ченемдер жана жеке жоопкерчилик proenvironmental иш-чаралардын натыйжалуулугун жөнгө салуу мүмкүн экенин көрсөтүп турат. "
алардын кагаз окуу жана изилдөө боюнча жайылтуу долбоорун 1.
[ , ], Мурунку суроо боюнча Building, азыр долбоорду жүзөгө ашырат.
[ ] MTurk тандалчу катышуучуларын эксперименттери жөнүндө олуттуу талаш-тартыштар болду. Ошону менен катар, ошондой эле студенттер студенттик калкынын жумушка катышуучуларын эксперименттери жөнүндө олуттуу талаш-тартыштар бар. салыштыруу жана изилдөөгө катышкандардын катары Turkers жана магистранттар карама-каршы эки барак кат жаз. Сиздин салыштыруу илимий жана материалдык-техникалык маселелерди да киргизүүгө тийиш.
[ ] Джим Manzi китеби Тилибизди (2012) иш боюнча бул сыноо бийликке сонун киришүү болуп саналат. китебинде ал төмөнкү окуяны Эйлиге:
"Мен бир жолу чыныгы бизнес гениалдуу менен жолугушуу болуп, тажрыйба бийликтин терең, айттырбай түшүнгөн эле өзүн-өзү жараткан миллиардер. шарттуу акылмандык, алар керек деп, анын компаниясы, керектөөчүлөрдү жана көбөйүп сатууну тартып көп терезе дисплейлер түзүүгө аракет кылып кыйла ресурстарды өткөргөн. Эксперттер кылдаттык менен иштеп чыгуу кийин дизайнын сыналган жана сатуу боюнча ар бир жаңы дисплей жай үлгүсүнүн маанилүү бир себеп-натыйжа көрсөтүү сакталып жылдар бою жеке сыноо карап сессияларына. Улук маркетинг жана менеджер жетекчилери түстө болсо, бул тарыхый сыноо жыйынтыгын кайра карап чыгуу менен жолугушту. эксперименталдык маалыматтардын баарын алып чыккандан кийин, алар кадимки акылмандык туура эмес экенин көрсөтөт терезе сатууну кууп эмес, деп ойлошот. Алардын сунушталган иш-аракеттер бул багытта чыгымдарды жана күч-аракет кыскартуу болгон. Муну кадимки акылмандык жокко эксперимент жөндөмдүүлүгүн көрсөттү. CEO жообу жөнөкөй эле: "Менин Корутунду дизайнерлер абдан жакшы эмес." Анын бул чечими БУУнун одежды дисплей иштеп чыгууга аракет жогорулатуу жана жаңы адамдар муну менен таанышканда эле ". (Manzi 2012, 158–9)
колдонуу мөөнөтү кайсы түрү адамкерчилик кам?
[ ], Мурунку суроо боюнча Building, сиз эксперименттердин жыйынтыгы талкууланды жолугушуусунда болду деп ойлошот. күчүнүн ар бир түрү (статистикалык, куруу, ички жана тышкы) Эгер төрт суроолор эмне үчүн бир нече суроо бергим келет эле?
[ ] Bernedo, Ferraro, and Price (2014) баяндалган суу үнөмдөөчү кийлигишүүсү менен жети жылдан кийин күчүнө изилдеген Ferraro, Miranda, and Price (2011) (сүрөттү 4.11 карагыла). Бул документте, Bernedo жана кесиптештери да бар үй-турумуна салыштырып күчүнө артында механизмдерин түшүнүүгө аракет жана дарылоо жеткирилди кийин көчүп жок. Башкача айтканда, болжол менен, алар дарылоо үйгө же менчик ээлеринин таасир бекен аракет кылышкан.
[ ] Үчүн кийинки жылы Schultz et al. (2007) , Schultz жана кесиптештер эки контекстте башка экологиялык кыймыл (сүлгү кайра) жөнүндө сүрөттөөчү жана тыюу салуу ченемдерин күчүнө боюнча үч тажрыйба бир катар жүргүзүлөт (мейманкана жана бопбоз кондоминиум) (Schultz, Khazian, and Zaleski 2008) .
[ ] Жооп Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) электр мыйзам долбоорлоо изилдөө лабораториясы сыяктуу эксперименттердин бир катар чуркап. Бул жерде алар тезистин аны сүрөттөп кантип:
"Сурамжылоо негизделген экспериментте, ар бир катышуучу салыштырмалуу жогорку электр пайдалануу менен бир үй-бүлө үчүн гипотетикалык электр долбоорун көрүп, (а) тарыхый пайдалануу жөнүндө маалыматты камтыган, (б) кошуналары менен салыштыруу, жана (с) жабдуу бөлүштүрүү менен тарыхый пайдалануу. Катышуучулар, анын ичинде ар кандай маалымат түрлөрүн үч бир түрдө көргөн (а) столдор, (б) бар, пар, жана (с) сөлөкөтү диаграммасы. Биз үч негизги жыйынтыгы боюнча отчет. Биринчиден, керектөөчүлөр аны жадыбалда берилген эле электр энергиясын пайдалануу маалыматты ар бир түрүн абдан түшүнүктүү, балким, анткени үстөл жөнөкөй окуу көмөктөшүү. Экинчиден, артыкчылыктар жана электр энергиясын үнөмдөө үчүн ниет түрдө көз карандысыз, тарыхый пайдалануу маалымат алуу үчүн күчтүү болгон. Үчүнчүдөн, аз энергия сабаттуулук адамдар аз бардык маалыматты түшүнгөн. "
Башка изилдөөлөрдүн кийинки айырмаланып, кызыкчылыктардын негизги жыйынтыгы Canfield, Bruin, and Wong-Parodi (2016) жүрүм-турумун эле эмес, иш-аракетин билдирет. энергия үнөмдөлөт көмөк кененирээк изилдөө программасында изилдөө бул түрү боюнча күчтүү жана алсыз жактары бар?
[ , ] Smith and Pell (2003) парашюттар натыйжалуулугун көрсөткөн изилдөөлөрдүн сатиралык мета-анализ тапшырды. Алар мындай жыйынтыкка келген:
"Ден соолугуна алдын алуу максатында көптөгөн иш-чаралар менен эле, парашюттар натыйжалуулугу клиникалык изилдөөлөр сыноолорго аркылуу кылдаттык менен баалоо дуушар болгон эмес. далилдүү дары жактоочулары гана байкоо маалыматтарын пайдалануу менен бааланат иш-чаралардын кабыл сынга алып жатышат. Биз ар бир далилдүү дары көбүрөөк радикалдуу каармандар уюштурулган жана эки сокур катышкан болсо, клиникалык изилдөөлөр, Жара көзөмөлдөнөт, парашют менен перси сот пайда болушу мүмкүн деп ойлойм. "
Мисалы, New York Times сыяктуу жалпы-Окурмандарды гезити, ылайыктуу бир жөнөткөн жазуу, эксперименттик далил fetishization каршы талашып. айкын, конкреттүү мисалдарды берүү. Hint: Кара Deaton (2010) жана Bothwell et al. (2016) .
[ , , ] Difference-жылы-айырмачылыктар бир дарылоо таасири estimators айырма-жылы орточо estimators караганда бир кыйла так болушу мүмкүн. боюнча A / B сыноо боюнча инженер үчүн кат жазуу баштапкы коомдук медиа онлайн эксперимент жүргүзүү үчүн айырма-жылы ар башка мамиле маанисине түшүндүрмө компания. эсине маселенин арызды камтууга тийиш, айырма-жылы айырма Алгоритмдин айырма-жылы билдирбейт багалаушы ашып турган шарттардын кээ бир туюм жана жөнөкөй машыктыруучу изилдөө.
[ , ] Гари Loveman Harrah жөнүндөгү жетекчини, дүйнөдөгү ири казино компаниялардын бири болгонго чейин Harvard бизнес мектебинин мугалими болду. Ал Харра деген жерге көчүп барганда, Loveman кардар жүрүм-турум жөнүндө маалыматтарды зор көлөмдө чогултулган тез-учкуч болуп лоялдуулук программасы менен компанияга айланган. Бул ар дайым боюнча өлчөө системасынын үстүнө, компания эксперименттерди иштеп баштады. Мисалы, алар белгилүү бир кумар үлгү менен кардарлар үчүн акысыз мейманкана түн үчүн купонду таасирин баалоо үчүн мындай бир эксперимент мүмкүн. Бул жерде Loveman Harrah күнүмдүк иш үчүн эксперимент маанилүүлүгүн кандайча сүрөттөгөнүн карап көрөлү:
"Ал аялдар кысымга алышпайт сыяктуу, сен, сен контролдук тобун бар алдым, уурдап кетишпейт. Бул Harrah's эмес, контролдук тобун баратат үчүн жумушунан айрылып нерселердин бири болуп саналат. " (Manzi 2012, 146)
Loveman ал контролдук тобун ээ болуу абдан маанилүү деп эсептейт эмне түшүндүргөн жаңы кызматкер үчүн электрондук кат жазуу. Сиз үлгү-да реалдуу же ойду мисал үчүн жасалган киргизүүгө аракет кылышыбыз керек.
[ , ] Бир жаңы эксперимент эмдөө өздөштүрүү боюнча билдирүүсү эскертүүлөрүн кабыл таасирин баалоого багытталган. Бир жүз элүү клиника, 600 укуктуу бейтаптар менен ар катышууга даяр. сиз менен иштеген каалаган ар бир ооруканага 100 $ белгиленген наркы бар, жана жөнөтүү үчүн ар бир текст кабары үчүн $ 1 турат. Андан кийин эгерде, сиз менен чогуу иштеп жаткан ар кандай клиникалар жыйынтыгына жараша (кимдир бирөө эмдөө алган жокпу) акысыз. Сиз $ 1000-жылдын бюджети бар дейли.
[ , ] Онлайн курстардын менен негизги маселе Юнгдун болуп саналат: курстары таштайт аяктайт башталат көптөгөн студенттер. Сиз онлайн үйрөнүү аянтчалары иштеп жатат, жана сахнада дизайнер ал студенттерди, албетте, талаада чейин алдын алууга жардам берет деп ойлоп, бир көрсөтмө прогресс тилкесин жараткан дейли. Сиз студенттердин прогресс тилкесинде таасирин көп эсептөө коомдук илимдер, албетте, сынап келет. экспериментте пайда болушу мүмкүн болгон ар кандай этикалык маселелерди чечүү кийин, жана алардын жолдоштору, албетте, ишенимдүү прогресс тилкесинде кесепеттерин аныктоо үчүн жетиштүү студенттер ээ эмес болушу мүмкүн деп тынчсызданып, Жахабага тиленчүмүн. Төмөнкү эсептөө, сиз окуучулардын жарымы эмес, прогресс бар жана жарымын алат деп ойлойбуз. Андан сырткары, бул жерде эч кандай тоскоолдуктар жок деп ойлойбуз. Башкача айтканда, катышуучулар гана, алар дарыланып же көзөмөлгө алган жокпу таасир тийгизет деп болжолдоого болот; Алар башка адамдар менен дарылануунун же көзөмөлгө алган жокпу тарабынан эмес, (бир дагы расмий аныктамасы боюнча, 8-бөлүмүн карагыла Gerber and Green (2012) ). Сиз жасаган ар кандай кошумча-карашка толугу менен текшерип тургула.
[ , , ] Эгер технологиялык компаниясынын маалымат таануучу катары иштеп жатат деп коёлу. маркетинг бөлүмүнүн бирөө алар жаңы онлайн жарнама өнөктүгүн үчүн салым (Лакай-) кайтарып өлчөө үчүн пландап жатканын эксперимент баалоодо жардам сурайт. РОЙ кампаниясынын наркы тарабынан бөлүнгөн өнөктүгү таза киреше катары аныкталат. Мисалы, сатуу боюнча эч кандай таасир эткен бир үгүт -100% бир кылат.Бул болмок; кирешесиндеги 0 чыгымдарынын бир кылат.Бул болмок барабар болгон үгүт; жана киреше өндүрүлгөн бир үгүт наркы 200% бир кылат.Бул жерде турган эки эсе көп болду.
Эксперимент ишке мурун, маркетинг бөлүмү мурда изилдөө боюнча төмөнкүдөй маалымат менен камсыз кылат (Чынында, бул баалуулуктар Lewis жана Rao билдирди реалдуу онлайн жарнама кампаниясынын мүнөздүү (2015) ):
Бул сунуш эксперимент баа берүү жана илим жазуу. Сиздин эсине Сиз бир жасалма далилдерди колдонуу керек, бул эки негизги маселелерди чечүү керек: (1) пландаштырылган эле, бул эксперимент ишке сунуш келеби? Эгер ошондой болсо, эмне үчүн? Эгерде жок болсо, анда эмне үчүн? Бул чечим үчүн колдонуп жатышат критерийлери так болушу керек. (2) бул экспериментте үчүн кандай үлгү болмок сунуш кылат? Дагы бул чечимди кабыл алуу үчүн колдонуп жатышат критерийлери так болушу үчүн сөзсүз керек.
бул белгилүү бир ишти жакшы эсине чечүүгө жардам берет; жакшы эсине Бул окуядан бир жолу топтоп, (мисалы, кампаниянын таасири кандай чечим өзгөрүүлөр өлчөмү милдети деп көрсөтөт); жана улуу эсине толук жалпыланган натыйжасын берет. Сиздин эсине жыйынтыктарын мисал жардам диаграммаларды пайдалануу керек.
Бул жерде эки атабыз. Биринчиден, маркетинг бөлүмү кээ бир ашыкча маалымат менен камсыз болушу мүмкүн, алар кээ бир керектүү маалымат менен камсыз кылуу үчүн ишке ашкан болушу мүмкүн. Экинчиден, R колдонуп жаткан болсо, rlnorm () милдети, көптөр күткөндөй эле ушундай иш эмес экенин билет.
Бул иш-чара сизди машыгууларды түзүү, электр талдоо менен иш, ал сөзү менен да, диаграммалар менен жыйынтыгын берет. Бул кылат.Бул баалоого багытталган тажрыйбаларды эмес, эксперимент, ар кандай түрүн үчүн электр талдоо жүргүзүүгө жардам берет. Бул иш-чара сизди статистикалык тестирлөөнүн жана электр талдоо менен кээ бир тажрыйбалары бар деп ойлойт. Эгер бийлик анализ менен тааныш эмес болсо, анда мен: "А Power Primer" менен окууну сунуштайбыз Cohen (1992) .
Бул иш-аракет менен кооз кагаздан жетеги менен RA Lewis and Rao (2015) айкын да массалык тажрыйба негизги статистикалык чектөө турат. Алгач "Жарнамалык кайтып өлчөө жакын мүмкүн эместиги жөнүндө" чагымчыл наам бар болчу, алардын кагаз, ал тургай, кардарлардын миллиондогон санариптик эксперимент менен онлайн жарнамалардын салымдардын кайтарып өлчөө үчүн канчалык кыйын -shows. Жалпысынан, RA Lewis and Rao (2015) санариптик-курактык тажрыйба Кыргызстан үчүн өтө маанилүү болгон негизги статистикалык чындыкты мисал: бул ызы-жыйынтык маалыматтар арасында кичи дарылоо кесепеттерин аныктоо кыйын.
[ , ], Мурунку суроо сыяктуу эле, бирок, тескерисинче, оорумуш караганда, сиз аналитикалык жыйынтыктарын колдонушу керек.
[ , , ], Мурунку суроо сыяктуу эле, бирок, окшош жана аналитикалык материалдар да колдонушат.
[ , , ] Жогоруда айтылган кат жаздым, жана маркетинг бөлүмүнүн бирөө жаңы маалыматтын бир бөлүгүн камсыз кылат дейли: алар алдында жана эксперименттер кийин сатуунун ортосундагы 0,4 байланышты талап кылат. Кантип, бул катында сунуштарды өзгөртөт деп айтууга болот? (Жардам: айырма-жылдын аркылуу багалаушы жана айырмасы-жылы-айырмачылыктарды багалаушы боюнча көп 4.6.2 бөлүмүн карагыла.)
[ , ] Бир жаңы интернет-жумуш-жардам программасынын натыйжалуулугуна баа берүү максатында, жогорку мектептин акыркы жылын кирип 10,000 окуучулары арасында колдонуусу клиникалык контролдук сыноо жүргүзгөн. башка 5000 студент контролдук топто жана жазылуу болгон эмес, ал эми өзгөчө журналы-маалымат менен эркин жазылуу, туш келди тандалган окуучулардын 5000 өзгөчө почта чакыруусу аркылуу жөнөтүлдү. Он эки ай өткөндөн кийин, кийинки сурамжылоо (жок зулумдуктарына менен) дарылоо жана контролдоо топтор да, окуучулардын 70% ы өздөрүнүн тандаган адистикке (стол 4.6) толук эмес жумуш убактысы камсыз экенин көрсөткөн. Демек, интернет-кызмат эч кандай таасир этпегендигин сезилди.
Бирок, окуу бир акылдуу маалымат илимпоз маалыматы боюнча бир аз карап тыгыз жана электрондук кат алгандан кийин дарылоо топтогу окуучулардын 20% ы гана эч качан эске кирген деп табылган. Андан тышкары, жана сайт кирип берген адамдардын арасында, бир аз, албетте, бир гана 60%, алардын тандап алган чөйрөсүндөгү адамдар үчүн чен-жылы журнал эмес, адамдар үчүн курстан жана төмөнкү тёмён болгон, толук убакыттагы жумуш менен камсыз кылган контролдук абалда (стол 4,7).
Hint: Бул суроо ушул бөлүмдө өтүлгөн материалдын чегинен чыгып, ал эми тажрыйба-жылы жалпы маселелерди карайт. Катышуучулар дарылоо жүргүзүүгө үндөгөн, анткени тажрыйба үлгүсүн бул түрү кээде бекемдейт дизайнын деп аталат. Бул маселе бир жактуу сактабоо (китебинин 5-бөлүмүн карагыла деп аталган бир мисалы болуп саналат Gerber and Green (2012) ).
[ ] Изилдөөдөн кийин, мурунку суроо сүрөттөлгөн эксперимент дагы да татаал эле, ошондой болуп чыккан. Ал контролдук топто адамдардын 10% кызматка кирүү үчүн төлөнгөн чыккан, алардын 65% (4,8 стол) иш менен камсыз чен менен аяктады.
Hint: Бул суроо ушул бөлүмдө өтүлгөн материалдын чегинен чыгып, ал эми тажрыйба-жылы жалпы маселелерди карайт. Бул маселе кандай эки тараптуу сакталбагандыгы деп аталат (6-бөлүмүн карагыла мисалы Gerber and Green (2012) ).
группа | көлөм | Ишке кабыл алуу баасы |
---|---|---|
сайт Албетте мүмкүндүк алуу | 5000 | 70% |
Жок сайтына кирүүгө уруксат берилген | 5000 | 70% |
группа | көлөм | Ишке кабыл алуу баасы |
---|---|---|
сайтына мүмкүнчүлүк берилген жана катталган | 1000 | 60% |
сайтына кирүүгө уруксат менен кирген эмес | 4000 | 72.5% |
Жок сайтына кирүүгө уруксат берилген | 5000 | 70% |
группа | көлөм | Ишке кабыл алуу баасы |
---|---|---|
сайтына мүмкүнчүлүк берилген жана катталган | 1000 | 60% |
сайтына кирүүгө уруксат менен кирген эмес | 4000 | 72.5% |
Эмес, интернет мүмкүнчүлүгү берилет жана ал үчүн төлөнгөн | 500 | 65% |
Эмес, интернет мүмкүнчүлүгү берилет жана ал үчүн акы төлөй алган эмес | 4500 | 70,56% |