Key:
[ , ] Berinsky va hamkasblari (2012) , uch klassik tajribalar ko'paytirish qisman mexanik savdo baholaydi. Tomonidan klassik Osiyo Kasalliklarni ramka tajriba nusxasini Tversky and Kahneman (1981) . Sizning natijalar o'yin Tversky va Kahneman ning nima? Sizning natijalar o'yin Berinsky va hamkasblarini nima? Nima-agar biror narsa-bermaydi, bu tadqiqot tajribalar uchun mexanik savdo foydalanish haqida bizga o'rgatadi?
[ , ] Nomli bir oz tili-in-yonog'i maqolada "Biz Up Break uchun bor," Ijtimoiy psixolog Robert Cialdini, mualliflaridan biri Schultz et al. (2007) , u, chunki u, asosan, laboratoriya tajribalari olib bir intizom (psixologiya) Dala tajriba qilib qiyinchiliklar qismida, erta bir professor sifatida uning ishidan oddiy deb yozgan (Cialdini 2009) . Cialdini ning qog'oz o'qing va unga raqamli tajribalar imkoniyatlari nurida uning buzib tashlash qayta ko'rib, uni chaqirdi elektron pochta yozish. uning tashvishlari murojaat tadqiqot aniq misollarni foydalaning.
[ ] Yuz kichik boshlang'ich yutuqlari qulflash-yilda aniqlash yoki asta so'na maqsadida, van de Rijt va hamkasblari (2014) tasodifiy tanlangan ishtirokchilar muvaffaqiyat ato etgani to'rt xil tizimlari ichiga aralashib, keyin bu o'zboshimchalik bilan muvaffaqiyat uzoq muddatli ta'sir o'lchanadi. Agar shunga o'xshash tajribalar ishlatish mumkin bo'lgan boshqa tizimlar olasizmi? ilmiy qiymati masalalar jihatidan bu tizimlar baholash, algoritmik karıştırıcı va axloqiy (2-bob qarang).
[ , ] Tajriba natijalari ishtirokchilari bog'liq mumkin. tajriba yaratish va undan keyin ikki xil ishga qabul qilish strategiyasi orqali Amazon mexanik Turk (MTurk) uni ishlatish. Natijalar iloji boricha turli bo'ladi, shunday qilib, tajriba va ishga qabul qilish strategiyalarini terishga harakat qiling. Misol uchun, siz ishga qabul qilish strategiyasi ertalab va kechqurun ishtirokchilari yollashga yoki yuqori va past haq to'lanadigan bilan qoplash mumkin. ishga qabul qilish strategiyasi xilma Bunday qatnashchilari va turli eksperimental natijalari turli hovuzlar olib kelishi mumkin. Qanday turli sizning natijalar yuz berdi? deb MTurk ustida tajribalar ishlayotgan haqida nima deyiladi?
[ , , , ] Agar Hissiy Contagion o'rganishni rejalashtirgan edi deb tasavvur qiling (Kramer, Guillory, and Hancock 2014) . Tomonidan oldingi kuzatish o'rganish natijalarini foydalaning Kramer (2012) , har bir holatda ishtirokchilar sonini qaror qabul qilish. Bu ikki tadqiqotlar mukammal, shuning uchun ochiq qilish, barcha taxminlarni Ro'yxatga ishonch hosil mos emas:
[ , , , ] Yuqoridagi savolga javob bering, balki tomonidan ilgari kuzatuv o'rganishni qo'llashdan ko'ra Kramer (2012) tomonidan oldingi tabiiy eksperiment natijalarini foydalanish Coviello et al. (2014) .
[ ] Har ikki Rijt et al. (2014) va Margetts et al. (2011) , ham bir ariza imzolash odamlar jarayonini o'rganish. Solishtiring va dizayni va bu tadqiqotlar natijalarini solishtirish.
[ ] Dwyer, Maki, and Rothman (2015) ijtimoiy normalar va proenvironmental xatti o'rtasidagi munosabatlar ikki dala tajribalari o'tkazildi. Bu yerda o'z qog'oz mavhum ekan:
"Qanday psixologik fan proenvironmental xatti rag'batlantirish foydalanish mumkin? ikki tadkikotlar, davlat hammom energiya himoya qilish xatti targ'ib etishga qaratilgan choralar tavsif normalari va shaxsiy mas'uliyat ta'sir ko'rib. kimdir bu mo'ljallangan tavsiflovchi me'yordan signalizatsiya, bir bo'sh jamoat hammom kirib oldin o'rganish 1, engil holati (ya'ni, o'chirish yoki) o'zgartirilgan edi. Ishtirokchilar ular kirganlarida, ular off bo'lsa chiroqlar o'chirish uchun ancha ko'proq. O'rganish 2, qo'shimcha holati qanday nur yopilishi norma bir konfederatsiya tomonidan namoyish etildi, jumladan, lekin ishtirokchilari uni o'girib mas'ul o'zlari emas edi. Shaxsiy javobgarlik xatti ijtimoiy normalari ta'sir boriladigan; ishtirokchilari chiroqni o'girilib uchun javobgar emas edi, normaning ta'siri kamayib edi. Bu natijalar proenvironmental tadbirlarning samaradorligini tartibga solish mumkin qanday tavsif normalari va shaxsiy javobgarlik ko'rsatadi. "
ularning qog'oz o'qing va o'rganish 1, bir replika loyihalashtirish.
[ , ] Oldingi savolga asosida, endi dizayn amalga oshirish.
[ ] Amazon mexanik Turk bo'yicha ishga ishtirokchilari yordamida tajribalar haqida muhim munozaralar bor edi. parallel, ham bakalavr talaba aholi tomonidan yollangan ishtirokchilari yordamida tajribalar haqida muhim munozaralar bor edi. solishtirish va tadqiqotchilar ishtirokchilari sifatida Turkers va magistrantlar qarama ikki sahifali eslatma yozing. Sizning taqqoslash ilmiy va moddiy-texnik masalalar ham bir muhokama o'z ichiga olishi kerak.
[ ] Jim Manzi kitobi Nazoratsiz (2012) biznes tajriba kuchi bir ajoyib joriy etish hisoblanadi. kitobida u bu hikoyani tushgan:
"Men haqiqiy ish daho, tajribalar kuchi chuqur, intuitiv tushunchalarini bor edi, bir o'z-o'zini qilgan milliarder bilan uchrashuvda bir marta bo'ldi. Uning kompaniyasi an'anaviy donolik ular kerak aytganidek, iste'molchilar va ortadi savdo jalb buyuk do'kon oyna ekranlar yaratish uchun harakat muhim resurslarini o'tkazdi. Mutaxassislar diqqat dizayn keyin dizayni, sinov qilingan va sotish bo'yicha har bir yangi displey dizayni hech muhim tabiiy ta'sir ko'rsatgan saqlab yil davomida individual test sharh majlislarida. Katta marketing va savdo rahbarlari har doim birga bu tarixiy sinov natijalarini ko'rib bosh direktori bilan uchrashdi. empirik ma'lumotlar barcha taqdim so'ng, ular an'anaviy donolik noto'g'ri, ya'ni oyna ko'rsatadi savdo haydab emas edi, degan xulosaga. Ularning tavsiya harakat, bu sohada xarajatlarini va harakat kamaytirish edi. Bu keskin an'anaviy hikmatni bekor qilish tajriba qobiliyatini namoyish etdi. Bosh direktori javobi oddiy edi: «Ey xulosa sizning dizaynerlar juda yaxshi emas, deb hisoblanadi." Uning hal do'kon displey dizayn harakat oshirish va yangi odamlar buni qabul qilish uchun edi. " (Manzi 2012, 158–9)
Bosh direktori tashvish amal qaysi turi?
[ ] Oldingi savolga asosida, siz tajribalar natijalari muhokama qilindi yig'ilishida, deb tasavvur. Agar so'rash mumkin to'rt savollar, amal qilish har bir turi (statistik, qurish, ichki va tashqi) uchun bir nima?
[ ] Bernedo, Ferraro, and Price (2014) tasvirlangan suv tejash aralashuvi etti yillik ta'sir o'rganadi Ferraro, Miranda, and Price (2011) (4.10-shakl qarang). Ushbu maqolada, Bernedo va hamkasblari ham bor va davolash yetkazib keyin ko'chib yo'q uy xo'jaliklarining xatti solishtirish orqali ta'sir orqasida mexanizmi tushunish so'rayman. Ya'ni, taxminan, ular davolash uy yoki uy-joy mulkdorlari ta'sir yoki yo'qligini ko'rish uchun harakat qiling.
[ ] Uchun keyingi yili Schultz et al. (2007) , Shults va hamkasblari ikki sharoitda (bir mehmonxona va Devremülk ushbudan boshlab:) bir xil ekologik harakati (sochiq qayta) haqida tavsiflovchi va ehtiyot normalari ta'siri uchta tajribalar bir qator bajarish (Schultz, Khazian, and Zaleski 2008) .
[ ] Javoban Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) elektr qonun loyihalarini dizayn o'rganish uchun laboratoriya-kabi tajribalar bir qator yugurdi. Bu yerda ular Xulosa uni tasvirlab qilib:
"Bir tadqiqot asoslangan tajribasida har bir ishtirokchi (b) qo'shnilarga taqqoslashlar, va qurilma parchalanishi bilan (c) tarixiy foydalanish, (a) tarixiy foydalanish haqida ma'lumot o'z ichiga olgan, nisbatan yuqori elektr foydalanish bilan bir oila uchun, faraziy bir elektr qonun loyihasini ko'rib. Ishtirokchilar, (a) jadvallar, shu jumladan, (b) bar grafikalar, va (c) icon grafiklari bir uch formatlarda barcha axborot turlarini ko'rdi. Biz uch asosiy natijalari bo'yicha hisobot. Birinchidan, iste'molchilar uni bir jadvalda taqdim etilgan paytda eng, jadvallar oddiy nuqtasi o'qishni osonlashtirish, ehtimol, chunki elektr-foydalanish axborotning har bir turini tushundim. Ikkinchidan, afzalliklar va elektr saqlash uchun niyatlar, formatda mustaqil tarixiy foydalanish ma'lumot olish uchun kuchli edi. Uchinchidan, kam energiya savodxonligi bilan shaxslar kam barcha ma'lumotlarni tushunib. "
Boshqa amal-up tadqiqotlar farqli o'laroq, qiziqish asosiy natijasi Canfield, Bruin, and Wong-Parodi (2016) haqiqiy xatti xatti xabar emas. energiya tejash rag'batlantirish kengroq tadqiqot dasturida o'rganish Ushbu turdagi kuchli va zaif tomonlari bor?
[ , ] Smith and Pell (2003) parashyutsiz samaradorligini namoyish tadqiqotlar satirik huzur-tahlil qilmoqda. Ular xulosa:
ko'p choralar bemor sog'lig'ini oldini olish uchun mo'ljallangan kabi ", parashyutsiz samaradorligi randomize nazorat ostida yordamida qattiq baholash duchor qilinmagan. Dalillarga asoslangan tibbiyot himoyachilari faqat kuzatuv ma'lumotlarni yordamida baholanadi tadbirlarning qabul tanqid qilgan. Biz dalillar asosida tibbiyotning eng radikal qahramonlar tashkil va bir juft ko'r ishtirok agar har bir kishi, randomize, platsebo, nazorat Parachute krossover sinov foyda mumkin, deb o'ylayman. "
Eksperimental dalillar fetishization qarshi bahs, bunday Nyu-York Tayms kabi umumiy o'qiydi gazetasi, uchun mos bir Op-ad yozing. o'ziga xos, aniq misollar bilan ta'minlash. Maslahat: Shuningdek qarang, Bothwell et al. (2016) va Deaton (2010)
[ , , ] Farq-in-farqlar davolash ta'siri tasavvur farq-in-o'rtacha tasavvur ko'proq aniq bo'lishi mumkin. onlayn tajriba yuritish uchun farq-in-farqlar yondashuv qiymatini tushuntirib start-up ijtimoiy media kompaniyasi da A / B sinovlaridan mas'ul muhandis, bir eslatma yozish. bayonnoma muammoning bir bayonot, farq-in-farq baholovchi farq-in-o'rtacha estimator ortda ostidan sharoitlar haqida ba'zi sezgi, va oddiy modellashtirish o'rganishni o'z ichiga olishi kerak.
[ , ] Gary Loveman Harrah ning bosh direktori, dunyodagi eng yirik kazino kompaniyalari biriga aylanmoqda oldin Garvard biznes maktabi professori bo'ldi. U Harrah ning ko'chib kelganda, Loveman mijozlarga xatti haqida ma'lumotlar ulkan miqdorda to'plangan tez-tez uchuvchi-kabi sodiqlik dasturi bilan kompaniya aylantirildi. Bu har doim-kuni o'lchash tizimi ustiga, kompaniya tajribalar yugurib boshladi. Misol uchun, ular ma'lum bir qimor naqsh bilan mijozlar uchun bepul mehmonxona kecha bir Kupon ta'sirini baholash uchun tajriba ishlatish mumkin. Bu erda Loveman Harrah ning kundalik ish amaliyoti uchun tajriba ahamiyatini bayon qilib:
"Bu siz ayollarni qiynayotgan emas kabi, siz o'g'irlik qilma, va siz bir nazorat guruhi bor, bor. Bu sizga Harrah's-emas, nazorat guruhi bilan ishlayotgan da uchun ish yo'qotishi mumkin narsalardan biri hisoblanadi. " (Manzi 2012, 146)
Loveman u nazorat guruhini ega bo'lishi juda muhim, deb o'ylashadi nega tushuntirib yangi xodim uchun elektron pochta yozish. Siz misol-yo real yoki nuqtaga ko'rsatish uchun yuqoriga-qilgan, jumladan, harakat qilish kerak.
[ , ] Yangi tajriba emlash olimining matn xabari eslatmalarni qabul ta'sirini baholash uchun qaratilgan. 150 klinikalar, 600 muvofiq bemorlar bilan har bir, ishtirok tayyor. U erda siz bilan ishlash, istalgan har bir klinikada 100 dollar sobit qiymati hisoblanadi, va u sizga yuborish uchun bo'lgan har bir matn xabari uchun 1 dollar turadi. Bundan tashqari, siz bilan ishlayotgan har qanday klinikalar bepul (kimdir bir emlash qabul bo'lsin) oqibati o'lchash bo'ladi. Agar 1000 dollar byudjet bor, deb taxmin.
[ , ] Onlayn kurslarda bilan bir katta muammo ishqalanish hisoblanadi; kurslarini boshlash ko'plab talabalar xirillab-out yakun. Agar onlayn ta'lim platforma ishlaymiz, va platforma bir dizayner u albatta amalga tushib talabalarga oldini olishga yordam beradi deb o'ylagan vizual harakat satrini yaratgan deb tasavvur qiling. Siz katta hisoblash ijtimoiy fanlar kurs talabalari to'g'risidagi harakat satridan ta'sirini sinab istayman. eksperiment vujudga mumkin bo'lgan har qanday axloqiy masalalarni hal so'ng, siz va hamkasblari kurs ishonchli harakat satridan ta'sirini aniqlash uchun etarli talabalarga yo'q xavotirdaman olish. Quyida hisoblashlarda harakat satrini va yarim emas olasiz talabalar deb yarmini taxmin qilish mumkin. Bundan tashqari, siz hech qanday shovqin bor, deb taxmin qilish mumkin. Boshqa so'zlar bilan aytganda, siz ishtirokchilar faqat ular davolash yoki nazorat olgan bo'lsin ta'sir, deb taxmin qilish mumkin; Ular boshqa odamlar davolash yoki nazorat (yana rasmiy ta'rifi uchun, qarang qabul bo'lsin tomonidan amalga oshiriladi Gerber and Green (2012) , Ch. 8). siz har qanday qo'shimcha taxminlarga kuzatib qiling.
[ , ] Bir go'zal maqolada, Lewis and Rao (2015) yaqqol ham katta tajribalari asosiy statistik cheklash misol. qog'oz-dastlab "Reklama uchun qaytarib Baholash Near-olmasligiga to'g'risida" provokatsion unvoni edi, hatto raqamli tajribalar mijozlar millionlab jalb bilan, onlayn reklamalarni investitsiyalar daromadliligini o'lchash uchun qanchalik qiyin -shows. Batafsil odatda, qog'oz aniq shovqinli natija ma'lumotlar o'rtasida kichik davolash ta'sir taxmin qilish qiyin ekanligini ko'rsatadi. Yoki diffently aytib, qog'oz hisoblab davolash ta'siri katta ishonch intervallarni bo'ladi, deb ko'rsatadi qachon ta'sir-to-standart-og'ish (\ (\ kechqurun {\ delta \ bar {y}} {\ sigma} \)) nisbati kichik. Bu qog'oz muhim umumiy dars kichik ta'sir-to-standart-og'ish nisbati bilan tajribalar natijalari (masalan, reklama kampaniyalarini Roy) kam bo'ladi. Sizning qiyinchilik E'lonni kampaniyasi Roy o'lchash uchun rejalashtirilgan tajriba evaluting kompaniyaning marketing bo'limida kimgadir bildirishnomani yozish uchun bo'ladi. Sizning bayonot kompyuter simülasyonları natijalari grafikalar bilan qo'llab-quvvatlanishi lozim.
Bu yerda siz kerak bo'lishi mumkin, ayrim fon axborot ekan. Bu raqamli qadriyatlar barcha xabar real tajribalar xos bo'lgan Lewis and Rao (2015) :
Roy, onlayn reklama kampaniyalarini uchun asosiy metrik, kampaniyasining qiymati bo'lingan kampaniyasi (kampaniyasi kampaniyasi minus qiymatidan yalpi foyda) dan sof foyda bo'lishi belgilangan. -100% Bir Roy va hosil foyda 0 bir Roy kerak edi xarajatlarini teng edi kampaniya bo'lar edi sotish bo'yicha hech qanday ta'sir kampaniya Misol uchun.
mijoz boshiga o'rtacha savdo $ 75 bir standart og'ish bilan $ 7.
Kampaniya mijozga boshiga $ 0,175 foyda o'sishiga mos bo'lgan mijozning boshiga $ 0.35 tomonidan savdo oshirish kutilmoqda. Boshqa so'zlar bilan aytganda, yalpi margin 50% ni tashkil etadi.
Eksperiment rejalashtirilgan hajmi 200.000 kishi, nazorat guruhida davolash guruhida yarim va yarmi.
Aksiya narxi ishtirokchisi boshiga $ 0.14 bo'ladi.
Bu tajriba evaluting bildirishnomani yozing. rejalashtirilgan bo'lib, ushbu tajriba yo'lga tavsiya qilaman? Agar shunday bo'lsa, nima uchun? Agar yo'q bo'lsa, siz qanday o'zgarishlar tavsiya qilaman?
Yaxshi bayonot bu muayyan ishni hal etadi; yaxshiroq bayonot bir tarzda, bu holda dan umumlashtirish bo'ladi (masalan, ko'rsatish qanday ta'sir-to-standart-og'ish nisbati bir vazifasi sifatida qaror o'zgarishlar); va katta bayonot to'liq umumiy natijani taqdim etadi.
[ , ] Oldingi savolga bir xil qil, balki simulyatsiya ko'ra siz analitik natijalarini foydalanish kerak.
[ , , ] Oldingi savolga bir xil qil, lekin simülasyon va analitik natijalarini har ikki foydalaning.
[ , , ] Agar yuqorida yordamida vositalari tahmincinin bir farq o'rniga bir farq-in-farqlar estimator foydalanish tavsiya simülasyonunu, analitik natijalarini, yoki marketing bo'limi ham-va birovni yo tasvirlangan eslatma yozdim, deb tasavvur qiling-a (Bo'lim 4.6.2 qarang) . tajribalardan so'ng eksperiment oldin savdo va savdo o'rtasida 0,4 korrelyatsiya siz xulosa o'zgartirish qanday tushuntirib yangi qisqa eslatma yozing.
[ , ] Yangi veb-asoslangan mansab xizmat samaradorligini baholash maqsadida, bir universitet mansab xizmatlar ofis maktab oxirgi yil kirib 10,000 talabalar o'rtasida randomize nazorat sud o'tkazildi. Boshqa 5000 talabalar nazorat guruhi bo'lgan va bir obuna yo'q esa noyob log-axborot bilan erkin obuna, tasodifiy tanlangan talabalar 5000 eksklyuziv email taklifiga binoan orqali yuborilgan edi. O'n ikki oy o'tgach, (hech qanday non-javob bilan) keyingi tadqiqot, ham davolash va nazorat guruhlarida, 70% talabalar o'z tanlagan sohasida (jadval 4.5) kunduzgi bandligini ta'minlandi, deb ko'rsatadi. Shunday qilib, veb-xizmat hech ta'sir ko'rinadi.
Shu bilan birga, universitetda bir aqlli ma'lumotlar olim bir oz ko'proq yaqindan ma'lumotlar qaradi va davolash guruhida talabalar faqat 20% hech elektron pochta qabul keyin hisobga identifikatsiyadan deb topildi. Bundan tashqari, va bir oz ajablanarli veb-kirgan qilganlar orasida faqat 60% odamlar uchun stavka nisbatan kirish qilmadi odamlar uchun nisbatan kam va kam edi, o'z tanlagan sohasida, kunduzgi ish bilan ta'min edi nazorat qilish holati (jadval 4.6).
Maslahat: Bu savol, bu bobda qoplangan materiallar orqasida ketadi, lekin tajribalar keng tarqalgan muammolarni ketkazadi. Ishtirokchilari davolash bilan shug'ullanish tavsiya etiladi, chunki tajriba dizayn Ushbu turdagi ba'zan dalda dizayni deyiladi. Bu muammo biryoqlama uzilganligi, deyiladi nima bir misol (qarang Gerber and Green (2012) , Ch. 5)
[ ] Yanada ko'rikdan so'ng, u oldingi savolga tasvirlangan tajriba ham murakkabroq ekanini chiqadi. Bu nazorat guruhi odamlar 10% xizmatiga kirish uchun to'langan, ular 65% (jadval 4.7) bir ish bilan nisbati bilan tugadi ekan.
Maslahat: Bu savol, bu bobda qoplangan materiallar orqasida ketadi, lekin tajribalar keng tarqalgan muammolarni ketkazadi. Bu muammo ikki tomonlama uzilganligi, deyiladi nima bir misol (qarang Gerber and Green (2012) , Ch. 6)
guruh | Size | Mehnat darajasi |
---|---|---|
veb-sayt berilgan foydalanish | 5000 | 70% |
veb-sayt kirish berilgan emas | 5000 | 70% |
guruh | Size | Mehnat darajasi |
---|---|---|
veb-sayt kirish berildi va identifikatsiyadan | 1000 | 60% |
veb-sayt kirish berildi va identifikatsiyadan hech qachon | 4000 | 85% |
veb-sayt kirish berilgan emas | 5000 | 70% |
guruh | Size | Mehnat darajasi |
---|---|---|
veb-sayt kirish berildi va identifikatsiyadan | 1000 | 60% |
veb-sayt kirish berildi va identifikatsiyadan hech qachon | 4000 | 72,5% |
veb-sayt kirish berilgan va buning uchun to'langan emas | 500 | 65% |
veb-sayt kirish berilgan emas va buning uchun to'lov bermadi | 4500 | 70.56% |