[ , ] Berinsky və həmkarları (2012) MTurkü üç klassik təcrübəni təkrarlayaraq qismən qiymətləndirdi. Tversky and Kahneman (1981) tərəfindən klassik Asiya Xəstəliklərinin çərçivə Tversky and Kahneman (1981) etdirir. Nəticələriniz Tversky ilə Kahneman arasındadırmı? Nəticələriniz Berinsky və həmkarları ilə uyğun gəlirmi? Nə olursa-olsun, bu, MTurk-un tədqiqat təcrübələrində istifadə edilməsinə dair öyrədir?
[ , " Schultz et al. (2007) " Jurnalının müəlliflərindən biri olan sosial psixoloq Robert Cialdini, "Siqaret çəkmək məcburiyyətindəyik" başlıqlı bir neçə dildə yanaşma yazısında Schultz et al. (2007) yazdığı bir (Cialdini 2009) , başda laboratuar təcrübələrini (Cialdini 2009) aparan bir intizam (psixologiya) sahəsindəki təcrübələrlə üzləşdiyi çətinliklərdən ötrü bir iş kimi işdən erkən ayrıldığını yazdı. Cialdini'nin qəzetini oxuyun və onu rəqəmsal eksperimentlərin imkanları nəzərə alınaraq ayrılmasını yenidən nəzərdən keçirməyə çağırırıq. Onun narahatlıqlarını həll edən xüsusi araşdırma nümunələrini istifadə edin.
[ ] Kiçik ilkin müvəffəqiyyətlərin kilidlənib-qaçınmadığını müəyyənləşdirmək üçün, van de Rijt və həmkarları (2014) təsadüfi seçilmiş iştirakçılara uğur qazanmış dörd fərqli sistemə müdaxilə etdi və sonra bu özbaşına müvəffəqiyyətin uzun müddətli təsirlərini ölçdü. Bənzər təcrübələrdən istifadə edə biləcəyiniz digər sistemləri düşünürsən? Bu sistemləri elmi dəyərlər, alqoritmik qarışıqlıq məsələləri (2-ci hissəyə baxın) və etika baxımından qiymətləndirin.
[ , ] Təcrübənin nəticələri iştirakçılardan asılı ola bilər. Bir təcrübə yaradın və sonra MTurk-da iki müxtəlif işə qəbul strategiyasını istifadə edin. Nəticələrin mümkün qədər fərqli olacağı üçün sınaq və işə qəbul strategiyalarını seçməyə çalışın. Məsələn, işə qəbul strategiyaları səhər və axşam iştirakçıları cəlb etmək və ya iştirakçıları yüksək və aşağı ödənişlə kompensasiya etməkdir. İşəgötürmə strategiyasında bu cür fərqlər iştirakçıların müxtəlif hovuzlarına və müxtəlif eksperimental nəticələrə səbəb ola bilər. Nəticələriniz necə fərqli oldu? MTurk-da sınaq təcrübəsi haqqında nə danışır?
[ , , ] Duygusal Çağırış Denemesi'ni planladığınızı düşünün (Kramer, Guillory, and Hancock 2014) . Hər bir şərtdə iştirakçıların sayını müəyyən etmək üçün Kramer (2012) tərəfindən əvvəllər müşahidəçi araşdırmadan əldə edilən nəticələri istifadə edin. Bu iki tədqiqat mükəmməl bir şəkildə uyğun gəlmir, belə ki, etdiyiniz bütün fərziyyələri açıq şəkildə göstərməyinizə əmin olun:
[ , , ] Əvvəlki sualları təkrar cavablandırın, amma bu dəfə Kramer (2012) tərəfindən əvvəlki müşahidə işini istifadə etmək əvəzinə, Lorenzo Coviello et al. (2014) əvvəlki bir təbii təcrübəsindən istifadə edin Lorenzo Coviello et al. (2014) .
[ ] Həm Margetts et al. (2011) və Van de Rijt et al. (2014) ərizə imzalayan insanların prosesini öyrənən təcrübələr həyata keçirdi. Bu araşdırmaların dizaynlarını və nəticələrini müqayisə edin və əksini tapın.
[ Dwyer, Maki, and Rothman (2015) sosial normalar və ekoloji yanaşma münasibətləri ilə bağlı iki sahədə təcrübə keçirdilər. İşdə öz kağızlarının öz əksini tapmışdır:
"Prooloji ekoloji davranışı təşviq etmək üçün psixoloji elmdən necə istifadə edilə bilər? İki işdə, ictimai banyolardaki enerji qənaət davranışını təşviq etmək məqsədilə müdaxilələr təsviri normaların və şəxsi məsuliyyətin təsirlərini araşdırdı. Study 1-də işıq statusu (yəni, on və ya off) birinin açıq bir banyoya daxil edilməzdən əvvəl manipulyasiya edilib, bu qəbulu təsvir edən normanı siqnaldır. İştirakçılar, girildikləri zaman söndürüldükdə işıqları söndürmək üçün daha çox ehtimalı vardı. 2-ci fəsildə işıq yandırmaq norması birləşmə tərəfindən nümayiş etdirilən əlavə bir vəziyyət daxil edilib, lakin iştirakçılar özlərini buraxmaqdan özləri üçün məsuliyyət daşımırdılar. Fərdi məsuliyyət sosial normaların davranışa təsirini idarə etdi; iştirakçılara işıq yandırmaq üçün məsuliyyət daşımadığı zaman normanın təsiri azaldı. Bu nəticələr, təsviri normalar və şəxsi məsuliyyət proinoloji müdaxilələrin effektivliyini necə tənzimləyə biləcəyini göstərir. "
Kağızlarını oxumaq və işin bir replikasını dizayn etdirin.
[ , ] Əvvəlki sual üzərinə inşa etmək, indi dizaynınızı həyata keçirir.
[ MTurk-dan alınmış iştirakçıları istifadə edərək, eksperimentlər barədə ciddi müzakirələr aparılıb. Paralel olaraq, lisenziya tələbə əhalisindən cəlb olunmuş iştirakçıları istifadə edərək, təcrübələr haqqında əhəmiyyətli müzakirələr də olmuşdur. Tədqiqat iştirakçıları olaraq, Türker və lisenziya məzunlarını müqayisə və əksinə iki səhifəli bir yazı yazın. Sizin müqayisədə həm elmi, həm də maddi-texniki məsələlər müzakirə olunmalıdır.
[ Jim Manzi'nin " Kontrolsüz" (2012) adlı kitabı işdə təcrübənin gücünə gözəl bir girişdir. Kitabda o, aşağıdakı hekayəni təqdim etdi:
"Mən bir dəfə, həqiqətən, iş dünyası dahi, öz təcrübəsi olan milyarderlərlə görüşdüm, təcrübələrin gücünü dərin, intuitiv bir şəkildə səciyyələndirdilər. Onun şirkəti istehlakçıları cəlb edəcək və satışlarını artıracaq böyük alış-veriş pəncərələrinin açılması üçün əlverişli resurslar sərf etmişdir. Ekspertlər dizayndan sonra dizaynı diqqətlə sınaqdan keçirmişlər və bir il müddətində fərdi test imtahanlarının icrasında satış üzrə hər bir yeni dizaynın heç bir əhəmiyyətli səbəbi yoxdur. Böyük marketinq və satış şirkətləri rəhbərləri, bu tarixi test nəticələrini toto nəzərdən keçirmək üçün CEO ilə görüşdülər. Bütün eksperimental məlumatları təqdim etdikdən sonra, onlar ənənəvi müdrikliyin yanlış olduğunu başa düşdilər - pəncərə görünüşləri satış etməmişdir. Tövsiyə edilən tədbir, bu sahədə xərcləri və səyləri azaltmaq idi. Bu, təcrübəni ənənəvi müdrikliyi pozmaq qabiliyyətini nümayiş etdirdi. İcra başçısının cavabı sadə idi: "Mənim qənaətimcə, dizaynerləriniz çox yaxşı deyil". Onun həlli mağaza dizaynında səy göstərməyi və yeni insanları etməkdir " (Manzi 2012, 158–9)
Hansı növlüyü CEO-nun narahatlığıdır?
[ ] Əvvəlki suala cavab verin, təcrübə nəticələrinin müzakirə olunduğu görüşdə olduğunuzu düşünün. Hər bir etibarlılıq növü (statistik, konstruktiv, daxili və xarici) üçün bir sualınız nədir?
[ ] Bernedo, Ferraro, and Price (2014) , Ferraro, Miranda, and Price (2011) təsvir edilən su qənaətinin müdaxiləsinin yeddi illik təsirini öyrəndi (şəkil 4.11). Bu yazıda Bernedo və iş yoldaşları da müalicə edildikdən sonra köçməmiş və dəyişməmiş ev təsərrüfatlarının davranışını müqayisə edərək təsirlərin arxasında olan mexanizmi anlamağa çalışmışlar. Yəni təxminən, müalicənin evə və ev sahibinə təsir etdiyini görməyə çalışdılar.
[ ] Schultz et al. (2007) , Schultz və həmkarları iki kontekstlərdə (bir otel və Devremülk qat) ilə müxtəlif ekoloji davranış (dəsmal təkrar) üzrə təsviri və injunctive normaların təsiri üç təcrübələr bir sıra həyata keçirilir (Schultz, Khazian, and Zaleski 2008) .
[ ] Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) elektrik faturalarının dizaynını öyrənmək üçün laboratoriya kimi bir sıra eksperimentlər keçirmişlər. Burada özünü necə təsvir edir:
"Sorğuya əsaslanan bir sınaqda, hər bir iştirakçı (a) tarixi istifadə haqqında məlumatları, (b) qonşuları müqayisə etmək və (c) qurğuların qəza ilə istifadəsi ilə əlaqədar olduqca yüksək elektrik istehlakı olan ailə üçün hipotetik elektrik qanun layihəsini gördü. İştirakçılar bütün məlumat növlərini (a) masalar, (b) çubuqlar və (c) simvol grafikləri daxil olmaqla üç formatdan birində gördük. Üç ana nəticəyə dair məlumat verdik. Birincisi, istehlakçılar hər cür elektrik istifadə məlumatlarını bir masada təqdim edildikdə başa düşdülər, bəlkə də tablolar sadə nöqtə oxumağa kömək edirdi. İkincisi, elektrik enerjisini qənaət etmək üstünlükləri və niyyətləri formatdan asılı olaraq tarixi istifadə məlumatları üçün ən güclü idi. Üçüncüsü, aşağı enerji savadlılığı olan şəxslər bütün məlumatları daha az başa düşdülər. "
Digər tədqiqatlardan fərqli olaraq, Canfield, Bruin, and Wong-Parodi (2016) maraq doğuran əsas nəticə davranış deyil, faktiki davranışdır. Enerji qənaətini genişləndirən daha geniş bir tədqiqat proqramında bu tip işin güclü və zəif cəhətləri hansılardır?
[ , ] Smith and Pell (2003) paraşütlərin effektivliyini nümayiş etdirən tədqiqatların satirik meta-təhlili təqdim etdi. Onlar:
Sağlam sağlamlığı qarşısını almaq üçün nəzərdə tutulan bir çox müdaxiləyə baxmayaraq, paraşütlərin effektivliyi təsadüfi nəzarətli sınaqlardan istifadə edərək ciddi qiymətləndirməyə məruz qalmamışdır. Dəlillərə əsaslanan tibbin vəkilləri yalnız müşahidə məlumatlarını istifadə edərək qiymətləndirilən müdaxilələrin qəbul edilməsini tənqid etdi. Hər kəsi sübuta əsaslanan tibbin ən radikal qəhrəmanları paraşütün double blind, randomizə, plasebo kontrollü, crossover sınaqda təşkil edilmiş və iştirak etdiyi halda hər kəs faydalana bilər. "
New York Times kimi ümumi oxucu qəzeti üçün təcrübə sübutların fetişizmə qarşı mübahisə etməyə imkan yaradır. Xüsusi, konkret nümunələr verin. İpək: Deaton (2010) və Bothwell et al. (2016) .
[ , , Müalicə effektinin fərqi fərqli qiymətləndirmələr fərdi orta hesablamalara nisbətən daha dəqiq ola bilər. Bir onlayn mühit yaratmaq üçün fərqi fərqli yanaşmanın dəyərini izah edən bir başlanğıc sosial media şirkətində A / B testindən məsul mühəndisə bir yazı yazın. Memo problemin bir ifadəini, fərqi fərqli qiymətləndirmənin fərq-ortada qiymətləndirmənin üstünlüyünü və simulyasiya tədqiqatını öyrənmək şərtləri ilə bağlı bəzi fərziyyələri ehtiva etməlidir.
[ , Gary Loveman dünyanın ən böyük casino şirkətlərindən biri olan Harrahın baş icraçı direktoru olmamışdan əvvəl Harvard Biznes Məktəbində professor idi. Harrahın köçürdüyü zaman, Loveman şirkəti müştəri davranışı ilə bağlı çoxlu miqdarda məlumat yığan, tez-tələsik sadiqlik proqramı ilə şirkətə çevrildi. Bu daim ölçmə sisteminin üzərinə şirkət təcrübələrə başladı. Məsələn, xüsusi qumar nümunəsi olan müştərilər üçün pulsuz bir otel gecəsi üçün bir kuponun təsirini qiymətləndirmək üçün bir sınaq keçirə bilərlər. Loveman, təcrübənin Harrahın gündəlik iş təcrübələrinə necə əhəmiyyət verdiyini təsvir edir:
"Bu kimi qadınları narahat etmirsiniz, oğurlamazsınız və bir nəzarət qrupunuz var. Bu, Harrah'lar üçün bir işi idarə edə bilmədiyiniz şeylərdən biridir. " (Manzi 2012, 146)
Lovmanın bir nəzarət qrupunun olması vacib olduğunu düşündüyü səbəbləri izah edən yeni bir işçinin e-poçtunu yazın. Sizin fikrinizi göstərmək üçün bir nümunə - ya real, istərsə də hazırlanmış bir nümunə daxil etməlisiniz.
[ , ] Yeni bir təcrübə, aşılama alımına dair mətn mesajı xatırlatmalarının təsirini qiymətləndirmək məqsədi daşıyır. 600 əlverişli xəstə olan yüz əlli klinikaya qatılmaq istəyənlərdir. İşləməyiniz istənən hər klinika üçün 100 ABŞ dolları sabit bir xərc var və göndərmək istədiyiniz hər bir mətn mesajı üçün bu 1 dollardır. Əlavə olaraq, işləyən hər hansı bir klinikanın nəticəsi (kimsənin bir peyvənd alıb) pulsuz olaraq ölçülməsi lazımdır. 1000 dollar büdcəsi olduğunuzu düşünün.
[ , ] Online dərsləri ilə bağlı böyük bir problem xırda xarakter daşıyır: kurslara başlayan bir çox tələbələr imtina etməyə başlayırlar. Bir onlayn təhsil platformasında işlədiyinizi düşünün və platformada bir dizayner şagirdlərin kursdan çıxmasını maneə törədəcəyini düşündüyünü düşünən bir görmə tərzi bar yaratdı. Siz tərəqqi çubuğunun şagirdlərə böyük bir hesablama sosial elm kursunda təsirini sınamaq istəyir. Təcrübədə ortaya çıxa biləcək hər hansı etik məsələləri həll etdikdən sonra, siz və sizin həmkarlarınız kursunuzun tərəqqi çubuğunun təsirlərini etibarlı bir şəkildə təsbit etməsi üçün kifayət qədər şagird olmadıqlarını narahat edirlər. Aşağıdakı hesablamalarda, şagirdlərin yarısı tərəqqi çubuğunu alacaqlarını və yarısını almayacağını düşünə bilərsiniz. Bundan əlavə, heç bir müdaxilə olmadığını qəbul edə bilərsiniz. Başqa bir sözlə, iştirakçılara müalicə və ya nəzarət aldıqları yalnız təsirləndiyini qəbul edə bilərsiniz; digər insanların müalicə və ya nəzarəti almadığı (daha rəsmi bir tərif üçün Gerber and Green (2012) 8-ci Gerber and Green (2012) baxın). Yaptığınız hər hansı bir əlavə fərziyyəni izləyin.
[ , , ] Bir texnologiya şirkətində bir məlumat alimi olaraq çalışdığınızı düşünün. Marketinq departamentinin bir hissəsi, yeni onlayn reklam kampaniyası üçün sərmayə qoyuluşunu (ROI) ölçmək üçün planladıqları bir təcrübəni qiymətləndirmək üçün kömək istəməlidir. ROI kampaniyanın xalis mənfəəti olaraq kampaniyanın xərclərinə bölünür. Məsələn, satışa heç bir təsir göstərməyən bir kampaniya 100% ROI olacaq; yaranan gəlirlərin xərclərə bərabər olan bir kampaniya bir ROI 0 olar; və yaranan gəlirlərin ikiqat olduğu bir kampaniya xərcləri 200% -nə bərabər ROI olardı.
Denemeyi başlamazdan əvvəl marketinq şöbəsi əvvəlki araşdırmalarına əsasən aşağıdakı məlumatları təqdim edir (əslində, bu dəyərlər Lewis və Rao-da (2015) məlumat verən real onlayn reklam kampaniyalarına aiddir):
Bu təklif edilən təcrübəni qiymətləndirən bir yazı yazın. Memorunuz yaratdığınız bir simulyasiyadan sübut istifadə etməlidir və iki əsas məsələni həll etməlidir: (1) Bu təcrübəni planlaşdırıldığı kimi başlamağı məsləhət görürsünüz? Əgər belədirsə, niyə? Əgər yoxsa, niyə olmasın? Bu qərarı vermək üçün istifadə etdiyiniz kriteriyalardan əmin olun. (2) Bu sınaq üçün hansı nümunə ölçüsü təklif edirsiniz? Yenə də bu qərarı vermək üçün istifadə etdiyiniz meyarlardan əmin olun.
Yaxşı bir memo bu xüsusi işi həll edəcək; daha yaxşı bir memo, bu vəziyyətdən bir şəkildə ümumiləşdiriləcək (məsələn, qərarın, kampaniyanın təsir ölçüsünün bir funksiyası kimi dəyişdiyini göstərin); və böyük bir yazı tamamilə ümumi bir nəticə təqdim edəcək. Sizin notunuz nəticələrinizi göstərmək üçün qrafiklərdən istifadə etməlidir.
Burada iki göstəriş var. Birincisi, marketinq şöbəsi sizə bəzi lazımsız məlumatlar vermiş ola bilər və onlar sizə bəzi lazımi məlumatları verməmiş ola bilər. İkincisi, əgər R istifadə edirsinizsə, rlnorm () funksiyasının bir çox insanların gözlədiyi şəkildə işləməyəcəyini unutmayın.
Bu fəaliyyət sizə güc analizləri ilə təcrübə, simülasyonlar yaratmaq və nəticələrinizi sözlər və qrafiklər ilə əlaqələndirir. YG-nin qiymətləndirilməsi üçün nəzərdə tutulan təcrübələrlə yanaşı, hər cür təcrübə üçün güc analizini aparmağa kömək etməlidir. Bu fəaliyyət statistik test və enerji təhlili ilə bir sıra təcrübəyə malik olduğunuzu nəzərdə tutur. Enerji təhlili ilə tanış deyilsinizsə, Cohen (1992) tərəfindən "A Power Primer" Cohen (1992) adlı kitabını oxumağı məsləhət görürəm.
Bu fəaliyyət RA Lewis and Rao (2015) tərəfindən gözəl bir sənəddən ilhamlanmışdır ki, bu da hətta kütləvi eksperimentlərin fundamental statistik məhdudiyyətini aydın şəkildə göstərir. Başlanğıcda "Reklamlara Dönüşümün Ölçülməsinin Ölülməzliyinin Ölçülməzliyi haqqında" təxribatçı başlığı olan milyonlarla müştərini əhatə edən rəqəmli sınaqlarla hətta onlayn reklamların investisiya qoyuluşunu ölçmək nə qədər çətin olduğunu göstərir. Daha ümumiyyətlə, RA Lewis and Rao (2015) rəqəmsal yaş təcrübələrində xüsusilə vacib olan əsas bir statistik faktı təsvir edir: səs-küylü nəticə məlumatları arasında kiçik müalicə effektlərini qiymətləndirmək çətindir.
[ , ] Əvvəlki sual ilə eyni olun, amma simulyasiya deyil, analitik nəticələrdən istifadə etməlisiniz.
[ , , ] Əvvəlki sual ilə eyni olun, həm simulyasiya, həm də analitik nəticələrdən istifadə edin.
[ , , ] Yuxarıda təsvir edilmiş yazı yazdığınızı düşünün və marketinq şöbəsindən kimsə bir yeni məlumat təqdim edir: onlar əvvəlki və təcrübədən sonra satışlar arasında 0.4 korrelyasiya gözləyirlər. Bu, memorandaki tövsiyələri necə dəyişir? (İpucu: fərqi fərqləndirici qiymətləndirici və fərqi fərqlər tahmincisi haqqında daha ətraflı məlumat üçün bölmənin 4.6.2-ə baxın.)
[ , ] Yeni bir web-based məşğulluq yardım proqramının effektivliyini qiymətləndirmək məqsədilə bir universitet, son il məktəbinə daxil olan 10.000 şagird arasında randomizə nəzarət sınaq keçirdi. Unikal giriş məlumatı olan pulsuz bir abunəlik, 5000-dən çox təsadüfi seçilmiş şagird üçün eksklüziv bir e-poçt dəvəti ilə göndərilib, digər 5000 tələbə nəzarət qrupunda olub və abunə olmadı. On iki ay sonra bir cavab sorğusu (cavab vermək olmadıqda) həm müalicə, həm də nəzarət qruplarında tələbələrin 70% seçilmiş sahədə tam zamanlı məşğulluq təmin etdiyini göstərdi (cədvəl 4.6). Beləliklə, veb-əsaslı xidmətin heç bir təsiri olmadığı görünürdü.
Lakin, universitetdə ağıllı bir məlumat alimi məlumatları bir az daha yaxından araşdırdı və müalicə qrupundakı tələbələrin yalnız 20% -i elektron poçtu aldıqdan sonra hesaba daxil oldu. Əlavə və bir qədər təəccüblü olaraq, veb saytına daxil olanlar arasında, yalnız 60% seçilmiş sahədəki tam zamanlı məşğulluq təmin etmişdi ki, bu da daxil olmayan və insanlar üçün nisbətdən aşağı olan kəslərin nisbətindən aşağı idi nəzarət vəziyyətində (cədvəl 4.7).
İpucu: Bu sual bu fəsildə əhatə olunan materialdan kənara çıxır, amma eksperimentlərdə ümumi məsələləri həll edir. Bu tip eksperimental dizayn bəzən təşviq dizaynı adlandırılır, çünki iştirakçıları müalicəyə cəlb edilməyə təşviq olunur. Bu problem tək tərəfli uyğunsuzluq deyilən bir nümunədir ( Gerber and Green (2012) adlı 5-ci bölməsinə baxın).
[ Daha müayinə etdikdən sonra əvvəlki sualda təsvir edilən təcrübənin daha da mürəkkəb olduğunu göstərdi. Kontrol qrupundakı insanların 10% -i xidmətə çıxışı üçün ödəniş etdilər və 65% məşğulluq səviyyəsi ilə nəticələndilər (cədvəl 4.8).
İpucu: Bu sual bu fəsildə əhatə olunan materialdan kənara çıxır, amma eksperimentlərdə ümumi məsələləri həll edir. Bu problem iki tərəfli uyğunsuzluq deyilən bir nümunədir ( Gerber and Green (2012) adlı 6-cı bəndinə baxın).
Qrup | Ölçü | Məşğulluq dərəcəsi |
---|---|---|
Veb sayta giriş imkanı | 5,000 | 70% |
Veb sayta giriş verilməmişdir | 5,000 | 70% |
Qrup | Ölçü | Məşğulluq dərəcəsi |
---|---|---|
Veb sayta daxil olma və daxil olmuşdur | 1,000 | 60% |
Veb sayta daxil olmaq və daxil olmamışam | 4,000 | 72,5% |
Veb sayta giriş verilməmişdir | 5,000 | 70% |
Qrup | Ölçü | Məşğulluq dərəcəsi |
---|---|---|
Veb sayta daxil olma və daxil olmuşdur | 1,000 | 60% |
Veb sayta daxil olmaq və daxil olmamışam | 4,000 | 72,5% |
Veb sayta daxil olmamış və bunun üçün ödənilmişdir | 500 | 65% |
Veb sayta daxil olmamış və bunun üçün ödəməmişdim | 4,500 | 70.56% |