4.4.1 müddəti
Etibarlılıq bir sınaq nəticələri daha ümumi nəticəyə dəstək nə qədər aiddir.
No təcrübə mükəmməl və tədqiqatçılar mümkün problemləri təsvir etmək üçün geniş söz inkişaf etmişdir. Etibarlılıq müəyyən bir təcrübə nəticələri bir daha ümumi nəticəyə dəstək olan dərəcədə aiddir. Sosial elm faydalı dörd əsas növə qüvvədə split gördük: statistik nəticə etibarlılıq, daxili etibarlılıq qüvvədə tikintisi və xarici etibarlılıq (Shadish, Cook, and Campbell 2001, Ch 2) . bu anlayışlar Mastering sizə tənqid və təcrübə dizayn və təhlili yaxşılaşdırılması üçün bir ruhi siyahısı təmin edəcək və bu, digər tədqiqatçılar ilə ünsiyyət kömək edəcək.
Statistika nəticə etibarlılıq təcrübə statistik təhlili düzgün olub ətrafında mərkəzləri. Kontekstində Schultz et al. (2007) belə sual düzgün p-dəyərlər hesablanır barədə mərkəzi bilər. Statistik təhlil bu kitab çərçivəsindən kənarda, amma eksperimentlər dizayn və analiz üçün lazım olan statistik prinsipləri digital yaş dəyişib deyil ki, demək olar. Lakin, digital təcrübələr müxtəlif data mühit yeni statistik imkanlar yaratmaq deyil (məsələn, müalicə təsiri heterogenliyi qiymətləndirmək üçün maşın öyrənmə üsulları istifadə edərək (Imai and Ratkovic 2013) ) və yeni hesablama problemlər (məsələn, kütləvi təcrübələr blok (Higgins, Sävje, and Sekhon 2016) ).
Daxili etibarlılıq eksperimental prosedurlar doğru edildi olub ətrafında mərkəzləri. Təcrübə qayıdaraq Schultz et al. (2007) , daxili etibarlılıq haqqında suallar, Randomizasyon ətrafında nəticələrinin müalicəsi çatdırılması və ölçü mərkəzi bilər. Məsələn, araşdırma vəzifəlisi etibarlı elektrik metr oxumaq deyil ki, narahat ola bilər. Əslində, Schultz və həmkarları bu problem narahat idi və onlar iki dəfə oxumaq metr nümunəsi idi xoşbəxtlikdən, nəticələr mahiyyətcə eyni idi. Ümumiyyətlə, Schultz və həmkarlarının təcrübə yüksək daxili qüvvədə var görünür, lakin bu həmişə belə deyil; kompleks sahəsində və online təcrübələr tez-tez problemlər həqiqətən doğru insanlar doğru müalicə çatdırılması və hər kəs üçün nəticələri ölçü daxil. bu asan almaq və bütün iştirakçılar üçün nəticələri ölçmək üçün nəzərdə olanlar üçün nəzərdə tutulmuşdur kimi müalicə çatdırılır təmin etmək üçün edir, çünki Xoşbəxtlikdən, digital yaş daxili qüvvədə qayğıları azaltmaq kömək edə bilər.
Məlumat və nəzəri inşa arasında matç ətrafında etibarlılıq mərkəzləri tikintisi. 2-ci fəsildə müzakirə edildiyi kimi, konstruksiyaların ki, sosial elm səbəb mücərrəd anlayışlar var. Təəssüf ki, bu mücərrəd anlayışlar həmişə aydın anlayışlar və ölçmə yoxdur. Qayıdaraq Schultz et al. (2007) , elektrik istifadə aşağı ola bilər sosial normalara Məhkəmə iddia (məsələn, bir ifade) "injunctive sosial normaları" manipulyasiya edəcək və "elektrik istifadə" ölçmək üçün bir müalicə dizayn tədqiqatçılar tələb edir. analog təcrübələr, bir çox tədqiqatçılar öz müalicə dizayn və öz nəticələrini qiymətləndirilir. Bu yanaşma mümkün qədər, eksperimentlər mücərrəd konstruksiyaların öyrənilir uyğun təmin edir. şirkətlər və ya hökumətlər ilə tədqiqatçılar tərəfdaş müalicə çatdırmaq və həmişə istifadə məlumat sistemləri nəticələri ölçmək üçün digital təcrübələr, təcrübə və nəzəri inşa arasında matç daha az sıx ola bilər. Belə ki, mən tikinti etibarlılıq analog təcrübələr çox digital təcrübələr böyük bir narahatlıq olur ki, gözləyirik.
Nəhayət, xarici etibarlılıq bu eksperimentin nəticələri digər hallarda ümumiləşdirmək olub ətrafında mərkəzləri. Qayıdaraq Schultz et al. (2007) , bir xahiş edə bilər olacaq öz enerji həmyaşıdları ilə münasibətlərdə istifadə və injunctive normaları (məsələn, bir ifade) bu fərqli bir şəkildə həyata əgər -Azaltmaq enerji istifadə siqnal bu eyni ideya-verən insanlar məlumat bir müxtəlif təyinatlı? ən yaxşı dizayn və təcrübələr yaxşı run üçün, xarici qüvvədə haqqında narahatlıqlar həll etmək üçün çətin olur. Keçmişdə xarici qüvvədə haqqında bu müzakirələr tez-tez prosedurlar fərqli bir şəkildə həyata və ya başqa bir yerdə, və ya müxtəlif insanlarla əgər baş nə təsəvvür etməyə çalışırıq bir otaqda oturan insanların yalnız bir dəstə idi. Xoşbəxtlikdən, digital yaş bu data-free spekulyasiyalara kənarda hərəkət və empirically xarici etibarlılığını qiymətləndirmək üçün tədqiqatçılar imkan verir.
Nəticələrinə Çünki Schultz et al. (2007) Opower adlı şirkət daha geniş müalicə yerləşdirmək Amerika Birləşmiş Ştatları kommunal ilə əməkdaşlıq, belə maraqlı idi. Dizayn əsasında Schultz et al. (2007) , Opower iki əsas modulları, bir ifade ilə qonşuları bir ev təsərrüfatının elektrik istifadə nisbi göstərən bir və bir enerji istifadə azaltmaq üçün məsləhətləri təmin idi Home Energy Hesabatlar (Şəkil 4.6) xüsusi yaradılmışdır. Sonra tədqiqatçılar ilə əməkdaşlıq, Opower Home Energy Hesabatlar təsirini qiymətləndirmək üçün nəzarət təcrübələr randomizə qaçdı. Bu təcrübələr müalicə adətən köhnə moda ilbiz vasitəsilə fiziki-adətən təslim edildi baxmayaraq mail-nəticəsi fiziki dünyada digital cihazlar (məsələn, enerji metr) istifadə ölçüldü. Əksinə özünüz hər evi ziyarət araşdırma ilə bu məlumatların toplanması daha Opower təcrübələr bütün güc oxunuşda daxil olmaq üçün tədqiqatçılar imkan enerji şirkətləri ilə əməkdaşlıq edildi. Belə ki, bu qismən digital sahəsində təcrübələr aşağı dəyişən dəyəri kütləvi miqyasda run edilmişdir.
Şəkil 4.6: Ev Energy Hesabatlar Allcott (2011) Sosial müqayisə Modul və Fəaliyyət addımlar Modulu idi.
Amerika Birləşmiş Ştatları 10 kommunal şirkətlərinin xidmət 600,000 ev təsərrüfatlarının cəlb təcrübələr ilk setdə, Allcott (2011) Home Energy Report 1,7% elektrik istehlakı saldı tapılmadı. Başqa sözlə, daha böyük, daha coğrafi müxtəlif iş nəticələri nəticələrinə keyfiyyətcə oxşar idi Schultz et al. (2007) . Amma təsiri ölçüsü kiçik idi: yerləşdirilmişdir Schultz et al. (2007) təsviri və injective normaları vəziyyəti (ifade ilə bir) ildə ev təsərrüfatları 5% onların elektrik istifadə azalıb. Bu fərqin dəqiq səbəbi məlum deyil, lakin Allcott (2011) universitet tərəfindən maliyyələşdirilən bir iş bir hissəsi kimi əlyazma ifade alan bir kütləvi istehsal hesabat hissəsi kimi çap ifade qəbul çox davranış böyük bir təsir ola bilər ki, spekulyasiya enerji şirkəti.
Bundan əlavə, sonrakı tədqiqat, Allcott (2015) əlavə 8 milyon xanaya cəlb əlavə 101 təcrübələr barədə məlumat. bu növbəti 101 təcrübələr Home Energy Report insanlar öz elektrik istehlakı azaltmaq səbəb davam, lakin təsiri hətta kiçik idi. Bu enişin dəqiq səbəbi məlum deyil, lakin Allcott (2015) hesabat səmərəliliyi bu, həqiqətən iştirakçıların müxtəlif növ tətbiq olunur, çünki zamanla azalan ortaya çıxdı ki, spekulyasiya. Daha konkret desək, daha ətrafçı sahələrdə kommunal daha çox idi əvvəllər proqramı qəbul və öz müştərilərinə müalicə daha məsuliyyətli idi. az ekoloji müştəriləri ilə kommunal proqramı qəbul kimi, onun effektivliyi azalmağa ortaya çıxdı. Belə ki, təcrübələr Randomizasyon müalicə və nəzarət qrupu oxşar təmin kimi, tədqiqat sites Randomizasyon hesablamalarına (geri nümunə haqqında Fəsil 3 edirəm) daha ümumi əhaliyə iştirakçılarından bir qrup ümumiləşdirilmiş edilə bilər ki, təmin edir. tədqiqat saytlar təsadüfi nümunə deyil, onda ümumiləşdirmə hətta bir mükəmməl dizayn və təcrübə-bilər problemli ola keçirilmişdir.
Birlikdə, bu 111 təcrübələr-10 Allcott (2011) və 101 Allcott (2015) bütün Amerika Birləşmiş Ştatları artıq təxminən 8,5 milyon ev -involved. Onlar ardıcıl Home Energy Reports orta elektrik istehlakı, California 300 evlərində orijinal Schultz nəticələrini və həmkarları dəstəkləyən nəticə azaltmaq göstərir. yalnız bu orijinal nəticələrini təkrarlanmağa Beyond, təqib təcrübələr də təsiri ölçüsü yeri dəyişir göstərir. təcrübələr Bu set də qismən digital sahəsində təcrübələr haqqında daha iki general xal göstərir. Birincisi, tədqiqatçılar eksperimentlər çalışan dəyəri aşağı olduqda xarici qüvvədə haqqında ünvan narahatlıqlarını empirik olacaq və nəticəsi artıq data həmişə-on sistemi ilə ölçülür olunur, bu baş verə bilər. Buna görə də, tədqiqat artıq qeyd olunur ki, digər maraqlı və mühüm davranışları üçün görünüşünü-out olacaq və sonra bu mövcud ölçü infrastrukturun üst təcrübələr dizayn lazımdır ki. İkincisi, təcrübələr bu dəsti digital sahəsində təcrübələr yalnız online deyil ki, bizə xatırladır; getdikcə onlar daxili mühitdə sensorlar ilə ölçülür çox nəticələri ilə hər yerdə olacaq ki, gözləyirik.
etibarlılıq-statistik nəticə qüvvədə daxili etibarlılıq dörd növ, qüvvədə tikintisi, xarici etibarlılıq-təmin tədqiqatçılar müəyyən bir təcrübə nəticəsində daha ümumi nəticəyə dəstək olub-olmadığını qiymətləndirmək üçün bir ruhi siyahısı. analog yaş təcrübələr ilə müqayisədə, digital yaş təcrübələr bu empirik xarici qüvvədə etmək üçün asan olmalıdır və daxili etibarlılığını təmin etmək asan olmalıdır. (Ki, Opower təcrübələr ilə işi yox idi, baxmayaraq ki,) Digər tərəfdən, tikinti etibarlılıq məsələləri yəqin ki, digital yaş təcrübələr daha çətin olacaq.
