4.4.1 жарамдылығы
Әрекет ету эксперимент нәтижелері неғұрлым жалпы қорытындыны қолдау қанша жатады.
Ешқандай эксперимент жоқ, ал зерттеушілер ықтимал проблемаларды сипаттау үшін кеңейтілген лексика әзірледі. Жарамдылық белгілі бір эксперименттің нәтижелерінің қандай да бір жалпы жалпы тұжырымдарды қаншалықты қолдайтынын көрсетеді. Әлеуметтік ғалымдар жарамдылықты төрт негізгі түрге бөлуге көмектесті: статистикалық қорытындылардың жарамдылығын, ішкі күшін, жарамдылығын және сыртқы жарамдылығын (Shadish, Cook, and Campbell 2001, chap. 2) . Осы ұғымдарды меңгеру сізді эксперименттің дизайны мен талдауын сынау және жақсарту үшін ақыл-ой тексерулер тізімімен қамтамасыз етеді және басқа зерттеушілермен қарым-қатынас жасауға көмектеседі.
Эксперименттің статистикалық талдауы дұрыс жүргізілгеніне қарамастан, статистикалық тұжырымның жарамдылық орталықтарында. Schultz et al. (2007) , Мұндай мәселе олардың \(p\) мәндерін дұрыс есептеп шығаратындығына негізделуі мүмкін. Статистикалық қағидалар эксперименттерді жобалау және талдау үшін осы кітаптың ауқымынан тыс, бірақ олар сандық ғасырда түбегейлі өзгерген жоқ. Дегенмен, цифрлы эксперименттердегі деректер ортасы емдеу әсерінің біркелкілігін бағалау үшін машина әдістерін пайдалану сияқты жаңа мүмкіндіктерді пайда болды (Imai and Ratkovic 2013) .
Эксперименттік процедуралардың дұрыс орындалатындығына қатысты ішкі орталықтар. Schultz et al. (2007) экспериментіне қайтып оралу Schultz et al. (2007) , Ішкі дұрыстығына қатысты сұрақтар рандомизацияның, емдеудің жеткізілуінің және нәтижелерді өлшеудің ортасында болуы мүмкін. Мысалы, зерттеу көмекшілері электр есептегіштерін сенімді түрде оқымайтыны сізді алаңдатуы мүмкін. Іс жүзінде, Шульц пен әріптестер бұл мәселеге алаңдап, метрлердің үлгісін екі рет оқыды; бақытымызда, нәтижелер бірдей болды. Жалпы алғанда, Шульц пен әріптестердің тәжірибесі ішкі ішкі дұрыстығына ие, бірақ бұл әрдайым болмайды: күрделі өріс және онлайн-эксперименттер көбінесе дұрыс адамдарға дұрыс емделуге және әрбір адамның нәтижелерін өлшейтін мәселелерге жиі кездеседі. Бақытымызға орай, цифрлық жас ішкі дұрыстығына қатысты алаңдаушылықты төмендетуге көмектеседі, себебі емделуді оны қабылдауға және барлық қатысушыларға арналған нәтижелерді өлшеуді қамтамасыз ету оңайырақ.
Деректер мен теориялық конструкциялар арасындағы матч айналасында жарамдылық орталықтарының құрылысы. 2-тарауда талқыланғандай, конструкциялар - бұл әлеуметтанушылар ойлайтын дерексіз ұғымдар. Өкінішке орай, бұл дерексіз ұғымдар әрдайым нақты анықтамалар мен өлшемдерге ие емес. Schultz et al. (2007) , Инженерлік әлеуметтік нормалар электр энергиясын тұтынуды төмендетуі мүмкін екендігі туралы зерттеушілерге «инжинирингтік әлеуметтік нормаларды» (мысалы, эмотикон) айла-шарғы жасауды және «электр энергиясын пайдалануды» өлшеуді талап етеді. Аналогтық эксперименттерде көптеген зерттеушілер жеке емдеуді жасап, өздерінің нәтижелерін өлшеді. Бұл тәсіл эксперименттер мүмкіндігінше абстрактілі конструкцияларға сәйкес келеді. Зерттеушілер компаниялармен немесе үкіметтермен емдеуді жүзеге асыратын және нәтижелерді өлшеу үшін әрдайым деректер жүйелерін қолданатын сандық эксперименттерде эксперимент пен теориялық конструкциялар арасындағы матч аз болуы мүмкін. Осылайша, мен құрылыстың негізділігі аналогтық эксперименттерге қарағанда сандық эксперименттерде үлкен алаңдаушылық туғызады деп күтемін.
Ақыр соңында, осы эксперимент нәтижелерінің басқа жағдайларға жалпылануы туралы айналадағы сыртқы орталықтар. Schultz et al. (2007) , Бірдей идеяны - адамдарға өздерінің құрдастарымен қарым-қатынасында энергияны пайдалану туралы және инжинирингтік нормалар сигналы (мысалы, көңіл-күй) туралы ақпарат беру - егер ол басқаша жасалса, энергияны пайдалануды азайтуы мүмкін басқа параметрде. Көптеген жақсы жобаланған және жақсы тәжірибелер үшін сырттай жарамдылық туралы алаңдаушылық қиын. Бұрынғы сыртқы жарамдылық туралы пікірталастарда, процедуралар басқа жолмен немесе басқа жерде немесе әр түрлі қатысушылардың қатысуымен болған жағдайды елестетуге тырысқан бөлмеде отыратын адамдар тобынан көп нәрсе тартылған . Бақытымызға орай, сандық ғасыр зерттеушілерге осы деректерсіз эксклюзивтерден асып кетуге және эмпирикалық сыртқы жарамдылықты бағалауға мүмкіндік береді.
Себебі Schultz et al. (2007) соншалықты қызықты болғандықтан, Opower компаниясы АҚШ-тағы коммуналдық қызметтермен серіктестікте емдеуді кеңінен қолдануға шақырды. Schultz et al. (2007) дизайнын ескере отырып Schultz et al. (2007) Опауэр екі негізгі модулі бар Үйдегі Энергия туралы есептерді жасады: біреуі электр қуатын пайдалануды өз көршілерімен салыстырып, электр қуатын пайдалануды төмендету бойынша кеңес берді (4.6-сурет). Содан кейін, зерттеушілермен серіктестікте, Opower осы Энергия туралы есептердің әсерін бағалау үшін рандомизацияланған бақыланатын эксперименттер жүргізді. Бұл эксперименттердегі емдеу әдетте физикалық түрде жеткізілген болса да, әдетте ескі сәнді хош иісті пошта арқылы нәтиже физикалық әлемдегі сандық құрылғылар арқылы (мысалы, қуат өлшеуіштері) өлшенді. Бұдан басқа, осы ақпаратты әрбір қызметкермен бірге жинаудың орнына, Opower эксперименттері энергетиктермен әріптестікте жүргізілді, бұл зерттеушілерге қуат көрсеткіштеріне қол жеткізуге мүмкіндік берді. Осылайша, бұл ішінара цифрлық өріс эксперименттер ауқымды ауқымда төмен айнымалы құны бойынша іске асырылды.
4.6-сурет: Үйдегі Энергия туралы есептерде әлеуметтік салыстыру модулі және әрекет қадамдары модулі болды. Allcott (2011) рұқсатымен Allcott (2011) , 1 және 2-суреттер.
10 түрлі тораптан 600000 үй шаруашылығын қамтитын эксперименттердің алғашқы жиынтығында Allcott (2011) Home Energy Report электр тұтынуды төмендетті деп тапты. Басқаша айтқанда, әлдеқайда көбірек, географиялық жағынан әртүрлі зерттеудің нәтижелері Schultz et al. (2007) нәтижелеріне сапалы ұқсас болды Schultz et al. (2007) . Schultz et al. (2007) . Бұдан басқа, 101 түрлі учаскелерден сегіз миллион қосымша үй шаруашылығын қамтитын кейінгі зерттеулерде Allcott (2015) Home Energy Report компаниясы электр энергиясын тұтынуды дәйекті түрде төмендетті деп тапты. Бұл эксперименттердің әлдеқайда көп жиынтығы сонымен қатар кез-келген экспериментте көрінбейтін қызықты жаңа үлгі көрсетті: әсердің көлемі кейінгі эксперименттерде төмендеді (4.7-сурет). Allcott (2015) , бұл құлдырау уақыт өткен сайын, емдеу әр түрлі қатысушыларға қатысты болғандықтан пайда болды деп болжайды. Нақтырақ айтқанда, қоршаған ортаға зиян келтіретін тұтынушылармен бірге коммуналдық қызметтер бағдарламаны бұрын қабылдап, тұтынушылар емделуге көбірек көңіл бөлді. Экологиялық тұрғыдан аз клиенттермен коммуналдық қызметтер бағдарламаны қабылдағандықтан, оның тиімділігі азайып кетті. Осылайша, эксперименттерде рандомизациялау емдеу және бақылау тобына ұқсастығын дәлелдейтіндіктен, зерттеу учаскелеріндегі рандомизация бағалаудың бір топ қатысушыларынан жалпы халыққа жалпылануы мүмкін (3-тарауды сынақтан өткізу туралы ойланыңыз). Зерттеу учаскелері кездейсоқ түрде іріктелмеген болса, әбден жасалынған және жүргізілген эксперименттерден қорыту тіпті проблемалық болуы мүмкін.
4.7-сурет: Үйдегі Энергия есебінің электр энергиясын тұтынуына әсерін сынайтын 111 эксперименттің нәтижелері. Кейінірек бағдарлама қабылданған сайттарда аз әсер етті. Allcott (2015) осы модельдің негізгі көзі экологиялық тұрғыдан көп тұтынушыларға ие болатын сайттар бұрын бағдарламаны қабылдауды ықтимал деп санайды. Allcott (2015) бейімделген Allcott (2015) , 3-сурет.
Осы 111 эксперимент - Allcott (2011) және Allcott (2011) жылы Allcott (2015) - барлығы Америка Құрама Штаттарынан 8,5 миллион үй шаруашылығын құрады. Олар үй үнемділігі туралы есептердің электр энергиясын тұтынудың орташа деңгейін төмендететінін көрсетеді, бұл Калифорниядағы 300 үйдің Шульц пен әріптестерінің түпнұсқалық нәтижелерін қолдайтын нәтиже. Осы түпнұсқалық нәтижелерді қайталаудан басқа, кейінгі тәжірибелер әсердің өлшемі орынға қарай өзгеретінін көрсетеді. Бұл эксперименттер жиынтығы ішінара цифрлық далалық эксперименттер туралы екі жалпы ұстанымды көрсетеді. Біріншіден, зерттеушілер эксперименттердің құны төмен болғанда, сыртқы нәтиже туралы мәселелерді эмпирикалық түрде шеше алады және нәтиже әрдайым деректер жүйесімен өлшенсе, пайда болуы мүмкін. Сондықтан, зерттеушілер қазірдің өзінде жазылып жатқан басқа да қызықты және маңызды мінез-құлықтарды іздестіруге, содан кейін осы өлшеу инфрақұрылымының үстіндегі эксперименттерді жобалауға тиіс деп болжайды. Екіншіден, бұл эксперименттер жиынтығы цифрлық далалық эксперименттер тек онлайн емес екенін есімізге салады; барған сайын, олардың айналасында сенсорлармен өлшенетін көптеген нәтижелермен бірге болады деп күтемін.
Жарамдылықтың төрт түрі - статистикалық қорытындылардың жарамдылығы, ішкі негізділігі, жарамдылығын және сыртқы жарамдылығын - зерттеушілерге нақты эксперименттен алынған нәтижелердің неғұрлым жалпы қорытынды жасайтынын бағалау үшін психикалық бақылау тізімін береді. Аналогтық жастағы эксперименттермен салыстырғанда, сандық жастағы эксперименттерде эмпирикалық сыртқы дұрыстығына назар аудару оңай болуы керек, сондай-ақ ішкі негізділігін қамтамасыз ету оңай болуы керек. Екінші жағынан, сандық жастағы эксперименттерде, әсіресе компаниялармен серіктестікті қамтитын цифрлық далалық эксперименттерде, шындықты құру мәселесі күрделі болады.
