4.4.1 Վավերականության

Վավերականության վերաբերում է, թե որքան արդյունքները փորձի աջակցել է ավելի ընդհանուր եզրակացություն:

Ոչ մի փորձ կատարյալ չէ, եւ հետազոտողները լայնածավալ բառապաշար են մշակել `հնարավոր խնդիրները նկարագրելու համար: Վավերությունը վերաբերում է որոշակի փորձի արդյունքների որոշակի մակարդակի ապահովմանը: Սոցիալական գիտնականները գտել են, որ դրանք օգտակար են չորս հիմնական տեսակների մեջ `վիճակագրական եզրակացության վավերականության, ներքին վավերության, կառուցողականության եւ արտաքին վավերության (Shadish, Cook, and Campbell 2001, chap. 2) : Այս հասկացությունների տիրապետումը Ձեզ կտրամադրի փորձագիտական ​​քննադատության եւ վերլուծության քննադատության եւ բարելավման համար հոգեբանական ցուցակ, եւ դա կօգնի ձեզ շփվել այլ հետազոտողների հետ:

Վիճակագրական եզրակացության վավերականության կենտրոնները, թե արդյոք փորձարկումների վիճակագրական վերլուծությունը ճիշտ է կատարվել: Schultz et al. (2007) համատեքստում Schultz et al. (2007) , Նման հարց կարող է կենտրոնանալ այն բանի վրա, թե արդյոք նրանք ճիշտ հաշվարկել են իրենց \(p\) արժեքները: Փորձագետները պետք է նախագծեն եւ վերլուծեն վիճակագրական սկզբունքները դուրս են գրքի շրջանակից, սակայն թվային տարիքում դրանք չեն փոխվել: Այն, ինչ փոխվել է, այն է, որ թվային փորձերի տվյալների միջավայրը ստեղծում է նոր հնարավորություններ, ինչպիսիք են մեքենաների ուսուցման մեթոդները `բուժման հետեւանքների տարբերությունը գնահատելու համար (Imai and Ratkovic 2013) :

Ներքին վավերականության կենտրոններ, թե արդյոք փորձարարական ընթացակարգերը ճիշտ են կատարվել: Վերադառնալով Schultz et al. (2007) փորձարկումներին Schultz et al. (2007) , Ներքին իրավունքի վերաբերյալ հարցերը կարող են կենտրոնանալ ռադիազսման, բուժման մատուցման եւ արդյունքների չափման վրա: Օրինակ, կարող եք մտահոգվել, որ հետազոտող օգնականները հուսալիորեն չեն կարդացել էլեկտրական հաշվիչները: Փաստորեն, Schultz- ը եւ գործընկերները մտահոգված էին այս խնդրով, եւ նրանք երկու անգամ կարդացել էին մետրերի ընտրանք: բարեբախտաբար, արդյունքները հիմնականում նույնական էին: Ընդհանրապես, Schultz- ը եւ գործընկերների փորձը կարծես թե ունենում են ներքին ներքին վավերականություն, բայց դա միշտ չէ, որ գործը. Բարդ դաշտը եւ առցանց փորձերը հաճախ խնդիրներ են առաջանում, իրականում ճիշտ մարդկանց մատուցելով ճիշտ բուժում եւ չափում են բոլորի համար արդյունքները: Բարեբախտաբար, թվային տարիքը կարող է օգնել նվազեցնել ներքին վտանգի մասին մտահոգությունները, քանի որ հիմա ավելի հեշտ է ապահովել, որ բուժումը մատուցվի այն մարդկանց, ովքեր պետք է ստանան այն եւ չափեն արդյունքները բոլոր մասնակիցների համար:

Կառուցել վավերականության կենտրոններ տվյալների միջեւ եւ տեսական կառուցվածքների միջեւ: 2-րդ գլխում քննարկվում է, որ կառուցվածքները վերացական հասկացություններ են, որոնք սոցիալական գիտնականները մտածում են: Ցավոք, այս վերացական հասկացությունները միշտ էլ հստակ սահմանումներ եւ չափումներ չունեն: Վերադառնալով Schultz et al. (2007) , Ենթադրյալ սոցիալական նորմերը կարող են նվազեցնել էլեկտրաէներգիայի օգտագործումը, պահանջում են հետազոտողներ մշակել այնպիսի բուժում, որը կվերաբերվի «ներշնչող սոցիալական նորմերին» (օրինակ, հուզական) եւ չափելու «էլեկտրաէներգիայի օգտագործումը»: Անալոգային փորձերի ժամանակ շատ հետազոտողները մշակել են իրենց բուժումը եւ չափել իրենց արդյունքները: Այս մոտեցումը ապահովում է, որ հնարավորինս փորձերը համապատասխանում են ուսումնասիրվող վերացական կառուցվածքներին: Թվային փորձարկումներում, որտեղ հետազոտողները համագործակցում են ընկերությունների կամ կառավարությունների հետ բուժման եւ արդյունքների չափման համար միշտ օգտագործելով տվյալների համակարգերը, փորձը եւ տեսական կառուցվածքների միջեւ խաղը կարող են լինել ավելի պակաս: Այսպիսով, ես ակնկալում եմ, որ կառուցողականությունը հավակնոտ կլինի ավելի մեծ մտահոգություն թվային փորձերի մեջ, քան անալոգային փորձերը:

Վերջապես, արտաքին փորձի վրա հիմնված կենտրոնները, թե արդյոք այս փորձարկումի արդյունքները կարող են ընդհանրացվել այլ իրավիճակներում: Վերադառնալով Schultz et al. (2007) , Կարելի է հարցնել, թե արդյոք այդ նույն գաղափարը `մարդկանց տրամադրելով իրենց էներգետիկ օգտագործման մասին իրենց հասակակիցների եւ ազդարարական նորմերի ազդանշանների մասին (օրինակ` հուզական), կարող է նվազեցնել էներգիայի օգտագործումը, եթե դա արվել է այլ կերպ այլ տարբերակով: Լավագույն նախագծված եւ լավ փորձերի համար դժվար է դիմել արտաքին վավերականության վերաբերյալ մտահոգությունները: Նախկինում արտաքին վավերականության վերաբերյալ այս բանավեճերը հաճախ ոչինչ էին ներառում ոչ մի բան, քան սենյակում նստած մի խումբ մարդկանց, որոնք փորձում էին պատկերացնել, թե ինչ տեղի կունենա, եթե ընթացակարգերը արվել են այլ ձեւով, այլ վայրում կամ տարբեր մասնակիցների հետ . Բարեբախտաբար, թվային տարիքը հնարավորություն է ընձեռում հետազոտողներին դուրս գալ այդ տվյալների բացարձակ շահարկումներից եւ գնահատել արտաքին հավաստիությունը:

Քանի որ Schultz et al. (2007) արդյունքները Schultz et al. (2007) Այնքան հուզիչ էր, որ Օկոուը կոչվում էր Միացյալ Նահանգներում կոմունալ ծառայությունների հետ համագործակցում `ավելի լայնորեն տարածելու բուժումը: Schultz et al. (2007) նախագծման հիման վրա Schultz et al. (2007) , Opower- ը ստեղծել է հարմարեցված Տուն Էներգիայի զեկույցներ, որոնք ունեն երկու հիմնական մոդուլ. Մեկը ցույց է տալիս, որ տնային տնտեսության էլեկտրաէներգիայի օգտագործումն իր հարեւանների նկատմամբ հուզական արտահայտություն է եւ մեկ էլեկտրաէներգիայի օգտագործման նվազեցման խորհուրդներ (նկար 4.6): Այնուհետեւ, հետազոտողների հետ համագործակցելով, Opower- ը վազեց randomized controlled experiments- ը `գնահատելու այս Գլխավոր էներգետիկ հաշվետվությունների ազդեցությունը: Թեեւ այդ փորձարկումների բուժումը սովորաբար ֆիզիկապես ձեւակերպված էր, սովորաբար հին մոդայիկ փաթաթան միջոցով, արդյունքը չափվում էր ֆիզիկական աշխարհում թվային սարքերի միջոցով (օրինակ, էլեկտրաչափիչների): Հետագայում, այս տեղեկատվությունը ձեռք բերելով ոչ թե ձեռք բերած յուրաքանչյուր տան այցելող հետազոտական ​​օգնականների հետ, Opower փորձերը կատարվել են համագործակցելով էներգետիկ ընկերությունների հետ, որոնք թույլ են տալիս հետազոտողներին հասանելիություն ձեռք բերել իշխանության ընթերցանության համար: Այսպիսով, այս մասնակի թվային դաշտային փորձարկումներն իրականացվել են զանգվածային մասշտաբով, փոփոխական ցածր գնով:

Գծապատկեր 4.6. Տուն էներգիայի հաշվետվությունները ունեցել են սոցիալական համեմատության մոդուլ եւ Գործողությունների քայլերի մոդուլ: Վերարտադրվել է Allcott (2011) ի թույլտվությամբ Allcott (2011) , թվեր 1 եւ 2:

Allcott (2011) Հայտնաբերեց, որ Տնային էներգիայի հաշվետվությունը նվազեցրել է էլեկտրաէներգիայի սպառումը: Այլ կերպ ասած, շատ ավելի մեծ, ավելի աշխարհագրական տարբեր ուսումնասիրությունների արդյունքները որակապես նման էին Schultz et al. (2007) ի արդյունքներին Schultz et al. (2007) : Այնուհետեւ, հետագա ուսումնասիրություններում, որոնք ներառում են ութ միլիոն լրացուցիչ տնային տնտեսություններ 101 տարբեր վայրերում, Allcott (2015) կրկին հայտնաբերել է, որ Տուն Էներգետիկ հաշվետվությունը հետեւողականորեն իջեցրել է էլեկտրաէներգիայի սպառումը: Այս շատ ավելի մեծ փորձերի արդյունքում հայտնաբերվեց նաեւ մի հետաքրքիր նոր օրինակ, որը չի երեւում ոչ մի փորձի. Ազդեցության չափը նվազել է հետագա փորձերի մեջ (նկար 4.7): Allcott (2015) ասում է, որ այս անկումը տեղի է ունեցել, քանի որ ժամանակի ընթացքում բուժումը կիրառվում էր տարբեր տեսակի մասնակիցների նկատմամբ: Ավելի կոնկրետ, ավելի շատ էկոլոգիապես մաքուր հաճախորդներ ունեցող կոմունալ ծառայություններն ավելի հավանական է դարձել ծրագիրը ավելի վաղ ընդունել, եւ նրանց հաճախորդները ավելի զգույշ էին վերաբերվում բուժմանը: Որպես էկոլոգիապես մանրակրկիտ հաճախորդներ ունեցող կոմունալ ծառայություններ, ընդունեցին ծրագիրը, դրա արդյունավետությունը նվազեց: Այսպիսով, ինչպես փորձարարական փորձաքննության արդյունքում, ռեաբիլիտացիան ապահովում է, որ բուժման եւ վերահսկման խումբը նույնն է, հետազոտական ​​վայրերում ռադիոակտիվացումն ապահովում է, որ գնահատումները կարող են ընդհանրացվել մեկ խմբի խմբից ավելի ընդհանուր բնակչությանը (մտածեք նմուշառման մասին գլուխ 3-ին): Եթե ​​հետազոտական ​​տեղամասերը պատահական չեն ընտրվում, ապա ընդհանրապես, նույնիսկ հիանալի նախագծված եւ իրականացվող փորձից, կարող է պրոբլեմային լինել:

Գծապատկեր 4.7. Տնային էներգիայի հաշվետվության ազդեցությունը փորձարկող 111 փորձերի էլեկտրաէներգիայի սպառման վրա: Այն վայրերում, որտեղ հետագայում ծրագիրը ընդունվեց, այն ավելի փոքր ազդեցություն ունեցավ: Allcott (2015) պնդում է, որ այս օրինակների հիմնական աղբյուրը այն է, որ ավելի շատ էկոլոգիապես Allcott (2015) հաճախորդներ ունեցող կայքեր ավելի հավանական են ծրագրին ավելի վաղ ընդունել: Allcott (2015) է Allcott (2015) , նկար 3:

Միասին, այս 111 փորձերը `10-ը Allcott (2011) Եւ 101-ում Allcott (2015) Ամբողջ Միացյալ Նահանգներից մոտ 8.5 մլն տնային տնտեսություն: Նրանք հետեւողականորեն ցույց են տալիս, որ Home Energy Reports- ը նվազեցնում է էլեկտրաէներգիայի միջին սպառման ծավալը, որը նպաստում է Կալիֆոռնիայի 300 բնակավայրերից Շուլցի եւ գործընկերների նախնական եզրակացությանը: Պարզապես այս բնօրինակ արդյունքները վերարտադրելուց բացի, հետագա փորձերը ցույց են տալիս, որ ազդեցության չափը տարբերվում է գտնվելու վայրից: Փորձերի այս հավաքածուն եւս ցույց է տալիս երկու ընդհանուր կետ `մասնակի թվային դաշտի փորձերի վերաբերյալ: Նախ, հետազոտողները կարող են empirically անդրադառնալ մտահոգությունները արտաքին վավերականության վրա, երբ փորձարկվող հոսքերի արժեքը ցածր է, եւ դա կարող է առաջանալ, եթե արդյունքը արդեն չափվում է մշտապես տվյալների համակարգով: Հետեւաբար, դա ենթադրում է, որ հետազոտողները պետք է գտնեն այլ հետաքրքիր եւ կարեւոր վարքագծի մասին, որոնք արդեն արձանագրվում են, իսկ այնուհետեւ դիզայնի փորձարկումներ, այս առկա չափման ենթակառուցվածքի վերեւում: Երկրորդ, փորձերի այս հավաքածուն հիշեցնում է մեզ, որ թվային դաշտային փորձերը պարզապես առցանց չեն. գնալով, ես ակնկալում եմ, որ դրանք ամենուրեք կլինեն կառուցված միջավայրում սենսորների կողմից չափվող արդյունքներից:

Վավերականության չորս տեսակները `վիճակագրական եզրակացության վավերականությունը, ներքին վավերականությունը, կառուցողականությունը եւ արտաքին վավերությունը, ապահովում են մտավոր ստուգաթերթեր, որոնք կօգնեն հետազոտողներին գնահատել, արդյոք որոշակի փորձի արդյունքներն ավելի ընդհանուր եզրակացություն են ապահովում: Անկախ տարիքային փորձերի համեմատ, թվային տարիքային փորձերում, պետք է ավելի հեշտ լինի դիմագրավել արտաքին հենանիշի վրա, եւ այն պետք է լինի ավելի հեշտ, ապահովելու ներքին վավերականությունը: Մյուս կողմից, կառուցողականության հիմնախնդիրները հավանաբար թվային տարիքային փորձերի մեջ ավելի դժվար կլիներ, հատկապես թվային դաշտային փորձեր, որոնք ներառում են ընկերությունների հետ համագործակցություն: