4.4.1 Վավերականության

Վավերականության վերաբերում է, թե որքան արդյունքները փորձի աջակցել է ավելի ընդհանուր եզրակացություն:

Ոչ մի փորձ է կատարյալ է, եւ հետազոտողները մշակել են ծավալուն բառապաշար է նկարագրել հնարավոր խնդիրները: Արդիական վերաբերում է այնքանով, որքանով արդյունքները որոշակի գիտափորձի աջակցելու են ավելի ընդհանուր եզրակացություն: Սոցիալական գիտնականները գտել, որ այն օգտակար է պառակտել վավերականությունը չորս հիմնական տեսակի վիճակագրական եզրակացությունը վավերականության, ներքին վավերականության, կառուցել վավերականությունը, եւ արտաքին վավերականության (Shadish, Cook, and Campbell 2001, Ch 2) : Յուրացման այդ հասկացությունները կապահովի Ձեզ հոգեկան checklist համար critiquing եւ բարելավման դիզայնի եւ վերլուծություն մի փորձարկմամբ, եւ դա կօգնի ձեզ հետ շփվելու այլ հետազոտողների.

Վիճակագրական եզրակացությունը վավերականության կենտրոնների շուրջ, թե արդյոք վիճակագրական վերլուծությունը փորձի արվեց ճիշտ: Համատեքստում Schultz et al. (2007) Նման հարց կարող կենտրոնացնել է, թե արդյոք նրանք հաշվարկվում են իրենց P-արժեքները ճիշտ. Վիճակագրական վերլուծությունը շրջանակներից դուրս այս գրքում, բայց կարող եմ ասել, որ վիճակագրական սկզբունքները, որոնք անհրաժեշտ է նախագծել եւ վերլուծել փորձարկումներ չեն փոխվել են թվային դարաշրջանում: Այնուամենայնիվ, տարբեր տվյալներով միջավայրը թվային փորձերի չի ստեղծել նոր վիճակագրական հնարավորություններ (օրինակ, օգտագործելով մեքենա ուսուցման մեթոդներ է գնահատել համասեռութ բուժման հետեւանքների (Imai and Ratkovic 2013) ) եւ նոր հաշվողական մարտահրավերների (օրինակ, արգելափակում է զանգվածային փորձերի (Higgins, Sävje, and Sekhon 2016) ):

Ներքին վավերականության կենտրոնների շուրջ, թե արդյոք փորձարարական ընթացակարգերը կատարվել ճիշտ. Վերադառնալով փորձի Schultz et al. (2007) , Հարցերին ներքին վավերականության կարող կենտրոնին շուրջ Պատահական, առաքում բուժման, եւ չափման արդյունքներից: Օրինակ, դուք կարող է լինել մտահոգված է, որ հետազոտական ​​օգնականները չեն կարդացել էլեկտրական մետր հուսալի. Ի դեպ, Շուլցը եւ նրա գործընկերները էին անհանգստանում այս խնդրին, եւ նրանք մի նմուշ մետր կարդալ երկու անգամ, Բարեբախտաբար, արդյունքները, ըստ էության, նույնական են: Ընդհանուր առմամբ, Շուլցը եւ նրա գործընկերները «փորձ է կարծես բարձր ներքին վավերականությունը, բայց դա միշտ չէ, որ այդպես է. համալիր դաշտը եւ առցանց փորձեր հաճախ վազում խնդիրներ, ըստ էության, հանձնելով ճիշտ բուժում է ճիշտ մարդկանց եւ չափման արդյունքները բոլորի համար: Բարեբախտաբար, թվային տարիքը կարող է օգնել նվազեցնել մտահոգություններ ներքին վավերականության, քանի որ դա ստիպում է, որ ավելի հեշտ է ապահովել, որ բուժում է առաքվում ինչպես նախատեսված է նրանց համար, ովքեր պետք է ստանալ այն, եւ չափել արդյունքների բոլոր մասնակիցների համար:

Կառուցել վավերականության կենտրոններ ամբողջ խաղին միջեւ տվյալների եւ տեսական կառուցում. Ինչպես քննարկվել է 2-րդ գլխում, կառուցում են վերացական հասկացությունները, հասարակագետները պատճառը մասին. Ցավոք սրտի, այդ վերացական հասկացությունները միշտ չէ, որ պետք է հստակ սահմանումներ եւ չափումներ: Վերադառնալով Schultz et al. (2007) , Այն պնդումը, որ արգելադրման սոցիալական նորմերը կարող եք իջեցնել էլեկտրաէներգիայի օգտագործումը պահանջում է հետազոտողներին նախագծել բուժում է, որ կեղծել «արգելադրման սոցիալական նորմերը» (օրինակ, հուզապատկերակ) եւ չափել «էլեկտրաէներգիայի օգտագործումը»: Ի անալոգային փորձերի, շատ հետազոտողներ մշակված սեփական բուժում եւ չափվում են իրենց սեփական արդյունքները: Այս մոտեցումը ապահովում է, որ, որքան հնարավոր է, որ փորձարկումները համապատասխանելու վերացական կառուցում Ուսումնասիրվում: Թվային experiments որտեղ հետազոտողները գործընկեր կազմակերպությունների հետ, կամ կառավարությունների է մատուցել բուժում եւ օգտագործել մշտապես տվյալների համակարգերի չափել արդյունքները, հանդիպման գիտափորձի եւ տեսական կառուցում կարող է ավելի քիչ լինել ամուր. Այսպիսով, ես ակնկալում եմ, որ կառույցը վավերականությունը հակված լինել ավելի մեծ մտահոգություն է թվային փորձերի, քան անալոգային փորձերի:

Վերջապես, արտաքին վավերականության կենտրոնների շուրջ, թե արդյոք արդյունքները գիտափորձի կլինի ընդհանրացնելու է այլ իրավիճակներում: Վերադառնալով Schultz et al. (2007) , Կարելի է հարցնել, որ այս նույն գաղափարը մատուցող մարդիկ տեղեկատվություն իրենց էներգետիկ օգտագործման կապը իրենց հասակակիցների եւ ազդանշան արգելադրման նորմերի (օրինակ, հուզապատկերակ) -reduce էներգետիկ օգտագործման դեպքում, եթե դա արվել է տարբեր կերպ է այլ ընդլայնված. For առավել լավ մշակված եւ լավ վազում փորձարկումներ, մտահոգությունները արտաքին վավերականության են ամենադժվար է անդրադառնալ: Անցյալում, այդ քննարկումներն մոտ արտաքին վավերականության էին հաճախակի ընդամենը մի փունջ մարդկանց նստած է սենյակում, փորձելով պատկերացնել, թե ինչ կլիներ, եթե ընթացակարգերը կատարվել են մի այլ կերպ, կամ մեկ այլ վայրում, կամ տարբեր մարդկանց հետ: Բարեբախտաբար, թվային տարիքը թույլ է տալիս հետազոտողներին տեղափոխել դուրս այդ տվյալների ազատ շահարկումների եւ գնահատելու արտաքին վավերությունը էմպիրիկ:

Քանի որ արդյունքների Schultz et al. (2007) Էին այնքան հետաքրքիր է, ընկերության անունով Opower համագործակցում կոմունալ Միացյալ Նահանգներում է տեղակայել բուժում ավելի լայնորեն. Հիման վրա նախագծման Schultz et al. (2007) , Opower ստեղծվել հարմարեցված Սկիզբ էներգետիկայի տեղեկացնում է, որ ունեցել է երկու հիմնական մոդուլներ, մեկը ցույց տալով ընտանիքի էլեկտրաէներգիայի օգտագործման բարեկամն է իր հարեւանների հետ հուզապատկերակ եւ մեկը, ապահովելով խորհուրդներ իջեցում էներգիայի օգտագործման (Գծապատկեր 4.6). Այնուհետեւ, հետ համագործակցությամբ հետազոտողների, Opower վազեց randomized վերահսկվող փորձեր է գնահատել ազդեցությունը Սկիզբ էներգետիկայի Ռեպորտաժ: Թեեւ բուժում այդ փորձեր են, որպես կանոն, հանդես է ֆիզիկապես, սովորաբար միջոցով հին մոդայիկ snail փոստով, ապա արդյունքը եղել չափված օգտագործելով թվային սարքեր ֆիզիկական աշխարհում (օրինակ, Էլեկտր. Մետր): Ավելի շուտ, քան ձեռքով հավաքում այս տվյալները հետազոտությունների օգնականներ այցելող յուրաքանչյուր տունը, ապա Opower փորձեր են ամենը արվում է հետ համագործակցությամբ էներգիայի ընկերությունների հնարավորություն է տալիս հետազոտողներին մուտք էլեկտրահաղորդման ընթերցմամբ: Այսպիսով, այդ մասնակիորեն թվային դաշտային փորձեր են վազում է զանգվածային մասշտաբով ցածր փոփոխական գնով:

Նկար 4.6: The Home Energy Հաշվետվություններ Allcott (2011) ուներ սոցիալական համեմատական ​​Module եւ Գործողությունների քայլերը Module:

Մի առաջին փաթեթի փորձեր ընդգրկող 600,000 տնային տնտեսություններն ծառայել է 10 կոմունալ ընկերությունների ամբողջ Միացյալ Նահանգներում, Allcott (2011) գտել Սկիզբ էներգետիկայի զեկույցը իջեցվել էլեկտրաէներգիայի սպառումը 1,7% -ով: Այլ կերպ ասած, արդյունքները շատ ավելի մեծ, ավելի աշխարհագրորեն բազմազան ուսումնասիրության էին որակապես նման արդյունքների Schultz et al. (2007) : Սակայն, այդ ազդեցությունը չափը փոքր էր `ի Schultz et al. (2007) տնային տնտեսությունները է նկարագրական եւ injective նորմերի վիճակում (մեկը հետ հուզապատկերակ) կրճատվել են իրենց էլեկտրաէներգիայի օգտագործումը է 5% -ով: Ճշգրիտ պատճառը տարբերության անհայտ է, բայց Allcott (2011) ենթադրում է, որ ստանալով մի ձեռագիր հուզապատկերակ որպես մի մաս ուսումնասիրության կողմից հովանավորվող համալսարանում կարող է ունենալ ավելի մեծ ազդեցություն վարքագծի, քան ստանալու տպագիր հուզապատկերակ որպես զանգվածային արտադրվող զեկույցի մի Power Company.

Բացի այդ, հետագա հետազոտության, Allcott (2015) Հաղորդում է է լրացուցիչ 101 փորձերի, որոնք ներառում են լրացուցիչ 8 միլիոն ընտանիքների: Այդ Առաջիկա 101 փորձերի Տուն էներգետիկայի զեկույցը շարունակում է առաջացնել մարդկանց իջեցնել իրենց էլեկտրաէներգիայի սպառումը, սակայն հետեւանքները եղել են նույնիսկ փոքր է. Ճշգրիտ պատճառը անկման հայտնի չէ, սակայն, Allcott (2015) Ենթադրում է, որ արդյունավետությունը զեկույցի հայտնվել է նվազում ժամանակի ընթացքում, քանի որ այն, ըստ էության, կիրառվում է տարբեր տեսակի մասնակիցների: Ավելի կոնկրետ, կոմունալ է ավելի բնապահպան վայրերում էին, ավելի հավանական է, ընդունում է ծրագիրը ավելի վաղ եւ նրանց հաճախորդները ավելի շատ էին պատասխանատու է բուժման. Քանի որ կոմունալ ծառայությունների հետ պակաս, բնապահպանական հաճախորդների ընդունել է ծրագիրը, դրա արդյունավետությունը հայտնվել է նվազել: Այսպիսով, ճիշտ այնպես, ինչպես randomization փորձերի վստահեցնում է, որ բուժումը եւ վերահսկման խումբ նման են, randomization հետազոտական ​​կայքերի վստահեցնում է, որ գնահատումները կարելի է ընդհանրացնել մեկ խումբ մասնակիցների մի ավելի ընդհանուր բնակչության (կարծում եմ, որ վերադառնում է 3-րդ գլխում մոտ նմուշառման): Եթե ​​հետազոտական ​​կայքերը չեն sampled պատահական, ապա ընդհանրացում նույնիսկ մի լավ մշակված եւ իրականացրել փորձարկումը կարող է լինել խնդրահարույց:

Միասին, այդ 111 փորձարկումները-10-ը Allcott (2011) եւ 101-ը Allcott (2015) -involved Մոտ 8,5 միլիոն ընտանիքների ամբողջ Միացյալ Նահանգներում. Նրանք հետեւողականորեն ցույց տալ, որ տուն Էներգետիկա Ռեպորտաժ նվազեցնել միջին էլեկտրաէներգիայի սպառումը, մի արդյունք, որն աջակցում է բնօրինակ արդյունքները Շուլցը եւ գործընկերներին 300 տները Կալիֆորնիայում. Beyond պարզապես replicating այդ բնօրինակ արդյունքները, ապա հետագա փորձարկումները ցույց են տալիս նաեւ, որ չափը ուժի տատանվում է գտնվելու վայրը. Այս փաթեթը փորձերի նաեւ ցույց է տալիս, երկու ավելի ընդհանուր միավոր մոտ մասնակիորեն թվային դաշտը փորձերի: Առաջին հերթին, հետազոտողները կկարողանան գործնականում հասցեն մտահոգությունները արտաքին վավերականության երբ արժեքը վազում փորձարկումներ ցածր է, եւ դա կարող է առաջանալ, եթե արդյունքը արդեն չափվում է միշտ տվյալների վրա համակարգի. Հետեւաբար, այն ենթադրում է, որ հետազոտությունը պետք է լինի, որ նայում դուրս համար այլ հետաքրքիր եւ կարեւոր վարքագծի, որոնք արդեն իսկ արձանագրված, եւ ապա նախագծել փորձարկումներ գագաթին այս առկա չափման ենթակառուցվածքների. Երկրորդ, այս փաթեթը փորձերի հիշեցնում է մեզ, որ թվային դաշտային փորձեր են ոչ միայն առցանց. ավելի ու ավելի ես ակնկալում եմ, որ նրանք կլինեն ամենուր շատ արդյունքներից չափվում է սենսորների է կառուցված միջավայրում:

Չորս տեսակի վավերականության վիճակագրական կնքման վավերականության, ներքին վավերականության, կառուցել վավերականությունը, արտաքին վավերականության-տրամադրել հոգեկան checklist օգնել հետազոտողները գնահատել, թե արդյոք արդյունքները որոշակի փորձարկմամբ աջակցել է ավելի ընդհանուր եզրակացություն: Համեմատ անալոգային տարիքային փորձերի, թվային տարիքային փորձերի այն պետք է լինի ավելի հեշտ է դիմել արտաքին վավերականությունը էմպիրիկ եւ այն պետք է լինի ավելի հեշտ է ապահովել ներքին վավերականությունը. Բայց, մյուս կողմից, խնդիրները կառուցել վավերականության ամենայն հավանականությամբ, պետք է ավելի բարդ թվային դարաշրջանում փորձերը (թեեւ դա այդպես չէ, ինչպես Opower experiments):