သက်တမ်းတစ်ဦးစမ်းသပ်မှု၏ရလဒ်များကိုပိုမိုယေဘုယျကောက်ချက်ကိုထောက်ခံမည်မျှကိုရည်ညွှန်းသည်။
အဘယ်သူမျှမစမ်းသပ်ချက်စုံလင်သည်နှင့်သုတေသီများဖြစ်နိုင်သောပြဿနာများကိုဖော်ပြရန်တစ်ခုကျယ်ပြန့်ဝေါဟာရတီထွင်ခဲ့ကြသည်။ တရားဝင်မှုဟာအထူးသဖြင့်စမ်းသပ်မှု၏ရလဒ်များကိုအချို့ပိုပြီးယေဘုယျကောက်ချက်ကိုထောက်ပံ့သောအတိုင်းအတာကိုရည်ညွှန်းသည်။ လူမှုသိပ္ပံပညာရှင်များလေးအဓိကအမျိုးအစားများသို့တရားဝင်မှုခွဲထွက်ဖို့ကအထောက်အကူဖြစ်စေတွေ့ပြီ: စာရင်းအင်းနိဂုံးချုပ်တရားဝင်မှု, ပြည်တွင်းရေးတရားဝင်မှု, တရားဝင်မှုဆောက်လုပ်ရန်နှင့်ပြင်ပတရားဝင်မှု (Shadish, Cook, and Campbell 2001, chap. 2) ။ ဤအသဘောတရားများကိုကျွမ်းကျင်စမ်းသပ်မှုတစ်ခု၏ဒီဇိုင်းနှင့်ခွဲခြမ်းစိတ်ဖြာ critiquing နှင့်တိုးတက်ကောင်းမွန်ရေးတို့အတွက်တစ်ဦးစိတ်ပိုင်းစစ်ဆေးရမည့်စာရင်းနှင့်တကွသင်ပေးပါလိမ့်မယ်, ထိုသို့သင်သည်အခြားသုတေသီများနှငျ့ဆကျသှယျကူညီပေးပါမည်။
စာရင်းအင်းနိဂုံးချုပ်တရားဝင်မှုစမ်းသပ်မှု၏စာရင်းအင်းခွဲခြမ်းစိတ်ဖြာမှန်ကန်စွာပြုလေ၏ရှိမရှိန်းကျင်စင်တာ။ ၏အခြေအနေတွင် Schultz et al. (2007) , ထိုကဲ့သို့သောမေးခွန်းတစ်ခုသူတို့တွက်ချက်ခြင်းရှိမရှိအပေါ်အဓိကထားမယ် \(p\) ကိုမှန်ကန်စွာ -values ။ အဆိုပါစာရင်းအင်းအခြေခံမူဤစာစောင်၏အတိုင်းအတာထက်ကျော်လွန်များမှာစမ်းသပ်ချက်ဒီဇိုင်းနှင့်ခွဲခြမ်းစိတ်ဖြာဖို့လိုအပ်ပေမယ့်သူတို့ကအခြေခံကျကျဒီဂျစ်တယ်ခေတ်ပြောင်းမရကြပြီ။ အဘယျသို့ပြောင်းလဲသွားပြီ, သို့သော်, ဒစ်ဂျစ်တယ်စမ်းသပ်ချက်အတွက် data တွေကိုပတ်ဝန်းကျင်ထိုကဲ့သို့သောကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှောခန့်မှန်းရန်စက်သင်ယူမှုနည်းစနစ်များ အသုံးပြု. အဖြစ်အသစ်သောအခွင့်အလမ်းများဖန်တီးထားပြီးဖြစ်ပါတယ် (Imai and Ratkovic 2013) ။
internal တရားဝင်မှုစမ်းသပ်လုပျထုံးလုပျနညျးမှန်မှန်ကန်ကန်လုပ်ဆောင်ခဲ့ကြခြင်းရှိမရှိန်းကျင်စင်တာ။ ၏စမ်းသပ်မှုမှပြန်လာသော Schultz et al. (2007) , ပြည်တွင်းရေးတရားဝင်မှုနှင့် ပတ်သက်. မေးခွန်းများကို Random, ကုသမှုပေးပို့နှင့်ရလဒ်များ၏တိုင်းတာခြင်းန်းကျင်ဗဟိုနိုင်ဘူး။ ဥပမာအားဖြင့်, သင်သုတေသနလက်ထောက်ယုံကြည်စိတ်ချရသောလျှပ်စစ်မီတာမဖတ်ခဲ့ဘူးကြောင်းစိုးရိမ်ပူပန်ဖြစ်လိမ့်မယ်။ တကယ်တော့, Schultz နှင့်လုပ်ဖော်ကိုင်ဖက်များကဤပြဿနာကိုစိုးရိမ်ခဲ့ကြ, သူတို့နှစ်ကြိမ်ဖတ်ပါမီတာနမူနာရှိခဲ့ပါတယ်; ကံကောင်းထောက်မစွာ, ရလဒ်မရှိမဖြစ်လိုအပ်တဲ့တူညီခဲ့ကြသည်။ ယေဘုယျအားဖြင့် Schultz နှင့်လုပ်ဖော်ကိုင်ဖက်များက '' စမ်းသပ်မှုမြင့်မားသောပြည်တွင်းရေးတရားဝင်မှုရှိပုံပေါ်ပေမယ့်ဒီအစဉ်အမြဲအမှုမဟုတ်ပါ: ရှုပ်ထွေးသောလယ်ပြင်နှင့်အွန်လိုင်းစမ်းသပ်ချက်မကြာခဏပြဿနာများအမှန်တကယ်ညာဖက်ကလူမှလက်ျာဘက်ကုသမှုပို့ဆောင်ခြင်းနှင့်လူတိုင်းအတွက်ရလဒ်များတိုင်းတာခြင်းသို့ပြေး။ ကံကောင်းထောက်မစွာ, ဒီဂျစ်တယ်ခေတ်ကကုသမှုခံယူဖို့နဲ့အားလုံးပါဝင်သူများအဘို့ရလဒ်များတိုင်းတာရန်ထင်နေကြတယ်သောသူတို့အားကယ်နှုတ်တော်မူ၏ကြောင်းသေချာစေရန်ယခုပိုမိုလွယ်ကူသောကွောငျ့ပြည်တွင်းရေးတရားဝင်မှုနှင့်ပတ်သက်ပြီးစိုးရိမ်ပူပန်မှုများလျှော့ချကူညီပေးနိုင်ပါသည်။
ဒေတာနှင့်သီအိုရီဆောက်လုပ်ရေးအကြားပွဲစဉ်တဝိုက်တရားဝင်မှုစင်တာများတည်ဆောက်။ အခန်း 2 ထဲမှာဆွေးနွေးထားတဲ့အတိုင်း, ဆောက်လုပ်ရေးလူမှုရေးသိပ္ပံပညာရှင်များအကြောင်းကိုကျိုးကြောင်းဆင်ခြင်ကြောင့်စိတ္တဇသဘောတရားများဖြစ်ကြသည်။ ကံမကောင်းစွာပဲအဲဒီစိတ္တဇသဘောတရားများကိုအစဉ်အမြဲရှင်းလင်းပြတ်သားတဲ့အဓိပ္ပာယ်နှင့်တိုင်းတာမရှိကြပါဘူး။ ပြန်လာ Schultz et al. (2007) , လူမှုရေးစံချိန်စံညွှန်းလျှပ်စစ်ဓာတ်အားအသုံးပြုမှုကိုလျှော့ချနိုင် injunctive သောပြောဆိုချက်ကို "တရားရုံးမိန့်လူမှုရေးစံချိန်စံညွှန်း" (ဥပမာအနေနဲ့အီမိုတီကွန်) manipulate မယ်လို့နှင့် "လျှပ်စစ်ဓာတ်အားအသုံးပြုမှုကို" တိုင်းတာရန်တစ်ကုသမှုဒီဇိုင်းသုတေသီတွေကလိုအပ်သည်။ Analog စစမ်းသပ်ချက်များတွင်များစွာသောသုတေသီများမိမိတို့ကိုယ်ပိုင်ကုသဒီဇိုင်းနှင့်၎င်းတို့၏ကိုယ်ပိုင်ရလဒ်များတိုင်းတာ။ ဤသည်ချဉ်းကပ်တတ်နိုင်သမျှအတိုင်း, စမ်းသပ်ချက်ကိုလေ့လာလျက်ရှိသည့်စိတ္တဇ Construction ကိုက်ညီသောသေချာ။ ကုမ္ပဏီများသည်သို့မဟုတ်အစိုးရများနှင့်အတူဘယ်မှာသုတေသီများမိတ်ဖက်ကုသကယ်မနှုတ်နဲ့အမြဲ-On ကိုသုံးပါဒေတာစနစ်များတွင်ရလဒ်များတိုင်းတာရန်ဖို့ဒစ်ဂျစ်တယ်စမ်းသပ်ချက်မှာစမ်းသပ်မှုနှင့်သီအိုရီဆောက်လုပ်ရေးအကြားပွဲစဉ်လျော့နည်းတင်းကျပ်စွာဖြစ်နိုင်သည်။ ထို့ကြောင့်ငါ Construction တရားဝင်မှု Analog စစမ်းသပ်ချက်ထက်ဒစ်ဂျစ်တယ်စမ်းသပ်ချက်တစ်ခုပိုကြီးစိုးရိမ်ပူပန်မှုဖြစ်လေ့လိမ့်မည်ဟုမျှော်လင့်ထား။
နောက်ဆုံးအနေနဲ့ပြင်ပတရားဝင်မှုဒီစမ်းသပ်မှု၏ရလဒ်များကိုသည်အခြားအခြေအနေများယေဘူယျနိုင်ပါတယ်ရှိမရှိန်းကျင်စင်တာ။ ပြန်လာ Schultz et al. (2007) , တစျဦးဟာသူတို့ရဲ့ရွယ်တူချင်းမှဆက်ဆံရေးအတွက်သူတို့ရဲ့စွမ်းအင်အသုံးပြုမှုနှင့် ပတ်သက်. သတင်းအချက်အလက်နှင့်အတူဤတူညီတဲ့စိတ်ကူး-ပေးကလူရှိမရှိမမေးနိုင်နှင့်တစ်ဦးကွဲပြားခြားနားလမ်း၌ပြစ်မှားမိခဲ့ကြပါလျှင်တရားရုံးမိန့်စံချိန်စံညွှန်းများ (ဥပမာတစ်ခုအီမိုတီကွန်) ၏အချက်ပြစွမ်းအင်အသုံးပြုမှုလျှော့ချ -would တစ်ဦးကွဲပြားခြားနား setting ကိုပါ။ အများဆုံးကောင်းမွန်စွာဒီဇိုင်းနှင့်ကောင်းစွာ-run စမ်းသပ်ချက်အဘို့, ပြင်ပတရားဝင်မှုနှင့်ပတ်သက်ပြီးစိုးရိမ်ပူပန်မှုများဖြေရှင်းဖို့အခက်ခဲဆုံးဖြစ်ကြသည်။ အတိတ်ကာလများတွင်ပြင်ပတရားဝင်မှုနှင့် ပတ်သက်. ဤအငြင်းခုံမှုများမကြာခဏလုပ်ထုံးလုပ်နည်းများတစ်ဦးကွဲပြားခြားနားလမ်းအတွက်, ဒါမှမဟုတ်တစ်ဦးကွဲပြားခြားနားသောအရပ်ဌာန၌, ဒါမှမဟုတ်ကွဲပြားခြားနားသောသင်တန်းသားများကိုအတူပြုမိခဲ့လျှင်ဖြစ်ပျက်ကြလိမ့်မည်ဟုအဘယျသို့စိတ်ကူးဖို့ကြိုးစားနေမယ့်ခန်းထဲမှာထိုင်လျက်လူများအုပ်စုတစ်ခုထက် ပို. ဘာမျှမပတ်သက် ။ ကံကောင်းထောက်မစွာ, ဒီဂျစ်တယ်ခေတ်ကဤအချက်အလက်အခမဲ့ထင်မြင်ချက်ကျော်လွန်ရွှေ့ခြင်းနှင့်မျက်မြင်လက်တွေ့ပြင်ပတရားဝင်မှုအကဲဖြတ်ရန်သုတေသီများနိုင်ပါတယ်။
ကနေရလဒ်တွေကိုဆိုသောကွောငျ့ Schultz et al. (2007) ဒါကြောင့်စိတ်လှုပ်ရှားဖွယ်တို့က, Opower အမည်ရှိကုမ္ပဏီပိုပြီးကျယ်ပြန့်ကုသမှုလုပ်ငန်းတွေစတင်ဖို့ရန်အတွက်အမေရိကန်ပြည်ထောင်စုရှိ utilities နှင့်အတူပူးပေါင်း။ ၏ဒီဇိုင်းကိုအပေါ်အခြေခံပြီး Schultz et al. (2007) အနေနဲ့အီမိုတီကွန်နှင့်စွမ်းအင်အသုံးပြုမှု (ပုံ 4.6) လျှော့ချများအတွက်အကြံပြုချက်များကိုပေးတဦးတည်းနှင့်အတူအိမ်နီးချင်းတစ်ဦးအိမ်ထောင်စုရဲ့လျှပ်စစ်ဓာတ်အားအသုံးပြုမှုဆွေမျိုးဖေါ်ပြခြင်းများထဲမှ: Opower နှစ်ခုအဓိက module တွေရှိခဲ့ကြောင်းစိတ်ကြိုက်မူလစာမျက်နှာစွမ်းအင်အစီရင်ခံစာများကိုဖန်တီးခဲ့တယ်။ ထို့နောက်သုတေသီများနှင့်အတူလက်တွဲအတွက် Opower သည်ဤမူလစာမျက်နှာစွမ်းအင်အစီရင်ခံစာများများ၏အကျိုးသက်ရောက်မှုကိုအကဲဖြတ်နိုင်ရန် randomized ထိန်းချုပ်ထားစမ်းသပ်ချက်သို့ပွေးလေ၏။ ဤအစမ်းသပ်ချက်အတွက်ကုသမှုပုံမှန်အားအဟောင်းခရုမေးလ်-ရလဒ်ကိုမှတစ်ဆင့်ကိုယ်ထိလက်ရောက်-များသောအားဖြင့်ကယ်နှုတ်ခဲ့ကြသော်လည်းဒစ်ဂျစ်တယ်ရုပ်ပိုင်းဆိုင်ရာကမ်ဘာပျေါတှငျ devices များ (ဥပမာ, ပါဝါမီတာ) ကို အသုံးပြု. တိုင်းတာခဲ့သည်။ ထို့ပြင်မဟုတ်ဘဲကိုယ်တိုင်တစ်ဦးချင်းစီအိမ်တော်သို့သွားရောက်လည်ပတ်သုတေသနလက်ထောက်နှင့်အတူဤအချက်အလက်စုဆောင်းထက်, Opower စမ်းသပ်ချက်အားလုံးပါဝါဖတ်ဝင်ရောက်ဖို့သုတေသီဖွင့်ပါဝါကိုကုမ္ပဏီများနှင့် ပူးပေါင်း. ပြုမိခဲ့သည်။ ထို့ကြောင့်ဤတစ်စိတ်တစ်ပိုင်းဒစ်ဂျစ်တယ်လယ်ပြင်စမ်းသပ်ချက်အနိမ့် variable ကိုကုန်ကျစရိတ်မှာကြီးမားစကေးမှာ run ခဲ့ကြသည်။
10 ကွဲပြားခြားနားသောဆိုဒ်များကနေ 600,000 အိမ်ထောင်စုပါဝင်သောစမ်းသပ်ချက်တစ်ခုပထမဦးဆုံးအစုတွင်, Allcott (2011) ပင်မစွမ်းအင်အစီရင်ခံစာလျှပ်စစ်ဓာတ်အားသုံးစွဲမှုလျှော့ချကြောင်းတွေ့ရှိခဲ့ပါတယ်။ တစ်နည်းမှာအများကြီးပိုကြီးတဲ့, ပိုပထဝီအနေအထားအရမတူကွဲပြားလေ့လာမှုကနေရလဒ်တွေကိုထံမှရလဒ်များကိုမှသှေးအလားတူခဲ့ကြသည် Schultz et al. (2007) ။ ထို့ပြင် 101 ကွဲပြားခြားနားသောဆိုဒ်များကနေရှစ်သန်းအပိုဆောင်းအိမ်ထောင်စုနှငျ့ပတျသကျသောနောက်ဆက်တွဲသုတေသနအတွက် Allcott (2015) ထပ်နေအိမ်စွမ်းအင်အစီရင်ခံစာတသမတ်တည်းလျှပ်စစ်ဓာတ်အားသုံးစွဲမှုလျှော့ချကြောင်းတွေ့ရှိခဲ့ပါတယ်။ စမ်းသပ်ချက်၏ဤအများကြီးပိုကြီးတဲ့ set ကိုလည်းမဆိုတစ်ခုတည်းစမ်းသပ်မှုအတွက်မြင်နိုင်ဖြစ်မဟုတ်ကြောင်းစိတ်ဝင်စားဖွယ်သစ်ကိုပုံစံထင်ရှား: အကျိုးသက်ရောက်မှု၏အရွယ်အစားနောက်ပိုင်းစမ်းသပ်ချက် (ပုံ 4.7) တွင်ငြင်းဆိုခဲ့သည်။ Allcott (2015) အချိန်ကျော်ကုသမှုသင်တန်းသားများကိုအမျိုးမျိုးအသုံးချခံရကြောင့်ဒီကျဆင်းမှုဖြစ်ပျက်ကြောင်းခန့်မှန်းပြောဆိုသည်။ ပိုများသောအထူးပိုမိုသဘာဝပတ်ဝန်းကျင်အာရုံစိုက်ဖောက်သည်တွေနဲ့ utilities ကိုပိုမိုဖြစ်နိုင်ဖွယ်အစောပိုင်းကအစီအစဉ်ကိုချမှတ်ခဲ့ကြသည်, သူတို့၏ဖောက်သည်ကုသမှုကိုပိုမိုတုံ့ပြန်မှုရှိကြ၏။ ဒီထက်သဘာဝပတ်ဝန်းကျင်-အာရုံစိုက်ဖောက်သည်တွေနဲ့ utilities program ကိုမွေးစားအဖြစ်၎င်း၏ထိရောက်မှုကျဆင်းတို့အားထင်ရှားလေ၏။ စမ်းသပ်ချက်အတွက် Randomization ကုသမှုနှင့်ထိန်းချုပ်မှုအုပ်စုတစ်စုအလားတူဖြစ်ကြောင်းသေချာအဖြစ်ထို့ကြောင့်ရုံ, သုတေသနက်ဘ်ဆိုက်များအတွက် Randomization အဆိုပါခန့်မှန်းချက် (နောက်ကျောနမူနာအကြောင်းကိုအခန်း 3 မှထင်) တစ်ဦးထက်ပိုသောယေဘုယျလူဦးရေမှပါဝင်သူများထဲမှတစ်ဦးအုပ်စုတစ်စုကနေယေဘူယျနိုင်သေချာ။ သုတေသနဆိုက်များကိုကျပန်းနမူနာကြသည်မဟုတ်လျှင်, General-ပင်ဿုံဒီဇိုင်းနှင့်ကောက်ယူရာမှပြဿနာဖြစ်စမ်းသပ်မှု-နိုင်ပါတယ်။
အတူတူအဲဒီ 111 အတွက်စမ်းသပ်ချက်-10 Allcott (2011) နှင့် 101 Allcott (2015) လုံးကိုအမေရိကန်ပြည်ထောင်စုတွင်ကျော်ထံမှအကြောင်းကို 8.5 သန်းအိမ်ထောင်စုပေါင်း -involved ။ သူတို့ဟာတသမတ်တည်းမူလစာမျက်နှာစွမ်းအင်အစီရင်ခံစာများပျမ်းမျှအားလျှပ်စစ်ဓါတ်အားသုံးစွဲမှု, California မှာ 300 နေအိမ်များမှ Schultz နှင့်လုပ်ဖော်ကိုင်ဖက်များ၏မူလတွေ့ရှိချက်ကိုထောက်ပံ့မယ့်ရလဒ်လျှော့ချဖော်ပြသည်။ ဒီမူရင်းရလဒ်များကိုပုံတူတဘက်, နောက်ဆက်တွဲစမ်းသပ်မှုကိုလည်းအကျိုးသက်ရောက်၏အရွယ်အစားတည်နေရာအလိုက်ကွဲပြားကြောင်းပြသပါ။ စမ်းသပ်ချက်၏ဤအစုမှာလည်းတစ်စိတ်တစ်ပိုင်းဒစ်ဂျစ်တယ်လယ်ပြင်စမ်းသပ်ချက်နဲ့ပတ်သက်တဲ့နှစ်ခုထက်ပိုသောယေဘုယျအချက်များဖော်ပြထားသည်။ ပထမဦးစွာသုတေသီများစမ်းသပ်ချက်အပြေး၏ကုန်ကျစရိတ်အနိမ့်အခါပြင်ပတရားဝင်မှုအကြောင်းကိုလိပ်စာစိုးရိမ်ပူပန်မှုများ empirically နိုင်ပါလိမ့်မည်ကို၎င်း, ရလဒ်ကိုပြီးသားအနေနဲ့အစဉ်အမြဲ-on ကိုဒေတာစနစ်ဖြင့်တိုင်းတာခံရလျှင်ဒီဖြစ်ပွားနိုင်သည်။ ဒါကြောင့်သုတေသီများပြီးသားမှတ်တမ်းတင်ထားသော, ပြီးတော့ဒီလက်ရှိတိုင်းတာအခြေခံအဆောက်အအုံ၏ထိပ်ပေါ်မှာစမ်းသပ်ချက်ဒီဇိုင်းလျက်ရှိသည်အခြားစိတ်ဝင်စားဖွယ်နှင့်အရေးကြီးသောအပြုအမူတွေများအတွက်မြျှောပျေါမှာရှိသင့်ကြောင်းအကြံပြုထားသည်။ ဒုတိယအချက်မှာစမ်းသပ်ချက်၏ဤ set ကိုဒစ်ဂျစ်တယ်လယ်ပြင်စမ်းသပ်ချက်ပဲအွန်လိုင်းမစပ်ဆိုင်ကြောင်းကိုကျွန်တော်တို့ကိုသတိပေး; ပို. ပို. , ငါသည်သူတို့က built ပတ်ဝန်းကျင်တွင်အာရုံခံကိရိယာဖြင့်တိုင်းတာအများအပြားရလဒ်များနှင့်အတူနေရာတိုင်းဖြစ်လိမ့်မည်ဟုမျှော်လင့်။
အဆိုပါလေးတရားဝင်မှု-စာရင်းအင်းနိဂုံးချုပ်တရားဝင်မှုအမျိုးအစားများ, ပြည်တွင်းရေးတရားဝင်မှု, တရားဝင်မှုဆောက်လုပ်ရန်နှင့်ပြင်ပသုတေသီများတစ်ဦးအထူးသဖြင့်စမ်းသပ်မှုကနေရလဒ်တွေကိုပိုပြီးယေဘုယျကောက်ချက်ကိုထောက်ပံ့ခြင်းရှိမရှိအကဲဖြတ်ကိုကူညီမယ့်စိတ်ပိုင်းဆိုင်ရာစစ်ဆေးရမည့်စာရင်းတရားဝင်မှု-သည်။ Analog စအရွယ်စမ်းသပ်ချက်တွေနဲ့နှိုင်းယှဉ်ရင်, ဒစ်ဂျစ်တယ်-အသက်အရွယ်စမ်းသပ်ချက်အတွက်ကြောင့်မျက်မြင်လက်တွေ့ပြင်ပတရားဝင်မှုဖြေရှင်းရန်ပိုလွယ်ဖြစ်သင့်နှင့်လည်းပြည်တွင်းရေးတရားဝင်မှုကိုသေချာစေရန်ပိုမိုလွယ်ကူဖြစ်သင့်သည်။ အခြားတစ်ဖက်တွင်, ဆောက်လုပ်ရေးတရားဝင်မှု၏ကိစ္စရပ်များကိုဖြစ်ကောင်းဒစ်ဂျစ်တယ်-အသက်အရွယ်စမ်းသပ်ချက်, ကုမ္ပဏီများနှင့်အတူလက်တွဲပါဝင်ကြောင်းအထူးသဖြင့်ဒစ်ဂျစ်တယ်လယ်ပြင်စမ်းသပ်ချက်တွင်ပိုမိုစိန်ခေါ်မှုဖြစ်လိမ့်မည်။