အဘယ်အရာကိုလာမယ့်ဖတ်ရှုဖို့

• နိဒါန်း (အပိုင်း 4.1)

လူမှုရေးသုတေသနအတွက်ကြောင်းကျိုးဆက်စပ်အကြောင်းကိုမေးခွန်းလွှာမကြာခဏရှုပ်ထွေးပြီးအနုစိတ်ဖြစ်ကြသည်။ ကြောင်းကျိုးဆက်စပ်ဂရပ်များအပေါ်အခြေခံပြီးကြောင်းကျိုးဆက်စပ်ရန်အခြေခံချဉ်းကပ်ဘို့အတွေ့ Pearl (2009) နှင့်အလားအလာရလဒ်များအပေါ် အခြေခံ. အခြေခံချဉ်းကပ်ဘို့အတွေ့ Imbens and Rubin (2015) ။ အဲဒီနှစျခုချဉ်းကပ်မှုများအကြားတစ်ဦးနှင့်နှိုင်းယှဉ်လျှင်အဘို့အတွေ့ Morgan and Winship (2014) ။ တစ်ရှက်ကြောက် defining မှတရားဝင်ချဉ်းကပ်ဘို့အတွေ့ VanderWeele and Shpitser (2013) ။

ဤအခနျးတှငျ, ငါစမ်းသပ်နှင့် Non-စမ်းသပ်မှုဒေတာကနေကြောင်းကျိုးဆက်စပ်ခန့်မှန်းအောင်ကျွန်တော်တို့ရဲ့စွမ်းရည်ကိုအကြားတစ်ဦးတောက်ပလိုင်းနဲ့တူသလိုပဲအဘယ်အရာကိုဖန်တီးခဲ့ကြသည်။ ဒါပေမယ့်အဖြစ်မှန်ထဲမှာ, ဂုဏ်ထူးပိုပြီးမှုန်ဝါးဖြစ်ပါသည်, ထင်ပါတယ်။ ဥပမာအားဖြင့်, လူတိုင်းအတွက်ဆေးလိပ်သောက်လူတွေကဆေးလိပ်သောက်ဖို့တွန်းအားပေးမ randomized ထိန်းချုပ်ထားစမ်းသပ်မှုအစဉ်အဆက်ပြုမိခဲ့ပြီးသော်လည်းကင်ဆာဖြစ်ပေါ်စေသည်ဟုလက်ခံထားသည်။ အလွန်အစွမ်းထက်တဲ့စာအုပ်-အရှည် for Non-စမ်းသပ်ဒေတာကနေကြောင်းကျိုးဆက်စပ်ခန့်မှန်းရာတွင်ပေါ်ကုသမှုကိုတွေ့မြင် Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) နှင့် Dunning (2012) ။

ဒအခန်းကြီး 1 နှင့် 2 ကို Freedman, Pisani, and Purves (2007) စမ်းသပ်ချက်, ထိန်းချုပ်ထားစမ်းသပ်ချက်များနှင့် randomized ထိန်းချုပ်ထားစမ်းသပ်ချက်များအကြားခြားနားချက်များတစ်ရှင်းရှင်းလင်းလင်းမိတ်ဆက်ပေးပါတယ်။

Manzi (2012) randomized ထိန်းချုပ်ထားစမ်းသပ်ချက်၏အတွေးအခေါ်နှင့်စာရင်းအင်းဆိုင်ရာကျောထောက်နောက်ခံပြုနေတဲ့စိတ်ဝင်စားဖွယ်နှင့်ဖတ်လို့ရအောင်မိတ်ဆက်ပေးပါသည်။ ဒါဟာအစစီးပွားရေးလုပ်ငန်းမှာလက်တွေ့စမ်းသပ်ချက်၏တန်ခိုးကိုအစိုးရစိတ်ဝင်စားဖို့အစစ်အမှန်ကမ္ဘာဥပမာပေးပါသည်။ Issenberg (2012) တွင်နိုင်ငံရေးလှုပ်ရှားမှုများအတွက်လက်တွေ့စမ်းသပ်ချက်များအသုံးပြုခြင်းမှတစ်ဦးစိတ်ဝင်စားဖွယ်မိတ်ဆက်ပေးပါသည်။

• စမ်းသပ်ချက်ကဘာတွေလဲ? (အပိုင်း 4.2)

Box, Hunter, and Hunter (2005) , casella_statistical_2008 @ နှင့် Athey and Imbens (2016b) စမ်းသပ်ဒီဇိုင်းနှင့်ခွဲခြမ်းစိတ်ဖြာ၏စာရင်းအင်းရှုထောင့်မှအကောင်းနိဒါနျးသည်။ ဘောဂဗေဒ: နောက်ထပ်များစွာသောကွဲပြားခြားနားသောနယ်ပယ်များတွင်စမ်းသပ်ချက်များအသုံးပြုခြင်း၏အလွန်အစွမ်းထက်တဲ့ကုသမှုရှိပါတယ် (Bardsley et al. 2009) , လူမှုဗေဒ (Willer and Walker 2007; Jackson and Cox 2013) , စိတ်ပညာ (Aronson et al. 1989) , နိုင်ငံရေးသိပ္ပံ (Morton and Williams 2010) , နှင့်လူမှုရေးမူဝါဒက (Glennerster and Takavarasha 2013) ။

ပါဝင်သူစုဆောင်းမှု (ဥပမာနမူနာ) ၏အရေးပါမှုအောက်မှာ-တန်ဖိုးထားစမ်းသပ်သုတေသနအတွက်မကြာခဏဖြစ်ပါတယ်။ ကုသမှု၏အကျိုးသက်ရောက်မှုလူဦးရေအတွက်ပင်သောင်းပြောင်းထွေလာရောနှောနေသည်ဆိုပါကမည်သို့ပင်ဆို, ထို့နောက်နမူနာအရေးကြီးသည်။ Longford (1999) သူကလူတွေကိုသိမ်းကျုံးနမူနာနှင့်အတူတစ်ဦးသောလူဦးရေစစ်တမ်းအဖြစ်စမ်းသပ်ချက်စဉ်းစားသုတေသီများသည်ဟုပြောသည်သည့်အခါရှင်းရှင်းလင်းလင်းဤအချက်မှန်ကန်စေသည်။

• စမ်းသပ်ချက်နှစျယောကျရှုထောင်: ဓာတ်ခွဲခန်း-Field နဲ့ Analog-ဒစ်ဂျစ်တယ် (အပိုင်း 4.3)

ငါဓာတ်ခွဲခန်းနှင့်လယ်ပြင်စမ်းသပ်ချက်များအကြားတစ်ဦးစဉ်ဆက်လည်းမရှိကြောင်းအကြံပြုခဲ့ကြနှင့်အခြားသုတေသီများလယ်ပြင်စမ်းသပ်ချက်များအမျိုးမျိုးသောပုံစံများကိုခွဲခြားကြောင်းအထူးသဖြင့်သူတို့ကိုပိုပြီးအသေးစိတ် typologies အဆိုပြုထားကြပါပြီ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) ။

စာတမ်းများတစ်အရေအတွက်စိတ္တဇအတွက်ဓာတ်ခွဲခန်းနှင့်ကွင်းဆင်းစမ်းသပ်မှုနှိုင်းယှဉ်ကြပါပြီ (Falk and Heckman 2009; Cialdini 2009) နှင့်နိုင်ငံရေးသိပ္ပံတိကျတဲ့စမ်းသပ်ချက်၏ရလဒ်များကို၏စည်းကမ်းချက်များ၌ (Coppock and Green 2015) , စီးပွားရေး (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) နှင့်စိတ်ပညာ (Mitchell 2012) ။ Jerit, Barabas, and Clifford (2013) ဓာတ်ခွဲခန်းများနှင့်လယ်ပြင်စမ်းသပ်ချက်ကနေရလဒ်တွေကိုနှိုင်းယှဉ်များအတွက်ကောင်းတဲ့သုတေသနဒီဇိုင်းကိုဆက်ကပ်။ Parigi, Santana, and Cook (2017) အွန်လိုင်းလယ်ပြင်စမ်းသပ်ချက်ဓာတ်ခွဲခန်းနှင့်ကွင်းဆင်းစမ်းသပ်မှု၏ဝိသေသလက္ခဏာများအချို့ပေါင်းစပ်နိုငျပုံကိုဖော်ပြသည်။

သူတို့အနီးကပ်လေ့လာတွေ့ရှိလျက်ရှိသည်ကိုသိသောကြောင့်သူတို့ရဲ့အပြုအမူကိုပြောင်းလဲသင်တန်းသားများနှင့်ပတ်သက်ပြီးစိုးရိမ်ပူပန်မှုများတစ်ခါတစ်ရံတွင်ဝယ်လိုအားဆိုးကျိုးများဟုခေါ်ကြသည်, ထိုသူတို့သည်စိတ်ပညာကိုလေ့လာခဲ့ကြ (Orne 1962) နှင့်ဘောဂဗေဒ (Zizzo 2010) ။ အများအားဖြင့်ဓာတ်ခွဲခန်းစမ်းသပ်ချက်များနှင့်ဆက်စပ်ပေမယ့်အဲဒီတူညီတဲ့ကိစ္စများအဖြစ်ကောင်းစွာလယ်ပြင်စမ်းသပ်ချက်အဘို့အပြဿနာများဖြစ်ပေါ်စေနိုင်ပါတယ်။ တကယ်တော့ဝယ်လိုအားဆိုးကျိုးများလည်းတစ်ခါတစ်ရံတွင်အနောက်တိုင်းလျှပ်စစ်ကုမ္ပဏီ၏ Hawthorne အလုပ်လုပ်မှာ 1924 ခုနှစ်တွင်စတင်နာမည်ကြီး illumination စမ်းသပ်ချက်ဆင်းသက်လာတဲ့အသုံးအနှုန်း, Hawthorne ဆိုးကျိုးများဟုခေါ်ကြသည် (Adair 1984; Levitt and List 2011) ။ နှစ်ဦးစလုံးဝယ်လိုအားဆိုးကျိုးများနှင့် Hawthorne သက်ရောက်မှုနီးကပ်စွာအခန်း 2 မှာဆှေးနှေးတုံ့ပြန်တိုင်းတာခြင်း၏စိတ်ကူးနှင့်ဆက်စပ်သောနေကြသည် (ကိုလညျးရှု Webb et al. (1966) ) ။

ကွင်းဆင်းစမ်းသပ်မှုဘောဂဗေဒ၌ရှည်လျားသောသမိုင်းကြောင်းရှိ (Levitt and List 2009) , နိုင်ငံရေးသိပ္ပံ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , စိတ်ပညာ (Shadish 2002) , နှင့်အများပြည်သူမူဝါဒက (Shadish and Cook 2009) ။ လယ်ပြင်စမ်းသပ်ချက်လျင်မြန်စွာထင်ရှားတဲ့ဖြစ်လာခဲ့သည်ဘယ်မှာလူမှုရေးသိပ္ပံတစ်ခုမှာဧရိယာနိုင်ငံတကာဖွံ့ဖြိုးရေးဖြစ်ပါတယ်။ ဘောဂဗေဒအတွင်း၌အလုပ်၏အပြုသဘောဆောင်သောပြန်လည်သုံးသပ်ကြည့်ရှု Banerjee and Duflo (2009) နှင့်အရေးပါအကဲဖြတ်ဘို့ကိုတွေ့မြင် Deaton (2010) ။ နိုင်ငံရေးသိပ္ပံ၌ဤအလုပ်၏ပြန်လည်သုံးသပ်ကြည့်ရှု Humphreys and Weinstein (2009) ။ နောက်ဆုံးအနေနဲ့လယ်ပြင်စမ်းသပ်ချက်မှပေါ်ပေါက်သည့်ကျင့်ဝတ်ဆိုင်ရာစိန်ခေါ်မှုများနိုင်ငံရေးသိပ္ပံများ၏အခြေအနေတွင်စူးစမ်းခဲ့ကြ (Humphreys 2015; Desposato 2016b) နှင့်ဖွံ့ဖြိုးရေးဘောဂဗေဒ (Baele 2013) ။

ဤအပိုင်းကို၌ငါ Pre-ကုသမှုသတင်းအချက်အလက်ခန့်မှန်းကုသမှုသက်ရောက်မှုများ၏တိကျတိုးတက်လာဖို့သုံးနိုငျကြောင်းအကြံပြုသို့သော်ဤချဉ်းကပ်မှုအကြောင်းကိုအချို့သောဆွေးနွေးငြင်းခုံသည်ရှိ၏, တွေ့မြင် Freedman (2008) , W. Lin (2013) , Berk et al. (2013) နှင့် Bloniarz et al. (2016) ပိုမိုသောအချက်အလက်များသည်။

စစ်တမ်းစမ်းသပ်ချက်နှင့်လူမှုရေးစမ်းသပ်ချက်: နောက်ဆုံးဓာတ်ခွဲခန်း-Field အတိုင်းအတာတစ်လျှောက်တွင်သေသပ်စွာ fit မလူမှုရေးသိပ္ပံပညာရှင်များအားဖွငျ့ဖျြောစမ်းသပ်ချက်နှစ်ခုသည်အခြားအမျိုးအစားများရှိပါတယ်။ စစ်တမ်းစမ်းသပ်ချက်ရှိပြီးသားစစ်တမ်းများများ၏အခြေခံအဆောက်အဦးများကို အသုံးပြု. စမ်းသပ်ချက်ဖြစ်ကြောင်းနှင့်အတူတူပင်မေးခွန်းများကို (အချို့စစ်တမ်းစမ်းသပ်ချက်အခန်း 3 တင်ပြကြသည်) ၏အခြားရွေးချယ်စရာဗားရှင်းတုံ့ပြန်မှုနှိုင်းယှဉ်; စစ်တမ်းစမ်းသပ်ချက်အပေါ်ပိုပြီးအဘို့ကိုတွေ့မြင် Mutz (2011) ။ လူမှုစမ်းသပ်ချက်ကုသမှုတစ်ခုသာအစိုးရခြင်းဖြင့်အကောင်အထည်ဖော်နိုင်အချို့သောလူမှုရေးမူဝါဒအဘယ်မှာစမ်းသပ်ချက်ဖြစ်ကြသည်။ လူမှုစမ်းသပ်ချက်အစီအစဉ်ကိုအကဲဖြတ်ဖို့နီးကပ်စွာဆက်စပ်နေပါတယ်။ မူဝါဒအစမ်းသပ်ချက်အပေါ်ပိုပြီးအဘို့အတွေ့ Heckman and Smith (1995) , Orr (1998) နှင့် glennerster_running_2013 @ ။

• ရိုးရှင်းတဲ့စမ်းသပ်ချက် (အပိုင်း 4.4) ကျော်လွန်ရွေ့လျား

တရားဝင်မှု, ကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှောနှင့်ယန္တရားများ: ငါသုံးသဘောတရားများကိုအာရုံစိုက်ဖို့ရွေးချယ်ထားပါသည်။ ဤရွေ့ကားအယူအဆကွဲပြားခြားနားသောနယ်ပယ်များတွင်ကွဲပြားခြားနားသောအမည်များရှိသည်။ ဥပမာအားဖြင့်, စိတ်ပညာရှင်ပြုပြီနှင့်မော်ဒအာရုံစိုက်ခြင်းဖြင့်ရိုးရှင်းတဲ့စမ်းသပ်ချက်ကျော်လွန်ရွှေ့ဖို့လေ့ (Baron and Kenny 1986) ။ ပြုပြီ၏စိတ်ကူးငါယန္တရားများကိုခေါ်ဘယ်သို့သောအားဖြင့်ဖမ်းဆီးရမိသည်နှင့်မော်ဒ၏စိတ်ကူးငါပြင်ပတရားဝင်မှု (ကကွဲပြားခြားနားသောအခြေအနေများတွင် run လျှင်ဥပမာစမ်းသပ်မှု၏ရလဒ်များကိုကွဲပြားခြားနားပါလိမ့်မယ်) နှင့်ကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှော (ခေါ်ပါဘယ်သို့သောအားဖြင့်ဖမ်းဆီးရမိတာဖြစ်ပါတယ် ဥပမာ, အခြားသူများထက်အချို့သောလူများအတွက်အကျိုးသက်ရောက်မှုများပိုမိုကြီးမားသော) ဖြစ်ကြသည်။

အားဖြင့်စမ်းသပ်မှု Schultz et al. (2007) ထိရောက်သောဆောင်ရွက်ချက်ဒီဇိုင်းကိုအသုံးပြုနိုင်ပါတယ်ဘယ်လောက်ဆိုရှယ်သီအိုရီပြသထားတယ်။ ထိရောက်သောဆောင်ရွက်ချက်ဒီဇိုင်းအတွက်သီအိုရီ၏အခန်းကဏ္ဍကိုအကြောင်းကိုပိုပြီးယေဘုယျအငြင်းအခုံအဘို့အတွေ့ Walton (2014) ။

• တရားဝင်မှု (အပိုင်း 4.4.1)

ပြည်တွင်းရေးနှင့်ပြင်ပတရားဝင်မှု၏သဘောတရားများကိုပထမဦးဆုံးအနေဖြင့်မိတ်ဆက်ခဲ့ကြသည် Campbell (1957) ။ ကြည့်ရှုပါ Shadish, Cook, and Campbell (2001) တစ်ဦးထက်ပိုအသေးစိတ်သမိုင်းနှင့်စာရင်းအင်းနိဂုံးချုပ်တရားဝင်မှု, ပြည်တွင်းရေးတရားဝင်မှု, တရားဝင်မှုဆောက်လုပ်ရန်နှင့်ပြင်ပတရားဝင်မှုတစ်သတိထားပီပီသည်။

စမ်းသပ်ချက်အတွက်စာရင်းအင်းနိဂုံးချုပ်တရားဝင်မှုနှင့်ပတ်သက်သောကိစ္စများကိုခြုံငုံသုံးသပ်ကြည့်ရှု Gerber and Green (2012) (ကလူမှုရေးသိပ္ပံရှုထောင့်ကနေ) နှင့် Imbens and Rubin (2015) (ကစာရင်းအင်းရှုထောင့်ကနေ) ။ အွန်လိုင်းလယ်ပြင်စမ်းသပ်ချက်များတွင်အထူးသပေါ်ထွန်းသည်ဟုစာရင်းအင်းနိဂုံးချုပ်တရားဝင်မှု၏အချို့ကိစ္စများထိုကဲ့သို့သောမှီခိုဒေတာနှင့်အတူယုံကြည်မှုကြားကာလအတွက် computationally အကျိုးရှိစွာနည်းလမ်းများအဖြစ်ကိစ္စများပါဝင်သည် (Bakshy and Eckles 2013) ။

internal တရားဝင်မှုရှုပ်ထွေးလယ်ပြင်စမ်းသပ်ချက်အတွက်သေချာရန်ခက်ခဲစေနိုင်ပါတယ်။ ဥပမာ, ကိုကွညျ့ပါ Gerber and Green (2000) , Imai (2005) နှင့် Gerber and Green (2005) မဲပေးအကြောင်းရှုပ်ထွေးလယ်ပြင်စမ်းသပ်မှုများအကောင်အထည်ဖော်မှုနှင့် ပတ်သက်. ဆွေးနွေးငြင်းခုံပါ။ Kohavi et al. (2012) နှင့် Kohavi et al. (2013) အွန်လိုင်းလယ်ပြင်စမ်းသပ်ချက်အတွက်ကြားကာလတရားဝင်မှု၏စိန်ခေါ်မှုများသို့တစ်ဦးမိတ်ဆက်ပေးသညျ။

ပြည်တွင်းရေးတရားဝင်မှုမှတဦးတည်းကိုအဓိကခြိမ်းခြောက်မှုပျက်ကွက် Randomization များ၏ဖြစ်နိုင်ခြေဖြစ်ပါတယ်။ ကျပန်းနှင့်အတူပြဿနာများ detect လုပ်ဖို့တစ်ခုမှာအလားအလာလမ်း observable စရိုက်များပေါ်ကုသမှုနှင့်ထိန်းချုပ်မှုအုပ်စုများနှိုင်းယှဉ်ဖို့ဖြစ်ပါတယ်။ နှိုင်းယှဉ်မှု၏ဤကြင်နာချိန်ခွင်စစ်ဆေးမှုများဟုခေါ်သည်။ ကြည့်ရှုပါ Hansen and Bowers (2008) စစ်ဆေးမှုများနှင့်ချိန်ခွင်လျှာညှိရန်စာရင်းအင်းချဉ်းကပ်ဘို့အ Mutz and Pemantle (2015) ချိန်ခွင်လျှာစစ်ဆေးမှုများနှင့် ပတ်သက်. စိုးရိမ်ပူပန်မှုများသည်။ ဥပမာအားဖြင့်, ချိန်ခွင်စစ်ဆေးမှုများကို အသုံးပြု. Allcott (2011) Randomization အဆိုပါ Opower စမ်းသပ်ချက် (; က်ဘ်ဆိုက်များ 2, 6, 8 စားပွဲပေါ်မှာ 2 ကိုကြည့်ပါ) သုံးခုအတွက်မှန်ကန်စွာအကောင်အထည်မဖော်ခဲ့ကွောငျးအခြို့သောသက်သေအထောက်အထားများတွေ့ရှိခဲ့သည်။ သည်အခြားချဉ်းကပ်မှုအဘို့, ၏အခန်း 21 ကိုကြည့်ပါ Imbens and Rubin (2015) ။

ပြည်တွင်းရေးတရားဝင်မှုနှင့်ဆက်စပ်သောအခြားအဓိကစိုးရိမ်ပူပန်နေသောခေါင်းစဉ်: ကုသမှုအုပ်စုမဟုတ်လူတိုင်းအမှန်တကယ်ကုသမှုခံယူရှိရာ (1) တဦးတည်းတဖက်သတ် noncompliance, ကုသမှုအုပ်စုမဟုတ်လူတိုင်းကုသမှုနှင့်အချို့သောလူအားလက်ခံတွေ့ဆုံရှိရာ (2) နှစ်ခုတဖက်သတ် noncompliance, ထိန်းချုပ်မှုအုပ်စုတစ်စုကုသမှုရလဒ်များအခြို့သောသင်တန်းသားများကိုများအတွက်တိုင်းတာကြသည်မဟုတ်ရှိရာ, (3) attrition, နှင့်ကုသမှုထိန်းချုပ်မှုအခြေအနေလူတွေကိုကုသမှုအခြေအနေကလူကနေကျော်တွေဆီကိုကူးစက်ရှိရာ (4) ဝင်ရောက်စွက်ဖက်ကိုခံယူလော့။ အခန်းကြီး 5, 6, 7, နှင့် 8 တွင်ကြည့်ပါ Gerber and Green (2012) ကဤကိစ္စများ၏တစ်ဦးချင်းစီအပေါ်မှာပိုပြီးအဘို့။

ဆောက်လုပ်ရေးတရားဝင်မှုအပေါ်ပိုပြီးအဘို့အတွေ့ Westen and Rosenthal (2003) ကြီးတွေဒေတာအရင်းအမြစ်, ၌၎င်း, ဆောက်လုပ်ရေးတရားဝင်မှုအပေါ်ပိုပြီးအဘို့အ Lazer (2015) နှင့်ဤစာအုပ်၏အခန်း 2 ။

ပြင်ပတရားဝင်မှုတစ်ခုမှာရှုထောင့်တစ်ခုဝင်ရောက်စွက်ဖက်မှုကိုစမ်းသပ်ထားတဲ့အတွက် setting ကိုဖြစ်ပါတယ်။ Allcott (2015) ရဲ့ site selection ကိုဘက်လိုက်မှုတစ်ခုသတိထားသီအိုရီနှင့်လက်တွေ့ကုသမှုပေးစွမ်းသည်။ ဤကိစ္စကိုလည်းဆွေးနွေးဖြစ်ပါတယ် Deaton (2010) ။ ပြင်ပတရားဝင်မှု၏နောက်ထပ်ရှုထောင့်အတူတူပင်ဝင်ရောက်စွက်ဖက်မှုများအခြားရွေးချယ်စရာစစ်ဆင်ရေးအလားတူသက်ရောက်မှုရှိပါလိမ့်မယ်ရှိမရှိဖြစ်ပါတယ်။ ဤကိစ္စတွင်ခုနှစ်, အကြားတစ်ဦးနှိုင်းယှဉ် Schultz et al. (2007) နှင့် Allcott (2011) အတွက် Opower စမ်းသပ်ချက် Schultz နှင့်လုပ်ဖော်ကိုင်ဘက်များကမူလစမ်းသပ်ချက် (5% သာရှိပြီးပြည်ပမှ 1.7%) ထက်သေးငယ်ခန့်မှန်းကုသအကျိုးသက်ရောက်မှုရှိခဲ့ကြောင်းပြသထားတယ်။ Allcott (2011) တစ်ဦးအစုလိုက်အပြုံလိုက်-ထုတ်လုပ်၏တစ်စိတ်တစ်ဒေသအဖြစ်ပုံနှိပ်အီမိုတီကွန်နဲ့နှိုင်းယှဉ်တစ်ဦးတက္ကသိုလ်ကကမကထလေ့လာမှုတစ်ခု၏အစိတ်အပိုင်းတစ်ရပ်အဖြစ်လက်ရေးအီမိုတီကွန်: အနောက်ဆက်တွဲစမ်းသပ်မှုကြောင့်ကုသမှုကွဲပြားသောနည်းလမ်းသေးငယ်တဲ့အကျိုးသက်ရောက်မှုရှိခဲ့ကွောငျးခနျ့မှနျး အာဏာကုမ္ပဏီထံမှအစီရင်ခံစာ။

• ကုသမှုသက်ရောက်မှု (အပိုင်း 4.4.2) ၏သောင်းပြောင်းထွေလာရောနှော

လယ်ပြင်စမ်းသပ်ချက်များတွင်ကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှော၏အကောင်းဆုံးခြုံငုံသုံးသပ်ချက်အဘို့, ၏အခန်း 12 ကိုကြည့်ပါ Gerber and Green (2012) ။ ဆေးပညာဆိုင်ရာစမ်းသပ်မှုများတွင်ကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှောဖို့နိဒါနျးအဘို့အတွေ့ Kent and Hayward (2007) , Longford (1999) နှင့် Kravitz, Duan, and Braslow (2004) ။ ကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှော၏ထည့်သွင်းစဉ်းစားယေဘုယျအားဖြင့် Pre-ကုသမှုဝိသေသလက္ခဏာများပေါ်အခြေခံပြီးကွဲပြားခြားနားမှုအပေါ်အာရုံစူးစိုက်။ သငျသညျ Post-ကုသမှုရလဒ်များအပေါ် အခြေခံ. သောင်းပြောင်းထွေလာရောနှောစိတ်ဝင်စားလျှင်, ပိုမိုရှုပ်ထွေးချဉ်းကပ်ထိုကဲ့သို့သောကျောင်းအုပ်ကြီး stratification အဖြစ်လိုအပ်နေပါသည် (Frangakis and Rubin 2002) ; တွေ့မြင် Page et al. (2015) ပြန်လည်သုံးသပ်။

အတော်များများကသုတေသီများ linear ဆုတ်ယုတ် အသုံးပြု. ကုသမှုသက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှောခန့်မှန်းပေမယ့်ပိုသစ်နည်းလမ်းများစက်သင်ယူမှုအပေါ်အားကိုး; တွေ့မြင်ဥပမာ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) နှင့် Athey and Imbens (2016a) ။

သက်ရောက်မှုများပင်သောင်းပြောင်းထွေလာရောနှော၏တွေ့ရှိချက်များနှင့်ပတ်သက်ပြီးအချို့သံသယရှိသောကြောင့်မျိုးစုံနှိုင်းယှဉ်ပြဿနာတွေနဲ့များ၏ရှိပါသည်မျိုးစုံနှိုင်းယှဉ်အကြောင်းကိုလိပ်စာစိုးရိမ်ပူပန်မှုများကကူညီနိုင်သည်ကိုစာရင်းအင်းချဉ်းကပ်မှုအမျိုးမျိုးရှိပါတယ် "ငါးဖမ်း။ " (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) "ငါးဖမ်း" အကြောင်းကိုစိုးရိမ်ပူပန်မှုများမှတဦးတည်းချဉ်းကပ်စိတ်ပညာအတွက် ပို. ပို. အဖြစ်များဖြစ်လာသော Pre-မှတ်ပုံတင်ရေးဖြစ်ပါသည် (Nosek and Lakens 2014) , နိုင်ငံရေးသိပ္ပံ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) နှင့်ဘောဂဗေဒ (Olken 2015) ။

အားဖြင့်လေ့လာမှုမှာ Costa and Kahn (2013) အတွက်စမ်းသပ်မှုအတွက်အိမ်ထောင်စုများ၏ခန့်သာထက်ဝက်လူဦးရေဆိုင်ရာသတင်းအချက်အလက်ချိတ်ဆက်နိုင်ပါတယ်။ ဤအသေးစိတျကိုစိတ်ဝင်စားစာဖတ်သူများမူရင်းစာရွက်ရည်ညွှန်းသင့်ပါတယ်။

• ယန္တရားများ (အပိုင်း 4.4.3)

mechanisms မယုံနိုင်လောက်အောင်အရေးကြီးလှသည်, ဒါပေမဲ့သူတို့လေ့လာမှုရန်အလွန်ခက်ခဲဖြစ်ထွက်လှည့်။ ယန္တရားများနှင့် ပတ်သက်. သုတေသနစိတ်ပညာပြုပြီ၏လေ့လာမှုမှနီးကပ်စွာဆက်စပ်ဖြစ်ပါတယ် (သို့သော်လည်းတွေ့မြင် VanderWeele (2009) နှစ်ခုစိတ်ကူးများအကြားတိကျသောနှိုင်းယှဉ်မှုအတွက်) ။ ထိုကဲ့သို့သောအတွက်ဖွံ့ဖြိုးပြီးအဆိုပါချဉ်းကပ်မှုအဖြစ်ယန္တရားများကိုရှာတွေ့မှစာရင်းအင်းချဉ်းကပ်မှု, Baron and Kenny (1986) , အတော်လေးဘုံဖြစ်ကြသည်။ ကံမကောင်းစွာပဲ, ဒါကြောင့်သူတို့အလုပျထုံးလုပျနညျးအခြို့သောခိုင်ခံ့သောယူဆချက်အပေါ်မူတည်ကြောင်းထွက်လှည့် (Bullock, Green, and Ha 2010) တဦးတည်းအများအပြားအခြေအနေများတွင်မျှော်လင့်ထားလိမ့်မယ်ကဲ့သို့၎င်း, မျိုးစုံယန္တရားများရှိပါတယ်သောအခါအခံရ (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) ။ Imai et al. (2011) နှင့် Imai and Yamamoto (2013) အချို့သောတိုးတက်လာသောစာရင်းအင်းနည်းလမ်းများကိုဆက်ကပ်။ ထို့ပြင် VanderWeele (2015) sensitivity ကိုခွဲခြမ်းစိတ်ဖြာရန်ပြည့်စုံချဉ်းကပ်မှုအပါအဝင်အရေးကြီးသောရလဒ်များစွာနဲ့စာအုပ်-အရှည်ကုသမှုပေးထားပါတယ်။

တစ်ဦးကသီးခြားချဉ်းကပ်မှု (သင်္ဘောသားဗီတာမင် C ပေးခြင်းဥပမာ) တိုက်ရိုက်ယန္တရား manipulate ကြိုးစားကြောင်းစမ်းသပ်ချက်အပေါ်အာရုံစိုက်။ ကံမကောင်းစွာပဲ, များစွာသောလူမှုရေးသိပ္ပံ setting တွင်ရှိမျိုးစုံယန္တရားများကိုမကြာခဏဖြစ်ကြပြီးကအခြားသူတွေကိုပြောင်းလဲခြင်းမရှိဘဲတဦးတည်းကိုပြောင်းလဲကြောင်းကုသမှုဒီဇိုင်းရန်ခဲယဉ်းသည်။ စမ်းသပ်မှုတွေအယန္တရားများပြောင်းလဲဖို့တချို့ကချဉ်းကပ်မှုများကဖော်ပြထားကြသည် Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) နှင့် Pirlott and MacKinnon (2016) ။

အပြည့်အဝ factorial စမ်းသပ်ချက်အပြေးသုတေသီများမျိုးစုံအယူအဆစမ်းသပ်ခြင်းနှင့် ပတ်သက်. စိုးရိမ်ပူပန်ရောက်ထားရန်လိုအပ်ပါတယ်တော်မူမည် တွေ့မြင် Fink, McConnell, and Vollmer (2014) နှင့် List, Shaikh, and Xu (2016) ပိုမိုသောအချက်အလက်များသည်။

အားဖြင့်ဖော်ပြထားသကဲ့သို့နောက်ဆုံးအနေနဲ့ယန္တရားများလည်းသိပ္ပံပညာ၏ဒဿန၌ရှည်လျားသောသမိုင်းကြောင်းရှိ Hedström and Ylikoski (2010) ။

• တည်ဆဲပတ်ဝန်းကျင်မှာ (အပိုင်း 4.5.1 စာတစောင်) အသုံးပြုခြင်း

ခွဲခြားဆက်ဆံမှုကိုတိုင်းတာရန်စာပေးစာယူလေ့လာမှုများနှင့်စာရင်းစစ်လေ့လာမှုများ၏အသုံးပြုမှုကိုပိုမိုအဘို့အတွေ့ Pager (2007) ။

• သင့်ကိုယ်ပိုင်စမ်းသပ်ချက် (အပိုင်း 4.5.2) Build

သငျသညျတညျဆောကျကြောင်းစမ်းသပ်ချက်မှသင်တန်းသားများကိုစုဆောင်းဖို့အသုံးအများဆုံးလမ်းအမေဇုံစက်မှု Turk (MTurk) ဖြစ်ပါသည်။ လူတွေအောင်မြင်နိုင်ပါသည်ထက်အခမဲ့-အများအပြားသုတေသီများပြီးသားပိုမိုမြန်ဆန်ခြင်းနှင့်စျေးနှုန်းချိုသာဒေတာစုဆောင်းမှုအတွက်ရရှိလာတဲ့, စမ်းသပ်သင်တန်းသားများအဖြစ် Turkers (MTurk အပေါ်အလုပ်သမား) ကို အသုံးပြု. စတင်ပြီသူတို့မလုပ်ဆောင်မယ်လို့တာဝန်များကိုဖြည့်စွက်ရန်ရိုးရာဓာတ်ခွဲခန်း-ပေးဆောင်စမ်းသပ်ချက်၏ MTurk တူတဲ့ရှုထောင့်သောကြောင့် အစဉ်အလာအပေါ်-ကျောင်းဝင်းဓာတ်ခွဲခန်းစမ်းသပ်ချက်အတွက် (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) ။

ယေဘုယျအားဖြင့် MTurk ကနေစုဆောင်းသင်တန်းသားများကိုအသုံးပြုခြင်း၏အကြီးမားဆုံးအားသာချက်ထောက်ပံ့ပို့ဆောင်ရေးဖြစ်ကြသည်။ ဓာတ်ခွဲခန်းစမ်းသပ်ချက်ကို run ဖို့ရက်သတ္တပတ်ယူနိုင်ပြီးလယ်ပြင်စမ်းသပ်ချက် set-အထိလပေါင်းများစွာကြာနိုင်ပါတယ်သွားရမည်အကြောင်း, MTurk ကနေစုဆောင်းသင်တန်းသားများနှင့်အတူစမ်းသပ်ချက်နေ့ရက်ကာလ၌ run နိုင်ပါတယ်။ ဥပမာအားဖြင့်, Berinsky, Huber, and Lenz (2012) 8 မိနစ်စမ်းသပ်မှုတွင်ပါဝင်ရန်တစ်ခုတည်းသောနေ့၌ 400 ဘာသာရပ်များစုဆောင်းနိုင်ခဲ့တယ်။ ထို့ပြင်ဤအပါဝင်သူ (အခန်းကြီး 3 နဲ့ 5 မှာဆွေးနွေးထားတဲ့အတိုင်း, စစ်တမ်းများနှင့်အစုလိုက်အပြုံလိုက်ပူးပေါင်းအပါအဝင်) နီးပါးမည်သည့်ရည်ရွယ်ချက်စုဆောင်းနိုင်ပါသည်။ စုဆောင်းမှု၏ဤလွယ်ကူခြင်းသုတေသီများလျင်မြန်စွာဆက်ခံအတွက်ဆက်စပ်စမ်းသပ်ချက်၏ပာ run နိုင်ပါတယ်ဆိုလိုသည်။

သင့်ကိုယ်ပိုင်စမ်းသပ်ချက်အဘို့အ MTurk ထံမှသင်တန်းသားများကိုစုဆောင်းမီ, သငျသညျကိုသိရန်လိုအပ်ပါကြောင်းလေးအရေးကြီးသောအရာများကိုရှိပါတယ်။ ပထမဦးစွာများစွာသောသုတေသီများ Turkers ပါဝင်သောစမ်းသပ်ချက်တစ်ခု nonspecific သံသယရှိသည်။ ဒီသံသယသတ်သတ်မှတ်မှတ်မရသောကြောင့်, ကသက်သေအထောက်အထားများနှင့်အတူတန်ပြန်ရန်ခဲယဉ်းသည်။ သို့သော် Turkers အသုံးပြု. လေ့လာမှုများ၏နှစ်ပေါင်းများစွာပြီးနောက်ကျနော်တို့ယခုသံသယအထူးသဖြင့်တရားမျှတမပေးကြောင်းကောက်ချက်ချနိုင်ပါတယ်။ တခြားလူဦးရေ၏သူတို့နှင့်အတူ Turkers ၏အသက်အပိုင်းအခြားနှိုင်းယှဉ်လေ့လာမှုများနှင့် Turkers နှင့်အတူစမ်းသပ်ချက်၏ရလဒ်များကိုနှိုင်းယှဉ်အများအပြားလေ့လာမှုများကိုအခြားလူဦးရေထဲကနေသူများတည်းဟူသောရှိခဲ့သည်။ ဤအမှုအလုံးစုံတို့ကိုအလုပ်ပေးထားသော, သင်တို့ကိုငါစဉ်းစားရန်အဘို့အအကောငျးဆုံးနညျးလမျး Turkers အများကြီးကျောင်းသားများကိုကဲ့သို့တစ်ဦးကျိုးကြောင်းဆီလျော်အဆင်ပြေနမူနာများမှာပေမယ့်အနည်းငယ်ပိုမိုကွဲပြားခြားနားကြောင်းကြောင်းထင် (Berinsky, Huber, and Lenz 2012) ။ ထို့ကြောင့်ကျောင်းသားများအခြို့သောအဘို့ကျိုးကြောင်းဆီလျော်သောလူဦးရေများမှာ, ဒါပေမယ့်အားလုံးမဟုတ်သကဲ့သို့, သုတေသန, Turkers အချို့များအတွက်ကျိုးကြောင်းဆီလျော်သောလူဦးရေများမှာ, ဒါပေမယ့်အားလုံးမဟုတ်, သုတေသန။ သငျသညျ Turkers နှင့်အတူအလုပ်လုပ်သွားနေတယ်ဆိုရင်, ထို့နောက်ဤနှိုင်းယှဉ်လေ့လာမှုအများအပြားဖတ်ပါနှင့်၎င်းတို့၏တစ်ခုလုံးကိုပြည့်ပြည့်စုံစုံနားလည်ရန်သဘာဝကျပါတယ်။

ဒုတိယအချက်မှာသုတေသီများ MTurk စမ်းသပ်ချက်၏ပြည်တွင်းရေးတရားဝင်မှုတိုးပွားလာမှုအတွက်အကောင်းဆုံးအလေ့အကျင့်ကိုတီထွင်ခဲ့ကြ, သင်အကြောင်းကိုလေ့လာသင်ယူနှင့်ဤအကောင်းဆုံးအလေ့အကျင့်ကိုလိုက်နာသင့်ပါတယ် (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) ။ ဥပမာအားဖြင့်, Turkers သုံးပြီးသုတေသီများ inattentive သင်တန်းသားများကိုဖယ်ရှားပစ်ရန် Screener သုံးစွဲဖို့အားပေးတိုက်တွန်းနေကြသည် (Berinsky, Margolis, and Sances 2014, 2016) (သို့သော်လည်းတွေ့မြင် DJ Hauser and Schwarz (2015b) နှင့် DJ Hauser and Schwarz (2015a) ) ။ သငျသညျ inattentive သင်တန်းသားများကိုဖယ်ရှားပစ်မထားဘူးဆိုရင်, ထို့နောက်ကုသမှုမဆိုအကျိုးသက်ရောက်သူတို့မိတ်ဆက်ပေးသောဆူညံသံများကထုတ်ဆေးကြောခြင်းကိုခံရနိုင်ပြီး, အလေ့အကျင့်အတွက် inattentive ပါဝင်သူများ၏အရေအတွက်ကိုသိသိသာသာရှိနိုင်ပါသည်။ Huber နှင့်လုပ်ဖော်ကိုင်ဖက်များအားဖြင့်စမ်းသပ်မှုများတွင် (2012) , သင်တန်းသားများ၏အကြောင်းကို 30% အခြေခံအာရုံကို Screener မအောင်မြင်ခဲ့ပေ။ Turkers အသုံးပြုသောအခါအများအားပေါ်ထွန်းသောအခြားပြဿနာများသည် non-နုံပါဝင်သူများမှာ (Chandler et al. 2015) နှင့် attrition (Zhou and Fishbach 2016) ။

တတိယ, ဒစ်ဂျစ်တယ်စမ်းသပ်ချက်အချို့နဲ့အခြားပုံစံများကိုမှဆွေမျိုး, MTurk စမ်းသပ်ချက်စကေးမနိုင်, Stewart et al. (2015) မဆိုပေးထားအချိန်တွင် MTurk အပေါ်ခန့်သာ 7000 လူတွေရှိပါတယ်ခန့်မှန်းကြသည်။

နောက်ဆုံးအနေနဲ့, သင် MTurk ၎င်း၏ကိုယ်ပိုင်စည်းမျဉ်းများနှင့်အစံချိန်စံညွှန်းနဲ့အသိုင်းအဝိုင်းကြောင်းကိုသိသင့် (Mason and Suri 2012) ။ သင်စမ်းသပ်ချက်ကို run သွားရာတစ်တိုင်းပြည်၏ယဉ်ကျေးမှုအကြောင်းကိုအထဲကရှာတွေ့ဖို့ကြိုးစားလိမ့်မယ်လို့ထိုနည်းတူ, သင် Turkers များ၏ယဉ်ကျေးမှုနှင့်စံချိန်စံညွှန်းနှင့် ပတ်သက်. ပိုမိုထွက်ရှာတွေ့ဖို့ကြိုးစားသင့်ပါတယ် (Salehi et al. 2015) ။ သငျသညျမသင့်လျော်သို့မဟုတ်သိက္ခာမဲ့တစ်ခုခုလုပ်လျှင်သင် Turkers သင့်ရဲ့စမ်းသပ်မှုတွေအကြောင်းပြောနေတာပါလိမ့်မည်ကြောင်းသိသင့် (Gray et al. 2016) ။

MTurk ထိုကဲ့သို့သော၏အဖြစ်ကိုသူတို့ဓာတ်ခွဲခန်း-ကဲ့သို့ဖြစ်ကြ၏ရှိမရှိ, သင့်စမ်းသပ်ချက်မှသင်တန်းသားများကိုစုဆောင်းဖို့မယုံနိုင်လောက်အောင်အဆင်ပြေနည်းလမ်းဖြစ်ပါတယ် Huber, Hill, and Lenz (2012) ထိုကဲ့သို့သောသူတို့အဖြစ်, သို့မဟုတ်ထိုထက်ပိုသောလယ်ကဲ့သို့ Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) နှင့် Mao et al. (2016) ။

• သင့်ကိုယ်ပိုင်ထုတ်ကုန် (အပိုင်း 4.5.3) Build

သင်သည်သင်၏ကိုယ်ပိုင်ထုတ်ကုန်ကိုဖန်တီးရန်ကြိုးစားနေစဉ်းစားနေတယ်ဆိုရင်, ငါသည်သင်၌အ MovieLens အုပ်စုတစ်စုကကမ်းလှမ်းအကြံပေးချက်ဖတ်ရှုဖို့အကြံပြုလိုပါတယ် Harper and Konstan (2015) ။ သူတို့ရဲ့အတွေ့အကြုံကနေတစ်ဦးက key ကိုထိုးထွင်းသိမြင်မှုတစ်ခုချင်းစီကိုအောင်မြင်သောစီမံကိနျးအတှကျအများကြီးဆုံးရှုံးမှုရှိပါတယ်ဖြစ်ပါသည်။ ဥပမာ, MovieLens အုပ်စုသည်ထိုကဲ့သို့သောပြည့်စုံကျရှုံးခဲ့ GopherAnswers, ကဲ့သို့သောအခြားပစ္စည်းများ, ဖြန့်ချိ (Harper and Konstan 2015) ။ ထုတ်ကုန်တည်ဆောက်ရန်ကြိုးစားနေစဉ်ပျက်ကွက်နေတဲ့သုတေသီများ၏နောက်ထပ်ဥပမာ Arden လို့ခေါ်တဲ့အွန်လိုင်းဂိမ်းတည်ဆောက်ရန်အက်ဒွပ် Castronova ရဲ့ကြိုးပမ်းမှုဖြစ်ပါသည်။ ရန်ပုံငွေအတွက် $ 250,000 နေသော်လည်းစီမံကိန်းတစ်လာသောသေတ္တာခဲ့ (Baker 2008) ။ GopherAnswers နှင့် Arden နှင့်တူစီမံကိန်းများကိုကံမကောင်းတာကပိုအဖြစ်များ MovieLens တူသောစီမံကိန်းများထက်ဖြစ်ကြသည်။

• အင်အားကြီး (အပိုင်း 4.5.4) နဲ့လက်တွဲဖော်

ငါ Pasteur ရဲ့ quadrant ၏စိတ်ကူးနည်းပညာကုမ္ပဏီများမှာမကြာခဏဆွေးနွေးတင်ပြကြားဖူးတယ်, ထိုသို့ Google မှာသုတေသနအားထုတ်မှုကိုစုစည်းပြီးကူညီပေးသည် (Spector, Norvig, and Petrov 2012) ။

ဘွန်းနှင့်လုပ်ဖော်ကိုင်ဖက်များက '' လေ့လာမှု (2012) ကိုလည်းသူတို့ကိုလက်ခံရရှိသူမြား၏မိတ်ဆွေများကဒီကုသမှု၏အကျိုးသက်ရောက်မှု detect ရန်ကြိုးစားသည်။ အဘယ်ကြောင့်ဆိုသော်စမ်းသပ်မှု၏ဒီဇိုင်းဤ spillovers သန့်ရှင်းမှု detect လုပ်ဖို့ခက်ခဲပါ၏ စိတ်ဝင်စားစာဖတ်သူများမြင်ရပါလိမ့်မယ် Bond et al. (2012) တစ်ဦးထက်ပိုနှံ့နှံ့စပ်စပ်ဆွေးနွေးမှုသည်။ ဂျုံးစ်နှင့်လုပ်ဖော်ကိုင်ဖက်များ (2017) ကိုလည်း 2012 ရွေးကောက်ပွဲကာလအတွင်းအလွန်ဆင်တူစမ်းသပ်မှုပြုလုပ်ခဲ့သည်။ ဤရွေ့ကားစမ်းသပ်ချက်မဲပေးအားပေးဖို့ကြိုးစားအားထုတ်မှုအပေါ်နိုင်ငံရေးသိပ္ပံအတွက်စမ်းသပ်ချက်တစ်ခုရှည်လျားသောအစဉ်အလာ၏အစိတ်အပိုင်းများမှာ (Green and Gerber 2015) ။ သူတို့ Pasteur ရဲ့ quadrant အတွက်ကြောင့်ဤအရထွက်-The-မဲစမ်းသပ်ချက်တစ်စိတ်တစ်ဒေသအတွက်ဘုံဖြစ်ကြသည်။ ဒါကမဲပေးနှင့်မဲပေးတိုးမြှင့်ဖို့လှုံ့ဆော်နေသောများစွာသောလူအပြုအမူပြောင်းလဲမှုနှင့်လူမှုရေးသြဇာလွှမ်းမိုးမှုအကြောင်းပိုမိုယေဘုယျသီအိုရီကိုစမ်းသပ်ဖို့စိတ်ဝင်စားစရာကောင်းတဲ့အပြုအမူနိုင်ပါတယ်ရှိပါတယ်ဖြစ်ပါသည်။

မိတ်ဖက်ထိုကဲ့သို့သောနိုင်ငံရေးပါတီများအဖြစ်အဖွဲ့အစည်းများ, အစိုးရမဟုတ်သောအဖွဲ့အစည်းများနှင့်စီးပွားရေးလုပ်ငန်းများနှင့်အတူလယ်ပြင်စမ်းသပ်ချက်အပြေးအကြောင်းကိုအကြံဉာဏ်တွေ့ Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) နှင့် Gueron (2002) ။ အဖွဲ့အစည်းများနှင့်အတူလက်တွဲသုတေသနဒီဇိုင်းများ impact နိုင်ပါတယ်ဘယ်လိုအကြံအစည်သည်တွေ့ King et al. (2007) နှင့် Green, Calfano, and Aronow (2014) ။ တို့ကဆွေးနွေးထားတဲ့အတိုင်းမိတ်ဖက်ကိုလည်းကျင့်ဝတ်ဆိုင်ရာမေးခွန်းများကိုဖြစ်ပေါ်စေနိုင်ပါသည် Humphreys (2015) နှင့် Nickerson and Hyde (2016) ။

• ဒီဇိုင်းအကွံဉာဏျ (အပိုင်း 4.6)

သင်သည်သင်၏စမ်းသပ်မှုအပြေးမီခွဲခြမ်းစိတ်ဖြာအစီအစဉ်ကိုဖန်တီးသွားနေတယ်ဆိုရင်, ငါသည်သင်တို့ကိုအစီရင်ခံလမ်းညွှန်ချက်များကိုဖတ်ရှုခြင်းဖြင့်စတင်ပါကြောင်းအကြံပြုအပ်ပါသည်။ အဆိုပါဖှဲ့ (စမ်းသပ်မှု၏ Consolidated နျ Standard အစီရင်ခံ) လမ်းညွှန်ချက်ဆေးပညာတီထွင်ခဲ့ကြ (Schulz et al. 2010) နှင့်လူမှုရေးသုတေသနအတွက်ပြုပြင်ထားသော (Mayo-Wilson et al. 2013) ။ လမ်းညွှန်ချက်တစ်ခုဆက်စပ် set ကိုစမ်းသပ်နိုင်ငံရေးသိပ္ပံများ၏ဂျာနယ်၏အယ်ဒီတာကတီထွင်ထားပြီး (Gerber et al. 2014) (အစတွေ့မြင် Mutz and Pemantle (2015) နှင့် Gerber et al. (2015) ) ။ နောက်ဆုံးအနေနဲ့အစီရင်ခံလမ်းညွှန်ချက်များစိတ်ပညာအတွက်တီထွင်ခဲ့ကြ (APA Working Group 2008) နှင့်လည်းကြည့်ရှု Simmons, Nelson, and Simonsohn (2011) ။

သင်တစ်ဦးခွဲခြမ်းစိတ်ဖြာအစီအစဉ်ကိုဖန်တီးခဲ့လျှင် Pre-မှတ်ပုံတင်ရေးအခြားသူတွေသင့်ရဲ့ရလဒ်တွေရှိသည်သောယုံကြည်မှုတိုးပွါးလိမ့်မည်ဖြစ်သောကြောင့်, သင်က Pre-မှတ်ပုံတင်ဖို့စဉ်းစားသင့်။ သင်တစ်ဦးအဖော်နှင့်အတူအလုပ်လုပ်နေကြပါလျှင်ထို့ပြင်ကရလဒ်တွေကိုမွငျလြှငျနောကျခွဲခြမ်းစိတ်ဖြာကိုပြောင်းလဲရန်သင့်လက်တွဲဖော်ရဲ့စွမ်းရည်ကိုကန့်သတ်ထားမည်ဖြစ်သည်။ pre-မှတ်ပုံတင်ရေးစိတ်ပညာအတွက် ပို. ပို. အဖြစ်များလာ (Nosek and Lakens 2014) , နိုင်ငံရေးသိပ္ပံ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) နှင့်ဘောဂဗေဒ (Olken 2015) ။

အထူးသအွန်လိုင်းလယ်ပြင်စမ်းသပ်ချက်အဘို့ဒီဇိုင်းအကွံဉာဏျမြားကိုလညျးအတွက်တင်ပြတာဖြစ်ပါတယ် Konstan and Chen (2007) နှင့် Chen and Konstan (2015) ။

အဘယ်အရာကိုငါ armada မဟာဗျူဟာကိုခေါ်တော့တစ်ခါတစ်ရံဆောင်ရွက်သောသုတေသနကိုခေါ်လျက်ရှိ၏ တွေ့မြင် Wilson, Aronson, and Carlsmith (2010) ။

• သုည variable ကိုကုန်ကျစရိတ်ဒေတာ (အပိုင်း 4.6.1) Create

အဆိုပါ MusicLab စမ်းသပ်ချက်အပေါ်ပိုပြီးအဘို့အတွေ့ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) နှင့် Salganik (2007) ။ ဆုရှင်-ယူ-အားလုံးစျေးကွက်အပေါ်ပိုပြီးအဘို့အတွေ့ Frank and Cook (1996) ။ ပိုပြီးယေဘုယျအား untangling ကံကောင်းခြင်းများနှင့်ကျွမ်းကျင်မှုအပေါ်ပိုပြီးအဘို့အတွေ့ Mauboussin (2012) , Watts (2012) နှင့် Frank (2016) ။

စစ်မှုထမ်း: သုတေသီများသတိပေးနှငျ့အသုံးပွုသငျ့ကွောငျးပါဝင်သူငွေပေးချေမှုဖျက်သိမ်းရေးအခြားချဉ်းကပ်မှုရှိပါသည်။ များစွာသောအွန်လိုင်းလယ်ပြင်စမ်းသပ်ချက်များတွင်ပါဝင်သူအခြေခံအားဖြင့်စမ်းသပ်ချက်သို့ရေးဆွဲနဲ့ဘယ်တော့မှလျော်ကြေးငွေနေကြသည်။ ဒီချဉ်းကပ်မှု၏ဥပမာ Restivo နှင့်ဗန်က de Rijt ရဲ့ပါဝင်သည် (2012) Wikipedia နဲ့ဘွန်းအတွက်ဆုလာဘ်များနှင့်လုပ်ဖော်ကိုင်ဖက်ရဲ့အပေါ်စမ်းသပ်ချက် (2012) ကိုမဲပေးလူတွေကိုအားပေးအားမြှောက်အပေါ်စမ်းသပ်ချက်။ ဤရွေ့ကားစမ်းသပ်ချက်ကယ့်ကိုသူတို့သုတေသီများမှသုည variable ကိုကုန်ကျစရိတ်ရှိသည်, သုည variable ကိုကုန်ကျစရိတ်-မဟုတ်ဘဲရှိသည်မဟုတ်ကြဘူး။ ထိုကဲ့သို့သောစမ်းသပ်ချက်များတွင်တစ်ဦးချင်းစီပါဝင်သူဖို့ကုန်ကျစရိတ်အလွန်သေးငယ်သည်ပင်လျှင်, စုစုပေါင်းကုန်ကျစရိတ်အတော်လေးကြီးမားရှိနိုင်ပါသည်။ ဧရာအွန်လိုင်းစမ်းသပ်ချက်အပြေးသုတေသီများမကြာခဏများစွာသောလူမှလျှောက်ထားသည့်အခါဤအသေးငယ်တဲ့သက်ရောက်မှုအရေးကြီးသောဖွစျလာနိုငျဟုအားဖြင့်သေးငယ်ခန့်မှန်းခြေကုသမှုသက်ရောက်မှု၏အရေးကြီးပုံကိုအပြစ်လွတ်။ အတိအကျတူညီစဉ်းစားတွေးခေါ်သုတေသီများသင်တန်းသားများအပေါ်စည်းကြပ်ကြောင်းကုန်ကျစရိတ်သက်ဆိုင်သည်။ သင့်ရဲ့စမ်းသပ်မှုတဦးတည်းလူဦးရေသန်းတစ်မိနစ်ဖြုန်းတီးဖို့ကိုဖြစ်ပေါ်စေသည်လျှင်, စမ်းသပ်မှုမဆိုအထူးသဖြင့်လူတစ်ဦးရန်အလွန်အန္တရာယ်သည်မဟုတ်, စုစုပေါင်းထဲမှာအချိန်နီးပါးနှစ်နှစ်လျော့ပေးခဲ့သည်။

သင်တန်းသားများကိုသုည variable ကိုကုန်ကျစရိတ်ငွေပေးချေမှုဖန်တီးနောက်ထပ်ချဉ်းကပ်မှုတစ်ခုထီကိုလည်းစစ်တမ်းသုတေသနများတွင်အသုံးပြုလျက်ရှိသည်တစ်ခုချဉ်းကပ်သုံးစွဲဖို့ဖြစ်ပါတယ် (Halpern et al. 2011) ။ ပျော်စရာအသုံးပြုသူအတွေ့အကြုံများဒီဇိုင်းအကြောင်းကိုပိုမိုအဘို့အတွေ့ Toomim et al. (2011) ။ သုည variable ကိုကုန်ကျစရိတ်စမ်းသပ်ချက်ကိုဖန်တီးရန် bot တွေဟာသုံးပြီးအကြောင်းပိုမိုအဘို့ကိုတွေ့မြင် ( ??? ) ။

• အစားထိုးချက်ကိုရွေးချယ်, နှင့် (အပိုင်း 4.6.2) ကိုလျှော့ချ

အဆိုပါသုံး R ကိုရဲ့အဖြစ်မူလကအဆိုပြု Russell and Burch (1959) မှာအောက်ပါအတိုင်းကဲ့သို့ဖြစ်ကြ၏:

"အစားထိုး insentient ပစ္စည်းသတိနေထိုင်သောပိုမိုမြင့်မားတိရိစ္ဆာန်များများအတွက်အစားထိုးဆိုလိုသည်။ လျှော့ချရေးပေးထားသောငွေပမာဏနှင့်တိကျ၏သတင်းအချက်အလက်များရယူဖို့အသုံးပြုတိရိစ္ဆာန်များ၏နံပါတ်များအတွက်လျော့ချရေးကိုဆိုလိုသည်။ သနျ့လူမဆန်လုပျထုံးလုပျနညျးမြား၏ဖြစ်ပွားမှုသို့မဟုတ်ပြင်းထန်မှုအတွက်မဆိုလျော့နည်းနေဆဲအသုံးပြုရရန်ရှိသည်သောတိရိစ္ဆာန်များမှလျှောက်ထားဆိုလိုသည်။ "

အဆိုပါသုံး R ကိုရဲ့ကျွန်မသူတို့တစ်တွေပိုပြီးပီပီဗားရှင်းလူ့စမ်းသပ်ချက်၏ setting ကိုရှိသူတို့-အထူးသအခြေခံမူ-ကောင်းတဲ့အထဲကတစ်ခုဖြစ်ကြောင်း, ယင်းအစားအခန်း 6 မှာဖော်ပြထားတဲ့ကျင့်ဝတ်ဆိုင်ရာအခြေခံမူ override ပါဘူးအဆိုပြုတယ်။

ပထမဦးဆုံး R ကို ( "အစားထိုး") ၏စည်းကမ်းချက်များ၌, စိတ်ပိုင်းဆိုင်ရာဘယ်လိုကူးစက်စမ်းသပ်မှုနှိုင်းယှဉ် (Kramer, Guillory, and Hancock 2014) နှင့်စိတ်ခံစားမှုဘယ်လိုကူးစက်သဘာဝအစမ်းသပ်မှု (Lorenzo Coviello et al. 2014) ပါဝင်သည့် trade-off အကြောင်းကိုအချို့သောယေဘုယျသင်ခန်းစာများကမ်းလှမ်း သဘာဝကစမ်းသပ်ချက်မှစမ်းသပ်ချက်ကနေရွေ့လျားအတွက် (နှင့် Non-စမ်းသပ်ဒေတာအတွက်စမ်းသပ်ချက်ဆုံးခနျ့မှနျးဖို့ကြိုးပမ်းမှုကိုက်ညီကဲ့သို့အခြားချဉ်းကပ်မှု, အခန်း 2 ကိုကြည့်ပါ) ။ အဆိုပါကျင့်ဝတ်ဆိုင်ရာအကျိုးခံစားခွင့်များအပြင်, Non-စမ်းသပ်လေ့လာမှုများမှစမ်းသပ်ရာမှ switching လည်းသူတို့ပို့ဆောင်ထောက်ပံ့ရေးဆိုင်ရာကိစ္စရပ်များလုပ်ငန်းတွေစတင်ဖို့နိုင်ခြင်းဖြစ်ကြောင်းကုသမှုလေ့လာဖို့သုတေသီများနိုင်ပါတယ်။ ဒီလိုကျင့်ဝတ်များနှင့်ထောက်ပံ့ပို့ဆောင်ရေးအကြိုးခံစားခှငျ့သို့သော်တစ်ဦးကုန်ကျစရိတ်မှာလာကြ၏။ သဘာဝကစမ်းသပ်ချက်နှင့်အတူသုတေသီများလျော့နည်းသင်တန်းသားများ၏စုဆောင်းမှုနဲ့တူသောအရာတို့ကိုထိန်းချုပ် Random, နှင့်ကုသမှု၏သဘောသဘာဝရှိသည်။ ဥပမာ, ကုသမှုအဖြစ်မိုးရေချိန်၏တဦးတည်းန့်အသတ်ကြောင့်အပြုသဘောဆောင်တိုးပွါးခြင်းနှင့်အဆိုးမြင်စိတ်တွေလျော့ကျနှစ်ဦးစလုံးဖြစ်ပါတယ်။ စမ်းသပ်လေ့လာမှုမှာ, သို့သော်, Kramer နှင့်လုပ်ဖော်ကိုင်ဘက်များလွတ်လပ်စွာ positive အဆိုးမြင်စိတ်တွေထိန်းညှိဖို့နိုင်ခဲ့သည်။ အသုံးပြုတဲ့အထူးသဖြင့်ချဉ်းကပ် Lorenzo Coviello et al. (2014) ထပ်မံအားဖြင့်အသေးစိတ်ရှင်းလင်းခဲ့သည် L. Coviello, Fowler, and Franceschetti (2014) ။ အသုံးပြုတဲ့ချဉ်းကပ်နည်းဖြစ်သည့်ဆာပ variable တွေကိုတစ်ခုမိတ်ဆက်သည် Lorenzo Coviello et al. (2014) တွေ့ Angrist and Pischke (2009) (အောက်သာတရားဝင်) သို့မဟုတ် Angrist, Imbens, and Rubin (1996) (အသေးစိတ်တရားဝင်) ။ ဆာ variable တွေကိုတစ်ဦးသံသယအကဲဖြတ်ဘို့တွေ့ Deaton (2010) နှင့်အားနည်းတူရိယာနှင့်အတူဆာပ variable တွေကိုတစ်ခုမိတ်ဆက်များအတွက် (မိုးရွာရွာအားနည်းတူရိယာဖြစ်ပါတယ်), ကိုတွေ့မြင် Murray (2006) ။ ပိုများသောယေဘုယျအားဖြင့်သဘာဝစမ်းသပ်ချက်မှကောင်းတစ်ဦးမိတ်ဆက်ပေးတဲ့ဖြစ်ပါတယ် Dunning (2012) အနေဖြင့်, Rosenbaum (2002) , ( ??? ) နှင့် Shadish, Cook, and Campbell (2001) စမ်းသပ်ချက်မရှိဘဲကြောင်းကျိုးဆက်စပ်ဆိုးကျိုးများခန့်မှန်းအကြောင်းကိုကောင်းသောစိတ်ကူးများကိုဆက်ကပ်။

ပို့စ်များကိုတိုးမြှင့်ဖို့ပို့စ်များကိုပိတ်ဆို့ခြင်းကနေစိတ်ခံစားမှုဘယ်လိုကူးစက်၏ဒီဇိုင်းကိုပြောင်းလဲထည့်သွင်းစဉ်းစားသည့်အခါဒုတိယ R ကို ( "သနျ့") ၏စည်းကမ်းချက်များ၌, သိပ္ပံနည်းကျနှင့်ထောက်ပံ့ပို့ဆောင်ရေး trade-off ရှိပါတယ်။ ဥပမာအားဖြင့်, က News Feed တွေကိုများ၏နည်းပညာပိုင်းအကောင်အထည်ဖော်မှုက (ပို့စ်ပိတ်ဆို့ခြင်းနဲ့ပတ်သက်တဲ့စမ်းသပ်မှုတစ်ခုအကောင်အထည်ဖော်နိုင်သတိပြုပါရေးသားချက်များမဟုတ်ဘဲသူတို့တိုးမြှင်ထားတဲ့အတွက်တဦးတည်းထက်ပိတ်ဆို့ထားသည့်အတွက်စမ်းသပ်မှုတစ်ခုလုပ်ဖို့သိသိသာသာလွယ်ကူသည်ကိုအမှုဖြစ်မည်အကြောင်း ) ကိုနောက်ခံစနစ်၏ပြောင်းလဲဘို့ဆိုလိုအပ်မှုမရှိဘဲ News Feed တွေကိုစနစ်၏ထိပ်ပေါ်မှာအလွှာအဖြစ်။ သိပ္ပံနည်းကျသို့သော်စမ်းသပ်မှုအားဖြင့်ကိုင်တွယ်ဖြေရှင်းသီအိုရီရှင်းလင်းစွာအခြားအပေါ်မှာတယောက်ဒီဇိုင်းအကြံပြုခဲ့ပါဘူး။ ကံမကောင်းစွာပဲ, ငါသတင်းများ Feed တွင်အကြောင်းအရာပိတ်ဆို့ခြင်းနှင့်တိုးမြှင်၏ဆွေမျိုးတန်ရာအကြောင်းကိုသိသိသာသာကြိုတင်သုတေသနပြုသတိထားမဟုတ်ဖြစ်၏။ ဒါ့အပြင်သူတို့ကိုငါအန္တရာယ်နည်းပါးစေရန်ကုသမှုသနျ့အကွောငျးကိုအများကြီးသုတေသနမြင်ကြပြီမဟုတ်; တဦးတည်းချွင်းချက်ဖြစ်ပါသည် B. Jones and Feamster (2015) တွင်အင်တာနက်ဆင်ဆာဖြတ်တောက်မှု (ငါ Encore လေ့လာမှုဆက်ဆံရေးအတွက်ကျအခနျး 6 မှာဆွေးနွေးပါတဲ့ခေါင်းစဉ်၏တိုင်းတာခြင်း၏ဖြစ်ရပ်စဉ်းစားသော (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ) ။

တတိယ R ကို ( "လျော့ချရေး") ၏စည်းကမ်းချက်များ၌ရိုးရာပါဝါခွဲခြမ်းစိတ်ဖြာဖို့ကောင်းသောနိဒါနျးကပေးတဲ့နေကြသည် Cohen (1988) (စာအုပ်) နှင့် Cohen (1992) အနေဖြင့်, (ဆောင်းပါး) Gelman and Carlin (2014) အနည်းငယ်ကွဲပြားခြားနားသောရှုထောင့်ကိုဆက်ကပ်။ pre-ကုသမှု covariates စမ်းသပ်ချက်များ၏ဒီဇိုင်းနှင့်ခွဲခြမ်းစိတ်ဖြာအဆင့်တွင်ထည့်သွင်းနိုင်ပါသည်; အခန်း 4 Gerber and Green (2012) နှစ်ဦးစလုံးချဉ်းကပ်ဖို့ကောင်းတစ်ဦးမိတ်ဆက်ပေးပါသည်နှင့် Casella (2008) တစ်ဦးထက်ပို In-depth ကိုကုသမှုပေးစွမ်းသည်။ ကျပန်း၌ဤ Pre-ကုသမှုသတင်းအချက်အလက်အသုံးပြုနည်းစနစ်ပုံမှန်အားဖြင့်ဖြစ်စေဟုခေါ်တွင်စမ်းသပ်ဒီဇိုင်းများသို့မဟုတ် stratified စမ်းသပ်ဒီဇိုင်းများ (ထိုဝေါဟာရများအသိုင်းအဝိုင်းဖြတ်ပြီးတသမတ်တည်းအသုံးမပြုပါ) ကိုပိတ်ဆို့ထားကြသည်, ဒီလိုနည်းပညာအခန်း 3 တွင်ကြည့်ရှုဆွေးနွေး stratified နမူနာနည်းစနစ်မှနီးကပ်စွာဆက်စပ်နေပါတယ် Higgins, Sävje, and Sekhon (2016) ဧရာစမ်းသပ်ချက်တွင်ဤဒီဇိုင်းများကို အသုံးပြု. အပေါ်ပိုပြီးအဘို့။ pre-ကုသမှု covariates ကိုလည်းဆန်းစစ်အဆင့်တွင်ထည့်သွင်းနိုင်ပါသည်။ McKenzie (2012) ထက် သာ. ကြီးမြတ်သောအသေးစိတျကိုလယ်စမ်းသပ်ချက်ခွဲခြားစိတ်ဖြာဖို့ခြားနားချက်-In-ကွဲပြားခြားနားမှုချဉ်းကပ်လေ့လာ။ ကြည့်ရှုပါ Carneiro, Lee, and Wilhelm (2016) ကုသမှုသက်ရောက်မှု၏ခန့်မှန်းချက်များတွင်တိကျတိုးမြှင့်ဖို့ကွဲပြားခြားနားသောချဉ်းကပ်မှုများအကြား trade-off အပေါ်ပိုပြီးအဘို့။ ဒီဇိုင်းသို့မဟုတ်ခွဲခြမ်းစိတ်ဖြာဇာတ်စင် (သို့မဟုတ်နှစ်ဦးစလုံး) မှာ Pre-ကုသမှု covariates ထည့်သွင်းရန်ကြိုးစားရန်ရှိမရှိဆုံးဖြတ်သည့်အခါနောက်ဆုံးတွင်, စဉ်းစားရန်အနည်းငယ်အချက်များရှိပါသည်။ သုတေသီများသူတို့ "ငါးဖမ်း" မစပ်ဆိုင်ကြောင်းကိုပြသချင်ရာ setting ကိုခုနှစ်တွင် (Humphreys, Sierra, and Windt 2013) , ဒီဇိုင်းအဆင့်တွင် Pre-ကုသမှု covariates သုံးပြီးအထောက်အကူဖြစ်စေနိုင်ပါတယ် (Higgins, Sävje, and Sekhon 2016) ။ သင်တန်းသားများကို, ဆင့်ကဲအထူးသဖြင့်အွန်လိုင်းလယ်ပြင်စမ်းသပ်ချက်ရောက်လာဘယ်မှာအခြေအနေများမှာဒီဇိုင်းအဆင့်တွင် Pre-ကုသမှုသတင်းအချက်အလက်ကို အသုံးပြု. ပို့ဆောင်ထောက်ပံ့ရေးဆိုင်ရာကိစ္စရပ်များခက်ခဲဖြစ်နိုင်သည်; ဥပမာ, ကိုတွေ့မြင် Xie and Aurisset (2016) ။

ဒါဟာကွာခြားချက်-In-ကွဲပြားခြားနားမှုချဉ်းကပ်နိုင်အောင်အများကြီးပိုထိရောက်တဲ့ခြားနားချက်-In-ဆိုလိုတယ်တဦးတည်းထက်နိုင်ပါတယ်ဘာဖြစ်လို့အကြောင်းကိုပင်ကိုယ်အနည်းငယ်ဖြည့်စွက်ရကျိုးနပ်သည်။ အတော်များများအွန်လိုင်းရလဒ်များအလွန်မြင့်မားကှဲလှဲရှိ (ဥပမာတွေ့ RA Lewis and Rao (2015) နှင့် Lamb et al. (2015) ) နှင့်အချိန်ကြာလာတာနဲ့အမျှအတော်လေးတည်ငြိမ်ဖြစ်ကြသည်။ ဤကိစ္စတွင်ခုနှစ်, အပြောင်းအလဲကိုရမှတ်စာရင်းအင်းစမ်းသပ်မှု၏တန်ခိုးကိုတိုးမြှင့်, သိသိသာသာသေးငယ်ကှဲလှဲရပါလိမ့်မယ်။ ဒီချဉ်းကပ်မှုကပိုမကြာခဏအသုံးပြုကြသည်မဟုတ်ပါအကြောင်းရင်းတစ်ခုမှာဒီဂျစ်တယ်ခေတ်ကိုကြိုတင်ဖြစ်ပါသည်, က Pre-ကုသမှုရလဒ်များရှိသည်ဖို့ဘုံမဟုတ်ခဲ့ပေ။ ဤအကြောင်းကိုစဉ်းစားရန်တစ်ဦးထက်ပိုသောကွန်ကရစ်လမ်းတိကျတဲ့လေ့ကျင့်ခန်းလုပ်ရိုးလုပ်စဉ်ကိုယ်အလေးချိန်ကိုဖြစ်ပေါ်စေသည်ရှိမရှိတိုင်းတာရန်စမ်းသပ်မှုတစ်ခုစိတ်ကူးဖို့ဖြစ်ပါတယ်။ သင်တစ်ဦးခြားနားချက်-In-ဆိုလိုတယ်ချဉ်းကပ်ချမှတ်ခဲ့လျှင်, သင့်ခန့်မှန်းလူဦးရေအတွက်အလေးထဲမှာအမျိုးမျိုးပြောင်းလဲမှပေါ်ပေါက်အမျိုးမျိုးပြောင်းလဲရပါလိမ့်မယ်။ သင်တစ်ဦးခြားနားချက်-In-ကွဲပြားခြားနားမှုချဉ်းကပ်မှုပြုလျှင်, သို့သော်, အလေးထဲမှာသဘာဝအတိုင်းဖြစ်ပေါ်နေအပြောင်းအလဲဖယ်ရှားသည်, သင်ပိုမိုလွယ်ကူစွာကုသမှုကြောင့်ဖြစ်ရတဲ့တစ်ဦးခြားနားချက် detect နိုင်ပါတယ်။

"repurpose": နောက်ဆုံးအနေနဲ့ကျွန်မစတုတ္ထ R ကိုထည့်သွင်းစဉ်းစား။ ဒါကသုတေသီများသူတို့မူလသုတေသနမေးခွန်းတစ်ခုကိုဖြေရှင်းဖို့လိုအပ်ပါတယ်ထက်ပိုမိုစမ်းသပ်ဒေတာတွေနဲ့ကိုယ့်ကိုယ်ကိုရှာဖွေလျှင်, သူတို့သည်အသစ်သောမေးခွန်းများကိုမေးရန်ဒေတာ repurpose သင့်ပါတယ်ဖြစ်ပါသည်။ ဥပမာအားဖြင့်, Kramer နှင့်လုပ်ဖော်ကိုင်ဘက်တစ်ဦးခြားနားချက်-In-ကွဲပြားခြားနားမှုခနျ့မှနျးကိုအသုံးပြုသူတို့သုတေသနမေးခွန်းတစ်ခုကိုဖြေရှင်းရန်လိုအပ်ထက်ပိုဒေတာတွေနဲ့ကိုယ့်ကိုယ်ကိုတွေ့ဖူးကြောင်းမြင်ယောင်ကြည့်ပါ။ အဲဒီအစားညျ့အဝအတိုင်းအတာအထိ data တွေကိုအသုံးမပြုထက်, သူတို့ကကြိုတင်ကုသမှုစိတ်ခံစားမှုစကားရပ်တစ်ခု function ကိုအဖြစ်အကျိုးသက်ရောက်မှု၏အရွယ်အစားကိုလေ့လာနိုငျတယျ။ သကဲ့သို့ Schultz et al. (2007) ဖြစ်ကောင်း News Feed တွေကိုများ၏သက်ရောက်မှုပြီးသားပျော်ရွှင် (သို့မဟုတ်ဝမ်းနည်းဖွယ်) မက်ဆေ့ခ်ျ post မှတော်မှာသူကလူများအတွက်ကွဲပြားခြားနားသောခဲ့ကြသည်, ကုသမှု၏အကျိုးသက်ရောက်မှုအလင်းနှင့်မိုးသည်းထန်စွာအသုံးပြုသူများအတွက်ကွဲပြားခြားနားခဲ့တာကိုတွေ့ရှိခဲ့ပါတယ်။ Repurposing "ငါးဖမ်း" ကိုဦးဆောင်လမ်းပြနိုင် (Humphreys, Sierra, and Windt 2013) နှင့် "ကို p-hacking" (Simmons, Nelson, and Simonsohn 2011) ပေမယ့်ဒီအကြီးအကျယ်ရိုးသားအစီရင်ခံပေါင်းစပ်နှင့်အတူ addressable နေကြသည် (Simmons, Nelson, and Simonsohn 2011) , Pre-မှတ်ပုံတင် (Humphreys, Sierra, and Windt 2013) နှင့် Over-လျောက်ပတ်ရှောင်ရှားရန်ကြိုးစားကြောင်းစက်သင်ယူမှုနည်းစနစ်များ။