കൂടുതൽ കമന്ററി

ഈ വിഭാഗം .അതേതു വായിക്കണം പകരം, ഒരു റഫറൻസ് ആയി ഉപയോഗിക്കുന്ന രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്.

• ആമുഖം (വിഭാഗം 4.1)

സോഷ്യൽ ഗവേഷണം മുതലെടുക്കാന് കുറിച്ച് ചോദ്യങ്ങൾ പലപ്പോഴും സങ്കീർണ്ണമായ വളരെയധികം ആകുന്നു. കാര്യകാരണങ്ങളെ ഗ്രാഫുകൾ അടിസ്ഥാനമാക്കി മുതലെടുക്കാന് ഒരു അടിത്തറയും സമീപനം, നോക്കുവിൻ Pearl (2009) , സാധ്യതയുള്ള പാടുന്നവർ അടിസ്ഥാനമാക്കി ഒരു അടിത്തറയും സമീപനം കാണാനോ Imbens and Rubin (2015) (ഈ അധ്യായത്തിൽ സാങ്കേതിക അനുബന്ധം). ഈ രണ്ടു സമീപനങ്ങളിലും തമ്മിലുള്ള ഒരു താരതമ്യത്തിന്, കാണുക Morgan and Winship (2014) . ഒരു confounder നിർവ്വചിക്കുമ്പോൾ ഔദ്യോഗികമായി സമീപനം കാണുക VanderWeele and Shpitser (2013) .

അധ്യായത്തിൽ, ഞാൻ പരീക്ഷണാത്മക, നോൺ-പരീക്ഷണ ഡാറ്റ നിന്ന് കാര്യകാരണങ്ങളെ എസ്റ്റിമേറ്റുകൾ ഉണ്ടാക്കുവാൻ ഞങ്ങളുടെ കഴിവ് തമ്മിലുള്ള ഒരു ശോഭയുള്ള വരി തോന്നിക്കുന്ന സൃഷ്ടിച്ചു. വാസ്തവത്തിൽ, ഞാൻ വ്യത്യാസം blurrier എന്ന് തോന്നുന്നു. ഉദാഹരണത്തിന്, എല്ലാവർക്കും ന്യൂസ്പേപ്പർ നാം പുരുഷാരത്തെ പുകവലി നിര്ബന്ധമാക്കുന്നൊരു ക്രമരഹിതമായ നിയന്ത്രിത പരീക്ഷണം ചെയ്തതു ഒരിക്കലും പോലും ക്യാൻസർ കാരണമാകുന്ന സ്വീകരിക്കുകയുള്ളൂ. നോൺ-പരീക്ഷണാത്മക ഡാറ്റ നിന്ന് കാര്യകാരണങ്ങളെ കണക്കുകളിൽ ന് വിശിഷ്ടം പുസ്തകം നീളം ചികിത്സകളുടെ കാണുന്ന Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , ഒപ്പം Dunning (2012) .

അധ്യായങ്ങൾ 1, 2 Freedman, Pisani, and Purves (2007) പരീക്ഷണങ്ങളും, നിയന്ത്രണത്തിലുള്ള പരീക്ഷണങ്ങളും, ഒപ്പം ക്രമരഹിതമായ നിയന്ത്രിത പരീക്ഷണങ്ങൾ തമ്മിലുള്ള വ്യത്യാസങ്ങൾ ഒരു വ്യക്തമായ ആമുഖം വാഗ്ദാനം.

Manzi (2012) ക്രമരഹിതമായ നിയന്ത്രിത പരീക്ഷണങ്ങൾ ദാർശനികവും സ്ഥിതിവിവര ന്നാലും ഒരു കാടിന്റെ ആൻഡ് സൗകര്യമാകും ആമുഖം നൽകുന്നു. ഇത് ബിസിനസ്സിൽ പരീക്ഷണങ്ങൾ അധികാരത്തിൽ രസകരമായ യഥാർത്ഥ ഉദാഹരണങ്ങൾ നൽകുന്നു.

• പരീക്ഷണങ്ങൾ എന്തൊക്കെയാണ്? (വിഭാഗം 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) നല്ല പരിചപ്പെടുത്തൽ പരീക്ഷണാത്മക ഡിസൈൻ വിശകലനം സ്ഥിതിവിവരക്കണക്കുകളെയാണ് വശങ്ങളെ നൽകുക. സാമ്പത്തികശാസ്ത്രം: കൂടുതൽ നല്ല ചികിത്സകൾ വ്യത്യസ്ത മേഖലകളിലെ പരീക്ഷണങ്ങളെ ഉപയോഗിക്കുക ഉണ്ട് (Bardsley et al. 2009) , സോഷ്യോളജി (Willer and Walker 2007; Jackson and Cox 2013) , സൈക്കോളജി (Aronson et al. 1989) , പൊളിറ്റിക്കൽ സയൻസ് (Morton and Williams 2010) , സാമൂഹിക നയം (Glennerster and Takavarasha 2013) .

പങ്കെടുക്കുന്നയാളുടെ റിക്രൂട്ട്മെന്റ് (ഉദാ, ഒരുപറ്റം) പ്രാധാന്യം കീഴിൽ-സ്വീകരിക്കപ്പെടും പരീക്ഷണ ഗവേഷണത്തിൽ പലപ്പൊഴും. എന്നിരുന്നാലും, ചികിത്സ പ്രഭാവം ജനസംഖ്യയിൽ േമാഖലകളാക്കി കണ്ടാൽ ഒരുപറ്റം നിർണ്ണായകമാണ്. Longford (1999) അവൻ haphazard ഒരുപറ്റം ഒരു ജനസംഖ്യ സർവേ നിലയിൽ പരീക്ഷണങ്ങൾ ചിന്തിക്കുമ്പോൾ ഗവേഷകർക്കും വേണ്ടി വാദിക്കുകയും വരുമ്പോൾ വ്യക്തമായി ഈ പോയിന്റ് ചെയ്യുന്നു.

• പരീക്ഷണങ്ങളുടെ രണ്ട് അളവുകൾ: ലാബ്-മണ്ഡലം, അനലോഗ്-ഡിജിറ്റൽ (വിഭാഗം 4.3)

ഞാൻ ലാബ് ആൻഡ് ഫീൽഡ് പരീക്ഷണങ്ങൾ തമ്മിലുള്ള ഹാജരാക്കിയ വിഭജനം ഒരു ബിറ്റ് അദ്ദേഹം പറഞ്ഞു. വാസ്തവത്തിൽ, മറ്റ് ഗവേഷകർ ഫീൽഡ് പരീക്ഷണങ്ങളുടെ വിവിധ രൂപങ്ങളിലുള്ള വേർതിരിക്കാനും പ്രത്യേക ലക്ഷ്യം കൂടുതൽ വിശദമായ typologies നിര്ദ്ദേശിച്ചിട്ടുണ്ടു് (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . എന്നുതന്നെയല്ല, ലാബ് ആൻഡ് ഫീൽഡ് വിഭജനം ഘടനാ ചെയ്യാത്ത സാമൂഹിക ശാസ്ത്രജ്ഞർ നടത്തുന്ന പരീക്ഷണങ്ങൾ മറ്റു രണ്ടു തരം ഉണ്ട്:. സർവേ പരീക്ഷണങ്ങൾ സാമൂഹിക പരീക്ഷണങ്ങൾ സർവേ പരീക്ഷണങ്ങൾ നിലവിലുള്ള സർവ്വേകൾ ഇൻഫ്രാസ്ട്രക്ച്ചർ ഉപയോഗിച്ച് പരീക്ഷണങ്ങൾ അവ ബദൽ പതിപ്പുകൾ പ്രതികരണങ്ങൾ താരതമ്യം ഒരേ ചോദ്യങ്ങൾ (ചില സർവേ പരീക്ഷണങ്ങൾ അദ്ധ്യായം 3 അവതരിപ്പിച്ചിട്ടുണ്ട്); സർവേ പരീക്ഷണങ്ങളിൽ സംബന്ധിച്ചുള്ള കൂടുതൽ കാണും Mutz (2011) . ചികിത്സ സർക്കാർ മാത്രമേ നടപ്പാക്കും കഴിയുന്ന ചില സോഷ്യൽ നയം എവിടെ സോഷ്യൽ പരീക്ഷണങ്ങൾ പരീക്ഷണങ്ങൾ ആകുന്നു. സോഷ്യൽ പരീക്ഷണങ്ങൾ പ്രോഗ്രാം മൂല്യനിർണ്ണയത്തിൽ അടുത്ത ബന്ധപ്പെട്ടിരിക്കുന്നു. നയം പരീക്ഷണങ്ങളിൽ കൂടുതലറിയാൻ, കാണുക Orr (1998) , Glennerster and Takavarasha (2013) , ഒപ്പം Heckman and Smith (1995) .

പത്രിക അനേകം അമൂർത്തമായ ലാബ് ആൻഡ് ഫീൽഡ് പരീക്ഷണങ്ങൾ ഉപമിക്കുന്നു (Falk and Heckman 2009; Cialdini 2009) , പൊളിറ്റിക്കല് സയന്സ് പ്രത്യേക പരീക്ഷണങ്ങളുടെ പാടുന്നവർ കണക്കിലെടുത്ത് (Coppock and Green 2015) , സാമ്പത്തികശാസ്ത്രം (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) മനഃശാസ്ത്രത്തിലുമാണെന്ന് (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ലാബ് ആൻഡ് ഫീൽഡ് പരീക്ഷണങ്ങളിൽ നിന്ന് ഫലങ്ങളും താരതമ്യപ്പെടുത്തരുത് ഒരു നല്ല ഗവേഷണ ഡിസൈൻ പ്രദാനം ചെയ്യുന്നു.

അവർ അടുത്തുനിന്ന് നിരീക്ഷിച്ചു വരികയാണെന്നും അറിയുന്നു തങ്ങളുടെ സ്വഭാവം മാറ്റുന്നതിൽ പങ്കാളികളേക്കുറിച്ചുള്ള ആശങ്കകൾ ചിലപ്പോൾ ഡിമാൻഡ് ഇഫക്റ്റുകൾ വിളിച്ചു, അവർ മനഃശാസ്ത്രം പഠിച്ചത് ചെയ്തു (Orne 1962) ഇക്കണോമിക്സ് (Zizzo 2009) . കൂടുതലും ലാബ് പരീക്ഷണങ്ങൾ ബന്ധപ്പെട്ട ആണെങ്കിലും, ഇവർ ഒരേ പ്രശ്നങ്ങൾ അതുപോലെ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ പ്രശ്നങ്ങൾ കാരണമാകും. സത്യത്തിൽ, ഡിമാൻഡ് ഇഫക്റ്റുകൾ പുറമേ ചിലപ്പോൾ ഹാതോര്ന് ഇഫക്റ്റുകൾ, ഒരു ഫീൽഡ് പരീക്ഷണം, പടിഞ്ഞാറൻ ഇലക്ട്രിക് കമ്പനിയുടെ ഹോത്തോണിന്റെ പ്രവർത്തിക്കുന്ന 1924 ആരംഭിച്ച പ്രത്യേകമായി പ്രശസ്തമായ പ്രകാശം പരീക്ഷണങ്ങളിൽ നിന്ന് ലഭിച്ചത് ഒരു അവധി വിളിക്കപ്പെട്ടവർ (Adair 1984; Levitt and List 2011) . ഇരുവരും ആവശ്യം ഇഫക്റ്റുകളും Hawthorn ഇഫക്റ്റുകൾ അടുത്തുനിന്ന് അദ്ധ്യായം 2 ചർച്ച പ്രതിപ്രവർത്തക അളവിന്റെ ആശയം ബന്ധപ്പെട്ട (ഇതും കാണുക Webb et al. (1966) ).

ഫീൽഡ് പരീക്ഷണങ്ങളെ ചരിത്രം എക്കണോമിക്സ് വിവരിക്കുന്നുണ്ട് (Levitt and List 2009) , പൊളിറ്റിക്കൽ സയൻസ് (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , സൈക്കോളജി (Shadish 2002) , പൊതുജന നയം (Shadish and Cook 2009) . ഫീൽഡ് പരീക്ഷണങ്ങൾ വേഗം പ്രമുഖ അവിടെ സോഷ്യൽ സയൻസ് ഒന്ന് പ്രദേശം അന്താരാഷ്ട്ര വികസനം. സാമ്പത്തികശാസ്ത്രം ഉള്ളിൽ ആ സൃഷ്ടിയുടെ ഒരു നല്ല അവലോകനത്തിനായി കാണുന്ന Banerjee and Duflo (2009) , ഒരു നിർണ്ണായക അസസ്സ്മെന്റിനുള്ള കാണുന്ന Deaton (2010) . പൊളിറ്റിക്കല് ​​സയന്സ് ഈ സൃഷ്ടിയുടെ ഒരു അവലോകനത്തിനായി കാണുന്ന Humphreys and Weinstein (2009) . അവസാനമായി, ഫീൽഡ് പരീക്ഷണങ്ങൾ ഉൾപ്പെട്ട നൈതിക വെല്ലുവിളികൾ പൊളിറ്റിക്കല് ​​സയന്സ് അടുത്തറിയാനും ചെയ്തിരിക്കാം (Humphreys 2015; Desposato 2016b) , ഡെവലപ്മെന്റ് എക്കണോമിക്സ് (Baele 2013) .

അധ്യായത്തിൽ, ഞാൻ പ്രീ-ചികിത്സ വിവരങ്ങൾ കണക്കാക്കപ്പെടുന്നു ചികിത്സ ഇഫക്റ്റുകൾ കൃത്യതയാണ് മെച്ചപ്പെടുത്താൻ ഉപയോഗിക്കാൻ കഴിയും നിർദ്ദേശിച്ചു, എന്നാൽ ഈ സമീപനത്തെ കുറിച്ച് തർക്കങ്ങൾ ഉണ്ട്: Freedman (2008) , Lin (2013) , ഒപ്പം Berk et al. (2013) ; കാണാൻ Bloniarz et al. (2016) കൂടുതൽ വിവരങ്ങൾക്ക്.

• ലളിതമായ പരീക്ഷണങ്ങൾ (വിഭാഗം 4.4) മുന്നേറ്റങ്ങൾ

സാധുത, ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity, മെക്കാനിസവും ഞാൻ മൂന്നു സങ്കൽപ്പങ്ങൾ ശ്രദ്ധ തിരഞ്ഞെടുത്തു. ഈ സങ്കൽപ്പങ്ങൾ വ്യത്യസ്ത മേഖലകളിലെ വിവിധ പേരുകൾ. ഉദാഹരണത്തിന്, മനഃശാസ്ത്രജ്ഞന്മാരുടെ മധ്യസ്ഥർ മോഡറേറ്റർമാർക്കും ശ്രദ്ധ ലളിതമായ പരീക്ഷണങ്ങൾ പോകാനുള്ള പ്രവണത (Baron and Kenny 1986) . മധ്യസ്ഥർ ആശയം ഞാൻ അവയിലൊന്നാണ് വിളിക്കുന്ന പിടിച്ചെടുത്തു ആണ്, മോഡറേറ്റർമാർക്കും ആശയം ഞാൻ ബാഹ്യ സാധുത (ഉദാ, വിവിധ സാഹചര്യങ്ങളിൽ റൺ എങ്കിൽ പരീക്ഷണം ഫലങ്ങൾ വിവിധ തന്നെ) ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity (വിളിക്കുന്ന പിടിച്ചെടുത്തു ആണ് ഉദാ മറ്റ് ആളുകൾ ചിലർക്ക് വേണ്ടി ഇഫക്റ്റുകൾ വലിയ ആകുന്നു).

അനുഭവം Schultz et al. (2007) ഫലപ്രദമായ ഇടപെടലുകൾ ഡിസൈനും ഉപയോഗിയ്ക്കാം സോഷ്യൽ സിദ്ധാന്തങ്ങൾ കാണിക്കുന്നു. ഫലപ്രദമായ ഇടപെടലുകൾ രൂപകല്പനചെയ്യുവാന് സിദ്ധാന്തത്തിന്റെ പങ്കിനെക്കുറിച്ച് കൂടുതൽ ജനറൽ വാദം, കാണുക Walton (2014) .

• സാധുത (വിഭാഗം 4.4.1)

ആന്തരിക, ബാഹ്യ സാധുത എന്നീ സങ്കല്പങ്ങൾ ആദ്യം അവതരിപ്പിച്ചത് Campbell (1957) . കാണുക Shadish, Cook, and Campbell (2001) കൂടുതൽ വിശദമായ ചരിത്രം സ്റ്റാറ്റിസ്റ്റിക്കൽ നിഗമനത്തിൽ സാധുത, ആന്തരിക സാധുത, സാധുത നിർമിക്കുക, എക്സ്റ്റേണൽ സാധുത ഒരു ശ്രദ്ധിക്കുക വിശദീകരിക്കേണ്ടതുണ്ട് വേണ്ടി.

പ്രശ്നങ്ങൾ ഒരു അവലോകനം പരീക്ഷണങ്ങളിൽ സ്റ്റാറ്റിസ്റ്റിക്കൽ നിഗമനത്തിൽ സാധുത ബന്ധപ്പെട്ട കാണുന്ന Gerber and Green (2012) (ഒരു സാമൂഹ്യ ശാസ്ത്രം കാഴ്ചപ്പാട് വേണ്ടി) Imbens and Rubin (2015) (സ്ഥിതിവിവര കാഴ്ചപ്പാട് വേണ്ടി). ഓൺലൈൻ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ പ്രത്യേകമായി എഴുന്നേറ്റു സ്റ്റാറ്റിസ്റ്റിക്കൽ നിഗമനത്തിൽ സാധുത ചില പ്രശ്നങ്ങൾ പോലുള്ള ആശ്രിത ഡാറ്റ ഉപയോഗിച്ച് ആത്മവിശ്വാസം ഇടവേളകളിൽ സൃഷ്ടിക്കാൻ കമ്പ്യൂട്ടേഷണൽ കാര്യക്ഷമമായ രീതികൾ പ്രശ്നങ്ങൾ ഉൾപ്പെടുന്നു (Bakshy and Eckles 2013) .

ആന്തരിക സാധുത സങ്കീർണമായ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ ഉറപ്പാക്കാൻ പ്രയാസമാണ്. കാണുക, ഉദാഹരണത്തിന്, Gerber and Green (2000) , Imai (2005) , ഒപ്പം Gerber and Green (2005) .നവ ഒരു സങ്കീർണ്ണമായ ഫീൽഡ് പരീക്ഷണം നടപ്പാക്കുന്നതിന് കുറിച്ച് ചർച്ച. Kohavi et al. (2012) ഉം Kohavi et al. (2013) ഓൺലൈൻ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ ഇടവിട്ട് സാധുത വെല്ലുവിളികൾ ഒരു ആമുഖം നൽകുക.

ആന്തരിക സാധുത കൂടെ ഒരു പ്രധാന ആശങ്ക റാൻഡമൈസേഷനും പ്രശ്നങ്ങൾ ആണ്. തീർത്തും റാൻഡമൈസേഷനും പ്രശ്നങ്ങൾ കണ്ടെത്തുന്നതിനും ഒരു വഴി നിരീക്ഷണ നേതൃപാടവം ന് ചികിത്സ നിയന്ത്രണവും ഗ്രൂപ്പുകൾ താരതമ്യം എന്നതാണ്. താരതമ്യത്തിൽ ഇത്തരത്തിലുള്ള ഒരു ബാലൻസ് ചെക്ക് വിളിക്കുന്നു. കാണുക Hansen and Bowers (2008) പരിശോധനകൾ ബാലൻസ് സ്ഥിതിവിവര സമീപനം നോക്കുവിൻ Mutz and Pemantle (2015) ബാലൻസ് പരിശോധനകൾ ഉത്കണ്ഠകൾക്കോ. ഉദാഹരണത്തിന്, ഒരു ബാലൻസ് പരിശോധിക്കുക ഉപയോഗിച്ച് Allcott (2011) റാൻഡമൈസേഷനും OPower പരീക്ഷണങ്ങൾ (സൈറ്റുകളും 2, 6, 8 പട്ടിക 2 കാണുക) ചില പരീക്ഷണങ്ങൾക്കു മൂന്ന് ശരിയായി നടപ്പിലാക്കി എന്നു ചില തെളിവുകൾ ഇല്ല എന്ന് കണ്ടെത്തി. മറ്റ് സമീപനങ്ങളെയും കാണുക Imbens and Rubin (2015) , അദ്ധ്യായം 21.

ആന്തരിക സാധുത ബന്ധപ്പെട്ട മറ്റു പ്രധാന ആശങ്കകൾ ഇവയാണ്: ചികിത്സ ഗ്രൂപ്പിൽ എല്ലാവർക്കും യഥാർത്ഥത്തിൽ ചികിത്സ ലഭിച്ച 1) ഏകപക്ഷീയമായ നോൺ-പാലിക്കൽ, 2) രണ്ടു നോൺ-പാലിക്കൽ, ചികിത്സ ഗ്രൂപ്പിൽ എല്ലാവർക്കും ചികിത്സ ചില കൈക്കൊള്ളുന്നു എവിടെ വശങ്ങളുള്ള നിയന്ത്രണ ഗ്രൂപ്പിൽ ഗുണകരമാണെന്ന് ചില പങ്കാളികൾക്കും നിർണയിക്കുന്നത് എവിടെ ചികിത്സ, 3) കൊഴിഞ്ഞുപോക്ക്,, 4) ഇടപെടലുകളും, ചികിത്സ നിയന്ത്രണ കണ്ടീഷൻ ആളുകൾക്ക് ചികിത്സ കണ്ടീഷൻ ആളുകളിൽ നിന്ന് മേൽ വ്യാപിക്കുന്നു എവിടെ ലഭിക്കും. കാണുക Gerber and Green (2012) ഈ പ്രശ്നങ്ങളിൽ ഓരോ അതിലേറെ അദ്ധ്യായങ്ങൾ 5, 6, 7, 8.

പരവലയങ്ങൾക്കു് സാധുത കൂടുതലറിയാൻ, കാണുക Westen and Rosenthal (2003) വലിയ ഡാറ്റ ഉറവിടങ്ങളിൽ, ൽ, പരവലയങ്ങൾക്കു് സാധുത സംബന്ധിച്ച് കൂടുതലറിയാൻ Lazer (2015) ഈ അധ്യായത്തിൽ 2.

ബാഹ്യ സാധുത ഒരു വശം എവിടെ ഒരു ഇടപെടൽ ശോധന ക്രമീകരണം. Allcott (2015) സൈറ്റിന്റെ നിരക്കു നിഷ്പക്ഷമായി ശ്രദ്ധിക്കുക സൈദ്ധാന്തിക വിവരണാത്മകവുമാണെന്നതിനാലും ചികിത്സ നൽകുന്നു. ഈ പ്രശ്നം പുറമേ ചര് Deaton (2010) . നിരവധി സൈറ്റുകൾ അന്യാധീനപ്പെട്ടു പുറമേ, ഹോം എനർജി റിപ്പോർട്ട് ഇടപെടൽ അതും ഒന്നിലധികം ഗവേഷണ ഗ്രൂപ്പുകൾ (ഉദാ സ്വതന്ത്ര പഠനങ്ങൾ നടത്തിയിട്ടുണ്ട് Ayres, Raseman, and Shih (2013) ).

• ചികിത്സ ഇഫക്റ്റുകൾ (വിഭാഗം 4.4.2) എന്ന Heterogeneity

ഫീൽഡ് പരീക്ഷണങ്ങളിൽ ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity മികച്ച ചുരുക്കവിവരണത്തിനായി, അദ്ധ്യായം 12 കാണും Gerber and Green (2012) . മെഡിക്കൽ പരിശോധനകളും ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity ലേക്കുള്ള പരിചപ്പെടുത്തൽ, കാണുക Kent and Hayward (2007) , Longford (1999) , ഒപ്പം Kravitz, Duan, and Braslow (2004) . ചികിത്സ ഇഫക്റ്റുകൾ Heterogeneity സാധാരണയായി പ്രീ-ചികിത്സ സ്വഭാവസവിശേഷതകൾ അടിസ്ഥാനമാക്കി വ്യത്യാസങ്ങൾ ശ്രദ്ധ. നിങ്ങൾ പോസ്റ്റ്-ചികിത്സ പാടുന്നവർ അടിസ്ഥാനമാക്കി heterogeneity താൽപ്പര്യമില്ലെങ്കിൽ, കൂടുതൽ സങ്കീർണ്ണമായ approachs പ്രിൻസിപ്പൽ നാടകമുണ്ടായിരുന്നു പോലുള്ള ആവശ്യമാണ് (Frangakis and Rubin 2002) ; കാണാൻ Page et al. (2015) ഒരു അവലോകനത്തിനായി.

പല ഗവേഷകർ ഉദാഹരണത്തിന് ലീനിയർ റിഗ്രഷൻ ഉപയോഗിച്ച് ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity കണക്കുകൂട്ടുന്നു, പക്ഷേ പുതിയ രീതികൾ മെഷീൻ ലേണിംഗ് ആശ്രയിക്കുന്നു Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ഒപ്പം Athey and Imbens (2016a) .

കാരണം ഒന്നിലധികം താരതമ്യത്തിന് പ്രശ്നങ്ങൾ അതിൽ ഏറ്റവും ഇഫക്റ്റുകൾ heterogeneity കണ്ടെത്തൽ കുറിച്ച് ചില കഷ്ണം ആണ് ഒന്നിലധികം താരതമ്യത്തിന് കുറിച്ച് വിലാസം ആശങ്കകൾ സഹായിക്കുന്ന സ്റ്റാറ്റിസ്റ്റിക്കൽ സമീപനങ്ങളുടെ മുറികൾ ഉണ്ട് "മീൻ." (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "ഫിഷിംഗ്" കുറിച്ച് ആശങ്കകൾ ഒരു സമീപനം മനഃശാസ്ത്രം കൂടുതൽ സാധാരണമായിത്തീർന്നുകൊണ്ടിരിക്കുകയാണു് ഏത് പ്രീ-രജിസ്ട്രേഷൻ ആണ് (Nosek and Lakens 2014) , പൊളിറ്റിക്കൽ സയൻസ് (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ഇക്കണോമിക്സ് (Olken 2015) .

പഠിക്കാൻ Costa and Kahn (2013) പരീക്ഷണം കുടുംബങ്ങളുടെ ഏകദേശം പകുതി ജനസംഖ്യാപരമായ വിവരങ്ങൾ ലിങ്കുചെയ്യൂ സാധിച്ചു. ഈ വിശകലനത്തിൽ ഉപയോഗിച്ച് വിശദാംശങ്ങൾ സാധ്യമായ പ്രശ്നങ്ങൾ താൽപ്പര്യമുള്ള വായനക്കാർ യഥാർത്ഥ പേപ്പർ റഫർ ചെയ്യേണ്ടതാണ്.

• കറകളഞ്ഞ (വിഭാഗം 4.4.3)

കറകളഞ്ഞ അവിശ്വസനീയമായ പ്രധാനമാണ്, എന്നാൽ അവർ പഠനം പ്രയാസമാണ് പറവാൻ. അടുത്തുനിന്ന് മനഃശാസ്ത്രത്തിന്റെ മധ്യസ്ഥർ പഠനത്തിന് ബന്ധപ്പെട്ട അവയിലൊന്നാണ് കുറിച്ച് റിസർച്ച് (മാത്രമല്ല കാണും VanderWeele (2009) രണ്ടു ആശയങ്ങൾ തമ്മിലുള്ള കൃത്യമായ താരതമ്യത്തിന്). പോലുള്ള വികാസം സമീപനം അവയിലൊന്നാണ് കണ്ടെത്തുന്നതിൽ ലേക്ക് സ്ഥിതിവിവര സമീപനങ്ങളെയും, Baron and Kenny (1986) , പുതുമയല്ല. നിർഭാഗ്യവശാൽ, ആ നടപടിക്രമങ്ങൾ ചില ശക്തമായ അനുമാനങ്ങൾ ആശ്രയിച്ചുള്ള മാറുകയാണെങ്കിൽ (Bullock, Green, and Ha 2010) ഒറ്റ പല സാഹചര്യങ്ങളിൽ പ്രതീക്ഷിക്കും പോലെ ഒന്നിലധികം അവയിലൊന്നാണ് വരുമ്പോൾ സഹിച്ചു (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ഉം Imai and Yamamoto (2013) ചില മെച്ചപ്പെട്ട സ്റ്റാറ്റിസ്റ്റിക്കൽ രീതികൾ വാഗ്ദാനം. എന്നുതന്നെയല്ല, VanderWeele (2015) സംവേദനക്ഷമത വിശകലനം ഒരു സമഗ്രമായ സമീപനം ഉൾപ്പെടെ പ്രധാനപ്പെട്ട ഫലങ്ങൾ, ഒരു നമ്പറിൽ ഒരു പുസ്തകം ദൈർഘ്യമുള്ള ചികിത്സ പ്രദാനം ചെയ്യുന്നു.

ഒരു പ്രത്യേക സമീപനം (നാവികരും വിറ്റാമിൻ സി നൽകുന്ന ഉദാ,) നേരിട്ട് മെക്കാനിസം കൃത്രിമം നടത്താൻ ശ്രമിക്കുന്ന പരീക്ഷണങ്ങൾ ശ്രധിക്കുന്നു. നിർഭാഗ്യവശാൽ, പല സാമൂഹിക ശാസ്ത്രം ക്രമീകരണങ്ങളിൽ അവിടെ പലപ്പോഴും ഒന്നിലധികം അവയിലൊന്നാണ് ആകുന്നു മറ്റുള്ളവരുടെ മാറ്റുന്നതിൽ കൂടാതെ മാറ്റാൻ ഞങ്ങൾ ചികിത്സകൾ ഡിസൈനും ബുദ്ധിമുട്ടാണ്. പരിക്ഷണാടിസ്ഥാനത്തിൽ, സംവിധാനങ്ങൾ പന്തിന്റെ ചില സമീപനങ്ങളുടെ പ്രതിപാദിച്ചിരിക്കുന്നു Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ഒപ്പം Pirlott and MacKinnon (2016) .

വിശേഷിപ്പിച്ചത് ഒടുവിൽ അവയിലൊന്നാണ് പുറമേ ശാസ്ത്രത്തിന്റെ തത്ത്വചിന്തയിലെ ഒരു നീണ്ട ചരിത്രമുണ്ട് Hedström and Ylikoski (2010) .

• നിലവിലുള്ള സാഹചര്യങ്ങളിലുള്ള (വിഭാഗം 4.5.1.1) ഉപയോഗിക്കുന്നു

വിവേചനം അളക്കാൻ കറസ്പോണ്ടൻസ് പഠനം, ഓഡിറ്റ് പഠനങ്ങൾ ഉപയോഗത്തിൽ കൂടുതൽ കാണുക Pager (2007) .

• നിങ്ങളുടെ സ്വന്തം പരീക്ഷണം (വിഭാഗം 4.5.1.2) ബിൽഡ്

നിങ്ങൾ പണിയുന്ന പരീക്ഷണങ്ങൾ പങ്കെടുക്കുന്നവരെ റിക്രൂട്ട് സാധാരണ രീതി ആമസോൺ മെക്കാനിക്കൽ ട്രങ്ക് (MTurk) ആണ്. പരമ്പരാഗത ലാബ് പരീക്ഷണങ്ങൾ-അടയ്ക്കേണ്ട ജനം സ്വതന്ത്ര-പല ഗവേഷകരും ഇതിനകം പരമ്പരാഗത വേഗത്തിൽ വിലകുറഞ്ഞതുമായ ഡാറ്റ ശേഖരണം കാരണമാകുന്നു മനുഷ്യ വിഷയങ്ങൾ പരീക്ഷണങ്ങളിൽ പങ്കെടുക്കുന്നവരിൽ പോലെ Turkers (MTurk ന് പ്രവർത്തകർ) ഉപയോഗിച്ച് ആരംഭിച്ചിട്ടുണ്ട് അവർ ചെയ്യാത്തവരെ ചുമതലകൾ പൂർത്തിയാക്കാൻ ഓഫ് MTurk അനുകരിക്കുന്നു വശങ്ങൾ ഓൺ-കാമ്പസ് ലബോറട്ടറി പരീക്ഷണങ്ങൾ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk നിന്ന് റിക്രൂട്ട് പങ്കെടുക്കുന്നവരുമായി പരീക്ഷണങ്ങൾ ഏറ്റവും വലിയ ശക്തി എത്തിക്കുന്നതിന്റെ; അവർ ഗവേഷകർ വേഗത്തിൽ ആവശ്യമുളള പങ്കെടുക്കുന്നവർ റിക്രൂട്ട് അനുവദിക്കും. ലാബ് പരീക്ഷണങ്ങൾ പ്രവർത്തിപ്പിക്കാൻ ആഴ്ച എടുക്കാം ആൻഡ് ഫീൽഡ് പരീക്ഷണങ്ങൾ സജ്ജമാക്കുന്നത് ലേക്കുള്ള മാസം എടുക്കാം എന്നാൽ, MTurk നിന്ന് റിക്രൂട്ട് പങ്കെടുക്കുന്നവരുമായി പരീക്ഷണങ്ങൾ ദിവസങ്ങളിൽ പ്രവർത്തിക്കാൻ കഴിയൂ. ഉദാഹരണത്തിന്, Berinsky, Huber, and Lenz (2012) ഒരു 8 മിനിറ്റ് പരീക്ഷണം പങ്കെടുക്കാൻ ഒരു ദിവസം 400 വിഷയങ്ങൾ റിക്രൂട്ട് സാധിച്ചു. കൂടുതൽ, ഈ പങ്കെടുക്കുന്നവർ (അദ്ധ്യായങ്ങൾ 3 5 പറഞ്ഞിരിക്കുന്നത് പോലെ, സർവേകളിലും ബഹുജന സഹകരണം ഉൾപ്പെടെ) ഫലത്തിൽ യാതൊരു ആവശ്യത്തിനായി റിക്രൂട്ട് കഴിയും. റിക്രൂട്ട്മെന്റ് ഈ എളുപ്പത്തിനായി ഗവേഷകർ ദ്രുതഗതിയിലുള്ള തുടർച്ചയായി അനുബന്ധ പരീക്ഷണങ്ങളുടെ സീക്വൻസുകൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയും എന്നാണ്.

നിങ്ങളുടെ സ്വന്തം പരീക്ഷണങ്ങളിൽ MTurk നിന്ന് പങ്കെടുക്കുന്നവരെ റിക്രൂട്ട് മുമ്പ്, അറിയാൻ നാല് പ്രധാനപ്പെട്ട കാര്യങ്ങൾ ഉണ്ട്. ആദ്യം, പല ഗവേഷകർ Turkers ഉൾപ്പെട്ട പരീക്ഷണത്തിന്റെ നോൺ-നിർദ്ദിഷ്ട കഷ്ണം ഞങ്ങൾക്കുണ്ട്. ഈ കഷ്ണം നിർദ്ദിഷ്ട അല്ലാത്തതിനാൽ, അതു തെളിവുകൾ കൌണ്ടർ ബുദ്ധിമുട്ടാണ്. എന്നാൽ Turkers ഉപയോഗിച്ച് സ്റ്റഡീസ് വർഷങ്ങൾക്ക് ശേഷം നാം ഇപ്പോൾ ഈ കഷ്ണം പ്രത്യേകിച്ച് ആവശ്യമില്ല എന്നും നിഗമനം കഴിയും. മറ്റ് ജനസംഖ്യയുടെ മറ്റ് പോപ്പുലേഷനുകളിൽ ഫലങ്ങൾ വരെ Turkers കൊണ്ട് പരീക്ഷണം ഫലങ്ങൾ തട്ടിച്ചു പല പഠനങ്ങളും ലേക്കുള്ള Turkers പ്രദേശ തട്ടിച്ചു പല പഠനങ്ങളും ഉണ്ടായിട്ടുണ്ട്. എല്ലാ ഈ സൃഷ്ടി കണക്കിലെടുക്കുമ്പോൾ ഞാൻ നിങ്ങളെ ചിന്തിക്കാൻ മാർഗ്ഗം Turkers വളരെ വിദ്യാര്ത്ഥികള്ക്ക് ന്യായമായ സൗകര്യം സാമ്പിൾ മാത്രമാകുന്നു ചെറുതായി കൂടുതൽ വ്യത്യസ്തമായ എന്നതാണ് എന്നു തോന്നുന്നു (Berinsky, Huber, and Lenz 2012) . ഇപ്രകാരം, വെറും വിദ്യാർത്ഥികൾ ചില എന്നാൽ എല്ലാ പരീക്ഷണാത്മക ഗവേഷണമില്ലെങ്കിൽ ഒരു ന്യായമായ ജനസംഖ്യ കാലത്തോളം, Turkers ചില എന്നാൽ എല്ലാ ഗവേഷണമില്ലെങ്കിൽ ഒരു ന്യായമായ ജനസംഖ്യ ആകുന്നു. നിങ്ങൾ Turkers പ്രവർത്തിക്കാൻ പോകുന്നു എങ്കിൽ, അത് ഈ താരതമ്യ പഠനങ്ങൾ പല വായിക്കുകയും അവരുടെ കലയല്ല മനസ്സിലാക്കാൻ അർത്ഥത്തിൽ.

രണ്ടാമത്തേത്, ഗവേഷകർ ടർക്ക്സ് പരീക്ഷണങ്ങളുടെ ആന്തരിക സാധുത വർദ്ധിച്ചുവരുന്ന മികച്ച-കീഴ്വഴക്കങ്ങൾ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്, നിങ്ങൾ പഠിക്കാനും ഈ മികച്ച പ്രവൃത്തികൾ വേണം (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . , Turkers ഉപയോഗിച്ച് ഗവേഷകർ അശ്രദ്ധനല്ല പങ്കെടുക്കുന്നവർ നീക്കം screeners ഉപയോഗിക്കാൻ പ്രോത്സാഹിപ്പിക്കുന്നു ഉദാഹരണത്തിന് (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (മാത്രമല്ല കാണും DJ Hauser and Schwarz (2015b) ഉം DJ Hauser and Schwarz (2015a) ). നിങ്ങൾ അശ്രദ്ധനല്ല പങ്കെടുക്കുന്നവരെ നീക്കം ഇല്ലെങ്കിൽ, പിന്നെ ചികിത്സ ഏതെങ്കിലും പ്രഭാവം അശ്രദ്ധനല്ല പങ്കെടുക്കുന്നവർ നിന്ന് അവതരിപ്പിച്ചു ഹേതുവായി മഴമൂലം കഴിയും, പ്രായോഗികമായി അശ്രദ്ധനല്ല പങ്കാളികളുടെ എണ്ണം ഗണ്യമായ കഴിയും. ബ്യൂബർ സഹപ്രവർത്തകർ പരീക്ഷണത്തിൽ (2012) പങ്കെടുക്കുന്നവരിൽ 30% അടിസ്ഥാന ശ്രദ്ധ screeners പരാജയപ്പെട്ടു. Turkers പൊതുവായുള്ളവർ മറ്റൊരു പ്രശ്നം നോൺ-ഉദ്ദേസം പങ്കെടുക്കുന്നവർ ആണ് (Chandler et al. 2015) .

മൂന്നാമതായി, ഡിജിറ്റൽ പരീക്ഷണങ്ങളുടെ മറ്റ് ചില രൂപങ്ങൾ താരതമ്യത്തിൽ MTurk പരീക്ഷണങ്ങൾ സ്കെയിൽ കഴിയില്ല; Stewart et al. (2015) ഏതൊരു സമയത്തും MTurk മാത്രം 7000 ആളുകൾ കണക്കാക്കുന്നു.

അവസാനമായി, MTurk സ്വന്തം ചട്ടങ്ങളും നിയമങ്ങളും ഒരു കമ്മ്യൂണിറ്റി മനസ്സിലാക്കുക (Mason and Suri 2012) . നിങ്ങളുടെ പരീക്ഷണങ്ങൾ നടത്താനും പോകുന്ന എവിടെ ഒരു രാജ്യത്തിന്റെ സംസ്കാരം കണ്ടെത്താൻ ശ്രമിക്കും അതേ വിധത്തിൽ, നിങ്ങൾ Turkers സംസ്കാരവും മാനദണ്ഡങ്ങൾ കൂടുതൽ കണ്ടെത്താൻ ശ്രമിക്കണം (Salehi et al. 2015) . പിന്നെ, അനുചിതമെന്ന് നിങ്ങൾ അല്ലെങ്കിൽ നാണിയ്ക്കും എന്തെങ്കിലും ചെയ്താൽ Turkers നിങ്ങളുടെ പരീക്ഷണം സംസാരിക്കുന്നത് മനസ്സിലാക്കുകയും വേണം (Gray et al. 2016) .

MTurk നിങ്ങളുടെ പരീക്ഷണങ്ങൾ പങ്കെടുക്കുന്നവരെ റിക്രൂട്ട് അവിശ്വസനീയമാംവിധം സൗകര്യപ്രദവുമായ പോലുള്ള അവർ ലാബ് പോലുള്ള എന്ന് Huber, Hill, and Lenz (2012) പോലുള്ള അതിലധികമോ ഫീൽഡ്-പോലെ Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ഒപ്പം Mao et al. (2016) .

• നിങ്ങളുടെ സ്വന്തം ഉൽപ്പന്നം (വിഭാഗം 4.5.1.3) ബിൽഡ്

നിങ്ങളുടെ സ്വന്തം ഉൽപ്പന്നം സൃഷ്ടിക്കാൻ ശ്രമിക്കുന്നു ചിന്തിക്കുമ്പോൾ ചെയ്യുന്നു എങ്കിൽ, നിന്നെ ഞാൻ MovieLens ഗ്രൂപ്പിന് കഴിച്ചു ഉപദേശം വായിക്കുന്നു ശുപാർശ Harper and Konstan (2015) . അവരുടെ അനുഭവം കീ ഉൾക്കാഴ്ച ഓരോ വിജയകരമായ പദ്ധതിക്ക് പല പരാജയങ്ങൾ ഉണ്ട് എന്നതാണ്. ഉദാഹരണത്തിന്, MovieLens ഗ്രൂപ്പ് പോലുള്ള പൂർണ്ണമായ പരാജയങ്ങൾ ഉണ്ടായിരുന്ന GopherAnswers മറ്റ് ഉൽപ്പന്നങ്ങൾ സമാരംഭിച്ചു (Harper and Konstan 2015) . ഒരു ഉൽപ്പന്നം പണിയാൻ ശ്രമിക്കുന്നതിനിടയിൽ പരാജയപ്പെടുന്നുവെന്ന് ഒരു ഗവേഷകൻ മറ്റൊരു ഉദാഹരണമാണ് Arden വിളിച്ചു ഒരു ഓൺലൈൻ ഗെയിം പണിയാൻ എഡ്വേർഡ് Castronova ന്റെ ശ്രമം. ഫണ്ട് $ 250,000 ഉണ്ടായിരുന്നിട്ടും, പദ്ധതി ഒരു പരാജയമായിരുന്നു (Baker 2008) . GopherAnswers ആൻഡ് Arden തുടങ്ങിയ നിർഭാഗ്യവശാൽ വളരെ കൂടുതൽ സാധാരണ MovieLens പോലുള്ള പദ്ധതികൾ കൂടുതലായിരിക്കും. ഒടുവിൽ ഞാൻ വിജയകരമായി ഇവിടെ പണിതു ആവർത്തിച്ച് പരീക്ഷണങ്ങളും ഉൽപ്പന്നങ്ങൾ ചെയ്ത മറ്റ് ഏതെങ്കിലും ഗവേഷകരുടെ അറിഞ്ഞില്ല എന്നു പറഞ്ഞപ്പോൾ എന്റെ മാനദണ്ഡം: 1) പങ്കെടുക്കുന്നവർ കാരണം അത് അവരുടെ (ഉദാ പ്രദാനം പറ്റി ഉൽപ്പന്നം ഉപയോഗിക്കാൻ അവർ അടച്ച അല്ല അവർ ഇല്ലാതായിരിക്കുന്നു ശാസ്ത്രം സഹായിച്ചതിന് സന്നദ്ധപ്രവർത്തകർ) ഉം 2) ഉൽപ്പന്നം ഒന്നിൽ കൂടുതൽ വ്യത്യസ്തമായ പരീക്ഷണം (അതായത്, ഒരേ പരീക്ഷണം വിവിധ പങ്കാളിയും കുളങ്ങൾ ഒന്നിലധികം തവണ) ഉപയോഗിച്ചതാണ്. മറ്റ് ഉദാഹരണങ്ങൾ അറിയാമെങ്കിൽ, എന്നെ അറിയിക്കുക.

• ശക്തമായ (വിഭാഗം 4.5.2) പങ്കാളിയാകുക

ഞാൻ പാസ്ച്ചറിന്റെ ക്വാഡർന്റ് ആശയം കമ്പനികളുടെ ഇടയ്ക്കിടെ ചർച്ച കേട്ടിട്ടുണ്ട്, അത് Google ഗവേഷണം ശ്രമങ്ങൾ ഓർഗനൈസ് സഹായിക്കുന്നു (Spector, Norvig, and Petrov 2012) .

ബോണ്ട് സഹപ്രവർത്തകരും 'പഠനം (2012) അവരെ നൽകപ്പെട്ടവരിൽ സുഹൃത്തുക്കൾ ന് ഈ ചികിത്സകൾ പ്രാബല്യത്തിൽ കണ്ടെത്തുന്നതിനും ശ്രമിക്കുന്നു. കാരണം പരീക്ഷണത്തിന്റെ ഡിസൈൻ, ഈ spillovers അവതരണങ്ങൾ കണ്ടെത്താനാകുന്നില്ല പ്രയാസമുള്ള; താത്പര്യങ്ങൾ കാണും Bond et al. (2012) കൂടുതൽ വിശദമായ ചർച്ചകൾക്ക് വേണ്ടി. ഈ പരീക്ഷണം വോട്ടിങ് പ്രോത്സാഹിപ്പിക്കുന്നതിന് ശ്രമങ്ങൾ പൊളിറ്റിക്കൽ സയൻസ് പരീക്ഷണങ്ങൾക്കു നീണ്ട പാരമ്പര്യത്തിന്റെ ഭാഗമാണ് (Green and Gerber 2015) . അവർ പാസ്ച്ചറിന്റെ ക്വാഡർന്റ് ഉള്ളതിനാൽ ഈ നേടുകയും-ഔട്ട്-വോട്ടിനു പരീക്ഷണങ്ങൾ ഭാഗത്ത് സാധാരണമാണ്. ആ വോട്ടവകാശം വോട്ടിംഗ് വർദ്ധിപ്പിക്കാൻ പ്രേരിതമായവയുമാണ് പലരും പെരുമാറ്റം മാറ്റം സോഷ്യൽ സ്വാധീനം കുറിച്ച് കൂടുതൽ പൊതു സിദ്ധാന്തങ്ങളേയും പരീക്ഷിക്കാനും ഒരു രസകരമായ സ്വഭാവം ആകാം ഉണ്ട് ആണ്.

മറ്റു ഗവേഷകർ പോലുള്ള രാഷ്ട്രീയ പാർട്ടികൾ പങ്കാളി സംഘടനകൾ, എൻ.ജി.ഒ, ബിസിനസുകളുമായും ഫീൽഡ് പരീക്ഷണങ്ങൾ നടത്തുന്നതിന് ഉപദേശം നൽകിയ (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . മറ്റുള്ളവ സംഘടനകളുമായി പങ്കാളിത്തം ഗവേഷണ ഡിസൈനുകൾ പ്രഭാവമുണ്ടാക്കാം എങ്ങനെ ഉപദേശം വാഗ്ദാനം ചെയ്തിട്ടുണ്ട് (Green, Calfano, and Aronow 2014; King et al. 2007) . പങ്കാളിത്തം നൈതിക ചോദ്യങ്ങൾക്ക് നയിച്ചേക്കാം (Humphreys 2015; Nickerson and Hyde 2016) .

• ഡിസൈൻ ഉപദേശം (വിഭാഗം 4.6)

നിങ്ങൾ നിങ്ങളുടെ പരീക്ഷണം പ്രവർത്തിക്കുന്ന മുമ്പാകെ ഒരു വിശകലനം പ്ലാൻ സൃഷ്ടിക്കാൻ പോകുകയാണെങ്കിൽ, ഞാൻ നിങ്ങളെ റിപ്പോർട്ടിംഗ് മാർഗനിർദ്ദേശങ്ങൾ വായിച്ചുകൊണ്ട് തുടങ്ങുന്ന നിർദ്ദേശിക്കുന്നു. പത്നിയായ (നേരിട്ടേക്കാവുന്ന കൺസോളിഡേറ്റഡ് സ്റ്റാൻഡേർഡ് റിപ്പോർട്ടിംഗ്) മാർഗ്ഗനിർദ്ദേശങ്ങൾ മെഡിസിൻ വികസിപ്പിച്ചെടുത്തു (Schulz et al. 2010) സാമൂഹിക ഗവേഷണ പരിഷ്ക്കരിച്ച (Mayo-Wilson et al. 2013) . മാർഗ്ഗനിർദ്ദേശങ്ങളിൽ ഒരു അനുബന്ധ സെറ്റ് പരീക്ഷണാത്മക പൊളിറ്റിക്കൽ സയൻസ് ജേർണൽ ഓഫ് എഡിറ്റർമാർ വികസിപ്പിച്ചെടുത്ത (Gerber et al. 2014) (കാണുന്നു Mutz and Pemantle (2015) ഉം Gerber et al. (2015) ). ഒടുവിൽ, റിപ്പോർട്ടിംഗ് മാർഗനിർദ്ദേശങ്ങൾ സൈക്കോളജിയിൽ വികസിപ്പിച്ചെടുത്തത് (Group 2008) , കൂടാതെ കാണും Simmons, Nelson, and Simonsohn (2011) .

നിങ്ങൾ ഒരു വിശകലനം പ്ലാൻ സൃഷ്ടിക്കാൻ എങ്കിൽ പ്രീ-രജിസ്ട്രേഷൻ മറ്റുള്ളവർ നിങ്ങളുടെ ഫലങ്ങളിൽ ധൈര്യം വർദ്ധിപ്പിക്കും കാരണം അത് മുൻകൂട്ടി രജിസ്റ്റർ പരിഗണിക്കാം. കൂടാതെ നിങ്ങള് ഒരു പങ്കാളിയുമായി പ്രവർത്തിക്കുകയാണെങ്കിൽ, അതു ഫലങ്ങൾ കണ്ടതിനുശേഷം വിശകലനം മാറ്റാൻ നിങ്ങളുടെ പങ്കാളി കഴിവിനെ പരിമിതപ്പെടുത്തും. പ്രീ-രജിസ്ട്രേഷൻ സൈക്കോളജിയിൽ പതിവാണ് ഭീമേശ്വരി (Nosek and Lakens 2014) , പൊളിറ്റിക്കൽ സയൻസ് (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ഇക്കണോമിക്സ് (Olken 2015) .

നിങ്ങളുടെ പ്രീ-വിശകലനം പ്ലാൻ സൃഷ്ടിക്കുമ്പോൾ നിങ്ങൾ ചില ഗവേഷകർ പുറമേ കണക്കാക്കിയിരിക്കുന്നത് ചികിത്സ പ്രാബല്യത്തിൽ പ്രീതിയേറിയ മെച്ചപ്പെടുത്താൻ വെക്കുന്നതിനു, അനുബന്ധ സമീപനങ്ങളെയും ഉപയോഗിക്കുക, ഈ സമീപനം കുറിച്ച് തർക്കങ്ങൾ ഉണ്ട് അറിഞ്ഞിരിക്കുക വേണം: Freedman (2008) , Lin (2013) , ഒപ്പം Berk et al. (2013) ; കാണാൻ Bloniarz et al. (2016) കൂടുതൽ വിവരങ്ങൾക്ക്.

പ്രത്യേകമായി ഓൺലൈൻ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ ഡിസൈൻ ഉപദേശവും അവതരിപ്പിച്ചിട്ടുണ്ട് Konstan and Chen (2007) ഉം Chen and Konstan (2015) .

• പൂജ്യം വേരിയബിൾ കുറഞ്ഞ ഡാറ്റ (വിഭാഗം 4.6.1) സൃഷ്ടിക്കുക

MusicLab പരീക്ഷണങ്ങളിൽ കൂടുതലറിയാൻ, കാണുക Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ഒപ്പം Salganik (2007) . വിജയിക്കുന്നവർ എടുത്തു-എല്ലാ വിപണിയിൽ കൂടുതൽ, കാണുക Frank and Cook (1996) . Untangling ലക്ക് നൈപുണ്യ ന് കൂടുതൽ കൂടുതൽ സാധാരണയായി, കാണുക Mauboussin (2012) , Watts (2012) , ഒപ്പം Frank (2016) .

conscription: ഗവേഷകർ ശ്രദ്ധയോടെ ഉപയോഗിക്കാൻ കഴിയുന്ന പങ്കെടുക്കുന്നയാളുടെ പേയ്മെന്റുകൾ ഒഴിവാക്കിയോ മറ്റൊരു സമീപനം ഉണ്ട്. പല ഓൺലൈൻ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ പങ്കെടുക്കുന്നവർ അടിസ്ഥാനപരമായി അനുഭവങ്ങളെയും കടന്നു തയാറാക്കിയ ഒരിക്കലും പ്രതിഫലം. ഈ സമീപനം ഉദാഹരണങ്ങളിൽ Restivo വാൻ ഡി Rijt ന്റെ ഉൾപ്പെടുന്നു (2012) വിക്കിപീഡിയ ഒപ്പം ബോണ്ട് ലെ പ്രതിഫലം സഹപ്രവർത്തകൻ ന്റെ ന് പരീക്ഷണം (2012) ആളുകളെ വോട്ട് പ്രോത്സാഹിപ്പിക്കുന്നതിനു ന് പരീക്ഷണം. ഈ പരീക്ഷണങ്ങൾ ശരിക്കും പൂജ്യം വേരിയബിൾ കുറഞ്ഞ ഇല്ല, അവർ ഗവേഷകർ പൂജ്യം വേരിയബിൾ കുറഞ്ഞ ഞങ്ങൾക്കുണ്ട്. ഈ പരീക്ഷണങ്ങൾ പല ചെലവ് ഓരോ പങ്കാളിയ്ക്ക് വളരെ ചെറിയ കൂടിയും ചെറിയ ചെലവ് പങ്കെടുക്കുന്നവരിൽ ഒരു പടുകൂറ്റൻ എണ്ണം വേഗം ചേർക്കാൻ കഴിയും അടിച്ചേൽപ്പിക്കുകയും. ബൃഹത്തായ ഓൺലൈൻ പരീക്ഷണങ്ങൾ പ്രവർത്തിക്കുന്ന ഗവേഷകർ പലപ്പോഴും പലരും പ്രയോഗിച്ചു എപ്പോൾ ചെറിയ ഇഫക്റ്റുകൾ പ്രസക്തമാകുന്നു കഴിയുന്ന പറഞ്ഞുകൊണ്ട് ചെറിയ ഏകദേശ ചികിത്സ ഇഫക്റ്റുകൾ പ്രാധാന്യം ന്യായീകരിക്കാൻ. കൃത്യമായ ഒരേ ചിന്താഗതി ഗവേഷകരും പങ്കെടുക്കുന്നവർ അടിച്ചേൽപ്പിക്കാൻ ആ ചെലവ് ബാധകമാണ്. നിങ്ങളുടെ പരീക്ഷണങ്ങൾ ലക്ഷത്തോളം ആൾക്കാർ ഒരു മിനിറ്റ് മാലിന്യ വരുത്തിയാൽ പരീക്ഷണം ഏതെങ്കിലും പ്രത്യേക വ്യക്തിക്ക് വളരെ ദോഷകരമായ അല്ല, സംഗ്രഹിച്ച് അതു സമയത്തിന്റെ ഏകദേശം രണ്ടു വർഷം നഷ്ടമായെന്നും ചെയ്തു.

പങ്കെടുക്കുന്നവർക്ക് പൂജ്യം വേരിയബിൾ കുറഞ്ഞ പേയ്മെന്റ് സൃഷ്ടിക്കുന്നത് മറ്റൊരു സമീപനം ഒരു ലോട്ടറി, പുറമേ സർവേ ഗവേഷണത്തിൽ ഉപയോഗിച്ചതായി ഞങ്ങൾ ഒരു സമീപനം ഉപയോഗിക്കുക എന്നതാണ് (Halpern et al. 2011) . ഒടുവിൽ, ആസ്വാദ്യകരവും ഉപയോക്തൃ-അനുഭവങ്ങൾ രൂപകൽപന കുറിച്ച് കൂടുതൽ കാണും Toomim et al. (2011) .

• മാറ്റിസ്ഥാപിക്കുക ശുദ്ധീകരിക്കാനും, ഒപ്പം (വിഭാഗം 4.6.2) കുറയ്ക്കുക

ഇവിടെ നിന്ന് മൂന്ന് ആർ ഒറിജിനൽ നിർവചനങ്ങൾ ആകുന്നു Russell and Burch (1959) :

"മാറ്റിസ്ഥാപിക്കൽ പോകയാണോ വസ്തുക്കൾ ബോധമുള്ള ജീവനുള്ള ഉയർന്ന മൃഗങ്ങൾ ഡീല് എന്നാണ്. റിഡക്ഷൻ തന്നിരിക്കുന്ന തുക കൃത്യത കൈക്കലാക്കാൻ ഉപയോഗിക്കുന്ന മൃഗങ്ങളുടെ നമ്പറുകൾ കുറച്ചത് എന്നാണ്. ഉന്നമനത്തിനും സൌദിയാണ് നടപടിക്രമങ്ങൾ സംഭവങ്ങളിലൂടെ അല്ലെങ്കിൽ തീവ്രതയനുസരിച്ച് ഏതെങ്കിലും കുറയുന്നു ഇപ്പോഴും ഉപയോഗിക്കാൻ ഞങ്ങൾക്കുണ്ട് ആ മൃഗങ്ങൾ പ്രയോഗിച്ചു എന്നാണ്. "

മൂന്നു ആർ ന്റെ ഞാൻ നിർദേശം അവർ കൂടുതൽ വികസിപ്പിച്ചു പതിപ്പ് ആ തത്ത്വങ്ങൾ-beneficence-പ്രത്യേകം മനുഷ്യ പരീക്ഷണങ്ങളെ ക്രമീകരണം വേണ്ടി ഒന്നു ആകുന്നു നൈതിക തത്ത്വങ്ങൾ പകരം പാഠം 6. വിവരിച്ച നിസ്തേജമാക്കരുത്.

വൈകാരിക മലീനീകരണത്തിനെതിരായ പരിഗണിക്കുമ്പോൾ, ഈ പരീക്ഷണം വ്യാഖ്യാനിക്കുന്നതിൽ മനസ്സിൽപ്പിടിക്കേണ്ട മൂന്ന് നോൺ-നൈതിക പ്രശ്നങ്ങൾ. ഒന്നാമതായി, പരീക്ഷണം യഥാർത്ഥ വിവരങ്ങൾ സൈദ്ധാന്തിക അവകാശവാദങ്ങൾ കണക്ട് എങ്ങനെ വ്യക്തമായ അല്ല; മറ്റ് വാക്കുകളിൽ, പരവലയങ്ങൾക്കു് സാധുത സംബന്ധിച്ച ചോദ്യങ്ങൾക്ക് ഉണ്ട്. അത് വ്യക്തമല്ല കാരണം 1) അത് ജനങ്ങളുടെ പോസ്റ്റുചെയ്ത വാക്കുകളും അവർ തങ്ങളുടെ വികാരങ്ങളും 2 നല്ല സൂചകമാണ് എന്നു വ്യക്തമല്ല പോസിറ്റീവും നെഗറ്റീവും വചനം എണ്ണങ്ങൾ യഥാർത്ഥത്തിൽ പങ്കെടുക്കുന്നവരിൽ വൈകാരികവുമായ അവസ്ഥയിലും ഒരു നല്ല സൂചകമാണ് അത് വ്യക്തമാണ് അല്ല) ആണ് ഗവേഷകർ ഉപയോഗിച്ച പ്രത്യേക വികാരം വിശകലനം സാങ്കേതികതയെ വിശ്വസനീയമായി വികാരങ്ങൾ അനുമാനിക്കാൻ ശക്തൻ (Beasley and Mason 2015; Panger 2016) . മറ്റു വാക്കുകളിൽ, ഒരു പക്ഷപാത സിഗ്നൽ ഒരു മോശം അളവു ഉണ്ടാകും. രണ്ടാമത്തേത്, പരീക്ഷണത്തിന്റെ ഡിസൈൻ വിശകലനം ഞങ്ങളെ എന്തു മെക്കാനിസം ആകേണ്ടതിന്നു ഏറ്റവും ഉൽക്കാ ആർ കുറിച്ച് ഒന്നും (അതായത്, ചികിത്സ ഇഫക്റ്റുകൾ heterogeneity യാതൊരു വിശകലനം ഇല്ല) പറയുന്നു. ഈ സാഹചര്യത്തിൽ, ഗവേഷകർ പങ്കാളികളേക്കുറിച്ചുള്ള കുറേ വിവരങ്ങൾ ഉണ്ടായിരുന്നു എങ്കിലും അവർ പ്രധാനമായും വിശകലനത്തിൽ വിഡ്ജറ്റുകൾ കണക്കാക്കിയിരുന്നത്. മൂന്നാമതായി, ഈ പരീക്ഷണം ഇഫക്റ്റ് വലുപ്പം വളരെ ചെറിയ ആയിരുന്നു; ചികിത്സ നിയന്ത്രണവും അവസ്ഥ തമ്മിലുള്ള വ്യത്യാസം 1000 ലെ 1 കുറിച്ച് വാക്കുകൾ ആണ്. അവരുടെ പേപ്പർ ൽ ക്രാമർ സഹപ്രവർത്തകരും നൂറുകണക്കിന് ദശലക്ഷക്കണക്കിന് ജനങ്ങളെ അവരുടെ വാർത്ത ഓരോ ദിവസവും ഫീഡ് ആക്സസ് കാരണം ഈ വലുപ്പത്തിലുള്ള ഒരു പ്രഭാവം പ്രധാനമെന്നും കേസ് ഉണ്ടാക്കേണം. മറ്റു വാക്കുകളിൽ പറഞ്ഞാൽ, അവ സംഗ്രഹിച്ച് വലുതാണ് ഓരോ വ്യക്തിക്ക് ചെറിയ പോലും ഇഫക്റ്റുകൾ ആ വാദിക്കുന്നു. ഈ വാദത്തെ താങ്കൾ അംഗീകരിക്കാൻ ആയിരുന്നു പോലും, അത് ഇപ്പോഴും വ്യക്തമായ ഈ വലുപ്പത്തിലുള്ള ഒരു പ്രഭാവം വൈകാരിക മലീനീകരണത്തിനെതിരായ കുറിച്ച് കൂടുതൽ പൊതു ശാസ്ത്രീയ ചോദ്യം ബന്ധപ്പെട്ട പ്രധാന എങ്കിൽ ആണ്. ചെറിയ ഇഫക്റ്റുകൾ പ്രധാനമാണ് എവിടെ സാഹചര്യങ്ങൾ കൂടുതലറിയാൻ കാണുന്ന Prentice and Miller (1992) .

ആദ്യ r (മാറ്റാനാണ്), വൈകാരിക മലീനീകരണത്തിനെതിരായ പരീക്ഷണം തട്ടിച്ചു കണക്കിലെടുത്ത് (Kramer, Guillory, and Hancock 2014) വൈകാരികവുമായ മലീനീകരണത്തിനെതിരായ സ്വാഭാവിക പരീക്ഷണം (Coviello et al. 2014) നിന്ന് ചലിക്കുന്ന ഉൾപ്പെട്ടത് വ്യാപാരം ഓഫിൽ പൊതുവായ പാഠങ്ങൾ പ്രദാനം പ്രകൃതി പരീക്ഷണങ്ങൾ (ഒപ്പം, നോൺ-പരീക്ഷണ ഡാറ്റ പരീക്ഷണങ്ങൾക്കു ഏകദേശം പാഠം 2 കാണുന്ന ശ്രമം മതധാർമ്മികതയുമായി മറ്റ് സമീപനങ്ങളെയും) ലേക്ക് പരീക്ഷണങ്ങൾ. നൈതിക ആനുകൂല്യങ്ങൾ പുറമേ, പരീക്ഷണാത്മക നിന്ന് നോൺ-പരീക്ഷണ പഠനങ്ങൾ മാറുന്നതും അവർ logistically വിന്യസിക്കാനും നടത്താനാകാത്ത ചികിത്സകൾ പഠിക്കാൻ ഗവേഷകർ പ്രാപ്തമാക്കുന്നു. ഈ ധാർമ്മിക എത്തിക്കുന്നതിന്റെ ആനുകൂല്യങ്ങൾ എന്നാൽ, ചെലവിൽ വരുന്നു. പ്രകൃതി പരീക്ഷണങ്ങൾ ഗവേഷകർ പങ്കെടുക്കുന്നവരുടെ റിക്രൂട്ട്മെന്റ് പോലുള്ള കാര്യത്തിനും കുറവ് നിയന്ത്രണം, റാൻഡമൈസേഷനും, ചികിത്സ സ്വഭാവം ഉണ്ട്. ഉദാഹരണത്തിന്, ചികിത്സ എന്ന മഴ ഒന്ന് പരിമിതി അതു പോസിറ്റീവായ വർദ്ധിക്കുന്നു കാരണവന്മാരെ കുറയുന്നു രണ്ടും എന്നതാണ്. പരീക്ഷണാത്മക പഠനത്തിൽ എന്നാൽ, ക്രാമർ സഹപ്രവർത്തകരും സ്വതന്ത്രമായി പോസിറ്റീവായ ആൻഡ് മോശം ക്രമീകരിക്കാൻ സാധിച്ചു.

ഉപയോഗിക്കുന്ന പ്രത്യേക സമീപനം Coviello et al. (2014) കൂടുതൽ പർവതീകരിക്കപ്പെടുകയും ചെയ്തു Coviello, Fowler, and Franceschetti (2014) . ഇൻസ്ട്രുമെന്റൽ വേരിയബിളുകൾ ഒരു ആമുഖം കാണുക Angrist and Pischke (2009) (ഔപചാരികത) അല്ലെങ്കിൽ Angrist, Imbens, and Rubin (1996) (കൂടുതൽ ഔപചാരിക). ഇൻസ്ട്രുമെന്റൽ വേരിയബിളുകളുടെ സംശയമുണ്ടായിരുന്ന പുതുക്കൽ കാണുന്ന Deaton (2010) , ദുർബല വാദ്യങ്ങളാൽ ഇൻസ്ട്രുമെന്റൽ വേരിയബിളുകൾ ഒരു അവതരണത്തിനായി (മഴ ഒരു ദുർബ്ബല ഉപകരണമാണ്), കാണുക Murray (2006) .

കൂടുതൽ സാധാരണയായി, പ്രകൃതി പരീക്ഷണങ്ങൾ ഒരു നല്ല അവതരണമാണ് Dunning (2012) , ഒപ്പം Rosenbaum (2002) , Rosenbaum (2009) , ഒപ്പം Shadish, Cook, and Campbell (2001) പരീക്ഷണങ്ങൾ ഇല്ലാതെ കാര്യകാരണങ്ങളെ ഇഫക്റ്റുകൾ നിർണയിക്കാനും കുറിച്ച് നല്ല ആശയങ്ങൾ വാഗ്ദാനം.

കുറിപ്പുകൾ ബൂസ്റ്റിംഗ് പോസ്റ്റുകൾ തടയുന്നത് നിന്ന് വൈകാരിക മലീനീകരണത്തിനെതിരായ ഡിസൈൻ മാറ്റുന്നതിൽ പരിഗണിക്കുമ്പോൾ രണ്ടാം ആർ (ഉന്നമനത്തിനും) കാര്യത്തിൽ അവിടെ ശാസ്ത്രീയവും എത്തിക്കുന്നതിന്റെ വ്യാപാരം ഓഫിൽ ആകുന്നു. ഉദാഹരണത്തിന്, ന്യൂസ് ഫീഡ് സാങ്കേതിക നടപ്പാക്കുന്നതോടെ അതു കുറിപ്പുകൾ ബൂസ്റ്റിംഗ് കൊണ്ട് പകരം ഒരു പരീക്ഷണം തടയുന്നത് കുറിപ്പുകളിൽ ഒരു പരീക്ഷണം ചെയ്യാൻ ഗണ്യമായി എളുപ്പം സത്യമെന്ന് കേസ് വരാം (തടയുന്നത് കുറിപ്പുകളിൽ ഒരു പരീക്ഷണം ഒരു പാളി നടപ്പാക്കുക കഴിഞ്ഞില്ല ശ്രദ്ധിക്കുക അണ്ടർലൈയിംഗ് സിസ്റ്റത്തിന്റെ മാറ്റം യാതൊരു ആവശ്യം ഇല്ലാതെ ന്യൂസ് ഫീഡ് സിസ്റ്റം മുകളിൽ). ശാസ്ത്രീയമായി എന്നാൽ, പരീക്ഷണം അഭിസംബോധന സിദ്ധാന്തം വ്യക്തമായി ഒറ്റ ഡിസൈൻ മറ്റുള്ളവ മേൽ നിർദ്ദേശിക്കുന്നു ചെയ്തില്ല.

നിർഭാഗ്യവശാൽ, ഞാൻ തടയുകയും ന്യൂസ് ഫീഡ് ലെ ഉള്ളടക്കം ബൂസ്റ്റിംഗ് ഗുണദോഷങ്ങൾ കുറിച്ച് ഗണ്യമായ മുൻകൂർ ഗവേഷണത്തിന് അറിവുണ്ടാകില്ല ആകുന്നു. എതിരെ, ഞാൻ അവരെ കുറവ് ദോഷകരമായ ഉണ്ടാക്കുവാൻ ചികിത്സകൾ പരിഷ്ക്കരിക്കുകയാണ് കുറിച്ച് വളരെ ഗവേഷണ കണ്ടില്ല; ഒരൊറ്റ അപവാദം ആണ് Jones and Feamster (2015) ഇന്റർനെറ്റ് സെൻസർഷിപ്പ് (ഞാൻ എൻകോർ പഠനത്തിൽ ബന്ധത്തിൽ അദ്ധ്യായം 6 ചർച്ച ഒരു വിഷയത്തിന്റെ അളവിന്റെ കേസ് പരിഗണിക്കുന്നത്, (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

മൂന്നാം r (റിഡക്ഷൻ) കാര്യത്തിൽ പരമ്പരാഗത വൈദ്യുതി വിശകലനം ഒരു നല്ല അവതരണമാണ് Cohen (1988) . പ്രീ-ചികിത്സ covariates ഡിസൈൻ ഘട്ടം അനുഭവങ്ങളെയും വിശകലനം ഘട്ടത്തിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട് കഴിയും; അദ്ധ്യായം 4 Gerber and Green (2012) രണ്ടും സമീപനങ്ങളിലും ഒരു നല്ല നൽകുന്നു, Casella (2008) കൂടുതൽ ആഴത്തിലുള്ള ചികിത്സ നൽകുന്നു. റാൻഡമൈസേഷനും ഈ പ്രീ-ചികിത്സ വിവരങ്ങൾ ഉപയോഗിക്കുന്ന ടെക്നിക് സാധാരണ വിളിച്ചു ഒന്നുകിൽ പരീക്ഷണാത്മക ഡിസൈനുകൾ അല്ലെങ്കിൽ തട്ടുകളായി പരീക്ഷണാത്മക ഡിസൈനുകൾ (സങ്കേതഭാഷ കമ്മ്യൂണിറ്റികൾ ഒരേപോലെ ഉപയോഗിക്കാറില്ല) തടഞ്ഞു; ഈ സാങ്കേതികവിദ്യകൾ പാഠം 3. See ല് ചർച്ച തട്ടുകളായി ഒരുപറ്റം അവലംബിച്ചോ ആഴത്തിൽ ബന്ധപ്പെട്ടിരിക്കുന്നു Higgins, Sävje, and Sekhon (2016) വൻ പരീക്ഷണങ്ങളിൽ ഈ രൂപകല്പനകൾ ഉപയോഗിക്കുന്നതിനുള്ള കൂടുതൽ വേണ്ടി. പ്രീ-ചികിത്സ covariates പുറമേ വിശകലനം ഘട്ടത്തിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട് കഴിയും. McKenzie (2012) വിശദമായി ഫീൽഡ് പരീക്ഷണങ്ങൾ വിശകലനം ലേക്കുള്ള വ്യത്യാസം-ഇൻ-വ്യത്യാസങ്ങൾ സമീപനം പുന. കാണുക Carneiro, Lee, and Wilhelm (2016) ചികിത്സ ഇഫക്റ്റുകൾ കണക്കുകളിലെ കൃത്യത വർദ്ധിപ്പിക്കുക വ്യത്യസ്ത സമീപനങ്ങളുടെ തമ്മിലുള്ള വ്യാപാര ഓഫിൽ കൂടുതല്. ഒടുവിൽ, ഡിസൈൻ അല്ലെങ്കിൽ വിശകലനം ഘട്ടത്തിൽ (അല്ലെങ്കിൽ രണ്ടും) പ്രീ-ചികിത്സ covariates ഉൾപ്പെടുത്താൻ ശ്രമിക്കുന്നതിന് തീരുമാനിക്കുമ്പോൾ, അവിടെ പരിഗണിക്കാൻ കുറച്ച് ഘടകങ്ങളാണ്. ഗവേഷകർ അല്ല എന്ന് "ഫിഷിംഗ്" എവിടെയാണ് കാണിക്കേണ്ടതെന്ന് ഒരു ക്രമീകരണം (Humphreys, Sierra, and Windt 2013) , ഡിസൈൻ ഘട്ടത്തിൽ പ്രീ-ചികിത്സ covariates ഉപയോഗിച്ച് ഉപകരിക്കുന്നതാണ് (Higgins, Sävje, and Sekhon 2016) . പങ്കെടുക്കുന്നവർ തുടർച്ചയായി എത്തും എവിടെ സാഹചര്യങ്ങൾ, പ്രത്യേകിച്ച് ഓൺലൈൻ ഫീൽഡ് പരീക്ഷണങ്ങളിൽ, ഡിസൈൻ ഘട്ടത്തിൽ പ്രീ-ചികിത്സ വിവരങ്ങൾ ഉപയോഗിച്ച് ബുദ്ധിമുട്ടുള്ള logistically, ഉദാഹരണത്തിന് കാണാൻ വരാം Xie and Aurisset (2016) .

ഇത് വ്യത്യാസം-ഇൻ-വ്യത്യാസങ്ങൾ വ്യത്യാസം-ഇൻ-മാർഗങ്ങളിലൂടെ അവരെക്കാൾ അധികം ഫലപ്രദമാണ് എന്തുകൊണ്ട് ധ്യാനത്തിലൂടെ ഒരു ബിറ്റ് ചേർത്ത് രൂപയുടെ. നിരവധി ഓൺലൈൻ പാടുന്നവർ വളരെ ഉയർന്ന ഭിന്നിച്ചു ഞങ്ങൾക്കുണ്ട് (ഉദാ, കാണുക Lewis and Rao (2015) ഉം Lamb et al. (2015) ) കാലാന്തരത്തിൽ താരതമ്യേന സ്ഥിരമായ. ഈ സാഹചര്യത്തിൽ, മാറ്റം സ്കോർ സ്റ്റാറ്റിസ്റ്റിക്കൽ ടെസ്റ്റ് ശക്തി വർദ്ധിച്ചുവരുന്ന, ഗണ്യമായി ചെറിയ വേരിയൻസ് ഉണ്ടായിരിക്കും. പലപ്പോഴും ഉപയോഗിക്കാറില്ല ഈ സമീപിച്ചു ഒരു കാരണം ഡിജിറ്റൽ യുഗത്തിൽ മുൻപ് അതു പ്രീ-ചികിത്സ പാടുന്നവർ ഞങ്ങൾക്കുണ്ട് പൊതുവായുള്ള ആയിരുന്നില്ല എന്നതാണ്. അതു ചിന്തിക്കുക കൂടുതൽ കോൺക്രീറ്റ് വഴി ഒരു പ്രത്യേക വ്യായാമവും ശരീരഭാരം കുറയ്ക്കാൻ കാരണമാകുന്നു എന്നത് അളക്കുന്നതിന് ഒരു പരീക്ഷണം സങ്കൽപ്പിക്കാനാവില്ല ആണ്. നിങ്ങൾ ഒരു വ്യത്യാസം-ഇൻ-മാർഗങ്ങളിലൂടെ സമീപനം ചെയ്യുകയാണെങ്കിൽ, നിങ്ങളുടെ എസ്റ്റിമേറ്റ് ജനസംഖ്യയിൽ തൂക്കം variability നിന്നു വരുന്ന variability ഉണ്ടാകും. നിങ്ങൾ ഒരു വ്യത്യാസം-ഇൻ-വ്യത്യാസം സമീപനം ചെയ്യാൻ എന്നാൽ, തൂക്കം ആ സ്വാഭാവികമായി ഉണ്ടാകുന്ന വ്യതിയാനങ്ങളുടെ നീക്കം ചെയ്യപ്പെടുകയോ നിങ്ങൾ കൂടുതൽ എളുപ്പത്തിൽ ചികിത്സ മൂലമുണ്ടാകുന്ന വ്യത്യാസം കാണാം.

നിങ്ങളുടെ പരീക്ഷണം അംഗങ്ങളുടെ എണ്ണം കുറയ്ക്കാൻ ഒരു പ്രധാന മാർഗ്ഗം വഴി സ്വാഭാവിക പരീക്ഷണം നിരീക്ഷിച്ചു പ്രാബല്യത്തിൽ വലിപ്പവും അടിസ്ഥാനമാക്കി ഏത് ക്രാമർ സഹപ്രവർത്തകരും ചെയ്തതു ശക്തി വിശകലനം, നടത്താനുള്ള ആണ് Coviello et al. (2014) അല്ലെങ്കിൽ ക്രാമർ നേരത്തെ നോൺ-പരീക്ഷണാത്മക റിസർച്ച് (2012) (വാസ്തവത്തിൽ ഈ ഈ അധ്യായത്തിൽ അവസാനം പ്രവർത്തനങ്ങൾ ഇവിടെയുണ്ട്). വൈദ്യുതി വിശകലനം ഉപയോഗത്തെ സാധാരണ ഒരു ബിറ്റ് വ്യത്യസ്തമാണ് ശ്രദ്ധിക്കുക. അനലോഗ് പ്രായം ഗവേഷകർ സാധാരണയായി പഠനം (അതായത്, ഉന്നതാധികാര അണ്ടർ) വളരെ ചെറിയ അല്ല എന്ന് ഉറപ്പാക്കാൻ ശക്തി വിശകലനം ചെയ്തു. എന്നാൽ, ഗവേഷകർ വൈദ്യുതി വിശകലനം പഠനത്തിൽ (അതായത്, മേൽ സുസജ്ജമായ) വളരെ വലുതാണ് അല്ല ഉറപ്പുവരുത്താൻ ചെയ്യണം.

KUman എന്ന് ഒടുവിൽ ഞാൻ ഒരു നാലാം ആർ ചേർത്ത് പരിഗണിക്കും. അതാണ് ഗവേഷകർ തങ്ങളുടെ യഥാർത്ഥ ഗവേഷണ ചോദ്യം അഭിസംബോധന വേണമെങ്കിൽ കൂടുതൽ പരീക്ഷണാത്മക ഡാറ്റ പുതച്ച് കണ്ടെത്താൻ പക്ഷം അവർ പുതിയ ചോദ്യങ്ങൾ ചോദിക്കാൻ ഡാറ്റ kUman എന്ന് വേണം ആണ്. ഉദാഹരണത്തിന്, ക്രാമർ സഹപ്രവർത്തകരും വ്യത്യാസം-ഇൻ-വ്യത്യാസങ്ങൾ എസ്റ്റിമേറ്റർ ഉപയോഗിച്ച, അവരുടെ ഗവേഷണ ചോദ്യം അഭിസംബോധന ആവശ്യമായ കൂടുതൽ ഡാറ്റ ഉപയോഗിച്ച് കണ്ടെത്തിയിട്ടുണ്ട് എന്ന് ഊഹിക്കാവുന്നതേയുള്ളൂ. മറിച്ച് ഡാറ്റ പൂർണമായ അളവിൽ ഉപയോഗിക്കാത്ത അധികം അവർ പ്രീ-ചികിത്സ വൈകാരിക എക്സ്പ്രഷൻ ഒരു ഫംഗ്ഷൻ പ്രാബല്യത്തിൽ വലിപ്പം പഠിച്ചു കഴിഞ്ഞില്ല. ജസ്റ്റ് ആയി Schultz et al. (2007) ഒരുപക്ഷേ ന്യൂസ് ഫീഡ് പ്രഭാവം ഇതിനകം സന്തോഷമുണ്ട് (അല്ലെങ്കിൽ ദു) സന്ദേശങ്ങൾ പാലിച്ചു ജനങ്ങൾക്ക് വ്യത്യസ്തമായിരുന്നു, ചികിത്സ പ്രഭാവം വെളിച്ചം കനത്ത ഉപയോക്താക്കൾക്കും വ്യത്യസ്തമായിരുന്നു എന്ന് കണ്ടെത്തി. Repurposing "ഫിഷിംഗ്" നയിച്ചേക്കാം (Humphreys, Sierra, and Windt 2013) ഒപ്പം "പി-ഹാക്കിങ്" (Simmons, Nelson, and Simonsohn 2011) , എന്നാൽ ഈ വലിയതോതിൽ സത്യസന്ധമായ റിപ്പോർട്ടിംഗ് ഉള്ള ഒരു addressable ചെയ്യുന്നു (Simmons, Nelson, and Simonsohn 2011) , പ്രീ-രജിസ്ട്രേഷൻ (Humphreys, Sierra, and Windt 2013) അക്കരെ-ഉചിതമാണ് ഒഴിവാക്കാൻ ശ്രമിക്കുന്ന മെഷീൻ ലേണിംഗ് രീതികൾ.