थप टिप्पणी

यो खण्ड एक कथा रूपमा पढ्नुपर्छ भन्दा, एउटा सन्दर्भ रूपमा प्रयोग गर्न डिजाइन गरिएको छ।

• (परिचय खण्ड 4.1)

सामाजिक अनुसन्धान मा कारणता बारेमा प्रश्न अक्सर जटिल र जटिल छन्। Causal रेखांकन आधारित कारणता एउटा मूलभूत दृष्टिकोण को लागि, Pearl (2009) , र संभावित परिणाम आधारित मूलभूत दृष्टिकोण लागि, हेर्न Imbens and Rubin (2015) (र यो अध्याय मा प्राविधिक appendix)। यी दुई दृष्टिकोण बीचको तुलना को लागि, Morgan and Winship (2014) । एक confounder परिभाषित गर्न एक औपचारिक दृष्टिकोण को लागि, VanderWeele and Shpitser (2013) ।

अध्याय मा, म प्रयोगात्मक र गैर-प्रयोग डाटा देखि causal अनुमान गर्न हाम्रो क्षमता बीच एक उज्ज्वल लाइन जस्तै देखिन्थे के सिर्जना गरियो। वास्तविकता मा, म गौरव blurrier छ भन्ने सोच्छन्। उदाहरणका लागि, सबैलाई धूम्रपान हामी मान्छे धूम्रपान गर्न जानुहुन्न कि एक यादृच्छिक नियन्त्रण प्रयोग कहिल्यै गरेका तापनि क्यान्सर गराउँछ भनेर स्वीकार गर्दछ। गैर-प्रयोगात्मक डाटा देखि causal अनुमान बनाउन मा उत्कृष्ट पुस्तक लम्बाइ उपचार को लागि हेर्न Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , र Dunning (2012) ।

अध्याय 1 र 2 Freedman, Pisani, and Purves (2007) प्रयोग, नियन्त्रण प्रयोगहरू भिन्नता मा स्पष्ट परिचय प्रस्ताव, र नियन्त्रण प्रयोगहरू बेतरतीब।

Manzi (2012) बेतरतीब नियंत्रित प्रयोगहरू को दार्शनिक र तथ्याङ्क underpinnings मा एक आकर्षक र पठनीय परिचय प्रदान गर्दछ। यो पनि व्यापार मा प्रयोग को शक्ति को रोचक वास्तविक संसारमा उदाहरण प्रदान गर्दछ।

• प्रयोगहरू के-के हुन्? (धारा 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) प्रयोगात्मक डिजाइन र विश्लेषण को तथ्याङ्क पक्षमा राम्रो भूमिका प्रदान। अर्थशास्त्र: यसबाहेक, विभिन्न क्षेत्रहरू प्रयोगहरू को प्रयोग को उत्कृष्ट उपचार छन् (Bardsley et al. 2009) , समाजशास्त्र (Willer and Walker 2007; Jackson and Cox 2013) , मनोविज्ञान (Aronson et al. 1989) , राजनीतिक विज्ञान (Morton and Williams 2010) , र सामाजिक नीति (Glennerster and Takavarasha 2013) ।

सहभागी भर्ती (जस्तै, नमूना) को महत्त्व अक्सर प्रयोगात्मक अनुसन्धान सराहना अन्तर्गत-छ। तर, उपचार को प्रभाव जनसंख्यामा heterogeneous छ भने, त्यसपछि नमूना महत्वपूर्ण छ। Longford (1999) उहाँले haphazard नमूना संग जनसंख्या सर्वेक्षण रूपमा प्रयोगहरू सोच अनुसन्धानकर्ताहरूले लागि अधिवक्ताओं गर्दा स्पष्ट यस बिन्दु बनाउँछ।

• प्रयोगहरू दुई आयाम: ल्याब-क्षेत्र र एनालग-डिजिटल (धारा 4.3)

म ल्याब र क्षेत्र प्रयोगहरू बीच प्रस्तुत कि dichotomy एक बिट सरलीकृत छ। वास्तवमा, अन्य अनुसन्धानकर्ताहरूले क्षेत्र प्रयोगहरू विभिन्न प्रकारका अलग विशेष व्यक्तिहरूलाई मा, अधिक विस्तृत typologies प्रस्ताव गरेको छ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) । छन् विद्यमान सर्वेक्षण को पूर्वाधार प्रयोग गरी प्रयोगहरू सर्वेक्षण प्रयोगहरू र सामाजिक प्रयोगहरू सर्वेक्षण प्रयोगहरू र को वैकल्पिक संस्करण प्रतिक्रियाहरू तुलना: यसबाहेक, त्यहाँ प्रयोगहरू सामाजिक वैज्ञानिकहरू द्वारा प्रदर्शन ल्याब र क्षेत्र dichotomy मा सफासँग फिट छैन भन्ने अन्य दुई प्रकार हो। एउटै प्रश्न (केही सर्वेक्षण प्रयोगहरू अध्याय 3 मा प्रस्तुत छ); सर्वेक्षण प्रयोगहरू थप हेर्नुहोस् लागि Mutz (2011) सामाजिक प्रयोगहरू जहाँ उपचार मात्र सरकारले कार्यान्वयन गर्न सकिन्छ भनेर केही सामाजिक नीति छ प्रयोगहरू छन्। सामाजिक प्रयोगहरू राम्ररी मूल्यांकन कार्यक्रम सम्बन्धित छन्। नीति प्रयोगहरू थप को लागि, Orr (1998) , Glennerster and Takavarasha (2013) , र Heckman and Smith (1995) ।

कागजात को एक नम्बर सार मा प्रयोगशाला र क्षेत्र प्रयोगहरू तुलना गरेका छन् (Falk and Heckman 2009; Cialdini 2009) र राजनीतिक विज्ञान विशिष्ट प्रयोगहरू को परिणाम को मामला मा (Coppock and Green 2015) , अर्थशास्त्र (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) र मनोविज्ञान (Mitchell 2012) । Jerit, Barabas, and Clifford (2013) ल्याब र क्षेत्र प्रयोगहरू परिणाम तुलना लागि एक राम्रो अनुसन्धान डिजाइन प्रदान गर्दछ।

आफ्नो व्यवहार परिवर्तन तिनीहरूले नजिकबाट अवलोकन भइरहेका छन् कहिलेकाहीं भनिन्छ माग प्रभाव चिन्छु, र तिनीहरूले मनोविज्ञान मा अध्ययन गरिएको छ किनभने सहभागीहरू बारेमा चिन्ता (Orne 1962) र अर्थशास्त्र (Zizzo 2009) । ज्यादातर प्रयोगशाला प्रयोगहरु सम्बन्धित भए तापनि ती मुद्दाहरू साथै क्षेत्र प्रयोगहरू लागि समस्या हुन सक्छ। वास्तवमा, माग प्रभाव पनि कहिलेकाहीं हाउथ्रोन प्रभाव विशेष प्रसिद्ध रोशनी प्रयोगहरू पश्चिमी इलेक्ट्रिक कम्पनी को हाउथ्रोन कामहरूमा मा 1924 मा कि थाले क्षेत्र प्रयोग बाट derives भनेर एक शब्द, भनिन्छ, (Adair 1984; Levitt and List 2011) । दुवै माग प्रभाव र नागफनी प्रभाव राम्ररी अध्याय 2 मा छलफल प्रतिक्रियाशील मापन विचार सम्बन्धित छन् (पनि हेर्न Webb et al. (1966) )।

क्षेत्र प्रयोगहरू को इतिहास अर्थशास्त्र मा वर्णन गरिएको छ (Levitt and List 2009) , राजनीतिक विज्ञान (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , मनोविज्ञान (Shadish 2002) , र सार्वजनिक नीति (Shadish and Cook 2009) क्षेत्र प्रयोगहरू चाँडै प्रमुख भए जहाँ सामाजिक विज्ञान को एक क्षेत्र अन्तर्राष्ट्रिय विकास छ। अर्थशास्त्र भित्र काम सकारात्मक समीक्षा लागि हेर्नुहोस् Banerjee and Duflo (2009) , र एक महत्वपूर्ण मूल्यांकन को लागि हेर्न Deaton (2010) । राजनीतिक विज्ञान मा यो काम को एक समीक्षा लागि हेर्नुहोस् Humphreys and Weinstein (2009) । अन्तमा, क्षेत्र प्रयोगहरू संग संलग्न नैतिक चुनौतीहरू राजनीतिक विज्ञान मा खोज्नुभयो गरिएको छ (Humphreys 2015; Desposato 2016b) र विकास अर्थशास्त्र (Baele 2013) ।

अध्याय मा, म पूर्व-उपचार जानकारी अनुमानित उपचार प्रभाव को सटीक सुधार गर्न प्रयोग गर्न सकिन्छ भनेर सुझाव, तर यो दृष्टिकोण बारे केही बहस छ: Freedman (2008) , Lin (2013) , र Berk et al. (2013) ; हेर्न Bloniarz et al. (2016) थप जानकारीको लागि।

• सरल प्रयोगहरू परे सार्दै (धारा 4.4)

वैधता, उपचार प्रभाव heterogeneity, र संयन्त्र: म तीन अवधारणाहरु ध्यान केन्द्रित गर्नुभएको छ। यी अवधारणाहरु फरक क्षेत्रहरू अलग अलग नाम छ। उदाहरणका लागि, मनोवैज्ञानिक mediators र सञ्चालकहरू ध्यान द्वारा सरल प्रयोगहरू परे सार्न गर्छन (Baron and Kenny 1986) । mediators को विचार म तंत्र कल के द्वारा कब्जा छ, र सञ्चालकहरू को विचार म बाह्य वैधता (जस्तै, यदि यो फरक परिस्थितिमा चलान थियो प्रयोग को परिणाम फरक हुनेछ) र उपचार प्रभाव heterogeneity (कल के द्वारा कब्जा छ जस्तै, अन्य मानिसहरू भन्दा केही मानिसहरू) को लागि ठूलो प्रभाव हो।

को प्रयोग Schultz et al. (2007) सामाजिक सिद्धान्त कसरी प्रभावकारी उपायहरु डिजाइन गर्न प्रयोग गर्न सकिन्छ देखाउँछ। प्रभावकारी उपायहरु डिजाइन मा सिद्धान्त को भूमिका बारे एक अधिक सामान्य तर्क को लागि, Walton (2014) ।

• वैधता (धारा 4.4.1)

आन्तरिक र बाह्य वैधता को अवधारणाहरु पहिलो भए Campbell (1957) । हेर्नुहोस् Shadish, Cook, and Campbell (2001) , एक विस्तृत इतिहास र तथ्याङ्क निष्कर्षमा वैधता, आन्तरिक वैधता होसियारीसाथ विस्तार को लागि वैधता र बाह्य वैधता निर्माण।

प्रयोगहरू मा तथ्याङ्क निष्कर्षमा वैधता सम्बन्धित मुद्दाहरू एक सिंहावलोकन लागि हेर्नुहोस् Gerber and Green (2012) (एक सामाजिक विज्ञान दृष्टिकोण लागि) र Imbens and Rubin (2015) (एक तथ्याङ्क दृष्टिकोण लागि)। अनलाइन क्षेत्र प्रयोगहरू मा विशेष खडा भनेर तथ्याङ्क निष्कर्षमा वैधता केही मुद्दाहरू जस्तै संग निर्भर डाटा विश्वास अन्तरालहरू बनाउनको लागि computationally कुशल तरिका रूपमा मुद्दाहरू समावेश (Bakshy and Eckles 2013) ।

आन्तरिक वैधता जटिल क्षेत्र प्रयोगहरू सुनिश्चित गर्न गाह्रो हुन सक्छ। उदाहरणका लागि, हेर्नुहोस् Gerber and Green (2000) , Imai (2005) , र Gerber and Green (2005) मतदान बारेमा एक जटिल क्षेत्र प्रयोग को कार्यान्वयन बारेमा बहस लागि। Kohavi et al. (2012) र Kohavi et al. (2013) अनलाइन क्षेत्र प्रयोगहरू मा अन्तराल वैधता को चुनौतीहरू मा एक परिचय प्रदान।

आन्तरिक वैधता एक प्रमुख चासो randomization समस्या छ। संभावित को randomization समस्या पत्ता लगाउन एउटा तरिका देख्न गुण मा उपचार र नियन्त्रण समूह तुलना गर्न छ। तुलना यस प्रकारको सन्तुलित जाँच भनिन्छ। हेर्नुहोस् Hansen and Bowers (2008) चेक संतुलन, र देख्न एक तथ्याङ्क दृष्टिकोण लागि Mutz and Pemantle (2015) शेष चेक बारेमा चिन्ता लागि। उदाहरणका लागि, एक ब्यालेन्स प्रयोग जाँच Allcott (2011) त्यहाँ कि randomization को OPower प्रयोगहरू केही मा प्रयोगहरू तीन मा सही कार्यान्वयन भएन केही प्रमाण छ कि फेला (तालिका 2 हेर्न; साइटहरु 2, 6, र 8)। अन्य तरीकाहरु को लागि, Imbens and Rubin (2015) , अध्याय 21।

आन्तरिक वैधता सम्बन्धित अन्य प्रमुख चिन्ता हो: 1) उपचार समूहमा सबैलाई वास्तवमा उपचार प्राप्त जहाँ गैर-पालन, एक-पक्षीय, 2) दुई उपचार समूहमा सबैले उपचार र केही प्राप्त जहाँ गैर-पालन, रहयो नियंत्रण समूह मा मान्छे जहाँ उपचार अधिक मान्छे देखि उपचार अवस्थामा मानिसहरूलाई नियन्त्रण अवस्थामा पोखिन्छ उपचार, 3) attrition, जहाँ परिणाम केही सहभागीहरू लागि मापन छैन, र 4) हस्तक्षेप, प्राप्त। हेर्नुहोस् Gerber and Green (2012) अध्याय 5, 6, 7, र 8 यी मुद्दाहरू प्रत्येक थप लागि।

निर्माण वैधता थप को लागि, Westen and Rosenthal (2003) , र ठूलो डाटा स्रोतहरु मा निर्माण वैधता, थप लागि Lazer (2015) र यस पुस्तकको अध्याय 2।

बाह्य वैधता को एक पक्ष जहाँ एक हस्तक्षेप परीक्षण छ सेटिङ छ। Allcott (2015) साइट चयन पूर्वाग्रह होसियारीसाथ सैद्धान्तिक र empirical उपचार प्रदान गर्दछ। यो मुद्दा पनि छलफल भएको छ Deaton (2010) । धेरै साइटहरु मा प्रतिकृति भइरहेको साथै, गृह ऊर्जा रिपोर्ट हस्तक्षेप पनि स्वतन्त्र धेरै अनुसन्धान समूह द्वारा अध्ययन गरिएको छ (जस्तै, Ayres, Raseman, and Shih (2013) )।

• उपचार प्रभाव Heterogeneity (धारा 4.4.2)

क्षेत्र प्रयोगहरू मा उपचार प्रभाव heterogeneity को एक उत्कृष्ट अवलोकन को लागि, अध्याय 12 Gerber and Green (2012) । चिकित्सा परीक्षामा उपचार प्रभाव heterogeneity गर्न भूमिका को लागि, Kent and Hayward (2007) , Longford (1999) , र Kravitz, Duan, and Braslow (2004) । उपचार प्रभाव Heterogeneity साधारण पूर्व-उपचार विशेषताहरु आधारित मतभेद केन्द्रित छ। तपाईं पोस्ट-उपचार परिणाम आधारित heterogeneity रुचि हो भने थप जटिल approachs यस्तो प्रमुख स्तरीकरण रूपमा आवश्यक छ (Frangakis and Rubin 2002) ; हेर्न Page et al. (2015) एक समीक्षा लागि।

धेरै अनुसन्धानकर्ताहरूले रैखिक प्रतिगमनमा प्रयोग उपचार प्रभाव को heterogeneity अनुमान, तर नयाँ तरिका उदाहरणका लागि, मेशिन शिक्षाका भर Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , र Athey and Imbens (2016a) ।

त्यहाँ किनभने तुलना धेरै समस्या र "। माछा मार्ने" त्यहाँ धेरै तुलना बारेमा ठेगाना चिन्ता गर्न मद्दत तथ्याङ्क दृष्टिकोण को एक किसिम हो को प्रभाव को heterogeneity को निष्कर्ष बारेमा केही शंका छ (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) बारेमा "माछा मार्ने" चिन्ता गर्न एक दृष्टिकोण पूर्व-दर्ता, झन् मनोविज्ञान मा साधारण बन्ने छ, जो छ (Nosek and Lakens 2014) , राजनीतिक विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) र अर्थशास्त्र (Olken 2015) ।

को अध्ययन मा Costa and Kahn (2013) मात्र बारेमा प्रयोग मा घरपरिवारले को आधा डेमोग्राफिक जानकारी लिङ्क गर्न सक्षम थिए। यो विश्लेषण संग विवरण र सम्भव समस्या मा रुचि पाठकहरूका मूल कागज उल्लेख गर्नुपर्छ।

• तंत्र (धारा 4.4.3)

तंत्र अविश्वसनीय महत्त्वपूर्ण छन्, तर तिनीहरू अध्ययन गर्न धेरै गाह्रो हुन बाहिर बारी। संयन्त्र बारे अनुसन्धान राम्ररी मनोविज्ञान मा mediators को अध्ययन गर्न सम्बन्धित (तर पनि हेर्न VanderWeele (2009) दुई विचारहरू बीच यथार्थ तुलना लागि)। यस्तो विकास दृष्टिकोण रूपमा फेला तंत्र गर्न तथ्याङ्क दृष्टिकोण, Baron and Kenny (1986) , एकदम साधारण। दुर्भाग्यवश, यो ती प्रक्रियाहरु केही बलियो अनुमानको निर्भर भनेर बाहिर जान्छ (Bullock, Green, and Ha 2010) र एक धेरै परिस्थितिमा आशा सक्छ रूपमा धेरै तंत्र त्यहाँ हुँदा ग्रस्त, (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) । Imai et al. (2011) र Imai and Yamamoto (2013) केही सुधार तथ्याङ्क विधिहरू प्रस्ताव। यसबाहेक, VanderWeele (2015) संवेदनशीलता विश्लेषण गर्न एक व्यापक दृष्टिकोण सहित महत्वपूर्ण परिणाम, एक नम्बर एक पुस्तक-लम्बाइ उपचार प्रदान गर्दछ।

एक छुट्टै दृष्टिकोण सीधा संयन्त्र (जस्तै, दिने नाभिकहरु भिटामिन सी) हेरफेर गर्न प्रयास प्रयोगहरू मा केंद्रित। दुर्भाग्यवश, धेरै सामाजिक विज्ञान सेटिङहरू त्यहाँ अक्सर धेरै तंत्र छन् र यो अरूलाई परिवर्तन बिना एक परिवर्तन उपचार डिजाइन गर्न कठिन छ। केही दृष्टिकोण experimentally फेरबदल तंत्र मा वर्णन गरिएको गर्न Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , र Pirlott and MacKinnon (2016) ।

अन्तमा, तंत्र पनि लामो इतिहास विज्ञान को दर्शन मा वर्णन रूपमा छ Hedström and Ylikoski (2010) ।

• अवस्थित वातावरण प्रयोग (धारा 4.5.1.1)

भेदभावको मापन गर्न पत्राचार अध्ययन र अडिट अध्ययन को प्रयोगमा थप हेर्नुहोस् Pager (2007) ।

• तपाईंको आफ्नै प्रयोग निर्माण (धारा 4.5.1.2)

तपाईं निर्माण गर्ने प्रयोगपरिक्षणहरू सहभागीहरू रंगरुट गर्न सबै भन्दा साधारण तरिका अमेजन यांत्रिक टर्क (MTurk) छ। परम्परागत प्रयोगशाला प्रयोगहरु-तिर्ने मान्छे को MTurk नकल पक्षहरू तिनीहरूले मुक्त-धेरै अनुसन्धानकर्ताहरूले लागि के छैन भनेर कार्य पूरा गर्न किनभने पहिले नै मानव विषयहरू प्रयोगहरू सहभागी परम्परागत भन्दा छिटो र सस्ता डाटा संग्रह परिणामस्वरूप रूपमा Turkers (MTurk मा कामदारहरूको) को प्रयोग गरेर शुरू गरेको छ मा-परिसर प्रयोगशाला प्रयोगहरु (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) ।

MTurk देखि recruited सहभागीहरू संग प्रयोगहरू को सबै भन्दा ठूलो बल सैन्य हो: तिनीहरूले अनुसन्धानकर्ताहरूले सहभागीहरू रंगरुट छिटो र आवश्यकताअनुसार अनुमति दिन्छ। जबकि प्रयोगशाला प्रयोगहरु चलान सप्ताह लाग्न सक्छ र क्षेत्र प्रयोगहरू महिना लाग्न-अप सेट गर्न सक्नुहुन्छ, MTurk देखि recruited सहभागीहरू संग प्रयोगहरू दिनमा चलाउन सकिन्छ। उदाहरणका लागि, Berinsky, Huber, and Lenz (2012) एक 8 मिनेट प्रयोग सहभागी एक दिनमा 400 विषयहरू रंगरुट गर्न सके। यसबाहेक, यी सहभागीहरू (अध्याय 3 मा छलफल रूपमा, सर्वेक्षण र ठूलो सहयोग सहित र 5) वस्तुतः कुनै पनि उद्देश्य लागि recruited गर्न सकिन्छ। भर्ती को यो सजिलो अर्थ अनुसन्धानकर्ताहरूले तीव्र उत्तराधिकारी सम्बन्धित प्रयोगहरू क्रमलाई चलाउन सक्ने।

तपाईंको आफ्नै प्रयोगहरू लागि MTurk देखि सहभागीहरू भर्ती अघि, त्यहाँ जान्न चार महत्त्वपूर्ण कुराहरू छन्। पहिलो, धेरै अनुसन्धानकर्ताहरूले मुछिएको Turkers प्रयोगहरू को एक गैर-विशेष शंका छ। यो शंका विशिष्ट छैन किनभने, यो प्रमाण संग काउन्टरको गर्न कठिन छ। तर, Turkers प्रयोग अध्ययन को धेरै वर्ष पछि, हामी अहिले यो शंका विशेष गरी आवश्यक छैन भन्ने निष्कर्षमा पुग्न सक्छौं। त्यहाँ अन्य आबादी र अन्य आबादी देखि परिणाम गर्न Turkers संग प्रयोगहरू को परिणाम तुलना धेरै अध्ययन गर्न Turkers को डेमोग्राफिकहरूको तुलना धेरै अध्ययन भएका छन्। यो सबै काम दिइएको, म यसको बारेमा सोच्न लागि सबै भन्दा राम्रो तरिका Turkers धेरै विद्यार्थी तर अलिकति बढी विविध जस्तै, एक उचित सुविधा नमूना हो कि छ कि लाग्छ (Berinsky, Huber, and Lenz 2012) । तसर्थ, विद्यार्थी केही लागि एक उचित जनसंख्या तर सबै प्रयोगात्मक अनुसन्धान हो जस्तै Turkers सबै अनुसन्धान केही लागि एक उचित जनसंख्या तर छैन। तपाईं Turkers काम गर्न जाँदैछन् भने यी तुलनात्मक अध्ययन को धेरै पढ्न र आफ्नो nuances बुझ्न अर्थमा बनाउँछ।

दोस्रो, अनुसन्धानकर्ताहरूले टर्क प्रयोगहरू आन्तरिक वैधता वृद्धि लागि सबै भन्दा राम्रो-अभ्यासहरू विकास गरेको छ, र तपाईं सिक्न र यी सबै भन्दा राम्रो-अभ्यासहरू पालन गर्नुपर्छ (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) । उदाहरणका लागि, Turkers प्रयोग अनुसन्धानकर्ताहरूले ध्यान दिएनौं सहभागीहरू हटाउन screeners प्रयोग गर्न प्रोत्साहन दिइएको छ (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (तर पनि हेर्न DJ Hauser and Schwarz (2015b) र DJ Hauser and Schwarz (2015a) )। तपाईं ध्यान दिएनौं सहभागीहरू हटाउन भने, त्यसपछि उपचार कुनै पनि प्रभाव दिएनौं सहभागीहरू देखि शुरू हल्ला गरेर बाहिर धोएर गर्न सकिन्छ, र व्यवहार मा ध्यान दिएनौं सहभागी संख्या पर्याप्त हुन सक्छ। हबर र सहयोगिहरु को प्रयोग मा (2012) सहभागी 30% आधारभूत ध्यान screeners असफल भयो। Turkers संग साधारण अर्को समस्या गैर-अनुभवहीन सहभागीहरू छ (Chandler et al. 2015) ।

तेस्रो, डिजिटल प्रयोगहरू केही अन्य प्रकारका नातेदार, MTurk प्रयोगहरू मात्रा सक्दैन; Stewart et al. (2015) कुनै पनि समय मा MTurk मा बारेमा मात्र 7,000 मानिसहरू छन् कि अनुमान।

अन्तमा, तपाईं MTurk यसको आफ्नै नियम र मान्यता पनि एउटा समुदाय हो भनेर थाहा हुनुपर्छ (Mason and Suri 2012) । के तपाईं आफ्नो प्रयोगहरू सञ्चालन गर्न जाँदै थिए जहाँ एक देश को संस्कृतिको बारेमा पत्ता लगाउन प्रयास भनेर नै बाटो मा, तपाईं बाहिर संस्कृति र Turkers को मान्यता बारे थप पत्ता लगाउन प्रयास गर्नुपर्छ (Salehi et al. 2015) । र, तपाईंले अनुपयुक्त वा unethical केहि यदि Turkers तपाईँको प्रयोग कुरा हुनेछ भन्ने थाह हुनुपर्छ (Gray et al. 2016) ।

MTurk तिनीहरूले जस्तै, प्रयोगशाला-जस्तो हो कि आफ्नो प्रयोगहरू सहभागीहरू रंगरुट गर्न अविश्वसनीय सुविधाजनक तरिका हो, Huber, Hill, and Lenz (2012) , वा बढी क्षेत्र-जस्तो, जस्तै Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , र Mao et al. (2016) ।

• तपाईंको आफ्नै उत्पादन निर्माण (धारा 4.5.1.3)

तपाईं आफ्नो उत्पादन सिर्जना गर्न प्रयास सोच गर्दै हुनुहुन्छ भने, म तपाईं मा MovieLens समूह द्वारा प्रस्तावित सल्लाह पढ्न सुझाव दिन्छौं Harper and Konstan (2015) । आफ्नो अनुभवबाट एउटा मुख्य अन्तरदृष्टि प्रत्येक सफल परियोजनाका लागि धेरै, धेरै असफल छन् भन्ने छ। उदाहरणका लागि, MovieLens समूह यस्तो पूर्ण असफलता थिए GopherAnswers अन्य उत्पादनहरु शुरू (Harper and Konstan 2015) । एक उत्पादन निर्माण गर्ने प्रयास गर्दा असफल अनुसन्धानकर्ता अर्को उदाहरण Arden भनिन्छ अनलाइन खेल निर्माण गर्न एडवर्ड Castronova गरेको प्रयास हो। कोष मा $ 2,50,000 तापनि परियोजना एक फ्लप थियो (Baker 2008) । GopherAnswers र Arden जस्तै परियोजनाहरु दुर्भाग्य अधिक साधारण MovieLens जस्तै परियोजनाहरू भन्दा हुन्। अन्तमा, म सफलतापूर्वक बारम्बार प्रयोग को लागि उत्पादन निर्माण गरेका कुनै पनि अन्य अनुसन्धानकर्ताहरूले को थाहा थिएन कि यसो यहाँ मेरो मापदण्ड हो: 1) सहभागीहरू किनभने जस्तै, तिनीहरूले भुक्तानी छैन तिनीहरूलाई के प्रदान गर्दछ (को उत्पादन प्रयोग र तिनीहरूले छैनन् स्वयंसेवकहरु विज्ञान मदत) र 2) उत्पादन एक भन्दा बढी भिन्न प्रयोग (अर्थात्, छैन नै प्रयोग धेरै फरक सहभागी पूल संग पटक) को लागि प्रयोग गरिएको छ। तपाईं अन्य उदाहरण थाहा छ भने, कृपया मलाई थाहा।

• शक्तिशाली साझेदार (धारा 4.5.2)

म प्रविधी कम्पनीहरु प्रायः छलफल Pasteur गरेको वृत्त को चतुर्थ को विचार सुनेका छौं, र यो Google मा अनुसन्धान प्रयास संगठित गर्न मद्दत गर्छ (Spector, Norvig, and Petrov 2012) ।

बण्ड र सहयोगिहरु 'अध्ययन (2012) पनि तिनीहरूलाई प्राप्त गर्नेहरूलाई को मित्र यी उपचार को प्रभाव पत्ता लगाउन प्रयास। किनभने प्रयोग को डिजाइन को, यी spillovers सफाइको पत्ता लगाउन गाह्रो छन्; रुचि पाठकहरूलाई हेर्नुपर्छ Bond et al. (2012) एक थप राम्ररी छलफल लागि। यो प्रयोग मतदान प्रोत्साहन प्रयासमा राजनीतिक विज्ञान मा प्रयोगहरू एक लामो परम्परा को भाग हो (Green and Gerber 2015) । यी गेट-बाहिर-द-मत प्रयोगहरू भाग मा सामान्य तिनीहरूले Pasteur गरेको वृत्त को चतुर्थ छन् किनभने। भन्ने व्यवहार परिवर्तन र सामाजिक प्रभाव बारे थप सामान्य सिद्धान्त परीक्षण गर्न एक रोचक व्यवहार हुन सक्छ मतदान र मतदान वृद्धि गर्न उत्प्रेरणा हो जो धेरै मान्छे छन्, छ।

अन्य अनुसन्धानकर्ताहरूले यस्तो राजनीतिक दल, एनजीओ, र व्यवसायीहरूको रूपमा साझेदार संस्थाहरूको संग क्षेत्र प्रयोगहरू चलिरहेको बारे सल्लाह प्रदान गर्नुभएको (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) । अरूलाई संगठन संग भागीदारी अनुसन्धान डिजाइन कसरी असर पार्न सक्छ भन्ने बारे सल्लाह प्रस्ताव गरेका छन् (Green, Calfano, and Aronow 2014; King et al. 2007) । साझेदारी पनि नैतिक प्रश्न गर्न सक्छ (Humphreys 2015; Nickerson and Hyde 2016) ।

• डिजाइन सल्लाह (धारा 4.6)

तपाईं आफ्नो प्रयोग चलिरहेको अघि विश्लेषण योजना बनाउन जाँदैछन् भने, म रिपोर्टिङ निर्देशन पढेर सुरु सुझाव। यो पति निर्देशन (परीक्षण को समेकित मानक रिपोर्टिङ) चिकित्सा विकास (Schulz et al. 2010) र परिमार्जन सामाजिक अनुसन्धान को लागि (Mayo-Wilson et al. 2013) । दिशानिर्देश सम्बन्धित सेट प्रयोगात्मक राजनीतिक विज्ञान को जर्नल को सम्पादक द्वारा विकसित गरिएको छ (Gerber et al. 2014) (पनि हेर्न Mutz and Pemantle (2015) र Gerber et al. (2015) )। अन्तमा, रिपोर्ट निर्देशन मनोविज्ञान मा विकसित गरिएको छ (Group 2008) , र पनि हेर्न Simmons, Nelson, and Simonsohn (2011) ।

तपाईं एक विश्लेषण योजना बनाउन भने किनभने पूर्व-दर्ता अरूलाई आफ्नो परिणाममा भन्ने विश्वास वृद्धि हुनेछ यो पूर्व-दर्ता विचार गर्नुपर्छ। यसबाहेक, यदि तपाईं एक साझेदार संग काम गर्दै छन्, यो परिणाम देखेर पछि विश्लेषण परिवर्तन गर्न आफ्नो साझेदार क्षमता सीमित हुनेछ। पूर्व-दर्ता झन् मनोविज्ञान मा साधारण बन्ने छ (Nosek and Lakens 2014) , राजनीतिक विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , र अर्थशास्त्र (Olken 2015) ।

आफ्नो पूर्व-विश्लेषण योजना बनाउन गर्दा केही अनुसन्धानकर्ताहरूले पनि अनुमानित उपचार प्रभाव को सटीक सुधार गर्न प्रतिगमनमा र सम्बन्धित दृष्टिकोण प्रयोग सजग हुन र हुनुपर्छ त्यहाँ यो दृष्टिकोण बारे केही बहस छ: Freedman (2008) , Lin (2013) , र Berk et al. (2013) ; हेर्न Bloniarz et al. (2016) थप जानकारीको लागि।

डिजाइन अनलाइन क्षेत्र प्रयोगहरू लागि विशेष सल्लाह पनि प्रस्तुत गरेको छ Konstan and Chen (2007) र Chen and Konstan (2015) ।

• शून्य चर लागत डाटा सिर्जना (धारा 4.6.1)

को MusicLab प्रयोगहरू थप को लागि, Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , र Salganik (2007) । विजेता-लिन-सबै बजार मा थप हेर्नुहोस् Frank and Cook (1996) । Untangling किस्मत र कौशल थप थप साधारण लागि, हेर्न Mauboussin (2012) , Watts (2012) , र Frank (2016) ।

conscription: त्यहाँ अनुसन्धानकर्ताहरूले सावधानीपूर्वक प्रयोग गर्नुपर्छ सहभागी भुक्तानी निर्मूल गर्न अर्को दृष्टिकोण छ। धेरै अनलाइन क्षेत्र प्रयोगहरू सहभागी मूलतः क्षतिपूर्ति प्रयोगहरू मा मस्यौदा तैयार र कहिल्यै छन्। यो दृष्टिकोण उदाहरण Restivo र भ्यान डे Rijt गरेको समावेश (2012) विकिपीडिया र बण्ड र सहयोगी गरेको मा पुरस्कार मा प्रयोग (2012) मतदान गर्न उत्थानदायी मा प्रयोग। यी प्रयोगहरूले साँच्चै शून्य चर लागत छैनन्, तिनीहरूले अनुसन्धानकर्ताहरूले शून्य चर लागत छ। यी प्रयोगहरूले धेरै लागत प्रत्येक सहभागी गर्न अत्यन्तै सानो छ तापनि, लागत सानो लगाएको सहभागी एक भारी नम्बर चाँडै थप्न सक्नुहुन्छ। विशाल अनलाइन प्रयोगहरू चलिरहेको अनुसन्धानकर्ताहरूले अक्सर गर्दा धेरै मान्छे लागू यी साना प्रभाव महत्त्वपूर्ण बन्न सक्छ भन्दै द्वारा साना अनुमानित उपचार प्रभाव महत्त्व सफाइ। सही नै सोचाइ अनुसन्धानकर्ताहरूले सहभागीहरू मा आयातित भनेर लागत लागू हुन्छ। आफ्नो प्रयोगहरू एक मिनेट बर्बाद एक लाख मान्छे गराउँछ भने, प्रयोग गर्न कुनै पनि विशेष व्यक्ति धेरै हानिकारक छ, तर समग्र यो समय को लगभग दुई वर्ष बर्बाद भएको छ।

सहभागीहरूलाई शून्य चर लागत भुक्तानी सिर्जना गर्न अर्को दृष्टिकोण एक लटरी, पनि सर्वेक्षण अनुसन्धान मा प्रयोग गरिएको छ कि एक दृष्टिकोण प्रयोग गर्न छ (Halpern et al. 2011) । अन्तमा, डिजाइन बारेमा थप रमाइलो प्रयोगकर्ता-अनुभव हेर्न Toomim et al. (2011) ।

• प्रतिस्थापन, परिष्कृत र कम (धारा 4.6.2)

यहाँ तीन आर को मूल परिभाषाहरू, छन् Russell and Burch (1959) :

"प्रतिस्थापन असंवेद्य सामाग्री सजग जीवित उच्च जनावर लागि प्रतिस्थापन हो। कमी दिइएको रकम र सटीक को जानकारी प्राप्त गर्न प्रयोग जनावरहरूको संख्या मा कमी हो। शोधन को घटना वा अझै पनि प्रयोग गर्न छ जो ती जनावरहरू लागू inhumane प्रक्रियाहरु को कठोरता मा कुनै पनि कमी हो। "

तीन आर गरेको म प्रस्तावित भनेर अध्याय 6 मा वर्णन नैतिक सिद्धान्तहरू अधिरोहण छैन बरु, तिनीहरू एक थप सविस्तार मानव प्रयोगहरू को सेटिङ लागि ती सिद्धान्तहरू-beneficence-विशेष को एक संस्करण हो।

भावनात्मक Contagion विचार गर्दा, तीन गैर-नैतिक यो प्रयोग व्याख्या गर्दा मनमा राख्न मुद्दाहरू छन्। पहिलो, यो प्रयोग गर्ने वास्तविक विवरण सैद्धान्तिक दावी गर्न कसरी जडान स्पष्ट छ; अर्को शब्दमा, त्यहाँ निर्माण वैधता बारेमा प्रश्नहरू छन्। यो सकारात्मक र नकारात्मक शब्द गणना मान्छे पोस्ट भनेर शब्दहरू आफ्ना भावनाहरूलाई को राम्रो सूचक हो कि 1) यो स्पष्ट छैन किनभने सहभागीहरू को भावनात्मक राज्य राम्रो सूचक वास्तवमा छन् कि स्पष्ट छैन र 2) स्पष्ट छैन शोधकर्ताओं प्रयोग गर्ने विशेष विचार विश्लेषण प्रविधी मजबूती भावना infer गर्न सक्षम छ (Beasley and Mason 2015; Panger 2016) । अर्को शब्दमा, एक biased संकेत खराब उपाय हुन सक्छ। दोस्रो, प्रयोग को डिजाइन र विश्लेषण हामीलाई सबैभन्दा प्रभावित थियो (अर्थात्, उपचार प्रभाव heterogeneity कुनै विश्लेषण छ) र संयन्त्र हुन सक्छ के केही बताउँछ। यस अवस्थामा, शोधकर्ताओं सहभागीको बारेमा जानकारी धेरै थियो, तर तिनीहरूले अनिवार्य विश्लेषण मा विजेट रूपमा व्यवहार गरियो। तेस्रो, यो प्रयोग मा प्रभाव साह्रै सानो थियो; उपचार र नियन्त्रण अवस्था भिन्नता 1,000 शब्दमा बारेमा 1 छ। आफ्नो कागज मा, क्रेमर र सहयोगिहरु मान्छे लाखौं आफ्नो समाचार हरेक दिन फीड पहुँच किनभने यो आकार को एक प्रभाव महत्त्वपूर्ण छ भनेर मामला बनाउन। अर्को शब्दमा, तिनीहरूले पनि तिनीहरूले समग्र ठूलो हो प्रत्येक व्यक्ति को लागि सानो हो कि प्रभाव तर्क। तपाईं यो तर्क स्वीकार गर्न भने पनि, यो अझै पनि छैन स्पष्ट यस आकार को एक प्रभाव भावनात्मक contagion बारेमा थप सामान्य वैज्ञानिक प्रश्न महत्वपूर्ण छ भने छ। जहाँ सानो प्रभाव महत्त्वपूर्ण छन् को अवस्थामा थप देख्न Prentice and Miller (1992) ।

पहिलो आर (प्रतिस्थापन), को मामला मा भावनात्मक Contagion प्रयोग तुलना (Kramer, Guillory, and Hancock 2014) र भावनात्मक contagion प्राकृतिक प्रयोग (Coviello et al. 2014) देखि बढ संग संलग्न व्यापार-ओफ बारेमा सामान्य पाठ प्रदान गर्दछ प्राकृतिक प्रयोगहरू गर्न प्रयोगहरू (र गैर-प्रयोगात्मक डाटा मा प्रयोगहरू लगभग कि प्रयास मिल्ने जस्तै अन्य तरीकाहरु, अध्याय 2 हेर्नुहोस्)। नैतिक लाभ साथै, गैर-प्रयोगात्मक अध्ययन गर्न प्रयोगात्मक देखि स्विच पनि अनुसन्धानकर्ताहरूले तिनीहरूले logistically फैलिनु गर्न असमर्थ छौं भनेर उपचार अध्ययन गर्न सक्षम बनाउँछ। यी नैतिक र सैन्य लाभ तथापि, एक लागत मा आउनुहोस्। प्राकृतिक प्रयोगहरू संग अनुसन्धानकर्ताहरूले सहभागीहरू, randomization को भर्ती जस्तै कुराहरू भन्दा कम नियन्त्रण र उपचार को स्वभाव छ। उदाहरणका लागि, एक उपचार रूपमा वर्षा को एक सीमा यो दुवै positivity बढ्छ र negativity घट्ने छ। प्रयोगात्मक अध्ययन, तथापि, क्रेमर र सहयोगिहरु स्वतन्त्र positivity र negativity समायोजन गर्न सके।

प्रयोग गर्ने विशेष दृष्टिकोण Coviello et al. (2014) थप मा सविस्तार थियो Coviello, Fowler, and Franceschetti (2014) । सहायक चर एक परिचय लागि हेर्नुहोस् Angrist and Pischke (2009) (कम औपचारिक) वा Angrist, Imbens, and Rubin (1996) (थप औपचारिक)। सहायक चर को एक संदेह मूल्यांकन लागि हेर्नुहोस् Deaton (2010) , र कमजोर उपकरण (वर्षा एक कमजोर साधन छ) संग सहायक चर एक परिचय को लागि, हेर्न Murray (2006) ।

थप सामान्यतया, प्राकृतिक प्रयोगहरू गर्न राम्रो परिचय छ Dunning (2012) , र Rosenbaum (2002) , Rosenbaum (2009) , र Shadish, Cook, and Campbell (2001) प्रयोगहरू बिना causal प्रभाव अनुमान बारेमा राम्रो विचार प्रस्ताव।

दोस्रो आर (शोधन) को मामला मा, त्यहाँ वैज्ञानिक र सैन्य व्यापार-ओफ पोस्ट बुस्टिङ गर्न पोस्ट अवरुद्ध देखि भावनात्मक Contagion को डिजाइन परिवर्तन विचार गर्दा हुन्। उदाहरणका लागि, यो समाचार फिड प्राविधिक कार्यान्वयन यसलाई पोस्ट बुस्टिङ एउटा प्रयोग भन्दा पोस्ट अवरुद्ध एउटा प्रयोग गर्न पर्याप्त सजिलो छ बनाउँछ कि मामला हुन सक्छ (पोस्ट अवरुद्ध एउटा प्रयोग मा एक पत्र रूपमा कार्यान्वयन गर्न सकिएन भनेर याद जन्माउने प्रणाली को बदलाव) को लागि कुनै पनि आवश्यकता बिना समाचार फीड प्रणाली को शीर्ष। वैज्ञानिक, तथापि, प्रयोग द्वारा सम्बोधन सिद्धान्त स्पष्ट अन्य भन्दा एक डिजाइन सुझाव दिनुभयो।

दुर्भाग्यवश, म अवरुद्ध र समाचार फीड सामग्री बुस्टिङ को नातेदार merits बारेमा पर्याप्त पूर्व अनुसन्धान सचेत छु। साथै, मैले तिनीहरूलाई कम हानिकारक बनाउन उपचार शोधन बारेमा धेरै अनुसन्धान देखेको छैन; एक अपवाद छ Jones and Feamster (2015) इन्टरनेट जाच्ने र काटछाट गर्ने को मापन को मामला ठान्नुहुन्छ जो, (म दोहराना अध्ययन गर्न सम्बन्धमा अध्याय 6 मा छलफल एक विषय (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) )।

तेस्रो आर (रिडक्सन) को मामला मा, परम्परागत शक्ति विश्लेषण गर्न राम्रो परिचय छ Cohen (1988) । पूर्व-उपचार covariates डिजाइन चरण र प्रयोगहरू को विश्लेषण चरण मा समावेश गर्न सकिन्छ; अध्याय 4 Gerber and Green (2012) दुवै दृष्टिकोण राम्रो परिचय प्रदान गर्दछ र Casella (2008) एक गहन उपचार प्रदान गर्दछ। को randomization यो पूर्व-उपचार जानकारी प्रयोग गर्ने प्रविधी सामान्यतया या त अवरुद्ध प्रयोगात्मक डिजाइन वा stratified प्रयोगात्मक डिजाइन (शब्दावली समुदाय मार्फत लगातार प्रयोग गरिएको छैन) भनिन्छ; यी प्रविधी गहिरो भएको stratified नमूना प्रविधी अध्याय 3 हेर्नुहोस छलफल सम्बन्धित छन् Higgins, Sävje, and Sekhon (2016) विशाल प्रयोगहरू यी डिजाइन प्रयोग लागि। पूर्व-उपचार covariates पनि विश्लेषण चरण मा समावेश गर्न सकिन्छ। McKenzie (2012) ठूलो विस्तार क्षेत्रमा प्रयोगहरू विश्लेषण गर्न फरक-मा-मतभेद दृष्टिकोण पडताल। हेर्नुहोस् Carneiro, Lee, and Wilhelm (2016) उपचार प्रभाव को अनुमान मा सटीक वृद्धि गर्न विभिन्न दृष्टिकोण बीच व्यापार-ओफ मा थप। अन्तमा, डिजाइन वा विश्लेषण चरण (वा दुवै) मा पूर्व-उपचार covariates समावेश गर्न प्रयास गर्ने हो कि निर्णय गर्दा, त्यहाँ विचार गर्न केही कारक हो। जहाँ अनुसन्धानकर्ताहरूले तिनीहरूले "माछा मार्ने" छैन भनेर देखाउन चाहनुहुन्छ एक सेटिंग मा (Humphreys, Sierra, and Windt 2013) , डिजाइन चरणमा पूर्व-उपचार covariates प्रयोग उपयोगी हुन सक्छ (Higgins, Sävje, and Sekhon 2016) । जहाँ सहभागीहरू क्रमिक आइपुग्छन्, डिजाइन चरणमा पूर्व-उपचार जानकारी प्रयोग logistically गाह्रो हुन सक्छ विशेष गरी अनलाइन क्षेत्र प्रयोग, परिस्थिति, उदाहरण को लागि हेर्न Xie and Aurisset (2016) ।

यो किन फरक--मतभेद मा फरक-मा-साधन भन्दा धेरै बढी प्रभावकारी हुन सक्छ बारेमा अंतर्ज्ञान को एक बिट थप्दा लायक छ। धेरै अनलाइन परिणाम धेरै उच्च भिन्नता छ (हेर्नुहोस् जस्तै, Lewis and Rao (2015) र Lamb et al. (2015) ) र समय अपेक्षाकृत स्थिर छन्। यस अवस्थामा, परिवर्तन स्कोर तथ्याङ्क परीक्षण शक्ति वृद्धि, पर्याप्त सानो भिन्नता हुनेछ। यो नजिक प्राय प्रयोग गरिएको छैन एउटा कारण डिजिटल उमेर पहिला यो पूर्व-उपचार परिणाम गर्न साधारण थियो कि छ। यो सोच्न बढी ठोस बाटो विशिष्ट व्यायाम नियमित वजन गराउँछ कि मापन गर्न प्रयोग कल्पना गर्न छ। तपाईं फरक-मा-साधन दृष्टिकोण के छ भने, तपाईंको अनुमान जनसंख्यामा बोझ मा variability आउँछ कि variability हुनेछ। तपाईं फरक-मा-फरक दृष्टिकोण के छ भने, तर, वजन मा कि स्वाभाविक निरन्तर विविधता हटाइएको हुन्छ र तपाईं अधिक सजिलै उपचार कारण फरक पहिचान गर्न सक्छन्।

तपाईँको प्रयोग सहभागी संख्या कम गर्न एउटा महत्त्वपूर्ण तरिका एक शक्ति विश्लेषण, क्रेमर र सहकर्मीहरुको प्राकृतिक प्रयोग बाट पालन प्रभाव आकार आधारित गरेका सक्छ जो सञ्चालन गर्न छ Coviello et al. (2014) वा क्रेमर द्वारा गैर-प्रयोगात्मक अनुसन्धान पहिले (2012) (वास्तवमा यी यो अध्याय को अन्त मा गतिविधिहरु छन्)। शक्ति विश्लेषण को प्रयोग एक बिट विशिष्ट भन्दा फरक छ कि, ध्यान दिनुहोस्। अनुरूप उमेर मा, अनुसन्धानकर्ताहरूले साधारणतया तिनीहरूका अध्ययन धेरै सानो थियो कि निश्चित गर्न शक्ति विश्लेषण गरे (अर्थात्, अन्तर्गत सञ्चालित)। अब तथापि, अनुसन्धानकर्ताहरूले शक्ति विश्लेषण आफ्नो अध्ययन पनि ठूलो छैन भनेर निश्चित गर्न के गर्नुपर्छ (अर्थात्, अधिक सञ्चालित)।

Repurpose: अन्तमा, म थप्दा चौथो आर छलफल। तिनीहरूले आफ्नो मूल अनुसन्धान प्रश्न सम्बोधन गर्न आवश्यक भन्दा अनुसन्धानकर्ताहरूले थप प्रयोगात्मक डाटा संग आफूलाई पाउन भने, तिनीहरूले नयाँ प्रश्न डाटा repurpose गर्नुपर्छ, छ। उदाहरणका लागि, क्रेमर र सहयोगिहरु आफ्नो अनुसन्धान प्रश्न सम्बोधन गर्न आवश्यक भन्दा बढी डाटा संग आफूलाई फरक-मा-मतभेद अनुमानक प्रयोग र भेट्टाएको भनेर कल्पना गर्नुहोस्। बरु fullest हदसम्म डाटा प्रयोग गर्न भन्दा, तिनीहरूले भावनात्मक अभिव्यक्ति-उपचार पूर्व एक समारोह रूपमा प्रभाव को आकार अध्ययन सक्थे। जसरी Schultz et al. (2007) को उपचार को प्रभाव शायद समाचार फिड प्रभाव पहिले नै खुसी (वा दुःखी) सन्देश पोस्ट tended मानिसहरू लागि विभिन्न थिए, ज्योति र भारी प्रयोगकर्ताका लागि विभिन्न भेट्टाए। Repurposing "माछा मार्ने" को लागि नेतृत्व सक्छ (Humphreys, Sierra, and Windt 2013) र "पृ-हैकिंग" (Simmons, Nelson, and Simonsohn 2011) , तर यी हदसम्म इमानदार रिपोर्टिङ संयोजन संग ठेगाना छन् (Simmons, Nelson, and Simonsohn 2011) , पूर्व-दर्ता (Humphreys, Sierra, and Windt 2013) , र मिसिन सिक्ने तरिका भन्दा-फिटिङ जोगिन प्रयास।