अर्को पढ्न के

• परिचय (खण्ड 4.1)

सोशल रिसर्चमा उत्तरदायित्वको बारेमा प्राय: जटिल र जटिल हुन्छ। Causal graphs मा Imbens and Rubin (2015) आधारभूत दृष्टिकोण को लागि, Pearl (2009) हेर्नुहोस, र संभावित परिणामहरु मा आधारित एक आधारभूत दृष्टिकोण को लागि, Imbens and Rubin (2015) हेर्नुहोस। यी दुई दृष्टिकोणहरू बीच तुलनाको लागि, Morgan and Winship (2014) हेर्नुहोस्। VanderWeele and Shpitser (2013) को परिभाषित गर्न को लागी एक औपचारिक दृष्टिकोण को लागि, VanderWeele and Shpitser (2013) हेर्नुहोस्।

यस अध्यायमा, मैले सृजनात्मक र गैर-प्रयोग डेटा बाट उत्पन्न अनुमान अनुमान गर्ने क्षमताको बीचमा उज्ज्वल रेखा जस्तो जस्तो देखिन्छ। तथापि, मलाई लाग्छ कि, वास्तविकतामा, भेद अधिक धमिलो छ। उदाहरणका लागि, सबैले स्वीकार गर्दछ कि धूम्रपान गर्दा क्यान्सरको कारण हुन्छ, भले ही अनियमित रूपमा प्रयोग गरिएको कुनै प्रयोगिक प्रयोग जुन मानिसहरू मानिसहरूलाई धुम्रपान गर्न सक्दछ। गैर-प्रयोगात्मक डेटाबाट causal अनुमानहरू बनाउन उत्कृष्ट किताब-लम्बाइ उपचारका लागि Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) र Dunning (2012) ।

Freedman, Pisani, and Purves (2007) को अध्याय 1 र 2 प्रयोग प्रयोगहरू, नियन्त्रित प्रयोगहरू, र अनियमित नियन्त्रण प्रयोगहरूको बीचमा फरक फरक परिचय प्रदान गर्दछ।

Manzi (2012) ले यादृच्छिक नियन्त्रित प्रयोगहरूको दार्शनिक र सांख्यिकीय अध्यापनको लागि आकर्षक र पठनीय परिचय प्रदान गर्दछ। यसले व्यवसायमा प्रयोगको शक्तिको रोचक वास्तविक संसार उदाहरण पनि प्रदान गर्दछ। Issenberg (2012) राजनीतिक अभियानहरुमा प्रयोग को प्रयोग को लागि एक आकर्षक परिचय प्रदान गर्दछ।

• प्रयोगहरू के हो? (धारा 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, Athey and Imbens (2016b) प्रयोगात्मक डिजाइन र विश्लेषण को सांख्यिकीय पहलुहरुमा राम्रो परिचय प्रदान गर्दछ। यसबाहेक, थुप्रै विभिन्न क्षेत्रहरूमा प्रयोगका उत्कृष्ट उपचारहरू छन्: अर्थशास्त्र (Bardsley et al. 2009) , समाजशास्त्र (Willer and Walker 2007; Jackson and Cox 2013) , मनोविज्ञान (Aronson et al. 1989) , राजनैतिक विज्ञान (Morton and Williams 2010) , र सोशल नीति (Glennerster and Takavarasha 2013) ।

सहभागी भर्तीको महत्व (जस्तै, नमूना) प्रयोगात्मक अनुसन्धानमा अक्सर सराहना गरिन्छ। यद्यपि, यदि उपचारको प्रभाव आबादीमा विषम हुन्छ, त्यसपछि नमूना महत्वपूर्ण छ। Longford (1999) ले यो बिन्दुलाई स्पष्ट बनाउँछ जब उनीहरूले नमूना नमूनाको साथ आबादी सर्वेक्षणको रूपमा प्रयोगको बारेमा सोच्ने शोधकर्ताहरूको लागि अधिवेशन गर्दछ।

• प्रयोगका दुई आयाम: प्रयोगशाला-क्षेत्र र एनालग-डिजिटल (खण्ड 4.3)

मैले सुझाव दिएको छु कि लैब र फील्ड प्रयोगहरु बीच एक निरंतरता छ, र अन्य शोधकर्ताहरु लाई विशेष रूप देखि विस्तृत रूपहरु को प्रस्तावित गरेको छ, विशेष रूप देखि जो कि विभिन्न रूपहरु फील्ड प्रयोगों (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) अलग गर्दछ।

धेरै कागजातले सार (Falk and Heckman 2009; Cialdini 2009) प्रयोग गरीएको प्रयोगशाला र राजनीतिक विज्ञान (Coppock and Green 2015) , अर्थशास्त्र (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) विशिष्ट प्रयोगहरूको परिणामको सन्दर्भमा प्रयोगशाला र क्षेत्र प्रयोगहरूको तुलनामा गरेको छ। (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , र मनोविज्ञान (Mitchell 2012) । Jerit, Barabas, and Clifford (2013) प्रयोगशाला र क्षेत्र प्रयोगका परिणामहरू तुलना गर्न एक राम्रो अनुसन्धान डिजाइन प्रदान गर्दछ। Parigi, Santana, and Cook (2017) ले कसरी वर्णन गर्दछ कि अनलाइन क्षेत्र प्रयोगहरूले ल्याब र फिल्ड प्रयोगहरूको केहि विशेषताहरू संयोजन गर्न सक्छन्।

सहभागीहरु को बारे मा उनको व्यवहार को बदलन को बारे मा चिंतित हो किनकी उनि जान्दछन् कि उनि निकटता देखि मनाई जान्छन् कभी-कभी मांग को प्रभाव भनिन्छ, र उनि मनोविज्ञान (Orne 1962) र अर्थशास्त्र (Zizzo 2010) अध्ययन गरिएको छ। यद्यपि प्रयोगशाला प्रयोगका साथ प्रायः सम्बन्धित छन्, त्यस्ता समस्याहरूले पनि क्षेत्र प्रयोगका लागि समस्या उत्पन्न गर्न सक्छ। वास्तवमा, मांग प्रभावहरू कहिलेकाहीँ हाउथर्न प्रभावहरू पनि भनिन्छ, एक शब्द जसले प्रसिद्ध रोशनी प्रयोगहरू प्राप्त गरेको हो जुन 1 9 24 मा हावार्नोर्न वर्क्स अफ वेस्टर्न इलेक्ट्रिक कम्पनी (Adair 1984; Levitt and List 2011) । दुवै मांग प्रभाव र हॉर्थर्न प्रभावहरू अध्याय 2 मा छलफल गरिएको प्रतिक्रियात्मक मापको विचारसँग सम्बन्धित छन् ( Webb et al. (1966) )।

क्षेत्र प्रयोगहरुमा अर्थशास्त्र (Levitt and List 2009) , राजनैतिक विज्ञान (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , मनोविज्ञान (Shadish 2002) , र सार्वजनिक नीति (Shadish and Cook 2009) । सामाजिक विज्ञानको एक क्षेत्र जहाँ क्षेत्र प्रयोगहरू चाँडै अन्तर्राष्ट्रिय विकास हो। अर्थशास्त्र भित्र रहेको कामको सकारात्मक समीक्षाको लागि Banerjee and Duflo (2009) देख्न सकिन्छ, र एउटा महत्वपूर्ण मूल्याङ्कनको लागि Deaton (2010) हेर्नुहोस्। राजनैतिक विज्ञानमा यो कामको समीक्षाको लागि Humphreys and Weinstein (2009) हेर्नुहोस्। अन्तमा, क्षेत्रीय प्रयोगबाट उत्पन्न नैतिक चुनौतिहरू राजनीतिक विज्ञान (Humphreys 2015; Desposato 2016b) र विकास अर्थशास्त्र (Baele 2013) को सन्दर्भमा पत्ता लगाइएको छ।

यस खण्डमा मैले सुझाव दिएँ कि पूर्व-उपचार जानकारी अनुमानित उपचार प्रभावहरूको परिमार्जन सुधार गर्न प्रयोग गर्न सकिन्छ, तर यस दृष्टिकोणको बारेमा केही बहस छ। Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , र Bloniarz et al. (2016) थप जानकारीको लागि।

अन्तमा, दुईवटा अन्य प्रकारका सामाजिक वैज्ञानिकहरू द्वारा प्रदर्शन गरिएका प्रयोगहरू छन् जुन ल्याप्ट-फिल्ड आयामको साथमा राम्रोसँग फिट छैन: सर्वेक्षण प्रयोगहरू र सामाजिक प्रयोगहरू। सर्वेक्षण प्रयोगहरू अवस्थित सर्वेक्षणको पूर्वाधार प्रयोग गरी प्रयोगहरू छन् र एउटै प्रश्नहरूको वैकल्पिक संस्करणहरूको प्रतिक्रियाहरूको तुलना गर्नुहोस् (केही सर्वेक्षण प्रयोगहरू अध्याय 3 मा प्रस्तुत गरिएका छन्); सर्वेक्षण प्रयोगहरूमा थपको लागि Mutz (2011) हेर्नुहोस्। सामाजिक प्रयोगहरू प्रयोगहरू छन् जहाँ उपचार केही सामाजिक नीति हो जुन केवल एक सरकार द्वारा लागू गर्न सकिन्छ। सामाजिक प्रयोगहरू कार्यक्रम मूल्याङ्कनसँग नजिकसँग सम्बन्धित छन्। नीति प्रयोगहरूमा बढीको लागि, Heckman and Smith (1995) , Orr (1998) , र @ glennerster_running_2013 हेर्नुहोस्।

• साधारण प्रयोगहरूबाट बाहिर जान्छ (खण्ड 4 9)

मैले तीन अवधारणाहरूमा फोकस गर्न चुनेको छु: वैधता, उपचारको प्रभाव विरूपणता, र तंत्र। यी अवधारणाहरूसँग विभिन्न क्षेत्रहरूमा फरक नामहरू छन्। उदाहरणका लागि, मनोवैज्ञानिकहरू मध्यस्थहरू र मध्यस्थहरू (Baron and Kenny 1986) ध्यान केन्द्रित गरेर साधारण प्रयोगहरूभन्दा बढि जान्छन्। मध्यस्थकर्ताहरूको विचार मैले के गर्ने तंत्रद्वारा कब्जा गरेको छ, र मध्यस्थताको विचार मैले कब्जा गरेको बाह्य वैधताले कब्जा गरेको छ (जस्तै, प्रयोग फरक फरक हुनेछ यदि फरक परिस्थितिमा दौडिएको थियो) र उपचार प्रभावहरु को विरूपणता ( उदाहरणार्थ, प्रभावकारीहरू अन्यका लागि भन्दा बढीका लागि ठूलो हो)।

Schultz et al. (2007) द्वारा प्रयोग Schultz et al. (2007) देखाउँछ कि कसरी प्रभावकारी हस्तक्षेपहरू डिजाइन गर्न सामाजिक थोरै प्रयोग गर्न सकिन्छ। प्रभावकारी हस्तक्षेपहरू डिजाइनमा सिद्धान्तको भूमिकाबारे थप सामान्य तर्कको लागि, हेर्नुहोस् Walton (2014) ।

• वैधता (खण्ड 4.4.1)

आन्तरिक र बाह्य वैधताको अवधारणाहरू पहिलो पटक Campbell (1957) द्वारा पेश गरियो। अधिक विस्तृत इतिहास र सांख्यिकीय निष्कर्ष वैधता, आन्तरिक वैधता, वैधता निर्माण, र बाह्य वैधताको निर्माण गर्न सावधान Shadish, Cook, and Campbell (2001) हेर्नुहोस्।

तथ्याङ्कहरूमा सांख्यिकीय निष्कर्ष वैधता संग सम्बन्धित मुद्दाहरूको समीक्षाको लागि Gerber and Green (2012) (एक सामाजिक विज्ञान परिप्रेक्ष्यबाट) र Imbens and Rubin (2015) (एक सांख्यिकीय परिप्रेक्ष्यबाट) हेर्नुहोस्। सांख्यिकीय निष्कर्ष वैधता को केहि मुद्दाहरु जुन विशेष रूप देखि अनलाइन फील्ड प्रयोगहरुमा उत्पन्न हुन्छ मा निर्भर डेटा (Bakshy and Eckles 2013) संग आत्मविश्वास अंतराल बनाउन को लागि कम्प्यूटेक्टिव रूप देखि कुशल तरिकाहरु को रूप मा शामिल हुन्छन्।

आन्तरिक वैधता जटिल क्षेत्र प्रयोगहरूमा सुनिश्चित गर्न गाह्रो हुन सक्छ। उदाहरणका लागि, उदाहरणका लागि, Gerber and Green (2000) , Imai (2005) , र Gerber and Green (2005) मतदानको बारेमा जटिल क्षेत्र प्रयोगको कार्यान्वयनको बारेमा छलफलका लागि। Kohavi et al. (2012) र Kohavi et al. (2013) अनलाइन क्षेत्र प्रयोगहरूमा अन्तराल वैधताको चुनौतीहरूको परिचय दिन्छ।

आन्तरिक वैधतामा एक प्रमुख खतरा विफल यादृच्छिककरणको सम्भावना हो। अनियमितताका साथ समस्याहरू पत्ता लगाउन एक सम्भावना तरिका अवलोकन गर्ने लक्षणहरूमा उपचार र नियन्त्रण समूह तुलना गर्न हो। यो तुलनाको तुलनामा एक ब्यालेन्स चेक भनिन्छ । सन्तुलन जाँचहरूको बारेमा चिन्ताको लागि सन्तुलन जाँच र Mutz and Pemantle (2015) सांख्यिकीय दृष्टिकोणको लागि Hansen and Bowers (2008) हेर्नुहोस्। उदाहरणको लागि, एक ब्यालेन्स चेक प्रयोग गरेर, Allcott (2011) ले केही सबूतहरू फेला पारेको छ कि अनियमितता तीनवटा खुलावर प्रयोगहरूमा सही रूपमा कार्यान्वयन गरिएको थिएन (तालिका 2; साइट 2, 6, र 8) हेर्नुहोस्। अन्य दृष्टिकोणका लागि Imbens and Rubin (2015) अध्याय 21 हेर्नुहोस् Imbens and Rubin (2015) ।

आन्तरिक वैधताको सम्बन्धमा अन्य प्रमुख चिन्ताहरू हुन्: (1) एक-पक्षीय असुविधा, जहाँ उपचार समूहमा सबैलाई वास्तवमा उपचार प्राप्त भएन, (2) दुई पक्षीय असक्षमता, जहाँ उपचारको कुनै पनि समूहमा उपचार र केहि व्यक्ति नियन्त्रण समूहले उपचार पाउँछ, (3) छिद्रण, जहाँ केही सहभागीहरूको लागि नतिजाहरू नपाइएका छन्, र (4) हस्तक्षेप, उपचारका अवस्थाहरूमा उपचार अवस्थामा उपचारका लागी उपचारका लागी उपचार गरिन्छ। यी प्रत्येक मुद्दाहरूमा थप Gerber and Green (2012) अध्याय 5, 6, 7, र 8 हेर्नुहोस्।

वैधता निर्माणको बारेमा बढिको लागि, Westen and Rosenthal (2003) हेर्नुहोस्, र ठूलो डेटा स्रोतहरूमा वैधता निर्माण गर्न थप, Lazer (2015) र यस पुस्तकको अध्याय 2।

बाह्य वैधताको एक पहलू सेट हो जुन हस्तक्षेप परीक्षण गरिएको छ। Allcott (2015) सावधान सैद्धांतिक र व्यावहारिक उपचार साइट साइट पूर्वाग्रह को उपचार प्रदान गर्दछ। यो मुद्दा पनि Deaton (2010) द्वारा छलफल गरिएको छ। बाह्य वैधता को अर्को पहलू यो छ कि त्यहि हस्तक्षेप को वैकल्पिक परिचालन को समान प्रभाव पड़ेगा। यस अवस्थामा, Schultz et al. (2007) बीच एक तुलना Schultz et al. (2007) र Allcott (2011) बताउँछ कि ओप्वर प्रयोगहरुमा मूल प्रयोग भन्दा कम अनुमानित उपचारको प्रभाव थियो जसमा Schultz र सहकर्मीहरूले (1.7% बनाम 5%)। Allcott (2011) अनुमान लगाएको छ कि अनुवर्ती प्रयोगहरु एक सानो प्रभाव थियो किनकि उपचार फरक भएको थियो: एक विश्वविद्यालय द्वारा प्रायोजित अध्ययन को भाग को रूप मा एक हस्तलेख इमोटिकन, एक जन निर्मित उत्पादन को रूप मा मुद्रित ईमोटिकन संग तुलना पावर कम्पनीबाट रिपोर्ट गर्नुहोस्।

• उपचार प्रभाव को हताशता (धारा 4.4.2)

क्षेत्र प्रयोगहरूमा उपचारका प्रभावहरूको हिटरजाइटीको उत्कृष्ट अवलोकनको लागि, Gerber and Green (2012) अध्याय 12 हेर्नुहोस्। चिकित्सा परीक्षणहरुमा उपचार को प्रभाव को विरूपणता को परिचय को लागि, Kent and Hayward (2007) , Longford (1999) Kravitz, Duan, and Braslow (2004) । उपचारको प्रभावको हिटरोजिटिटीको विचार सामान्यतया पूर्व-उपचारका विशेषताहरूमा आधारित फरक फरक पर्दछ। यदि तपाईंले पोस्ट-उपचार परिणामहरूको आधारमा हिमाङ्गिकतामा रुचि राख्नुहुन्छ भने, त्यसपछि थप जटिल दृष्टिकोणहरू आवश्यक छ, जस्तै प्रिन्सिपल स्तरीकरण (Frangakis and Rubin 2002) ; Page et al. (2015) एक समीक्षाको लागि।

धेरै शोधकर्ताहरुले रैखिक प्रभाव को उपयोग गरेर उपचार को प्रभाव को विषाक्तता का अनुमान लगाए, तर नयाँ विधिहरु मिसिन सीखने मा निर्भर गर्दछ; उदाहरणका लागि, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , र Athey and Imbens (2016a) Taddy et al. (2016) Athey and Imbens (2016a) ।

धेरै तुलनात्मक समस्याहरू र "मत्स्य पालन" को प्रभावको बारेमा केही संदेह छ किनभने "मत्स्य पालन।" त्यहाँ विभिन्न तुलना (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) बारे चिन्तालाई मद्दत गर्न मद्दत गर्न सांख्यिकीय दृष्टिकोणहरू छन्। (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) । "मत्स्य पालन" को बारे मा चिन्ता को बारे मा एक चिंताओं को पूर्व पंजीकरण को लागी छ, जो मनोविज्ञान मा तेजी देखि साधारण (Nosek and Lakens 2014) , राजनैतिक विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , र अर्थशास्त्र (Olken 2015) ।

Costa and Kahn (2013) द्वारा अध्ययनमा प्रयोगमा मात्र लगभग आधे घरहरु जनसांख्यिकीय जानकारी संग जोड्न सकिन्छ। यी विवरणहरूमा रुचि राख्ने पाठकहरूलाई मूल पेपरमा उल्लेख गर्नुपर्छ।

• तंत्र (धारा 4.4.3)

तंत्रहरू अविश्वसनीय रूपमा महत्त्वपूर्ण छन्, तर तिनीहरू अध्ययन गर्न निकै गाह्रो हुन्छन्। तंत्रको बारेमा अनुसन्धान मनोविज्ञान मा मध्यस्थहरु को अध्ययन को निकटता संग सम्बन्धित छ (तर दुई विचारहरु को बीच सटीक तुलना को लागि VanderWeele (2009) पनि हेर्नुहोस। Baron and Kenny (1986) विकसित दृष्टिकोण जस्तै mechanisms, को लागि सांख्यिकीय दृष्टिकोण, एकदम साधारण हो। दुर्भाग्यवश, यो थाहा हुन्छ कि ती प्रक्रियाहरू केही बलियो धारणाहरू (Bullock, Green, and Ha 2010) निर्भर हुन्छन् (Bullock, Green, and Ha 2010) त्यहाँ धेरै तन्त्रहरू हुन्छन् जब पीडा हुन्छ (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) । Imai et al. (2011) र Imai and Yamamoto (2013) केहि सुधारिएको सांख्यिकीय विधिहरू प्रदान गर्दछ। यसबाहेक, VanderWeele (2015) ले धेरै महत्त्वपूर्ण परिणामहरू सहित पुस्तक-लम्बाइ उपचार प्रदान गर्दछ, जसमा संवेदनशीलता विश्लेषणको एक व्यापक दृष्टिकोण पनि समावेश गर्दछ।

एक अलग दृष्टिकोण प्रयोगमा ध्यान केन्द्रित गर्दछ जुन तंत्रमा प्रत्यक्ष रूपमा (जस्तै, नाभि भिटामिन सी दिने) हेरफेर गर्न प्रयास गर्दछ। दुर्भाग्यवश, धेरै सामाजिक विज्ञान सेटिङहरूमा, प्राय: धेरै तन्त्रहरू छन् र यो उपचारहरू डिजाइन गर्न गाह्रो हुन्छ जुन अरुलाई परिवर्तन नगरी एक परिवर्तन गर्दछ। प्रयोगात्मक रूपान्तरित परिवर्तनका लागि केही उपाय Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , र Pirlott and MacKinnon (2016) ।

अनुसन्धानकर्ताहरू पूर्णतया फेलियलल प्रयोगहरूको दौडमा धेरै सम्मोहन परीक्षणको बारेमा चिन्ता हुन आवश्यक पर्दछ; अधिक जानकारीको लागि Fink, McConnell, and Vollmer (2014) र List, Shaikh, and Xu (2016) हेर्नुहोस्।

अन्ततः, Hedström and Ylikoski (2010) द्वारा वर्णित विज्ञान को दर्शन मा तंत्र मा एक लामो इतिहास छ।

• अवस्थित वातावरण प्रयोग गर्दै (खण्ड 4.5.1)

भेदभाव को मापने को लागि पत्राचार अध्ययन र लेखा परीक्षा को उपयोग को लागि अधिक, Pager (2007) हेर्नुहोस।

• आफ्नो आफ्नै प्रयोग (खण्ड 4.5.2) निर्माण गर्नुहोस्

सहभागीहरूलाई भर्खरै प्रयोग गर्ने भर्ती गर्ने सबैभन्दा सामान्य तरिका अमेजन मेक्रोनिकल तुर्क (टेटर्क) हो। किनभने मर्कुकर्कले परम्परागत प्रयोगशाला प्रयोगहरूको पहलहरू मानेका छन्- मानिसहरूलाई भुक्तानी दिने व्यक्तिहरूलाई पूरा गर्नका लागि उनीहरूले निःशुल्क-धेरै शोधकर्ताहरूको लागि काम गर्दैनन्, प्रयोगार्थी सहभागीहरूको रूपमा टर्कीहरू (मेकर्कमा कार्यकर्ताहरू) प्रयोग गरिसकेका छन्, जसमा तीव्र र सस्तो डेटा संग्रह प्राप्त गर्न सकिन्छ। पारंपरिक ओ-क्याम्पस प्रयोगशाला प्रयोगहरू (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) ।

सामान्यतया, MTurk देखि भर्ती प्रतिभागिहरु को उपयोग को सबै भन्दा ठूलो फायदा तर्कसंगत हो। जबकि प्रयोगशाला प्रयोगहरूले हप्तासम्म दौड्न सक्दछ र खेत प्रयोगहरू महिनाहरू सेटअप गर्न सक्छन्, MTurk बाट भर्खरका भर्ती भएका प्रयोगहरू दिनहरूमा दौडिन्छन्। उदाहरणको लागि, Berinsky, Huber, and Lenz (2012) एक 8 मिनेट प्रयोगमा भाग लिन एक दिनमा 400 विषयहरू भर्ना गर्न सक्षम थिए। यसबाहेक, यी सहभागीहरू प्रायः कुनै उद्देश्यका लागि भर्ती गर्न सकिन्छ (सर्वेक्षण र ठूलो सहयोग सहित, अध्याय 3 र 5 मा छलफल गरिएको रूपमा)। भर्तीको यो आसानी भनेको शोधकर्ताहरू चाँडो उत्तराधिकारीमा सम्बन्धित प्रयोगहरूको क्रम चलाउन सक्दछन्।

तपाईंको आफ्नै प्रयोगका लागि MTurk बाट सहभागी भर्नु अघि, तपाइँलाई थाहा पाउन आवश्यक चारवटा चीजहरू छन्। पहिलो, धेरै शोधकर्ताहरुसँग टर्कीहरू प्रयोग गर्ने प्रयोगहरूको एक नसोस्पेसिक संदेह छ। किनकी यो संदेह विशिष्ट छैन, यो सबूत संग काउंटर गर्न गाह्रो छ। तथापि, टर्कीहरूको प्रयोग गरेर धेरै वर्षको अध्ययन पछि, हामी अब यो निष्कर्ष निकाल्न सक्दछौं कि यो शंकास्पद विशेष गरी निश्चित छैन। टर्कीका जनसांख्यिकीहरूको तुलनामा धेरै जनसंख्याको तुलनामा धेरै अध्ययनहरू छन्। अन्य जनसंख्याबाट ती अन्य जनसंख्याहरूका साथ प्रयोग गर्ने परिणामहरूको तुलनामा धेरै अध्ययनहरू र धेरै अध्ययनहरू। यो सबै कामलाई दिइयो, मलाई लाग्छ कि तपाईलाई सोच्ने सबैभन्दा राम्रो तरिका यो हो कि तुर्कर्सहरू एक उचित सुविधा नमूना हो, विद्यार्थीहरू तर कति धेरै विविधताहरू (Berinsky, Huber, and Lenz 2012) । यसकारण, विद्यार्थीहरू केहीका लागि उचित आबादी हो, तर सबैले अनुसन्धान नगर्न, टर्कीहरू केहीको लागि उचित आबादी हो, तर सबैले अनुसन्धान गरेनन्। यदि तपाईं तुर्कर्ससँग काम गर्न जाँदै हुनुहुन्छ भने, यसले यी तुलनात्मक अध्ययनहरूको धेरै पढ्न र उनीहरूको नग्नता बुझ्न अर्थ बनाउँदछ।

दोस्रो, शोधकर्ताहरूले एमटीर्क प्रयोगका आन्तरिक वैधता बढाउनको लागि उत्तम अभ्यासहरू विकास गरेका छन्, र तपाईंले यी उत्कृष्ट-व्यवहारहरू (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) बारेमा जान्न र त्यस पछि पालना गर्नुपर्छ। उदाहरणका लागि, टर्कर्स प्रयोग गर्ने शोधकर्ताहरूलाई प्रोत्साहनशील सहभागिताहरू (Berinsky, Margolis, and Sances 2014, 2016) हटाउन प्रोत्साहित गरिन्छ। तर DJ Hauser and Schwarz (2015b) र DJ Hauser and Schwarz (2015a) पनि हेर्नुहोस्। यदि तपाईंले असामान्य सहभागीहरू हटाउनुभएन भने, उपचारको कुनै प्रभाव उनीहरूको परिचयमा शोर हटाउन सकिन्छ, र व्यवहारमा असामान्य सहभागीहरूको संख्या पर्याप्त हुन सक्छ। ह्यूबर र सहकर्मीहरूले (2012) द्वारा प्रयोगमा लगभग 30% सहभागीहरूले आधारभूत ध्यान स्क्रिनरहरू असफल पारे। अन्य समस्याहरू जुन सामान्य रूपमा उत्पन्न हुन्छन् जब टर्कीहरू प्रयोग गरिन्छ भने गैर-सहभागीका सहभागीहरू (Chandler et al. 2015) र एट्रेशन (Zhou and Fishbach 2016) ।

तेस्रो, डिजिटल प्रयोगहरूको केहि अन्य प्रकारको सम्बन्धमा, MTurk प्रयोगहरू मापदण्ड गर्न सक्दैन; Stewart et al. (2015) अनुमान छ कि कुनै पनि समयमा MTT मा केवल 7000 मान्छे छन्।

अन्तमा, तपाईंले थाहा पाउनु हुन्छ कि मुकुरले आफ्नै नियम र मानदण्ड (Mason and Suri 2012) सँग एक समुदाय हो। त्यही तरिकामा तपाईं एक देशको संस्कृतिको बारेमा पत्ता लगाउने प्रयास गर्नुहुनेछ जहाँ तपाईं आफ्नो प्रयोगहरू चलाउन चाहनुभएको थियो, तपाईंले टर्कीका संस्कृति र मानदण्डहरू (Salehi et al. 2015) सल्हाई (Salehi et al. 2015) बारे थप जानकारी खोज्ने प्रयास गर्नुपर्छ। र तपाईलाई थाहा छ कि यदि तपाईं केहि अनुचित वा अनैतिक (Gray et al. 2016) यदि ग्रीट (Gray et al. 2016) गर्छ भने टर्की तपाईंको प्रयोगको बारेमा कुरा गर्नेछ।

MTurk प्रतिभागिहरु को भर्ती गर्न को लागी एक अविश्वसनीय रूप देखि सुविधाजनक तरीका हो कि उनि प्रयोगशालाहरु जस्तै हो, Huber, Hill, and Lenz (2012) , वा अधिक क्षेत्र जस्तै जस्तै Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , र Mao et al. (2016) ।

• आफ्नो आफ्नै उत्पादन (खण्ड 4.5.3) निर्माण गर्नुहोस्

यदि तपाईं आफ्नो उत्पादन सिर्जना गर्ने प्रयास गर्दै हुनुहुन्छ भने, म सिफारिस गर्छु कि तपाइँ Harper and Konstan (2015) क्यान्स्तानका चलचित्रसेन्स समूह Harper and Konstan (2015) द्वारा प्रदान गरिएको सल्लाह पढ्नुहोस्। उनीहरूको अनुभवबाट एक महत्वपूर्ण अन्तरदृष्टि यो हो कि प्रत्येक सफल परियोजना को लागि धेरै, धेरै असफलताहरु छन्। उदाहरणका लागि, चलचित्रलिन्स समूहले अन्य उत्पादनहरू जस्तै गोल्फ एन्जेन्जरहरू शुरू गर्यो, कि पूर्ण विफलताहरू (Harper and Konstan 2015) । शोधकर्ताको अर्को उदाहरण एक उत्पाद निर्माण गर्ने क्रममा असफल हुँदा एडडेन कास्ट्रोनोवाको अर्डर भन्ने अनलाइन गेम निर्माण गर्ने प्रयास हो। $ 250,000 कोषमा बाहेक, परियोजना एक फ्लप (Baker 2008) । गोफर एन्जेन्जर र अर्डेन जस्तै परियोजना दुर्भाग्यवश मूवीएलन्स जस्तै परियोजनाहरु भन्दा धेरै साधारण छ।

• शक्तिशालीसँग साझेदार (खण्ड 4.5.4)

मैले टेक्स्ट कम्पनीहरूमा बारम्बार छलफल गरेको पेस्टुरको क्वाडेन्ट्टको विचार सुनेको छु, र यसले गुगल (Spector, Norvig, and Petrov 2012) शोध प्रयासहरू व्यवस्थित गर्न मद्दत गर्दछ।

बन्ड र सहकर्मीहरूको अध्ययन (2012) ले यी उपचारको प्रभाव पत्ता लगाउने प्रयास गरेका व्यक्तिहरूको साथीहरुलाई पनि प्राप्त गर्ने प्रयास गर्दछ। प्रयोगको डिजाइनको कारण, यी स्पाइलरहरू सफापूर्वक पत्ता लाग्न गाह्रो हुन्छ; इच्छुक पाठकहरू Bond et al. (2012) देखिनै पर्छ Bond et al. (2012) अधिक सुचारु छलफलको लागि। जोन्स र सहकर्मीहरू (2017) ले 2012 का निर्वाचनमा धेरै समान प्रयोग गरे। यी प्रयोगहरू मतदान (Green and Gerber 2015) प्रोत्साहन प्रयासमा राजनीतिक विज्ञानमा प्रयोगहरूको लामो परम्पराको भाग हो। यी आउट-आउट-मत-मत प्रयोगहरू सामान्य हुन्, किनकि तिनीहरू पितुरुर चतुर्भुजमा छन्। त्यो छ, त्यहाँ धेरै व्यक्तिहरू मतदान बढाउन उत्प्रेरित छन् र मतदान व्यवहार व्यवहार र सामाजिक प्रभाव बारे थप सामान्य सिद्धान्तहरू परीक्षण गर्न एक रोचक व्यवहार हुन सक्छ।

साझेदार संस्थाहरू जस्तै राजनीतिक दलहरू, गैर सरकारी संस्थाहरू र व्यवसायहरूको साथ चलिरहेको क्षेत्र प्रयोगहरूको बारेमा सल्लाहको लागि, Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , र Gueron (2002) । संगठनहरूसँग साझेदारी कसरी अनुसन्धान डिजाइनहरू प्रभाव पार्न सक्छ भन्ने बारे विचारहरूका लागि King et al. (2007) हेर्नुहोस् King et al. (2007) र Green, Calfano, and Aronow (2014) । साझेदारीले नै नैतिक प्रश्नहरूको नेतृत्व गर्न सक्छ, जस्तै Humphreys (2015) र Nickerson and Hyde (2016) द्वारा चर्चा गरिएको।

• डिजाइन सल्लाह (खण्ड 4.6)

यदि तपाइँ आफ्नो प्रयोग चलाउन अघि विश्लेषण विश्लेषण सिर्जना गर्दै हुनुहुन्छ भने, म सुझाव दिन्छु कि तपाई रिपोर्टिङ दिशानिर्देशहरू पढेर सुरु गर्नुहोस्। CONSORT (समेकित मानक रिपोर्टिंग परीक्षणों) दिशानिर्देशहरु लाई दबाइ मा विकसित (Schulz et al. 2010) र सामाजिक अनुसन्धान (Mayo-Wilson et al. 2013) लागि संशोधित। प्रायोगिक राजनीतिक विज्ञानको जर्नलका सम्पादकहरूले दिशानिर्देशहरूको सम्बन्धित सेटहरू विकसित गरीएको छ (Gerber et al. 2014) ( Mutz and Pemantle (2015) र Gerber et al. (2015) Mutz and Pemantle (2015) पनि हेर्नुहोस्। अन्ततः, मनोविज्ञानमा रिपोर्टिंग दिशानिर्देशहरू विकसित गरिएका छन् (APA Working Group 2008) , र Simmons, Nelson, and Simonsohn (2011) पनि हेर्नुहोस्।

यदि तपाइँ विश्लेषण विश्लेषण सिर्जना गर्नुहुन्छ भने, तपाईंले यसलाई पूर्व-दर्ता गर्न विचार गर्नुपर्दछ किनभने पूर्व-दर्ताले अरूलाई तपाइँको नतिजाहरूमा विश्वास बढाउनेछ। यसबाहेक, यदि तपाईंले पार्टनरसँग काम गर्दै हुनुहुन्छ भने, यसले परिणामहरू देख्न विश्लेषण पछि तपाइँको साझेदारको क्षमतालाई सीमित गर्नेछ। पूर्व-दर्ताको मनोवैज्ञानिक (Nosek and Lakens 2014) , राजनीतिक विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , र अर्थशास्त्र (Olken 2015) ।

अनलाइन क्षेत्र प्रयोगका लागि विशेष गरी सल्लाह डिजाइन Konstan and Chen (2007) र Chen and Konstan (2015) ।

मैले के भन्नु भएको हो कि armada रणनीति कहिलेकाहीं प्रोग्रामिक अनुसन्धान भनिन्छ; Wilson, Aronson, and Carlsmith (2010) ।

• शून्य चर लागत डेटा (खण्ड 4.6.1) सिर्जना गर्नुहोस्

MusicLab प्रयोगहरूमा Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) Salganik and Watts (2009a) Salganik and Watts (2009b) , Salganik and Watts (2009a) , र Salganik (2007) । विजेता-ले-सबै बजारहरूमा अधिकका लागि, Frank and Cook (1996) हेर्नुहोस् Frank and Cook (1996) । असाध्यै भाग्य र कुकुरलाई अझ बढि अधिकका लागि, Mauboussin (2012) , Watts (2012) र Frank (2016) ।

सहभागी भुक्तानीहरू हटाउन अर्को उपाय छ कि शोधकर्ताहरू सावधानीपूर्वक प्रयोग गर्नुपर्छ: अनुच्छेद। धेरै अनलाइन क्षेत्र प्रयोगहरूमा सहभागीहरू मूलतया प्रयोगहरूमा तयार पारिएका छन् र क्षतिपूर्ति गर्दछन्। यो दृष्टिकोण उदाहरणहरू Restivo र भ्यान डे Rijt गरेको समावेश (2012) विकिपीडिया र बण्ड र सहयोगी गरेको मा पुरस्कार मा प्रयोग (2012) मतदान गर्न उत्थानदायी मा प्रयोग। यी प्रयोगहरूमा वास्तवमा चर लागत शून्य छैन, तर तिनीहरूसँग शोधकर्ताहरूको शून्य चर लागत छ । त्यस्ता प्रयोगहरूमा, हरेक भागका लागि लागत पनि अत्यन्त सानो छ भने, समग्र लागत एकदम ठूलो हुन सक्छ। ठूला अनलाइन प्रयोगहरू सञ्चालन गर्ने शोधकर्ताहरूलाई प्रायः सानो अनुमानित उपचार प्रभावहरूको महत्त्वलाई सही ठहराइदिनुको कारणले गर्दा यी साना प्रभावहरू धेरै मानिसहरूको लागी महत्त्वपूर्ण हुन सक्छ। सटीक सोही सोच लागतमा लागू हुन्छ कि शोधकर्ताहरु प्रतिभागिहरु मा लागू हुन्छ। यदि तपाईंको प्रयोगले एक लाख मान्छेले एक मिनेट बेवास्ता गर्दछ भने, प्रयोग कुनै पनि विशेष व्यक्तिलाई धेरै हानिकारक छैन, तर यसले लगभग दुई वर्ष बर्बाद गरेको छ।

शून्य चर बनाउन को लागी अर्को दृष्टिकोण प्रतिभागिहरु को लागत को भुगतान भुक्तानी को एक लॉटरी, एक सर्वेक्षण को सर्वेक्षण अनुसन्धान (Halpern et al. 2011) प्रयोग गरेको छ को उपयोग गर्न को लागी छ। मनोरञ्जन प्रयोगकर्ता अनुभवहरू डिजाइन गर्ने बारे थप जानकारीको लागि, Toomim et al. (2011) । शून्य चर लागत प्रयोग प्रयोग गर्न को लागि बोट प्रयोग गर्ने बारेमा थप जानकारी हेर्नुहोस् ( ??? ) ।

• बदल्नुहोस्, परिष्कृत र घटाउनुहोस् (खण्ड 4.6.2)

तीन र आर को मूल रूप बाट प्रस्तावित Russell and Burch (1959) को रूपमा निम्नानुसार छन्:

"प्रतिस्थापन असंवेद्य सामाग्री सजग जीवित उच्च जनावर लागि प्रतिस्थापन हो। कमी दिइएको रकम र सटीक को जानकारी प्राप्त गर्न प्रयोग जनावरहरूको संख्या मा कमी हो। शोधन को घटना वा अझै पनि प्रयोग गर्न छ जो ती जनावरहरू लागू inhumane प्रक्रियाहरु को कठोरता मा कुनै पनि कमी हो। "

त्यसो भए उनीहरुसँगको सम्बन्धको बारेमा जानकारी गराईदिनु भएको छ।

पहिलो आर ("प्रतिस्थापना") को सम्बन्धमा, भावनात्मक प्रकोप प्रयोग (Kramer, Guillory, and Hancock 2014) र भावनात्मक परम्परागत प्रयोगात्मक प्रयोग (Lorenzo Coviello et al. 2014) तुलनामा व्यापारिक अफिसका बारेमा केही सामान्य पाठहरू प्रस्तुत गर्दछ (Lorenzo Coviello et al. 2014) प्रयोगहरूबाट चलिरहेको प्राकृतिक प्रयोगहरूमा (र मेल खाने जस्ता अन्य दृष्टिकोणहरू जुन गैर प्रयोगात्मक डेटामा अनुमानित प्रयोगहरू गर्ने प्रयास गर्नुहोस्; अध्याय 2 हेर्नुहोस्)। नैतिक फाइदाहरू को अतिरिक्त, प्रयोगात्मक र गैर-प्रयोगात्मक अध्ययनहरूबाट स्विचन गर्दा शोधकर्ताहरूलाई उपचारको अध्ययन गर्न सक्षम बनाउँछ जुन तिनीहरू लगिन रूपमा तैनात गर्न असमर्थ छन्। तथापि यी नैतिक र तर्कसंगत लाभहरू लागतमा आउँछन्। प्राकृतिक प्रयोग अनुसन्धानकर्ताहरूसँग चीजहरूको कमजोरी, बेरोजगारी, र उपचारको प्रकृति जस्ता कुराहरूमा कम नियन्त्रण छ। उदाहरणको लागि, उपचारको रूपमा वर्षाको एक सीमा भनेको यसले सकारात्मकता बढाउँछ र नकारात्मकता घटाउँछ। तथापि, प्रयोगात्मक अध्ययनमा, क्रिमर र साथीहरू स्वतन्त्रता र सकारात्मकतालाई समायोजन गर्न सक्षम थिए। Lorenzo Coviello et al. (2014) द्वारा प्रयोग गरिएको विशेष दृष्टिकोण Lorenzo Coviello et al. (2014) को L. Coviello, Fowler, and Franceschetti (2014) द्वारा थप वर्णन गरिएको थियो। साधनको चरको परिचयको लागि, जो Lorenzo Coviello et al. (2014) द्वारा प्रयोग गरिएको दृष्टिकोण हो Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (कम औपचारिक) वा Angrist, Imbens, and Rubin (1996) (अधिक औपचारिक) हेर्नुहोस्। साधन चर को एक संदेहीय मूल्यांकन को लागि, Deaton (2010) , र वाद्य यंत्र को परिचय को लागि कमजोर उपकरणों संग (वर्षा एक कमजोर साधन हो), Murray (2006) हेर्नुहोस। अधिक सामान्यतया, Dunning (2012) द्वारा प्रदान गरिएको एक राम्रो परिचय, जबकि Rosenbaum (2002) , ( ??? ) , र Shadish, Cook, and Campbell (2001) कुनै प्रयोगका कारण बिना प्रयोग कारणहरू अनुमान गर्ने बारे राम्रो विचार प्रदान गर्दछ।

दोस्रो आर ("परिष्कृत") को सर्तमा, पदचिन्हहरू बढाउन रोक्न भावनात्मक कन्गेगियन्सको डिजाइनमा विचार गर्दा वैज्ञानिक र तर्कसंगत व्यापारिक व्यापारहरू छन्। उदाहरणका लागि, यो समाचार हो कि न्यूज फीडको प्राविधिक कार्यान्वयनले प्रयोग गर्ने पदहरू ब्लक गरिएको छ जसमा उनीहरु बढेका छन भन्दा धेरै सजिलो हुन्छ (ध्यान दिनुहोस् कि पोस्टको ब्लक गर्न प्रयोगमा प्रयोग गर्न सकिन्छ। समाचार फिड प्रणालीको शीर्षमा एक तहको रूपमा बिना कुनै प्रणालीको आधारभूत प्रणालीको परिवर्तनको लागि)। वैज्ञानिक, तथापि, प्रयोगद्वारा संबोधित सिद्धान्तले अर्को मा एक डिजाइन स्पष्ट रूपमा सुझाव दिएको थिएन। दुर्भाग्यवश, म समाचार फिडमा सामग्री रोक्न र बढाउने सम्बन्धको सार्थक बारेमा पर्याप्त पूर्व अनुसन्धानको बारेमा जानकारी छैन। साथै, मैले तिनीहरूलाई कम हानिकारक उपचारको लागि प्रशोधन उपचारको बारेमा धेरै अनुसन्धान देखेको छैन; एक अपवाद B. Jones and Feamster (2015) , जुन इन्टरनेट सेंसरशिपको माप (एक विषय मैले दोहोरो अध्ययनको सम्बन्धमा सम्बन्ध 6 मा छलफल गर्दछ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) )।

तेस्रो आर ("कमी") को सन्दर्भमा, परम्परागत शक्ति विश्लेषणको लागि राम्रो परिचय Cohen (1988) (पुस्तक) र Cohen (1992) (लेख) द्वारा दिइएको छ, जबकि Gelman and Carlin (2014) एक थोडा फरक परिप्रेक्ष्य प्रदान गर्दछ। पूर्व उपचार उपचार को प्रयोग को डिजाइन र विश्लेषण चरण मा शामिल गर्न सकिन्छ; Gerber and Green (2012) को अध्याय 4 दुवै दृष्टिकोणका लागि राम्रो परिचय प्रदान गर्दछ, र Casella (2008) ले अधिक गहन उपचार प्रदान गर्दछ। प्रविधिहरू जुन पूर्व-उपचारको जानकारीलाई randomization मा प्रयोग गरिन्छ सामान्यतया अवरोधित प्रयोगात्मक डिजाइनहरू वा स्तरीय प्रयोगात्मक डिजाइनहरू (शब्दकालाहरू प्रायः समुदायहरूमा प्रयोग हुँदैन); यी प्रविधिहरू ठूला प्रयोगहरूमा यी डिजाइनहरू प्रयोग गर्न थपको लागि अध्याय 3 मा चर्चा गरिएको स्तरीकृत नमूनात्मक प्रविधिसँग सम्बन्धित छन्। Higgins, Sävje, and Sekhon (2016) हेर्नुहोस्। पूर्व उपचार covariates विश्लेषण चरणमा पनि समावेश गर्न सकिन्छ। McKenzie (2012) अधिक विस्तार मा फील्ड प्रयोग को विश्लेषण गर्न अंतर-अंतर-भिन्नता को दृष्टिकोण को अन्वेषण गर्दछ। उपचारका प्रभावहरूको अनुमानमा परिशुद्धता बढाउन विभिन्न दृष्टिकोणहरू बीचको व्यापार- Carneiro, Lee, and Wilhelm (2016) हेर्नुहोस्। अन्ततः, डिज़ाइन वा विश्लेषण चरण (वा दुवै) मा पूर्व-उपचार covariates समावेश गर्ने प्रयास गर्ने निर्णय गर्दा, त्यहाँ विचार गर्न केही कारकहरू छन्। एक सेटिङमा जहाँ शोधकर्ताहरूले देखाउन चाहन्छन् कि तिनीहरू "माछा" (Humphreys, Sierra, and Windt 2013) होइनन्, "डिजाईन स्टेजमा पूर्व उपचार मनोविज्ञान प्रयोग गर्दै" सहायक हुन सक्छ (Higgins, Sävje, and Sekhon 2016) । अवस्थाहरूमा सहभागीहरू क्रमिक रूपमा पुग्छन्, विशेष गरी अनलाइन क्षेत्र प्रयोगहरू, डिजाईन चरणमा पूर्व-उपचारको जानकारी प्रयोग गरेर तर्कवशै गाह्रो हुन सक्छ; उदाहरणका लागि, Xie and Aurisset (2016) ।

यो फरक-फरक अन्तर्वार्ता थप्न लायक छ किन फरक-फरक-भिन्न मतभेद अंतर-मार्फत एक भन्दा बढी प्रभावकारी हुन सक्छ। धेरै अनलाइन परिणामहरू धेरै उच्च भिन्नता हुन्छन् (उदाहरणका लागि, RA Lewis and Rao (2015) र Lamb et al. (2015) ) र समय समयमा अपेक्षाकृत स्थिर हुन्छ। यस अवस्थामा, सांख्यिकीय परीक्षणको शक्ति बढाएर, परिवर्तन स्कोरमा निकै सानो भिन्नता हुनेछ। एक कारण यो दृष्टिकोण अधिक प्रयोग गरिएन कि डिजिटल युग भन्दा अघि, यो पूर्व-उपचार परिणामहरू हुन आम छैन। यस बारे सोच्ने एक अधिक कंक्रीट तरिका एक प्रयोग को कल्पना गर्न को लागी कि एक विशिष्ट व्यायाम दिनचर्या वजन घटाने को कारण छ कि माप मा छ। यदि तपाईं फरक-फरक-फरक दृष्टिकोण अपनाउनु हुन्छ भने, तपाईंको अनुमान जनसंख्यामा वजनको चरमताबाट उत्पन्न हुने परिवर्तन हुनेछ। यदि तपाईले फरक-फरक-भिन्न मतभेद गर्नुहुन्छ भने, कि वजनमा स्वाभाविक रूपले विविधता हटाइन्छ, र तपाइँले अधिक सजिलै उपचारको कारणले फरक फरक पत्ता लगाउन सक्नुहुनेछ।

अन्तमा, मैले चौथो आर थपे: "दोहोरो"। यही छ कि, यदि शोधकर्ताहरुले आफ्नो वास्तविक अनुसन्धान प्रश्नलाई सम्बोधन गर्न को लागी अधिक प्रयोगात्मक डेटा को साथ खोज्छन् भने, उनि डेटा को नयाँ प्रश्न पूछने को दोबारा गर्न को लागी चाहिए। उदाहरणका लागि, कल्पना गर्नुहोस् कि क्रिमर र सहकर्मीहरूले फरक-फरक-फरक मतभेदको अनुमान लगाए र आफ्नो अनुसन्धान प्रश्नलाई सम्बोधन गर्नु भन्दा बढी डेटा पाए। भन्दा सम्पूर्ण हदमा डेटा प्रयोग नगरेको, उनीहरूले प्रभावको साइज अध्ययन गर्न सक्थे जुन पूर्व-भावनात्मक अभिव्यक्तिको प्रकार्यको कार्य हो। जस्तै Schultz et al. (2007) पाया कि उपचार को प्रभाव प्रकाश र भारी प्रयोगकर्ताहरु को लागि फरक थियो, शायद समाचार फिड को प्रभावहरु मान्छे को पहिले देखि नै खुश (या उदास संदेश) पोस्ट गर्न को लागि अलग थिए को लागि अलग थियो। पुनरुत्थान गर्न "मत्स्य पालन" (Humphreys, Sierra, and Windt 2013) र "पी-हैकिंग" (Simmons, Nelson, and Simonsohn 2011) लाई नेतृत्व गर्न सक्दछ, तर यी हदसम्म ईमानदार रिपोर्टिङ (Simmons, Nelson, and Simonsohn 2011) , पूर्व-दर्ता (Humphreys, Sierra, and Windt 2013) , र मेसिन सिकाउने तरिकाहरू भन्दा बढी फिटिंगबाट बच्न प्रयास गर्ने।