इसके अलावा कमेंटरी

यह खंड के बजाय एक कथा के रूप में पढ़ा जा करने के लिए एक संदर्भ के रूप में इस्तेमाल किया जा करने के लिए बनाया गया है।

• परिचय (धारा 4.1)

सामाजिक अनुसंधान के क्षेत्र में करणीय के बारे में प्रश्न अक्सर जटिल और जटिल कर रहे हैं। कारण रेखांकन के आधार पर करणीय के लिए एक मूलभूत दृष्टिकोण के लिए, देखें Pearl (2009) , और एक मूलभूत संभावित परिणामों पर आधारित दृष्टिकोण के लिए, वहाँ Imbens and Rubin (2015) (और इस अध्याय में तकनीकी परिशिष्ट)। इन दो दृष्टिकोणों के बीच तुलना के लिए, देखें Morgan and Winship (2014) । एक confounder को परिभाषित करने के लिए एक औपचारिक दृष्टिकोण के लिए, देखें VanderWeele and Shpitser (2013) ।

अध्याय में, मैं क्या प्रयोगात्मक और गैर-प्रयोग डेटा से कारण अनुमान बनाने के लिए हमारी क्षमता के बीच एक उज्ज्वल लाइन की तरह लग रहा था बनाया। हकीकत में, मुझे लगता है कि गौरव blurrier है। उदाहरण के लिए, हर कोई है कि धूम्रपान कैंसर के बावजूद हम एक यादृच्छिक नियंत्रित प्रयोग है कि बलों लोगों धूम्रपान करने के लिए कभी नहीं किया है का कारण बनता स्वीकार करता है। गैर प्रयोगात्मक डेटा से कारण अनुमान बनाने पर उत्कृष्ट पुस्तक लंबाई उपचार के लिए देखें Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , और Dunning (2012) ।

अध्याय 1 और 2 के Freedman, Pisani, and Purves (2007) प्रयोगों, नियंत्रित प्रयोगों के बीच मतभेद में एक स्पष्ट परिचय प्रस्तुत करते हैं, और नियंत्रित प्रयोगों बेतरतीब।

Manzi (2012) यादृच्छिक नियंत्रित प्रयोगों के दार्शनिक और सांख्यिकीय आधार में एक आकर्षक और पठनीय परिचय प्रदान करता है। यह भी व्यापार में प्रयोग की शक्ति का दिलचस्प वास्तविक दुनिया उदाहरण प्रदान करता है।

• प्रयोगों क्या हैं? (धारा 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) प्रयोगात्मक डिजाइन और विश्लेषण के सांख्यिकीय पहलुओं के लिए अच्छा परिचय प्रदान करते हैं। अर्थशास्त्र: इसके अलावा, वहाँ कई अलग अलग क्षेत्रों में प्रयोगों के उपयोग के उत्कृष्ट उपचार कर रहे हैं (Bardsley et al. 2009) , समाजशास्त्र (Willer and Walker 2007; Jackson and Cox 2013) , मनोविज्ञान (Aronson et al. 1989) , राजनीति विज्ञान (Morton and Williams 2010) , और सामाजिक नीति (Glennerster and Takavarasha 2013) ।

भागीदार भर्ती (जैसे, नमूना) के महत्व को अक्सर प्रायोगिक अनुसंधान में के तहत की सराहना है। हालांकि, अगर उपचार के प्रभाव की आबादी में विषम है, तो नमूने लिए महत्वपूर्ण है। Longford (1999) जब वह बेतरतीब नमूने के साथ एक जनसंख्या सर्वेक्षण के रूप में प्रयोगों के बारे में सोच शोधकर्ताओं के लिए अधिवक्ताओं स्पष्ट रूप से इस बात करता है।

• प्रयोगों के दो आयाम: लैब-क्षेत्र और एनालॉग से डिजिटल (धारा 4.3)

विरोधाभास है कि मैं प्रयोगशाला और क्षेत्र प्रयोगों के बीच प्रस्तुत सरलीकृत एक सा है। वास्तव में, अन्य शोधकर्ताओं ने विशेष रूप से लोगों को अलग क्षेत्र प्रयोगों के विभिन्न रूपों में अधिक विस्तृत typologies का प्रस्ताव किया है, (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) । सर्वेक्षण प्रयोगों और सामाजिक प्रयोगों सर्वेक्षण प्रयोगों मौजूदा सर्वेक्षण के बुनियादी ढांचे का उपयोग कर प्रयोगों और के वैकल्पिक संस्करणों के लिए प्रतिक्रियाओं की तुलना: इसके अलावा, वहाँ सामाजिक वैज्ञानिकों द्वारा किया जाता है कि प्रयोगों प्रयोगशाला और क्षेत्र विरोधाभास में बड़े करीने से फिट नहीं है के दो अन्य प्रकार के होते हैं। एक ही सवाल है (कुछ सर्वेक्षण प्रयोगों अध्याय 3 में प्रस्तुत कर रहे हैं); सर्वेक्षण के प्रयोगों पर अधिक देखने के लिए Mutz (2011) सामाजिक प्रयोगों प्रयोगों जहां उपचार के कुछ सामाजिक नीति है कि केवल एक सरकार द्वारा लागू किया जा सकता है। सामाजिक प्रयोगों बारीकी से मूल्यांकन कार्यक्रम से संबंधित हैं। नीति प्रयोगों के बारे में अधिक के लिए, देखें Orr (1998) , Glennerster and Takavarasha (2013) , और Heckman and Smith (1995) ।

कागज के एक नंबर सार में प्रयोगशाला और क्षेत्र प्रयोगों की तुलना में है (Falk and Heckman 2009; Cialdini 2009) और राजनीतिक विज्ञान के क्षेत्र में विशिष्ट प्रयोगों के परिणामों के संदर्भ में (Coppock and Green 2015) , अर्थशास्त्र (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) और मनोविज्ञान (Mitchell 2012) । Jerit, Barabas, and Clifford (2013) प्रयोगशाला और क्षेत्र प्रयोगों से परिणाम की तुलना के लिए एक अच्छा अनुसंधान डिजाइन प्रदान करता है।

उनके व्यवहार बदल रहा है, क्योंकि वे जानते हैं कि वे बारीकी से मनाया जा रहा है कभी कभी मांग प्रभाव कहा जाता है, और वे मनोविज्ञान में अध्ययन किया गया है प्रतिभागियों के बारे में चिंताएं (Orne 1962) और अर्थशास्त्र (Zizzo 2009) । हालांकि ज्यादातर प्रयोगशाला प्रयोगों के साथ जुड़े, ये वही मुद्दों के रूप में अच्छी तरह से क्षेत्र के प्रयोगों के लिए समस्याएं पैदा कर सकते हैं। वास्तव में, मांग प्रभाव भी कभी कभी Hawthorne प्रभाव एक शब्द है कि एक क्षेत्र प्रयोग से निकला है, विशेष रूप से प्रसिद्ध रोशनी प्रयोगों है कि पश्चिमी इलेक्ट्रिक कंपनी के Hawthorne वर्क्स में 1924 में शुरू हुआ कहा जाता है, (Adair 1984; Levitt and List 2011) । दोनों की मांग प्रभाव और नागफनी प्रभाव बारीकी अध्याय 2 में चर्चा प्रतिक्रियाशील माप के विचार से संबंधित हैं (देखें Webb et al. (1966) )।

क्षेत्र प्रयोगों के इतिहास अर्थशास्त्र में वर्णित किया गया है (Levitt and List 2009) , राजनीति विज्ञान (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , मनोविज्ञान (Shadish 2002) , और सार्वजनिक नीति (Shadish and Cook 2009) जहां क्षेत्र प्रयोगों जल्दी प्रमुख बने सामाजिक विज्ञान के एक क्षेत्र में अंतरराष्ट्रीय विकास है। अर्थशास्त्र के भीतर है कि काम का एक सकारात्मक समीक्षा के लिए देखें Banerjee and Duflo (2009) , और एक महत्वपूर्ण मूल्यांकन के लिए देख Deaton (2010) । राजनीतिक विज्ञान के क्षेत्र में इस काम की समीक्षा के लिए देखें Humphreys and Weinstein (2009) । अंत में, नैतिक क्षेत्र प्रयोगों के साथ शामिल चुनौतियों राजनीतिक विज्ञान के क्षेत्र में पता लगाया गया है (Humphreys 2015; Desposato 2016b) और विकास अर्थशास्त्र (Baele 2013) ।

अध्याय में, मैंने सुझाव दिया कि पूर्व उपचार के बारे में जानकारी का अनुमान उपचार के प्रभाव की शुद्धता में सुधार करने के लिए इस्तेमाल किया जा सकता है, लेकिन वहाँ इस दृष्टिकोण के बारे में कुछ बहस चल रही है: Freedman (2008) , Lin (2013) , और Berk et al. (2013) ; वहाँ Bloniarz et al. (2016) और अधिक जानकारी के लिए।

• सरल प्रयोगों से परे चल रहा (धारा 4.4)

वैधता, उपचार प्रभाव की विविधता, और तंत्र: मैं तीन अवधारणाओं पर ध्यान केंद्रित करने के लिए चुन लिया है। इन अवधारणाओं को विभिन्न क्षेत्रों में अलग अलग नाम है। उदाहरण के लिए, मनोवैज्ञानिकों मध्यस्थों और मध्यस्थों पर ध्यान केंद्रित करके सरल प्रयोगों से परे ले जाने के लिए करते हैं (Baron and Kenny 1986) । मध्यस्थों के विचार मैं क्या तंत्र फोन द्वारा कब्जा कर लिया है, और मध्यस्थों के विचार क्या मैं बाहरी वैधता (जैसे, प्रयोग के परिणाम अलग हो सकता है अगर यह अलग अलग स्थितियों में चलाया गया था) और उपचार के प्रभाव की विविधता (फोन द्वारा कब्जा कर लिया है जैसे, प्रभाव अन्य लोगों की तुलना में कुछ लोगों) के लिए बड़े होते हैं।

का प्रयोग Schultz et al. (2007) से पता चलता है कि कैसे सामाजिक सिद्धांतों प्रभावी हस्तक्षेप डिजाइन करने के लिए इस्तेमाल किया जा सकता है। प्रभावी हस्तक्षेप को डिजाइन करने में सिद्धांत की भूमिका के बारे में एक अधिक सामान्य तर्क के लिए, देखें Walton (2014) ।

• वैधता (धारा 4.4.1)

आंतरिक और बाहरी वैधता की अवधारणाओं में पहली बार शुरू किए गए थे Campbell (1957) । देखें Shadish, Cook, and Campbell (2001) , एक अधिक विस्तृत इतिहास और सांख्यिकीय निष्कर्ष वैधता, आंतरिक वैधता का एक सावधान विस्तार के लिए वैधता, और बाहरी वैधता का निर्माण।

प्रयोगों में सांख्यिकीय निष्कर्ष वैधता से संबंधित मुद्दों की एक सिंहावलोकन के लिए देखें Gerber and Green (2012) (एक सामाजिक विज्ञान के नजरिए के लिए) और Imbens and Rubin (2015) (एक सांख्यिकीय दृष्टिकोण के लिए)। सांख्यिकीय निष्कर्ष वैधता के कुछ मुद्दों है कि ऑनलाइन क्षेत्र प्रयोगों में विशेष रूप से उठता है ऐसे निर्भर डेटा के साथ विश्वास अंतराल बनाने के लिए computationally कुशल तरीके के रूप में मुद्दों में शामिल हैं (Bakshy and Eckles 2013) ।

आंतरिक वैधता जटिल क्षेत्र प्रयोगों में यह सुनिश्चित करने के लिए मुश्किल हो सकता है। उदाहरण के लिए, देखें Gerber and Green (2000) , Imai (2005) , और Gerber and Green (2005) मतदान के बारे में एक जटिल क्षेत्र प्रयोग के कार्यान्वयन के बारे में बहस के लिए। Kohavi et al. (2012) और Kohavi et al. (2013) ऑनलाइन क्षेत्र प्रयोगों में अंतराल वैधता की चुनौतियों में एक परिचय प्रदान करते हैं।

आंतरिक वैधता के साथ एक प्रमुख चिंता का विषय randomization के साथ समस्या है। एक तरह से संभावित randomization के साथ समस्याओं का पता लगाने के लिए नमूदार लक्षण पर उपचार और नियंत्रण समूहों की तुलना है। तुलना के इस तरह के एक संतुलन की जांच कहा जाता है। देखें Hansen and Bowers (2008) एक सांख्यिकीय दृष्टिकोण के चेक शेष है, और देखने के लिए Mutz and Pemantle (2015) संतुलन जाँच के बारे में चिंताओं के लिए। उदाहरण के लिए, एक संतुलन का उपयोग कर जाँच Allcott (2011) में पाया गया कि कुछ सबूत यादृच्छिकीकरण OPower प्रयोगों में से कुछ में प्रयोगों में से तीन में सही ढंग से लागू नहीं किया गया है कि वहाँ (तालिका 2 देखें; साइटों 2, 6, और 8)। दूसरे दृष्टिकोण के लिए, देखें Imbens and Rubin (2015) , अध्याय 21।

आंतरिक वैधता से संबंधित अन्य प्रमुख चिंता कर रहे हैं: 1) एक तरफा गैर अनुपालन, जहां इलाज के समूह में हर कोई नहीं वास्तव में उपचार प्राप्त किया, 2) दो तरफा गैर अनुपालन, जहां इलाज के समूह में हर कोई उपचार और कुछ प्राप्त करता है नियंत्रण समूह में लोगों को इलाज, 3) संघर्षण, जहां परिणामों कुछ प्रतिभागियों के लिए मापा नहीं कर रहे हैं, और 4) हस्तक्षेप, जहां उपचार से अधिक लोगों से उपचार हालत में लोगों को नियंत्रण हालत में फैल प्राप्त करते हैं। देखें Gerber and Green (2012) अध्याय 5, 6, 7, और इन मुद्दों में से प्रत्येक पर अधिक के लिए 8।

निर्माण वैधता के बारे में अधिक के लिए, देखें Westen and Rosenthal (2003) , और बड़े डेटा स्रोतों में निर्माण वैधता, पर अधिक के लिए Lazer (2015) और इस पुस्तक के अध्याय 2।

बाहरी वैधता का एक पहलू की स्थापना, जहां एक हस्तक्षेप से परीक्षण किया जाता है। Allcott (2015) साइट चयन पूर्वाग्रह के एक सावधान सैद्धांतिक और प्रायोगिक उपचार प्रदान करता है। यह समस्या भी चर्चा में है Deaton (2010) । कई साइटों में दोहराया जा रहा है के अलावा, होम ऊर्जा की रिपोर्ट हस्तक्षेप भी स्वतंत्र रूप से कई अनुसंधान समूहों द्वारा अध्ययन किया गया है (जैसे, Ayres, Raseman, and Shih (2013) )।

• उपचार के प्रभाव की विविधता (धारा 4.4.2)

क्षेत्र प्रयोगों में उपचार के प्रभाव की विविधता का एक उत्कृष्ट अवलोकन के लिए, के अध्याय 12 देखें Gerber and Green (2012) । चिकित्सा परीक्षणों में उपचार के प्रभाव की विविधता के लिए परिचय के लिए, देखें Kent and Hayward (2007) , Longford (1999) , और Kravitz, Duan, and Braslow (2004) । उपचार के प्रभाव की विविधता आम तौर पर पूर्व उपचार विशेषताओं के आधार पर मतभेद पर ध्यान केंद्रित। आप के बाद उपचार के परिणामों के आधार पर विविधता में रुचि रखते हैं, तो अधिक जटिल दृष्टिकोणों इस तरह के प्रिंसिपल स्तरीकरण जरूरत के रूप में कर रहे हैं (Frangakis and Rubin 2002) ; वहाँ Page et al. (2015) एक समीक्षा के लिए।

कई शोधकर्ताओं रेखीय प्रतिगमन का उपयोग कर उपचार प्रभाव की विविधता का अनुमान है, लेकिन नए तरीकों मशीन सीखने पर भरोसा करते हैं, उदाहरण के लिए Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , और Athey and Imbens (2016a) ।

क्योंकि वहाँ कई तुलना समस्याओं और "। मछली पकड़ने" वहाँ सांख्यिकीय दृष्टिकोण है कि कई तुलना के बारे में पता चिंताओं मदद कर सकते हैं की एक किस्म है के प्रभाव की विविधता के निष्कर्षों के बारे में कुछ संदेह है (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) "मछली पकड़ने" के बारे में चिंता करने के लिए एक दृष्टिकोण पूर्व पंजीकरण, जो मनोविज्ञान में तेजी से आम होता जा रहा है (Nosek and Lakens 2014) , राजनीति विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) और अर्थशास्त्र (Olken 2015) ।

के अध्ययन में Costa and Kahn (2013) ही प्रयोग में घरों के बारे में आधे जनसांख्यिकीय जानकारी से जोड़ा जा करने में सक्षम थे। इस विश्लेषण के साथ विवरण और संभावित समस्याओं में दिलचस्पी पाठकों मूल कागज का उल्लेख करना चाहिए।

• तंत्र (धारा 4.4.3)

तंत्र अविश्वसनीय रूप से महत्वपूर्ण हैं, लेकिन वे अध्ययन करने के लिए बहुत मुश्किल हो सकता है बाहर बारी। तंत्र के बारे में अनुसंधान बारीकी से मनोविज्ञान में मध्यस्थों के अध्ययन से संबंधित है (लेकिन यह भी देखना VanderWeele (2009) दो विचारों के बीच एक सटीक तुलना के लिए)। ऐसे में विकसित दृष्टिकोण के रूप में पाने के लिए तंत्र सांख्यिकीय दृष्टिकोण, Baron and Kenny (1986) , बहुत आम हैं। दुर्भाग्य से, यह पता चला है कि उन प्रक्रियाओं कुछ मजबूत मान्यताओं पर निर्भर (Bullock, Green, and Ha 2010) और पीड़ित जब वहाँ कई तंत्र हैं, के रूप में एक कई स्थितियों में उम्मीद कर सकते हैं (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) । Imai et al. (2011) और Imai and Yamamoto (2013) कुछ सुधार सांख्यिकीय तरीकों प्रदान करते हैं। इसके अलावा, VanderWeele (2015) संवेदनशीलता विश्लेषण करने के लिए एक व्यापक दृष्टिकोण सहित महत्वपूर्ण परिणामों के एक नंबर के साथ एक किताब लंबाई उपचार प्रदान करता है।

एक अलग दृष्टिकोण है कि प्रयोगों तंत्र सीधे (जैसे, दे रही नाविकों विटामिन सी) में हेरफेर करने का प्रयास करने पर केंद्रित है। दुर्भाग्य से, कई सामाजिक विज्ञान सेटिंग्स में वहाँ अक्सर कई तंत्र रहे हैं और यह उपचार है कि दूसरों को बदलने के बिना एक बदलने के डिजाइन करने के लिए कठिन है। कुछ दृष्टिकोण प्रयोगात्मक फेरबदल तंत्र में वर्णित करने के लिए Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , और Pirlott and MacKinnon (2016) ।

अंत में, तंत्र भी एक लंबा इतिहास विज्ञान के दर्शन के रूप में द्वारा वर्णित है Hedström and Ylikoski (2010) ।

• मौजूदा वातावरण का उपयोग करना (धारा 4.5.1.1)

पत्राचार अध्ययन और लेखा परीक्षा के अध्ययन के उपयोग भेदभाव को मापने के लिए पर अधिक के लिए देख Pager (2007) ।

• अपने स्वयं के प्रयोग का निर्माण (धारा 4.5.1.2)

सबसे आम तरीका प्रयोगों कि आप का निर्माण करने के लिए प्रतिभागियों को भर्ती करने के लिए अमेज़न मैकेनिकल तुर्क (Mturk) है। परंपरागत प्रयोगशाला प्रयोगों-भुगतान लोगों की Mturk mimics पहलुओं कार्य है कि वे मुक्त-कई शोधकर्ताओं के लिए नहीं करना होगा पूरा करने के लिए क्योंकि पहले से ही पारंपरिक की तुलना में तेज और सस्ता डेटा संग्रह में जिसके परिणामस्वरूप मानव विषयों प्रयोगों में प्रतिभागियों के रूप में Turkers (Mturk पर श्रमिकों) का उपयोग शुरू कर दिया है पर परिसर में प्रयोगशाला प्रयोगों (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) ।

Mturk से भर्ती प्रतिभागियों के साथ प्रयोगों की सबसे बड़ी ताकत साजो हैं: वे शोधकर्ताओं ने प्रतिभागियों को भर्ती करने के लिए जल्दी और जरूरत के रूप में अनुमति देते हैं। जबकि प्रयोगशाला प्रयोगों को चलाने के लिए सप्ताह लग सकते हैं और क्षेत्र प्रयोगों महीने का समय लग सेट अप करने के लिए कर सकते हैं, Mturk से भर्ती प्रतिभागियों के साथ प्रयोगों दिनों में चलाया जा सकता है। उदाहरण के लिए, Berinsky, Huber, and Lenz (2012) एक ही दिन में 400 विषयों की भर्ती के लिए एक 8 मिनट प्रयोग में भाग लेने के लिए सक्षम थे। इसके अलावा, इन प्रतिभागियों के रूप में (अध्याय 3 में चर्चा की, सर्वेक्षण और जन सहयोग सहित और 5) वास्तव में किसी भी प्रयोजन के लिए भर्ती किया जा सकता है। भर्ती की यह आसानी कि शोधकर्ताओं ने तेजी से उत्तराधिकार में संबंधित प्रयोगों के दृश्यों को चला सकते हैं इसका मतलब है।

अपने खुद के प्रयोगों के लिए Mturk से प्रतिभागियों की भर्ती से पहले, वहाँ चार महत्वपूर्ण बातें पता करने के लिए कर रहे हैं। सबसे पहले, कई शोधकर्ताओं Turkers से जुड़े प्रयोगों की एक गैर विशिष्ट संदेह है। क्योंकि इस संदेह विशिष्ट नहीं है, यह सबूत के साथ मुकाबला करने के लिए कठिन है। हालांकि, Turkers का उपयोग अध्ययन के कई वर्षों के बाद, अब हम निष्कर्ष निकाल सकते हैं कि इस संदेह विशेष रूप से आवश्यक नहीं है। वहाँ कई अन्य आबादी और कई अध्ययनों अन्य आबादी से परिणाम के लिए Turkers साथ प्रयोगों के परिणामों की तुलना करने के लिए Turkers की जनसांख्यिकी की तुलना अध्ययन किया गया है। यह सब काम को देखते हुए, मुझे लगता है कि आप इसके बारे में सोचने के लिए सबसे अच्छा तरीका यह है कि Turkers ज्यादा छात्रों लेकिन थोड़ा और अधिक विविध तरह, एक उचित सुविधा नमूना हैं (Berinsky, Huber, and Lenz 2012) । इस प्रकार, बस के रूप में छात्रों को कुछ के लिए एक उचित आबादी नहीं बल्कि सभी प्रायोगिक अनुसंधान कर रहे हैं, Turkers कुछ के लिए एक उचित आबादी नहीं है, लेकिन सभी शोध कर रहे हैं। आप Turkers साथ काम करने जा रहे हैं, तो यह समझ में ये तुलनात्मक अध्ययन के कई पढ़ा है और उनकी बारीकियों को समझने के लिए बनाता है।

दूसरा, शोधकर्ताओं तुर्क प्रयोगों के आंतरिक वैधता को बढ़ाने के लिए सर्वोत्तम प्रथाओं का विकास किया है, और आप के बारे में जानने के लिए और इन सर्वोत्तम प्रथाओं का पालन करना चाहिए (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) । उदाहरण के लिए, Turkers का उपयोग करते हुए शोधकर्ताओं स्क्रीन करने का उपयोग करने के असावधान प्रतिभागियों को दूर करने के लिए प्रोत्साहित किया जाता है (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (लेकिन यह भी देखना DJ Hauser and Schwarz (2015b) और DJ Hauser and Schwarz (2015a) )। आप असावधान प्रतिभागियों को दूर नहीं करते हैं, तो इलाज का कोई असर असावधान प्रतिभागियों से शुरू की शोर से बाहर धोया जा सकता है, और व्यवहार में असावधान प्रतिभागियों की संख्या पर्याप्त हो सकता है। ह्यूबर और उनके सहयोगियों के प्रयोग में (2012) में भाग लेने वालों के बारे में 30% बुनियादी ध्यान स्क्रीन करने में विफल रहा है। एक अन्य समस्या यह Turkers के साथ आम गैर भोली प्रतिभागियों (Chandler et al. 2015)

तीसरा, डिजिटल प्रयोगों के कुछ अन्य रूपों के सापेक्ष, Mturk प्रयोगों पैमाने पर नहीं कर सकते हैं; Stewart et al. (2015) का अनुमान है कि किसी भी समय में वहाँ Mturk पर केवल बारे में 7000 लोग हैं।

अंत में, आपको पता होना चाहिए कि Mturk अपने स्वयं के नियमों और मानदंडों के साथ एक समुदाय है (Mason and Suri 2012) । एक ही तरीका है कि आप एक देश है, जहां आप अपने प्रयोगों को चलाने के लिए जा रहे थे की संस्कृति के बारे में पता लगाने की कोशिश करेगा, आप संस्कृति और Turkers के मानदंडों के बारे में और अधिक जानकारी प्राप्त करने के लिए प्रयास करना चाहिए (Salehi et al. 2015) । और, आपको पता होना चाहिए कि Turkers अपने प्रयोग के बारे में बात कर दिया जाएगा अगर आप कुछ अनुचित या अनैतिक नहीं (Gray et al. 2016) ।

Mturk अपने प्रयोगों के लिए प्रतिभागियों को भर्ती करने के लिए एक अविश्वसनीय रूप से सुविधाजनक तरीका है, चाहे वे ​​इस तरह के रूप में प्रयोगशाला की तरह कर रहे हैं, Huber, Hill, and Lenz (2012) , या एक से अधिक क्षेत्र की तरह, जैसे Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , और Mao et al. (2016) ।

• अपने खुद के उत्पाद बनाने (धारा 4.5.1.3)

आप अपने खुद के उत्पाद बनाने की कोशिश कर के बारे में सोच रहे हैं, तो मैं सुझाव है कि आप सलाह में MovieLens समूह द्वारा की पेशकश पढ़ Harper and Konstan (2015) । उनके अनुभव से एक महत्वपूर्ण अंतर्दृष्टि है कि प्रत्येक सफल परियोजना के लिए वहाँ कई, कई विफलताओं कर रहे हैं। उदाहरण के लिए, MovieLens समूह इस तरह के GopherAnswers कि पूरा विफलताओं थे के रूप में अन्य उत्पादों का शुभारंभ (Harper and Konstan 2015) । एक शोधकर्ता एक उत्पाद का निर्माण करने का प्रयास करते नाकाम रहने का एक और उदाहरण एक ऑनलाइन खेल आर्डेन कहा जाता है का निर्माण करने के लिए एडवर्ड Castronova का प्रयास है। वित्त पोषण में $ 250,000 के बावजूद, परियोजना एक असफल रहा था (Baker 2008) । GopherAnswers और आर्डेन तरह की परियोजनाओं दुर्भाग्य से ज्यादा MovieLens तरह परियोजनाओं की तुलना में अधिक आम हैं। अंत में, जब मैंने कहा कि मैं किसी भी अन्य शोधकर्ताओं कि सफलतापूर्वक दोहराया प्रयोग के लिए उत्पादों का निर्माण किया था की पता नहीं था यहाँ मेरी मानदंड हैं: 1) प्रतिभागियों क्योंकि यह क्या उन्हें प्रदान करता है (उदाहरण के लिए, वे भुगतान नहीं कर रहे हैं के उत्पाद का उपयोग करें और वे नहीं कर रहे स्वयंसेवकों विज्ञान की मदद करने) और 2) उत्पाद एक से अधिक अलग प्रयोग (यानी, न ही प्रयोग कई अलग अलग भागीदार पूल के साथ बार) के लिए इस्तेमाल किया गया है। आप अन्य उदाहरण का पता है, कृपया मुझे पता है।

• शक्तिशाली के साथ भागीदार (धारा 4.5.2)

मैं पाश्चर चक्र तकनीक कंपनियों पर अक्सर चर्चा करने के विचार के बारे में सुना है, और यह गूगल पर अनुसंधान के प्रयासों का आयोजन मदद करता है (Spector, Norvig, and Petrov 2012) ।

बॉन्ड और 'सहयोगियों अध्ययन (2012) भी है जो उन्हें प्राप्त की मित्र पर इन उपचार के प्रभाव का पता लगाने के लिए प्रयास करता है। क्योंकि प्रयोग के डिजाइन की है, इन spillovers सफाई से पता लगाने के लिए मुश्किल हो जाता है; रुचि पाठकों को देखना चाहिए Bond et al. (2012) एक और अधिक गहन चर्चा के लिए। इस प्रयोग को मतदान के लिए प्रोत्साहित करने के प्रयासों पर राजनीतिक विज्ञान के क्षेत्र में प्रयोगों की एक लंबी परंपरा का हिस्सा है (Green and Gerber 2015) । क्योंकि वे पाश्चर चक्र में हैं इन मिल-बाहर वोट प्रयोगों भाग में आम हैं। यही है, वहाँ कई लोग हैं, जो मतदान और मतदान बढ़ाने के लिए व्यवहार में परिवर्तन और सामाजिक प्रभाव के बारे में अधिक सामान्य सिद्धांतों का परीक्षण करने के लिए एक दिलचस्प व्यवहार हो सकता प्रेरित कर रहे हैं।

अन्य शोधकर्ताओं ने ऐसी राजनीतिक दलों, गैर सरकारी संगठनों, और व्यवसायों के रूप में साथी संगठनों के साथ मैदान प्रयोगों चलाने के बारे में सलाह प्रदान की है (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) । दूसरों को कैसे संगठनों के साथ साझेदारी अनुसंधान डिजाइन को प्रभावित कर सकता बारे में सलाह की पेशकश की है (Green, Calfano, and Aronow 2014; King et al. 2007) । भागीदारी भी नैतिक सवालों को जन्म दे सकता है (Humphreys 2015; Nickerson and Hyde 2016) ।

• डिजाइन सलाह (धारा 4.6)

आप अपने प्रयोग को चलाने से पहले एक विश्लेषण की योजना बनाने जा रहे हैं, मेरा सुझाव है कि आप रिपोर्टिंग के दिशा-निर्देशों को पढ़ने के द्वारा शुरू करते हैं। पत्नी के दिशा निर्देशों (परीक्षण के समेकित मानक रिपोर्टिंग) चिकित्सा के क्षेत्र में विकसित किए गए (Schulz et al. 2010) और सामाजिक अनुसंधान के लिए संशोधित (Mayo-Wilson et al. 2013) । दिशा निर्देशों के एक संबंधित सेट प्रायोगिक राजनीति विज्ञान की पत्रिका के संपादकों द्वारा विकसित किया गया है (Gerber et al. 2014) (देखें भी Mutz and Pemantle (2015) और Gerber et al. (2015) )। अंत में, रिपोर्टिंग के दिशा निर्देशों के मनोविज्ञान में विकसित किया गया है (Group 2008) , और यह भी देखने Simmons, Nelson, and Simonsohn (2011) ।

आप एक विश्लेषण की योजना बनाते हैं, तो आप यह पूर्व दर्ज की क्योंकि पूर्व पंजीकरण आत्मविश्वास अन्य लोगों के अपने परिणामों में है कि वृद्धि होगी पर विचार करना चाहिए। इसके अलावा, यदि आप एक साथी के साथ काम कर रहे हैं, वह अपने साथी के परिणाम को देखने के बाद के विश्लेषण को बदलने की क्षमता को सीमित कर देगा। पूर्व पंजीकरण मनोविज्ञान में तेजी से आम होता जा रहा है (Nosek and Lakens 2014) , राजनीति विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , और अर्थशास्त्र (Olken 2015) ।

अपने पूर्व विश्लेषण की योजना बनाते समय आपको पता है कि कुछ शोधकर्ताओं ने यह भी प्रतिगमन और संबंधित तरीकों का इस्तेमाल अनुमान इलाज के प्रभाव की शुद्धता में सुधार करने के लिए होना चाहिए, और इस दृष्टिकोण के बारे में कुछ बहस चल रही है: Freedman (2008) , Lin (2013) , और Berk et al. (2013) ; वहाँ Bloniarz et al. (2016) और अधिक जानकारी के लिए।

ऑनलाइन क्षेत्र प्रयोगों के लिए डिजाइन सलाह विशेष रूप भी प्रस्तुत किया है Konstan and Chen (2007) और Chen and Konstan (2015) ।

• शून्य परिवर्तनीय लागत डेटा बनाएं (धारा 4.6.1)

MusicLab प्रयोगों के बारे में अधिक के लिए, देखें Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , और Salganik (2007) । विजेता ले सभी बाजारों पर अधिक के लिए, देखें Frank and Cook (1996) । अधिक आम तौर पर untangling किस्मत और कौशल के बारे में अधिक के लिए, देखें Mauboussin (2012) , Watts (2012) , और Frank (2016) ।

भरती: वहाँ भागीदार भुगतान है कि शोधकर्ताओं ने सावधानी के साथ प्रयोग करना चाहिए नष्ट करने के लिए एक और तरीका है। कई ऑनलाइन क्षेत्र प्रयोगों में भाग लेने वालों में मूल रूप से प्रयोगों का मसौदा तैयार किया है और कभी मुआवजा दिया जाता है। इस दृष्टिकोण के उदाहरण Restivo और वैन डे Rijt के शामिल (2012) विकिपीडिया और बॉण्ड और सहयोगी में पुरस्कार पर प्रयोग (2012) वोट करने के लिए लोगों को प्रोत्साहित करने पर प्रयोग। इन प्रयोगों वास्तव में शून्य परिवर्तनीय लागत की जरूरत नहीं है, वे शोधकर्ताओं के लिए शून्य परिवर्तनीय लागत है। हालांकि इन प्रयोगों में से कई की लागत प्रत्येक प्रतिभागी को अत्यंत छोटा है, छोटे लागत प्रतिभागियों की एक भारी संख्या में जल्दी से जोड़ सकते लगाया। बड़े पैमाने पर ऑनलाइन प्रयोगों चल शोधकर्ताओं अक्सर कह रही है कि इन छोटे प्रभाव महत्वपूर्ण है जब कई लोगों के लिए लागू हो सकता है के द्वारा छोटे अनुमानित उपचार के प्रभाव के महत्व को सही ठहराने। ठीक उसी सोच की लागत है कि शोधकर्ताओं ने प्रतिभागियों पर लागू करने के लिए लागू होता है। अपने प्रयोगों में एक मिनट बर्बाद करने के लिए एक लाख लोगों का कारण बनता है, तो प्रयोग किसी विशेष व्यक्ति के लिए बहुत हानिकारक नहीं है, लेकिन कुल मिलाकर यह समय की लगभग दो साल बर्बाद किया गया है।

प्रतिभागियों को शून्य परिवर्तनीय लागत भुगतान बनाने के लिए एक और दृष्टिकोण एक लॉटरी, एक दृष्टिकोण भी है कि सर्वेक्षण अनुसंधान के क्षेत्र में इस्तेमाल किया गया है का उपयोग करने के लिए है (Halpern et al. 2011) । अंत में, डिजाइन के बारे में अधिक के लिए सुखद उपयोगकर्ता के अनुभवों को देखते Toomim et al. (2011) ।

• , बदलें निखारने, और कम (धारा 4.6.2)

यहाँ तीन आर के मूल परिभाषा, से कर रहे हैं Russell and Burch (1959) :

"रिप्लेसमेंट बेसुध सामग्री के प्रति सचेत रहने वाले उच्च जानवरों के लिए प्रतिस्थापन का मतलब है। कमी एक निश्चित राशि और परिशुद्धता के बारे में जानकारी प्राप्त करने के लिए इस्तेमाल जानवरों की संख्या में कमी का मतलब है। शोधन घटना या उन जानवरों को अभी भी इस्तेमाल किया जा रहा है जो करने के लिए लागू अमानवीय प्रक्रियाओं की गंभीरता में कोई कमी का मतलब है। "

तीन आर है कि मैं प्रस्ताव करता हूं अध्याय 6 में वर्णित नैतिक सिद्धांतों पर हावी नहीं करते बल्कि, वे मानव प्रयोगों की स्थापना के लिए उन सिद्धांतों-उपकार-विशेष रूप से एक अधिक सविस्तार संस्करण से एक हैं।

जब भावनात्मक छूत पर विचार, वहाँ जब इस प्रयोग की व्याख्या मन में रखने के लिए तीन गैर नैतिक मुद्दे हैं। सबसे पहले, यह कैसे प्रयोग के वास्तविक विवरण सैद्धांतिक दावों से कनेक्ट स्पष्ट नहीं है; दूसरे शब्दों में, वहाँ निर्माण वैधता के बारे में सवाल कर रहे हैं। यह स्पष्ट नहीं है कि सकारात्मक और नकारात्मक शब्द मायने रखता है क्योंकि 1) यह स्पष्ट नहीं है कि वास्तव में प्रतिभागियों की भावनात्मक स्थिति का एक अच्छा संकेत हैं कि शब्द है कि लोगों पोस्ट उनकी भावनाओं का एक अच्छा संकेत कर रहे हैं और 2) यह है कि स्पष्ट नहीं है विशेष भावना विश्लेषण तकनीक है कि शोधकर्ताओं ने इस्तेमाल किया मज़बूती भावनाओं अनुमान करने में सक्षम है (Beasley and Mason 2015; Panger 2016) । दूसरे शब्दों में, वहाँ एक पक्षपाती संकेत के एक बुरा उपाय हो सकता है। दूसरा, डिजाइन और प्रयोग के विश्लेषण हमें जो सबसे अधिक प्रभावित हुआ है (यानी, वहां उपचार के प्रभाव की विविधता का कोई विश्लेषण है) और क्या तंत्र हो सकता है के बारे में कुछ नहीं कहता। इस मामले में, शोधकर्ताओं ने प्रतिभागियों के बारे में जानकारी के बहुत सारे थे, लेकिन वे अनिवार्य रूप से विश्लेषण में विगेट्स के रूप में इलाज किया गया। तीसरा, इस प्रयोग में प्रभाव आकार बहुत छोटा था; उपचार और नियंत्रण की स्थिति के बीच अंतर के बारे में 1 1,000 शब्दों में है। अपने पत्र में, क्रेमर और उनके सहयोगियों का मामला है कि इस आकार का एक प्रभाव महत्वपूर्ण है, क्योंकि लोगों के लाखों लोगों के सैकड़ों का उपयोग अपने समाचार प्रत्येक दिन फीड करते हैं। दूसरे शब्दों में, उनका तर्क है कि भले प्रभाव है कि प्रत्येक व्यक्ति को वे कुल में बड़े हैं के लिए छोटे हैं। यहां तक ​​कि अगर आप इस तर्क को स्वीकार करने के लिए थे, यह अभी स्पष्ट नहीं है कि यदि इस आकार का एक प्रभाव भावनात्मक छूत के बारे में अधिक सामान्य वैज्ञानिक प्रश्न के बारे में महत्वपूर्ण है। स्थितियों में, जहां छोटे प्रभाव महत्वपूर्ण हैं पर अधिक जानकारी के लिए देखते हैं Prentice and Miller (1992) ।

पहले आर (रिप्लेसमेंट), के मामले में भावनात्मक छूत प्रयोग की तुलना (Kramer, Guillory, and Hancock 2014) और भावनात्मक छूत प्राकृतिक प्रयोग (Coviello et al. 2014) से आगे बढ़ के साथ शामिल व्यापार-नापसंद के बारे में कुछ सामान्य सबक देता है प्राकृतिक प्रयोगों के प्रयोगों (और गैर-प्रयोगात्मक डेटा में प्रयोगों लगभग करने के लिए है कि प्रयास मिलान जैसे अन्य तरीकों, अध्याय 2 देखें)। नैतिक लाभों के अलावा, प्रयोगात्मक से गैर प्रयोगात्मक अध्ययन करने के लिए स्विचन भी उपचार है कि वे logistically तैनात करने में असमर्थ हैं अध्ययन करने के लिए सक्षम बनाता है। ये नैतिक और साजो लाभ लागत से आते हैं, लेकिन। प्राकृतिक प्रयोगों के साथ शोधकर्ताओं ने प्रतिभागियों, randomization की भर्ती की तरह चीजों पर कम नियंत्रण, और उपचार की प्रकृति है। उदाहरण के लिए, एक इलाज के रूप में वर्षा की एक सीमा है कि यह दोनों सकारात्मकता बढ़ जाती है और नकारात्मकता कम हो जाती है। प्रयोगात्मक अध्ययन में, हालांकि, क्रेमर और उनके सहयोगियों को स्वतंत्र रूप से सकारात्मकता और नकारात्मकता को समायोजित करने में सक्षम थे।

विशेष रूप से इस्तेमाल किया दृष्टिकोण Coviello et al. (2014) आगे में सविस्तार किया गया था Coviello, Fowler, and Franceschetti (2014) । भूमिका निभाई चर के लिए एक परिचय के लिए देखें Angrist and Pischke (2009) (कम औपचारिक) या Angrist, Imbens, and Rubin (1996) (और अधिक औपचारिक)। भूमिका निभाई चर का एक उलझन में मूल्यांकन के लिए देख Deaton (2010) , और कमजोर उपकरणों (बारिश एक कमजोर साधन है) के साथ महत्वपूर्ण भूमिका निभाई चर के लिए एक परिचय के लिए, वहाँ Murray (2006) ।

आम तौर पर, प्राकृतिक प्रयोगों के लिए एक अच्छी शुरूआत है Dunning (2012) , और Rosenbaum (2002) , Rosenbaum (2009) , और Shadish, Cook, and Campbell (2001) प्रयोगों के बिना कारण प्रभाव का आकलन करने के बारे में अच्छे विचार प्रदान करते हैं।

दूसरी आर (शोधन) के संदर्भ में, वहाँ वैज्ञानिक और सैन्य व्यापार-नापसंद जब पदों को बढ़ाने के लिए पदों को अवरुद्ध करने से भावनात्मक छूत की डिजाइन बदलने पर विचार कर रहे हैं। उदाहरण के लिए, यह मामला समाचार फ़ीड के तकनीकी कार्यान्वयन यह काफी आसान हो जाता है पदों को बढ़ाने के साथ एक प्रयोग के बजाय पदों को रोकने के साथ एक प्रयोग करने के लिए बनाता है कि हो सकता है (ध्यान दें कि पदों को रोकने के साथ एक प्रयोग पर एक परत के रूप में लागू किया जा सकता है अंतर्निहित प्रणाली के परिवर्तन) के लिए किसी भी आवश्यकता के बिना समाचार फ़ीड प्रणाली के शीर्ष। वैज्ञानिक दृष्टि से, हालांकि, सिद्धांत प्रयोग ने संबोधित स्पष्ट रूप से एक दूसरे के ऊपर डिजाइन सुझाव नहीं दिया।

दुर्भाग्य से, मैं अवरुद्ध और समाचार फ़ीड में सामग्री बढ़ाने के रिश्तेदार गुण के बारे में पर्याप्त पूर्व अनुसंधान की जानकारी नहीं है। इसके अलावा, मैं अधिक से अधिक शोध के लिए उन्हें कम हानिकारक बनाने के लिए उपचार को परिष्कृत करने के बारे में नहीं देखा है; एक अपवाद है Jones and Feamster (2015) है, जो इंटरनेट सेंसरशिप की माप के मामले में मानता है (एक विषय मैं दोहराना अध्ययन करने के संबंध में अध्याय 6 में चर्चा (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) )।

तीसरे आर (कमी) के संदर्भ में, पारंपरिक शक्ति विश्लेषण करने के लिए एक अच्छी शुरूआत है Cohen (1988) । पूर्व उपचार covariates डिजाइन चरण और प्रयोगों के विश्लेषण चरण में शामिल किया जा सकता है; के अध्याय 4 Gerber and Green (2012) दोनों तरीकों के लिए एक अच्छा परिचय प्रदान करता है, और Casella (2008) में एक और अधिक में गहराई से उपचार प्रदान करता है। तकनीक कि यादृच्छिकीकरण में इस पूर्व उपचार के बारे में जानकारी का उपयोग आमतौर पर या तो प्रयोगात्मक डिजाइन या स्तरीकृत प्रयोगात्मक डिजाइन (शब्दावली समुदायों में लगातार इस्तेमाल नहीं किया है) अवरुद्ध कहा जाता है; इन तकनीकों का गहरा अध्याय 3. देखें में चर्चा स्तरीकृत नमूना तकनीक से संबंधित हैं Higgins, Sävje, and Sekhon (2016) में बड़े पैमाने पर प्रयोगों में इन डिजाइनों के उपयोग पर अधिक के लिए। पूर्व उपचार covariates भी विश्लेषण चरण में शामिल किया जा सकता है। McKenzie (2012) अधिक से अधिक विस्तार में क्षेत्र प्रयोगों का विश्लेषण करने के लिए अंतर-में-मतभेद दृष्टिकोण की पड़ताल। देखें Carneiro, Lee, and Wilhelm (2016) अलग अलग दृष्टिकोण उपचार के प्रभाव के अनुमान में परिशुद्धता बढ़ाने के लिए के बीच व्यापार-नापसंद के बारे में अधिक के लिए। अंत में, जब निर्णय लेने से डिजाइन या विश्लेषण चरण (या दोनों) में पूर्व उपचार covariates शामिल करने की कोशिश करने के लिए है कि क्या है, वहाँ कुछ कारकों पर विचार करने के लिए कर रहे हैं। एक सेटिंग जहां शोधकर्ताओं को दिखाने के लिए कि वे "मछली पकड़ने" नहीं हैं चाहते हैं (Humphreys, Sierra, and Windt 2013) , डिजाइन चरण में पूर्व उपचार covariates का उपयोग करते हुए सहायक हो सकता है (Higgins, Sävje, and Sekhon 2016) । स्थितियों में, जहां प्रतिभागियों को क्रमिक रूप से आते है, विशेष रूप से ऑनलाइन क्षेत्र प्रयोगों, डिजाइन चरण में पूर्व उपचार के बारे में जानकारी का उपयोग कर logistically मुश्किल हो सकता है, उदाहरण के लिए देखें Xie and Aurisset (2016) ।

यह कारण है कि अंतर-मतभेद में अंतर-में-साधन से इतना अधिक प्रभावी हो सकता है के बारे में अंतर्ज्ञान का एक बिट जोड़ने के लायक है। कई ऑनलाइन परिणामों बहुत उच्च विचरण है (देखें उदाहरण के लिए, Lewis and Rao (2015) और Lamb et al. (2015) ) और समय के साथ अपेक्षाकृत स्थिर रहे हैं। इस मामले में, परिवर्तन स्कोर काफी छोटे विचरण है, सांख्यिकीय परीक्षण की शक्ति में वृद्धि होगी। एक कारण यह दरवाजा खटखटाया अधिक बार इस्तेमाल नहीं किया है कि डिजिटल युग से पहले यह पूर्व उपचार के परिणामों के लिए आम नहीं था। इसके बारे में सोचने के लिए एक और अधिक ठोस तरीका एक प्रयोग की कल्पना करने को मापने के लिए एक विशिष्ट नियमित व्यायाम से वजन घटाने का कारण बनता है कि क्या है। आप एक अंतर-में-साधन दृष्टिकोण करते हैं, अपने अनुमान परिवर्तनशीलता है कि जनसंख्या में वजन में परिवर्तनशीलता से आता होगा। आप एक अंतर-में-अंतर दृष्टिकोण से करते हैं, हालांकि, वजन में है कि स्वाभाविक रूप से होने वाली भिन्नता हटा दिया जाता है और आप और अधिक आसानी से उपचार की वजह से एक अंतर का पता लगा सकते।

एक महत्वपूर्ण तरीका है अपने प्रयोग में भाग लेने वालों की संख्या कम करने के लिए एक शक्ति विश्लेषण है, जो क्रेमर और उनके सहयोगियों के प्रभाव आकार द्वारा प्राकृतिक प्रयोग से मनाया के आधार पर किया जा सकता है आचरण है Coviello et al. (2014) या इससे पहले गैर प्रायोगिक अनुसंधान क्रेमर द्वारा (2012) (वास्तव में ये इस अध्याय के अंत में गतिविधियों रहे हैं)। सूचना है कि सत्ता विश्लेषण के इस प्रयोग के ठेठ की तुलना में थोड़ा अलग है। (, के तहत संचालित आईई) के अनुरूप युग में, शोधकर्ताओं आम तौर पर यकीन है कि उनके अध्ययन बहुत छोटा नहीं था बनाने की शक्ति विश्लेषण किया था। (, पर संचालित यानी) अब, तथापि, शोधकर्ताओं शक्ति विश्लेषण यकीन है कि उनके अध्ययन बहुत बड़ा नहीं है बनाने के लिए क्या करना चाहिए।

Repurpose: अंत में, मैं जोड़ने के लिए एक चौथे आर माना जाता है। यही कारण है कि शोधकर्ताओं ने खुद को और अधिक प्रयोगात्मक डेटा के साथ मिल अगर वे उनके मूल अनुसंधान सवाल का पता करने की जरूरत है, वे नए सवाल पूछने के लिए डेटा repurpose चाहिए, है। उदाहरण के लिए, कल्पना है कि क्रेमर और उनके सहयोगियों और अधिक डेटा की तुलना में उनके अनुसंधान सवाल का पता करने की जरूरत के साथ एक अंतर-में-मतभेद आकलनकर्ता इस्तेमाल किया और खुद को पाया था। बल्कि पूरी हद तक डेटा का उपयोग नहीं है, वे एक समारोह में पूर्व उपचार के लिए भावनात्मक अभिव्यक्ति के रूप में प्रभाव के आकार का अध्ययन किया जा सकता था। बस के रूप में Schultz et al. (2007) में पाया गया कि उपचार के प्रभाव प्रकाश और भारी उपयोगकर्ताओं के लिए अलग था, शायद समाचार फ़ीड के प्रभाव के लोग हैं, जो पहले से ही खुश (या एसएडी) संदेश पोस्ट करने की प्रवृत्ति के लिए अलग थे। "मछली पकड़ने" करने के लिए ले जा सकता है Repurposing (Humphreys, Sierra, and Windt 2013) और "पी-हैकिंग" (Simmons, Nelson, and Simonsohn 2011) , लेकिन इन मोटे तौर पर ईमानदार रिपोर्टिंग के संयोजन के साथ पता योग्य रहे हैं (Simmons, Nelson, and Simonsohn 2011) , पूर्व पंजीकरण (Humphreys, Sierra, and Windt 2013) , और मशीन सीखने के तरीकों कि अधिक ढाले से बचने के लिए प्रयास।