काय पुढील वाचण्यासाठी

• प्रस्तावना (भाग 4.1)

सामाजिक संशोधनातील कार्यक्षमतेबद्दल प्रश्न अनेकदा जटिल आणि गुंतागुंतीचे असतात. कारण ग्राफ आधारित कारणास्तव एक मूलभूत दृष्टिकोण साठी, Pearl (2009) , आणि संभाव्य परिणाम आधारित एखाद्या मूलभूत दृष्टीकोन साठी, Imbens and Rubin (2015) . या दोन पध्दतींमधील तुलनासाठी, Morgan and Winship (2014) . गोंधळाची व्याख्या करण्यासाठी औपचारिक दृष्टिकोनासाठी, VanderWeele and Shpitser (2013) .

या धड्यात, प्रायोगिक आणि गैर-प्रयोगांच्या डेटामधून कारणास्तव अंदाज करण्याच्या आपल्या क्षमतेमध्ये मी एक उज्ज्वल ओळ असल्यासारखे बनवले आहे. तथापि, मला वाटते की, प्रत्यक्षात, फरक अधिक धूसर आहे. उदाहरणार्थ, सर्वांनी स्वीकारले आहे की धूम्रपानामुळे कर्करोग होतो, तरीही लोक धूम्रपान करण्यास बळकटी देणारे कुठलेही विनाक्रम नियंत्रित प्रयोग झालेले नाहीत. नॉन-प्रायोगिक डेटावरून Shadish, Cook, and Campbell (2001) कारणास्तव उत्कृष्ट पुस्तक-लांबीच्या उपचारांकरिता Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) आणि Dunning (2012) .

Freedman, Pisani, and Purves (2007) अध्याय 1 आणि 2 Freedman, Pisani, and Purves (2007) प्रयोग, नियंत्रित प्रयोग आणि यादृच्छिक नियंत्रित प्रयोगांमधील फरकास स्पष्ट परिचय देतात.

Manzi (2012) यादृच्छिक नियंत्रित प्रयोगांच्या तात्विक आणि सांख्यिक आधारापेक्षा आकर्षक आणि वाचनीय परिचय प्रदान करते. हे व्यवसायात प्रयोगांच्या सामर्थ्याची रुचिकर वास्तविक उदाहरणे देखील प्रदान करते. Issenberg (2012) राजकीय मोहिमांमध्ये प्रयोग प्रयोग एक आकर्षक परिचय पुरवते.

• प्रयोग म्हणजे काय? (कलम 4.2)

Box, Hunter, and Hunter (2005) , @ केसेलिया_स्टॅटिस्टिकल 2008, Athey and Imbens (2016b) प्रायोगिक डिझाइन आणि विश्लेषणाच्या सांख्यिकीय पैलूंवर चांगले परिचय देतात. अर्थशास्त्र शिवाय, अनेक विविध क्षेत्रात प्रयोग वापर उत्कृष्ट उपचार आहेत (Bardsley et al. 2009) , समाजशास्त्र (Willer and Walker 2007; Jackson and Cox 2013) , मानसशास्त्र (Aronson et al. 1989) , राज्यशास्त्र (Morton and Williams 2010) , आणि सामाजिक धोरण (Glennerster and Takavarasha 2013) .

सहभागी नियुक्त्याचे महत्व (उदा., नमुना) प्रायोगिक संशोधनामध्ये सहसा कौतुक केले जाते. तथापि, उपचाराचे परिणाम लोकसंख्येमध्ये विषम नसल्यास, नमूना गंभीर आहे. Longford (1999) या मुद्द्याने स्पष्टपणे हे स्पष्ट करते की जेव्हा त्यांनी अनियमित नमूनासह लोकसंख्या सर्वेक्षण म्हणून संशोधकांच्या विचारांचा सल्ला दिला.

• प्रयोग दोन आयाम: प्रयोगशाळा-क्षेत्र आणि अॅनालॉग-डिजिटल (विभाग 4.3)

मी असे सुचवले आहे की लॅब आणि फिल्ड प्रयोगांमधील सातत्य आहे आणि इतर संशोधकांनी अधिक विस्तृत पद्धतीने मांडलेले आहेत, विशेषत: क्षेत्रीय प्रयोगांच्या वेगवेगळ्या (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

बर्याच पेपर्स ने अॅब्स्ट्रस्ट्रेट (Falk and Heckman 2009; Cialdini 2009) मध्ये प्रयोगशाळा व क्षेत्र प्रयोगांची तुलना केली आहे आणि राजकीय विज्ञान (Coppock and Green 2015) मधील विशिष्ट प्रयोगांच्या परिणामांनुसार, अर्थशास्त्र (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , आणि मानसशास्त्र (Mitchell 2012) . लॅब आणि फील्ड प्रयोगांमधून परिणामांची तुलना करण्यासाठी Jerit, Barabas, and Clifford (2013) एक छान संशोधन डिझाइन देतात. Parigi, Santana, and Cook (2017) वर्णन कसे ऑनलाइन फील्ड प्रयोग प्रयोगशाळा आणि फील्ड प्रयोग काही वैशिष्ट्ये एकत्र करू शकता.

सहभागींनी त्यांच्या वागणुकीत बदल घडवून आणल्याबद्दल त्यांना चिंता आहे कारण त्यांना माहिती आहे की त्यांचे लक्षपूर्वक निरीक्षण केले जात आहे ते कधीकधी मागणी प्रभावासारख्या आहेत , आणि त्यांचा मानसशास्त्र (Orne 1962) आणि अर्थशास्त्र (Zizzo 2010) मध्ये अभ्यास केला गेला आहे. प्रामुख्याने प्रयोग प्रयोगाशी संबंधित असले तरीही, या सारख्या समस्यामुळे क्षेत्रीय प्रयोगांसाठीही समस्या निर्माण होऊ शकतात. खरेतर, मागणीचा परिणाम कधीकधी हौथॉर्न इफेक्ट म्हणून ओळखला जातो, 1 9 24 मध्ये वेस्टर्न इलेक्ट्रीक कंपनीच्या हॅथॉर्न वर्क्स (Adair 1984; Levitt and List 2011) येथे प्रसिद्ध प्रकाशमान प्रयोग हा 1 9 24 मध्ये सुरू झाला. दोन्ही मागणी प्रभावांसह आणि हॅथॉर्न इफेक्ट हे परपरिषद मापनाच्या संदर्भाशी बारीकसंबंधात आहेत, ज्यात अध्याय 2 मध्ये चर्चा केलेली आहे ( Webb et al. (1966) ).

अर्थशास्त्र (Levitt and List 2009) , राजनैतिक विज्ञान (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) (Shadish 2002) (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , मनोविज्ञान (Shadish 2002) आणि पब्लिक पॉलिसी (Shadish and Cook 2009) . सोशल सायन्सचे एक क्षेत्र जिथे क्षेत्र प्रयोग लवकर झपाट्याने झाले ते आंतरराष्ट्रीय विकास आहे. अर्थशास्त्रशास्त्रातील या कामाचा सकारात्मक आढावा घेण्यासाठी Banerjee and Duflo (2009) पहायला मिळते आणि एक गंभीर मूल्यांकनासाठी Deaton (2010) . राजकारणातील या कार्याचे आढावा घेण्यासाठी Humphreys and Weinstein (2009) . अखेरीस, फील्ड प्रयोगांमुळे उद्भवलेल्या नैतिक आव्हानांचा राजकीय विज्ञान (Humphreys 2015; Desposato 2016b) आणि डेव्हलपमेंट अर्थशास्त्र (Baele 2013) यांच्या संदर्भात शोध लागला आहे.

या विभागात, मी सुचविले की पूर्व-उपचार माहितीचा वापर अंदाजे उपचारांच्या प्रभावांची सुस्पष्टता सुधारण्यासाठी केला जाऊ शकतो, परंतु या पध्दतीबद्दल काही वाद आहे; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , आणि Bloniarz et al. (2016) अधिक माहितीसाठी

अखेरीस, सामाजिक शास्त्रज्ञांद्वारे केलेले असे आणखी दोन प्रकारचे प्रयोग आहेत जे प्रयोगशाळेच्या फील्ड परिमाणाने सुबकपणे फिट होत नाहीत: सर्वेक्षण प्रयोग आणि सामाजिक प्रयोग. सर्वेक्षणाचा प्रयोग विद्यमान सर्वेक्षणाचा आधारभूत वापर करून प्रयोग आणि त्याच प्रश्नांच्या वैकल्पिक आवृत्त्यांच्या प्रतिसादांची तुलना करत आहे (काही सर्वेक्षण प्रयोग धडा 3 मध्ये सादर केले आहेत); सर्वेक्षण प्रयोगांविषयी अधिकसाठी Mutz (2011) . सामाजिक प्रयोग हे प्रयोग आहेत जेथे उपचार हे काही सामाजिक धोरण असते जे केवळ सरकारद्वारे कार्यान्वित करता येते. सामाजिक प्रयोग कार्यक्रम मूल्यांकनाशी निकट संबंधित आहेत. धोरण प्रयोगांविषयी अधिक माहितीसाठी, Heckman and Smith (1995) , Orr (1998) आणि @ ग्लेंनेस्टर_रिलिंग_2013 पाहा.

• साध्या प्रयोगांपलीकडे वाटचाल (भाग 4.4)

मी तीन संकल्पनांवर लक्ष केंद्रित केले आहे: वैधता, उपचारांच्या प्रभावांची विविधता आणि यंत्रणा या संकल्पनांच्या वेगवेगळ्या क्षेत्रात भिन्न नावे आहेत. उदाहरणार्थ, मनोवैज्ञानिक मध्यस्थ आणि नियंत्रकांवर (Baron and Kenny 1986) लक्ष केंद्रीत करून साध्या प्रयोगांहून पुढे जाण्याचा प्रयत्न करतात. मीडिएटर्सची कल्पना म्हणजे मी यंत्रणा म्हणतो, आणि सरप्रेक्षांच्या विचाराने मला बाह्य वैधता (उदा., वेगवेगळ्या परिस्थीतीमध्ये प्रयोग केले तर वेगळं असेल तर वेगळे होईल) आणि उपचारांच्या प्रभावांच्या विविधतेचा विचार केला जातो ( उदा, इतरांपेक्षा काही लोकांसाठी प्रभाव जास्त).

Schultz et al. (2007) द्वारे प्रयोग Schultz et al. (2007) दर्शवते की प्रभावी समाधाने डिझाइन करण्यासाठी सामाजिक सिद्धांत कसे वापरले जाऊ शकतात. प्रभावी हस्तक्षेप करण्याच्या संकल्पनेतील सिद्धांताच्या भूमिकेबद्दल अधिक सामान्य बाब म्हणून, Walton (2014) .

• वैधता (विभाग 4.4.1)

अंतर्गत आणि बाह्य वैधतेची संकल्पना प्रथम Campbell (1957) यांनी सादर केली. Shadish, Cook, and Campbell (2001) अधिक तपशीलवार इतिहासासाठी आणि सांख्यिकी निष्कर्ष वैधता, अंतर्गत वैधता, बांधकाम वैधता आणि बाह्य वैधता यांचे काळजीपूर्वक Shadish, Cook, and Campbell (2001) पहा.

प्रयोगामध्ये सांख्यिकीय निष्कर्ष वैधता संबंधित समस्यांचे विहंगावलोकन Gerber and Green (2012) (सामाजिक विज्ञान दृष्टीकोनातून) आणि Imbens and Rubin (2015) (एका ​​सांख्यिक दृष्टिकोनातून) पहा. ऑनलाइन फिल्ड प्रयोगांमध्ये विशेषत: उत्पन्न झालेल्या संख्याशास्त्रीय समाप्ती वैधतेचे काही मुद्दे आश्रित डेटासह आत्मविश्वास अंतराळ तयार करण्यासाठी संगणकीय कुशल पद्धतीने (Bakshy and Eckles 2013) समस्या आहेत.

गुंतागुंतीच्या क्षेत्रातील प्रयोगांमधील अंतर्गत वैधता सुनिश्चित करणे कठीण असू शकते. उदाहरणार्थ मतदानाबद्दल जटिल फील्ड प्रयोगाच्या अंमलबजावणीबद्दल वादविवाद करण्यासाठी, Gerber and Green (2000) , Imai (2005) , आणि Gerber and Green (2005) पहा. Kohavi et al. (2012) आणि Kohavi et al. (2013) ऑनलाइन फील्ड प्रयोगांमध्ये अंतराळाच्या वैधतेच्या आव्हानांचा परिचय प्रदान करतात.

अंतर्गत वैधतेसाठी एक प्रमुख धोका ही अयशस्वी यादृच्छिकतेची शक्यता आहे. यादृच्छिकतेसह समस्या शोधण्याचा एक संभाव्य मार्ग म्हणजे निरीक्षण घटकांवर नियंत्रण आणि नियंत्रण गट यांची तुलना करणे. या प्रकारची तुलना समतोल तपासणी म्हणतात. बॅलेंस चेक्स Mutz and Pemantle (2015) दृष्टिकोनासाठी Mutz and Pemantle (2015) चेक्स बद्दल Mutz and Pemantle (2015) Hansen and Bowers (2008) पहा. उदाहरणार्थ, बॅलन्स चेकचा उपयोग करून, Allcott (2011) काही पुरावा सापडल्या की रडारिझेशन तीन खुल्या परीक्षेत प्रयोग (तक्ता 2; साइट 2, 6, आणि 8) मध्ये योग्यरित्या लागू केलेला नाही. इतर पध्दतींसाठी, Imbens and Rubin (2015) अध्याय 21 पहा.

अंतर्गत वैधता संबंधित इतर प्रमुख चिंता खालीलप्रमाणे आहेत: (1) एकतर्फी गैर अनुपालन, उपचार गट मध्ये प्रत्येकजण प्रत्यक्षात उपचार प्राप्त नाही जेथे, (2) दोन बाजू असलेला noncompliance, जेथे उपचार गट प्रत्येकजण नाही उपचार आणि काही लोक नियंत्रण गट उपचार प्राप्त करतो, (3) निष्काळजीपणा, काही निष्कर्षांकरिता परिणाम मोजले जात नाहीत, आणि (4) हस्तक्षेप, जेथे उपचार हा उपचार स्थितीतील लोकांकडे उपचारांपासून पसरतो. Gerber and Green (2012) अध्याय 5, 6, 7 व 8 पहा या प्रत्येक विषयावर अधिक माहितीसाठी

अधिक वैधता निर्माण करण्यासाठी, Westen and Rosenthal (2003) , आणि या पुस्तकाच्या Lazer (2015) आणि अध्याय 2 मध्ये मोठ्या प्रमाणातील डेटा स्त्रोतांमध्ये वैधतेबद्दल अधिक माहितीसाठी

बाह्य वैधतेचा एक पैलू म्हणजे अशी क्रिया ज्यामध्ये हस्तक्षेप तपासली जाते. Allcott (2015) साइट निवड पूर्वाभिमुखीचे सैद्धांतिक व Allcott (2015) उपचार प्रदान करते. या समस्येवर Deaton (2010) द्वारे देखील चर्चा केली आहे. बाह्य वैधतेचा आणखी एक पैलू म्हणजे त्याच हस्तक्षेपाचे पर्यायी ऑपरेशन्स सारखे प्रभाव असतील. या प्रकरणात, Schultz et al. (2007) दरम्यान एक तुलना Schultz et al. (2007) आणि Allcott (2011) दाखवून देतात की खुले आव्हान शूल्त्झ आणि सहकाऱ्यांनी (1.7% विरुद्ध 5%) मूळ प्रयोगांच्या तुलनेत अंदाजे अनुवांशिक प्रयोगांवर परिणाम केला होता. Allcott (2011) असा अंदाज व्यक्त केला की उपचारासाठी ज्या पद्धतीने मतभेद केले गेले त्या पद्धतीमुळे छोट्या प्रभाव Allcott (2011) : एक विद्यापीठाने प्रायोजित केलेल्या अभ्यासाचा एक भाग म्हणून एक हस्तलिखित इमोटिकॉन, मुद्रित इमोटिकॉनच्या तुलनेत जन-उत्पादित भाग म्हणून एका वीज कंपनीकडून अहवाल

• उपचारांच्या प्रभावांची विषमता (विभाग 4.4.2)

फील्ड प्रयोगांमध्ये उपचारांच्या प्रभावांच्या विविधतेबद्दल उत्कृष्ट अवलोकन, Gerber and Green (2012) अध्याय 12 पहा. वैद्यकीय चाचण्यांमध्ये उपचारांच्या प्रभावांची वैविध्यपूर्ण ओळख करण्यासाठी, Kent and Hayward (2007) , Longford (1999) , Kravitz, Duan, and Braslow (2004) . उपचारांच्या प्रभावांच्या विविधतांचे विचार सामान्यतः पूर्व-उपचार वैशिष्ट्यांवर आधारित मतभेदांवर लक्ष केंद्रित करतात. जर आपल्याला पोस्ट-उपचारांच्या परिणामांवर आधारित (Frangakis and Rubin 2002) मुख्य स्ट्रेटीफिकेशन (Frangakis and Rubin 2002) प्रमाणे अधिक जटिल उपाय आवश्यक आहेत; Page et al. (2015) पहा Page et al. (2015) एका पुनरावलोकनासाठी

अनेक संशोधक रेखीय प्रतिगमन वापरून उपचारांच्या प्रभावांच्या विविधतेचा अंदाज करतात, परंतु नवीन पद्धती मशीन शिकण्यावर अवलंबून असतात; उदाहरणार्थ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , Athey and Imbens (2016a) Taddy et al. (2016) Athey and Imbens (2016a) .

अनेक तुलनात्मक अडचणी आणि "मासेमारी" च्या परिणामी वेगवेगळ्या प्रकारच्या समस्या आणि "मासेमारी" च्या प्रभावाच्या विविधतेचे निष्कर्ष काही संशयवादी आहेत. अनेक तुलनात्मक दृष्टिकोन आहेत जे अनेक तुलना (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "मासेमारी" बद्दल चिंता करण्याच्या एक पद्धती पूर्व-नोंदणी आहे, जो मानसशास्त्र (Nosek and Lakens 2014) , राजकीय विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , आणि अर्थशास्त्र (Olken 2015) .

Costa and Kahn (2013) च्या अभ्यासात असे आढळून आले की प्रयोगात फक्त अर्धे लोक डेमोग्राफिक माहितीशी जोडले जाऊ शकतात. या तपशीलांमध्ये रस असणारे वाचक मूळ कागदाचा संदर्भ घेऊ शकतात.

• तंत्र (विभाग 4.4.3)

तंत्र अविश्वसनीय महत्वाचे आहे, परंतु ते अभ्यास करणे अवघड आहे. तंत्रज्ञानाविषयी संशोधन हे मनोविज्ञानातील मध्यस्थांच्या अभ्यासाशी जवळून संबंधित आहे (परंतु दोन विचारांमधल्या तंतोतंत तुलनासाठी देखील VanderWeele (2009) पहा). तंत्रज्ञानाचा शोध घेण्यासाठी सांख्यिकीय दृष्टिकोण, जसे, Baron and Kenny (1986) मध्ये विकसित होणारे दृष्टिकोन, हे सर्वसामान्य आहेत. दुर्दैवाने, असे दिसून येते की त्या कार्यपद्धती काही मजबूत गृहीतके (Bullock, Green, and Ha 2010) वर अवलंबून असतात (Bullock, Green, and Ha 2010) अनेक पद्धती आहेत तेव्हा ग्रस्त होतात, कारण एखाद्याला बर्याच बाबतीत (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) आणि Imai and Yamamoto (2013) काही सुधारित सांख्यिकीय पद्धती देतात. पुढे, VanderWeele (2015) अनेक महत्त्वपूर्ण परिणामांसह पुस्तक-लांबीचे उपचार प्रदान करते, ज्यामध्ये संवेदनशीलता विश्लेषणासाठी व्यापक दृष्टिकोन समाविष्ट आहे.

एक वेगळा दृष्टिकोन प्रयोगांवर लक्ष केंद्रीत करतो जे प्रत्यक्षरित्या यंत्रणा हाताळण्याचा प्रयत्न करतात (उदा., खलाशी विटामिनि देणे). दुर्दैवाने, बर्याच सामाजिक विज्ञान सेटिंग्जमध्ये, बहुविध यंत्रे अनेकदा असतात आणि इतरांना न बदलता उपचार बदलणे कठिण आहे. प्रायोगिकरित्या फेरफार करण्याच्या काही पद्धती Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , आणि Pirlott and MacKinnon (2016) .

संपूर्ण तथ्येक परीक्षणाचे कार्य करणारे संशोधकांना बहुविध परीणामांबाबत चिंतित असणे आवश्यक आहे; अधिक माहितीसाठी Fink, McConnell, and Vollmer (2014) आणि List, Shaikh, and Xu (2016) पहा.

अखेरीस, Hedström and Ylikoski (2010) यांनी सांगितल्यानुसार तंत्रज्ञानाचा देखील विज्ञान तत्त्वज्ञानातील दीर्घ इतिहास आहे.

• विद्यमान वातावरण वापरणे (विभाग 4.5.1)

भेदभाव मोजण्यासाठी पत्रव्यवहाराच्या अभ्यासाचा आणि लेखापरीक्षण अभ्यासांचा अधिक वापर करण्यासाठी, Pager (2007) .

• आपला स्वत: चा प्रयोग तयार करा (भाग 4.5.2)

आपण तयार केलेल्या प्रयोगांना सहभागी करण्यासाठी सर्वात सामान्य मार्ग म्हणजे ऍमेझॉन यांत्रिक तुर्क (एमटिर्क). कारण एमयूटीकुर्क पारंपरिक प्रयोग प्रयोगांच्या पैलूंशी प्रतिक्षित करते- ज्यायोगे लोकांना ते मोफत करता कामा नयेत अशा गोष्टी पूर्ण करण्यासाठी देत ​​आहेत-अनेक संशोधकांनी पूर्वीच तुर्क (प्रयोगकर्तेवरील कार्यकर्ते) वापरण्यास सुरुवात केली आहे, परिणामी ते प्राप्त करता येण्यापेक्षा जलद आणि स्वस्त डेटा संग्रह पारंपारिक ऑन-कॅम्पस प्रयोगशाळेतील प्रयोगांमध्ये (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

साधारणतया, एमटीयूकेकांकडून भरती केलेल्या सहभागींचा सर्वात मोठा फायदा फायदेशीर असतो. प्रयोगशाळेत प्रयोग चालविण्यासाठी आठवडे लागतात आणि फील्ड प्रयोग सेट अप होण्यास काही महिने लागू शकतात, तर एमटयूकेक कडून भरती केलेल्या सहभागींसह काही दिवसांमध्ये चालू शकते. उदाहरणार्थ, Berinsky, Huber, and Lenz (2012) एकाच दिवसात 400 विषयांची भरती करण्यास सक्षम होते. पुढे, या सहभागींना कुठल्याही कारणासाठी (सर्वेक्षणे आणि जनसमुह सहकार्यासह, अध्याय 3 व 5 मध्ये चर्चा केल्याप्रमाणे) भरती केली जाऊ शकते. भरतीची ही सोय म्हणजे त्वरीत वारंवार घडत असलेल्या संशोधक संबंधित प्रयोगांची क्रमं चालवू शकतात.

आपल्या स्वतःच्या प्रयोगांसाठी एमट्यूकेकच्या सहभागींची भरती करण्यापूर्वी, चार महत्वाच्या गोष्टी ज्या आपल्याला माहित असणे आवश्यक आहे. प्रथम, बर्याच संशोधकांना तुर्कस्तानावरील प्रयोगांचा अवास्तव संशयवाद आहे. कारण हे संशयवाद विशिष्ट नाही, पुराव्यासह प्रतिवाद करणे कठीण आहे. तथापि, तुर्कीर्स वापरुन अनेक वर्षांच्या अभ्यासानंतर, आम्ही आता निष्कर्ष काढू शकतो की हे संशयवाद विशेषतः न्याय्य नाही. इतर लोकसंख्येच्या तुलनेत तुर्कवांची लोकसंख्याशास्त्राची तुलना करणारे आणि इतर लोकसंख्या असलेल्या तुर्कींच्या प्रयोगांच्या परिणामांची तुलना करणारे अनेक अभ्यास अनेक अभ्यासक आहेत. हे सर्व काम दिल्यास, मला असे वाटते की तुमच्यासाठी याबद्दलचा सर्वात चांगला मार्ग म्हणजे तुर्कर्स एक सोयिस्कर सुविधा आहे, अगदी विद्यार्थ्यांप्रमाणेच परंतु थोडी अधिक वैविध्यपूर्ण (Berinsky, Huber, and Lenz 2012) . अशा प्रकारे, विद्यार्थी काही लोकांसाठी वाजवी लोकसंख्येच्या आहेत, परंतु सर्वच नाही, संशोधन, तुर्क लोकांची काही लोकसंख्या एक उचित लोकसंख्या आहेत, परंतु सर्व नाही, संशोधन. आपण जर तुर्कस्तानसोबत काम करणार असाल तर ते या तुलनात्मक अभ्यासाचे बरेच वाचन आणि त्यांच्या सूक्ष्मसेना समजून घेण्यासाठी अर्थ प्राप्त होतो.

सेकंद, संशोधकांनी एमट्यूच प्रयोगांची आंतरिक वैधता वाढविण्यासाठी सर्वोत्तम पद्धती विकसित केल्या आहेत, आणि आपण या सर्वोत्कृष्ट पद्धतींचे पालन करायला हवे (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . उदाहरणार्थ, टूर्सर्सचा वापर करणारे संशोधकांना अप्रिय सहभागी (Berinsky, Margolis, and Sances 2014, 2016) काढून टाकण्यासाठी स्क्रीनर्सचा वापर करण्यास प्रोत्साहन देण्यात आले आहे (परंतु DJ Hauser and Schwarz (2015b) आणि DJ Hauser and Schwarz (2015a) DJ Hauser and Schwarz (2015b) DJ Hauser and Schwarz (2015a) ). आपण अनावश्यक सहभागींना काढत नसल्यास, उपचारांचा कोणताही प्रभाव आपण ओळखत असलेल्या आवाजाने धुऊन केला जाऊ शकतो आणि सराव मध्ये अनावश्यक सहभागींची संख्या मोठी असू शकते. ह्यूबर आणि सहकर्मींच्या प्रयोगात (2012) , सुमारे 30% सहभागींनी मूलभूत लक्ष देणार्या स्क्रीनर्सना अपयशी ठरले. Turkers वापरले जातात तेव्हा सामान्यपणे उद्भवू की इतर समस्या निष्क्रीय सहभागी (Chandler et al. 2015) आणि झीज (Zhou and Fishbach 2016) .

तिसरा, डिजिटल प्रयोगांच्या इतर काही प्रकारांशी संबंधीत, एमटीयूके प्रयोग हे मोजता येत नाही; Stewart et al. (2015) अंदाज आहे की कोणत्याही वेळेस केवळ 7,000 लोक एमट्यूकेक वर आहेत

शेवटी, आपण हे समजले पाहिजे की एमटिक्यू एक स्वत: चे नियम आणि नियम असलेले समुदाय आहे (Mason and Suri 2012) . त्याच प्रमाणे आपण ज्या देशाचे आपले प्रयोग चालवत असता त्याच्या संस्कृतीबद्दल जाणून घेण्याचा प्रयत्न करा, तुर्कस्तानच्या संस्कृती आणि नियमांबद्दल अधिक जाणून घेण्याचा प्रयत्न करा (Salehi et al. 2015) . आणि आपण हे समजून घेतले पाहिजे की आपण अयोग्य किंवा अनैतिक काहीतरी करीत असल्यास तुर्क आपल्या प्रयोगांबद्दल बोलत असतील (Gray et al. 2016) .

Huber, Hill, and Lenz (2012) सारख्या प्रयोग- Huber, Hill, and Lenz (2012) किंवा Mason and Watts (2009) यासारख्या क्षेत्रासारख्या क्षेत्रासारखी, प्रयोगांसाठी भाग घेण्याकरिता एमट्यूक एक अविश्वसनीय सोयिस्कर मार्ग आहे. , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , आणि Mao et al. (2016) .

• आपले स्वत: चे उत्पादन तयार करा (भाग 4.5.3)

आपण आपले स्वतःचे उत्पादन तयार करण्याचा विचार करत असाल तर मी शिफारस करतो की आपण Harper and Konstan (2015) कॉनस्टोनमधील मूव्ही लेन्स गटातील सल्ला वाचावा Harper and Konstan (2015) . त्यांच्या अनुभवातून एक महत्त्वाची माहिती अशी की प्रत्येक यशस्वी प्रोजेक्टसाठी बरेच, अनेक अपयश आहेत. उदाहरणार्थ, मूव्ही लेंस समूहाने इतर उत्पादने सुरू केली जसे की गोफरएन्स्वरर्स, जे पूर्ण अपयश होते (Harper and Konstan 2015) . एक उत्पादन तयार करण्याचा प्रयत्न करताना संशोधकाचे आणखी एक उदाहरण म्हणजे एडडेड कॅस्ट्रॉनोव्हा यांनी आर्डेन नावाची ऑनलाइन गेम तयार करण्याचा प्रयत्न केला. निधी मध्ये 250,000 डॉलर्स असूनही, हा प्रकल्प फ्लॉप (Baker 2008) . दुर्दैवाने फिल्मलेन्स सारख्या प्रकल्पांपेक्षा गोफर अन्सवर्स आणि आर्डेनसारख्या प्रकल्प अधिक सामान्य आहेत.

• शक्तिशाली असलेल्या भागीदार (भाग 4.5.4)

मी पाश्चरच्या क्वाड्रंडची कल्पना विचारली आहे की टेक कंपन्यांमध्ये वारंवार चर्चा केली आहे आणि हे Google (Spector, Norvig, and Petrov 2012) संशोधनाचे प्रयत्न करण्यात मदत करते.

बाँड आणि सहकारी अभ्यासाच्या (2012) या अभ्यासाचे परिणाम त्यांच्या मित्रांच्या मित्रांच्या प्रभावाचा शोध घेण्याचाही प्रयत्न करते. प्रयोगाच्या डिझाईनमुळे, हे स्पिलव्हर्स स्वच्छपणे शोधणे अवघड आहेत; इच्छुक वाचकांना Bond et al. (2012) पाहायला पाहिजे Bond et al. (2012) अधिक सखोल चर्चा साठी. जोन्स आणि सहकाऱ्यांनी (2017) 2012 च्या निवडणुकीदरम्यान खूपच प्रयोग केला. मतदानास प्रोत्साहित करण्याच्या प्रयत्नांवर हे प्रयोग राजकारणातील प्रयोगांच्या प्रदीर्घ परंपराचा एक भाग आहेत (Green and Gerber 2015) . हे प्राप्त-आउट-द-मत प्रयोग सामान्यतः आहेत कारण ते पाश्चरच्या क्वाड्रंटमध्ये आहेत. म्हणजे बरेच लोक आहेत जे मतदान वाढवण्यासाठी प्रेरित असतात आणि मत बदलणे हे वागणू बदल आणि सामाजिक प्रभावाबद्दल अधिक सामान्य सिद्धांतांचे परीक्षण करण्यासाठी एक मनोरंजक पद्धत असू शकते.

राजकीय पक्ष, स्वयंसेवी संस्था आणि व्यवसाय यांसारख्या भागीदार संस्थांसोबत क्षेत्र प्रयोग चालू करण्याबद्दल सल्ला Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , आणि Gueron (2002) . संशोधन डिझाइनवर किती प्रभाव पडू शकतात याबद्दल विचार करण्यासाठी, King et al. (2007) पाहा King et al. (2007) आणि Green, Calfano, and Aronow (2014) . Humphreys (2015) आणि Nickerson and Hyde (2016) द्वारे चर्चा केल्यानुसार भागीदारी देखील नैतिक प्रश्नांवर केंद्रित करू शकते.

• डिझाईन सल्ला (भाग 4)

आपला प्रयोग चालू करण्यापूर्वी आपण एखादे विश्लेषण प्लॅन बनवत असाल तर मी सुचवितो की आपण रिपोर्टिंग मार्गदर्शक तत्त्वे वाचून प्रारंभ करता. वैद्यक (Schulz et al. 2010) व कॉन्सोर्ट (कन्सोलिडेटेड स्टँडर्ड रिपोर्टिंग ऑफ ट्रायल्स) मार्गदर्शकतत्त्वे विकसित करण्यात आली आणि सामाजिक संशोधनासाठी संशोधित करण्यात आले (Mayo-Wilson et al. 2013) . जर्नल ऑफ एक्सपेरिमेंटल पॉलिटिकल सायन्स (Gerber et al. 2014) ( Mutz and Pemantle (2015) आणि Gerber et al. (2015) ) यांच्याशी संबंधित मार्गदर्शक तत्त्वे तयार करण्यात आली आहेत. अखेरीस, मानसोपचार (APA Working Group 2008) मध्ये दिशानिर्देश सादर केले गेले आहेत, आणि Simmons, Nelson, and Simonsohn (2011) देखील पहा.

आपण एक विश्लेषण योजना तयार केल्यास, आपण पूर्व-नोंदणी करण्याचा विचार करावा कारण पूर्व-नोंदणीमुळे आपल्या परिणामांमध्ये इतरांचा विश्वास असेल. पुढे, जर आपण एका भागीदाराबरोबर काम करीत असाल, तर त्याचे परिणाम पाहून आपला भागीदार विश्लेषण बदलण्याची मर्यादा घालवेल. मानसशास्त्र (Nosek and Lakens 2014) , राजकीय विज्ञान (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) आणि अर्थशास्त्र (Olken 2015) पूर्व-नोंदणी वाढते सर्वसाधारण आहे.

विशेषत: ऑनलाइन फिल्ड प्रयोगांसाठी डिझाइन सल्ला Konstan and Chen (2007) आणि Chen and Konstan (2015) .

मी आर्मडा स्ट्रॅटेजिक काय म्हणतो ते कधीकधी प्रोग्रामॅटिक संशोधन म्हणतात; Wilson, Aronson, and Carlsmith (2010) .

• शून्य चलन खर्च डेटा तयार करा (विभाग 4.6.1)

म्युझिक लाब प्रयोगांविषयी अधिक माहितीसाठी Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , आणि Salganik (2007) . विजेत्या-अधिक-सर्व बाजारांवर अधिक माहितीसाठी, Frank and Cook (1996) . अधिक सहजपणे नशीब आणि कौशल्याबद्दल अधिक माहितीसाठी, Mauboussin (2012) , Watts (2012) आणि Frank (2016) .

सहभागींनी दिलेली देयके काढून टाकण्यासाठी दुसरी एक दृष्टीकोन आहे की संशोधकांनी सावधगिरीने उपयोग केला पाहिजे: कंत्राटी बर्याच ऑनलाइन फिल्ड प्रयोगांमध्ये सहभागी लोकांकडे मूलतः प्रयोगांमध्ये तयार केले जातात आणि कधीही भरपाई दिली जात नाही. विकिपीडिया आणि बाँड आणि सहकारी (2012) लोकांना मतदान करण्यास प्रोत्साहित केल्याबद्दल या पध्दतीतील उदाहरणात रेस्टिव्हो आणि व्हान डी रिजिट (2012) पुरस्कार दिला जातो. हे प्रयोग खरोखर शून्य चल नाही कमी ऐवजी, ते संशोधक शून्य बदलणारा खर्च आहे. अशा प्रयोगांमध्ये, जरी प्रत्येक भागीदारासाठी खर्च खूपच लहान असला तरीही एकूण खर्च खूप मोठा असू शकतो. मोठ्या प्रमाणावर ऑनलाइन प्रयोग करणारे शोधकर्ते सहसा लहान अनुमानित उपचारांच्या प्रभावांचे महत्त्व समजावून सांगतात की बर्याच लोकांसाठी लागू केल्यावर ही लहानशा प्रभाव महत्त्वाची ठरू शकतात. तंतोतंत समान विचार प्रतिभाग्यांवरील संशोधकांनी लादलेल्या खर्चास लागू होते. जर आपल्या प्रयोगाने एक दशलक्ष लोक एक मिनिट वाया घालवू लागले तर प्रयोग कोणत्याही विशिष्ट व्यक्तीसाठी अतिशय हानिकारक ठरत नाही परंतु एकूण दोन वर्षांचा हा वाया गेला आहे.

सहभागींना शून्य परिवर्तनीय खर्चाची रक्कम तयार करण्याचा आणखी एक मार्ग म्हणजे लॉटरी वापरणे, हा एक दृष्टिकोन जो सर्वेक्षण संशोधनात वापरला गेला (Halpern et al. 2011) . आनंददायक वापरकर्ता अनुभव डिझाइन करण्याबद्दल अधिक जाणून घेण्यासाठी, Toomim et al. (2011) . शून्य परिवर्तनीय खर्च तयार करण्यासाठी बॉट्स वापरण्याबद्दल अधिक जाणून घेण्यासाठी ( ??? ) पहा.

• पुनर्स्थित करा, परिष्कृत करा आणि कमी करा (विभाग 4.6.2)

मूलतः Russell and Burch (1959) द्वारे प्रस्तावित तीन आर आहेत:

"बदलण्याचे जड साहित्य लाजाळू उच्च प्राणी देश पर्याय याचा अर्थ. कपात दिलेल्या रक्कम आणि सुस्पष्टता माहिती प्राप्त करण्यासाठी वापरली प्राणी संख्या कमी अर्थ. शुद्धता प्रादुर्भाव किंवा अजूनही वापरले करणे आवश्यक आहे जे प्राणी लागू अमानुष प्रक्रियेची तीव्रता कोणत्याही कमी म्हणजे. "

जे तीन आर मी प्रस्ताव मांडतो ते अध्याय 6 मध्ये नमूद केलेले नैतिक तत्त्व अधिलिखित नाहीत. उलट, ते त्या सिद्धांतांपैकी एक अधिक सविस्तर वर्तन आहेत- विशेषत: मानवी प्रयोगांच्या सेटिंगमध्ये.

पहिल्या आर ("प्रतिस्थापन") च्या संबंधात, भावनिक संसर्ग प्रयोग (Kramer, Guillory, and Hancock 2014) आणि भावनात्मक संसर्ग नैसर्गिक प्रयोग (Lorenzo Coviello et al. 2014) यांच्याशी तुलना करणे समाविष्ट असलेल्या व्यापार-नाण्याविषयी काही सामान्य धडे देते प्रयोगातून नैसर्गिक प्रयोगांकडे जाताना (आणि इतर दृष्टिकोन जसे नॉन-प्रायोगिक डेटामध्ये अंदाजे प्रयोगाशी मिळत आहे, अध्याय 2 पाहा). नैतिक फायदे व्यतिरिक्त, प्रयोगात्मक ते नॉन-प्रायोगिक अभ्यासाकडे स्विच करणे संशोधकांना उपयोजनांचा अभ्यास करण्यास सक्षम करते जे ते लॉगिस्टिक्समध्ये तैनात करण्यात अक्षम आहे. हे नैतिक आणि फायदेशीर फायदे अशा वेळी येतात, तथापि. नैसर्गिक प्रयोगांद्वारे संशोधकांच्या काही गोष्टींवर नियंत्रण असते जसे प्रतिभाग्यांची भरती, यादृच्छिकता आणि उपचारांचे स्वरूप. उदाहरणार्थ, एक उपचार म्हणून पावसाची मर्यादा अशी आहे की ती दोन्ही सकारात्मकता वाढवते आणि नकारात्मकता कमी करते. प्रायोगिक अभ्यासात, क्रॅमर आणि सहकारी स्वतंत्रपणे सकारात्मकता आणि नकारात्मकता समायोजित करण्यात सक्षम होते. Lorenzo Coviello et al. (2014) द्वारे वापरले विशिष्ट दृष्टिकोन Lorenzo Coviello et al. (2014) पुढे L. Coviello, Fowler, and Franceschetti (2014) यांनी elaborated होते. इन्स्ट्रुमेंटल व्हेरिएबल्सचा परिचय देण्यासाठी, जे Lorenzo Coviello et al. (2014) द्वारे वापरण्यात आलेला दृष्टिकोन आहे Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (कमी औपचारिक) किंवा Angrist, Imbens, and Rubin (1996) (अधिक औपचारिक) पहा. इंस्ट्रूमेंटल व्हेरिएबल्सच्या संशयास्पद मूल्यांकनासाठी, Deaton (2010) , आणि कमजोर इन्स्ट्रुमेंट्ससह बारकास वेरियबल्सचा परिचय देण्यासाठी (पाऊस एक कमकुवत इन्स्ट्रुमेंट आहे), Murray (2006) . सामान्यतः नैसर्गिक प्रयोगांसाठी एक चांगली ओळख Dunning (2012) द्वारे केली जाते, तर Rosenbaum (2002) , ( ??? ) , आणि Shadish, Cook, and Campbell (2001) प्रयोगाविना न Shadish, Cook, and Campbell (2001) प्रभावाचा अंदाज घेण्याबाबत चांगली कल्पना देतात.

द्वितीय आर ("परिष्करण") च्या संदर्भात, पदोन्नती करणार्या पदांना पोस्ट करण्यापासून भावनिक संभोगाचे डिझाईन बदलण्यावर विचार करताना वैज्ञानिक आणि मालकीय व्यापार-बंद आहेत. उदाहरणार्थ, असे होऊ शकते की न्यूज फीडच्या तांत्रिक अंमलबजावणीमुळे ज्या प्रयोगात पदोन्नती करण्यात आली आहे त्याऐवजी पदांना अडथळा नसल्याचा प्रयोग करणे सोपे झाले आहे (लक्षात घ्या की पोस्ट अवरोधित करणे समाविष्ट करण्याचा एक प्रयोग अंमलात आणला जाऊ शकतो. अंतर्भूत सिस्टिमच्या फेरबदलाच्या आवश्यकतेशिवाय न्यूज फीड सिस्टमच्या शीर्षस्थानी एक स्तर म्हणून) वैज्ञानिकदृष्ट्या, प्रयोगाद्वारे संबोधित केलेला सिद्धांत इतरांपेक्षा एक रचना स्पष्टपणे सूचित करीत नाही. दुर्दैवाने, मला न्यूज फीडमध्ये सामग्री अवरोधित करणे आणि सामग्री वाढविण्यासाठीच्या संबंधित गुणवत्तेशी महत्त्वपूर्ण आधी संशोधन झाल्याची जाणीव नाही. तसेच, मी त्यांना कमी हानिकारक करण्यासाठी संशोधन करण्याबद्दल अधिक संशोधन पाहिले नाही; एक अपवाद म्हणजे B. Jones and Feamster (2015) , जे इंटरनेट सेन्सॉरशिप मोजण्याच्या बाबतीत विचारात B. Jones and Feamster (2015) एक विषय जे मी अध्यापन 6 मध्ये एनकोर अभ्यासाशी चर्चा करतो (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

तिसऱ्या आर ("घट") संदर्भात, Cohen (1988) (पुस्तके) आणि Cohen (1992) (लेख) यांनी दिले आहेत, तर Gelman and Carlin (2014) थोड्या वेगळ्या दृष्टीकोनाची ऑफर देतात. पूर्व-उपचार कोवैयतेस प्रयोगांच्या डिझाइन आणि विश्लेषण स्तरावर समाविष्ट केले जाऊ शकतात; Gerber and Green (2012) 4) चे अध्याय 4 हे दोन दृष्टिकोनांचे चांगले परिचय देते आणि Casella (2008) अधिक सखोल उपचार प्रदान करते. यादृच्छिकता या पूर्व-उपचार माहितीचा वापर करणार्या तंत्रांना विशेषत: एकतर अवरुद्ध प्रयोगात्मक डिझाईन्स किंवा स्तरीकृत प्रायोगिक डिझाईन्स (परिभाषा संपूर्ण समुदायांमध्ये वापरली जात नाही); या तंत्रांचा अध्याय 3 मध्ये चर्चा केलेल्या स्तरीकृत नमूना तंत्रांशी बारीकशी संबंध आहे. विशाल प्रयोगांमध्ये या डिझाइनचा वापर करण्याबद्दल अधिकसाठी Higgins, Sävje, and Sekhon (2016) पहा. पूर्व-उपचार कॉरपोरेट्स हे विश्लेषण स्तरावर समाविष्ट केले जाऊ शकतात. McKenzie (2012) फील्ड प्रयोग अधिक तपशीलामध्ये विश्लेषित करण्यासाठी फरक-मधील मतभेद दृष्टिकोनाचा शोध लावतात. उपचारांच्या प्रभावांच्या अंदाजानुसार सुस्पष्टता वाढविण्यासाठी विविध पध्दतींमधील व्यापार-बंदांविषयी अधिक माहितीसाठी Carneiro, Lee, and Wilhelm (2016) पहा. अखेरीस, डिझाइन किंवा विश्लेषणाच्या टप्प्यात (किंवा दोन्ही) पूर्व-उपचार कोव्हियेट्सचा समावेश करण्याचा प्रयत्न करायचा निर्णय घेत असतांना, विचार करण्यासाठी काही कारणे आहेत एका सेटिंगमध्ये संशोधक ते "मासेमारी" (Humphreys, Sierra, and Windt 2013) नसल्याचे दर्शवितात की, डिझाइन अवस्थेमध्ये पूर्व-उपचार (Higgins, Sävje, and Sekhon 2016) करणे उपयोगी असू शकते (Higgins, Sävje, and Sekhon 2016) . अशा परिस्थितीत जिथे सहभागाने क्रमशः आगमन होतात, विशेषत: ऑनलाइन फील्ड प्रयोग, डिझाइन अवस्थेमध्ये पूर्व-उपचार माहिती वापरून logistically कठीण असू शकते; उदाहरणार्थ, Xie and Aurisset (2016) .

अंतर-फरक दृष्टिकोन हे फरक-मधील-अर्थापेक्षा खूपच प्रभावशाली का असू शकतात याबद्दल थोडक्यात अंतर्ज्ञान जोडणे महत्त्वाचे आहे. बर्याच ऑनलाइन निष्कर्षांमधे खूप उच्च फरक आहे (उदा. RA Lewis and Rao (2015) आणि Lamb et al. (2015) ) आणि वेळोवेळी तुलनेने स्थिर आहेत. या प्रकरणात, बदल स्कोअर सांख्यिकीय मोठ्या प्रमाणावर होईल, संख्यात्मक चाचणी शक्ती वाढ. या पद्धतीचा उपयोग अनेकदा केला जात नाही तो म्हणजे डिजिटल युगाच्या अगोदर, पूर्व-उपचार निष्कर्षापुरता परिणामकारक नाही. याबद्दल विचार करण्यासाठी आणखी एक ठोस मार्ग म्हणजे विशिष्ट व्यायाम पद्धतीमुळे वजन कमी झाल्याचे मोजता येते. आपण फरक-इन-अर्थाच्या पध्दतीचा अवलंब केल्यास, आपल्या अंदाजामध्ये जनसंख्या मधील वस्तूंमध्ये परिवर्तनशीलतेपासून उद्भवणारी परिवर्तनशीलता असेल. आपण फरक-इन-फरक दृष्टिकोन असल्यास, वजनाने नैसर्गिकरित्या होणारा फरक काढून टाकला जातो आणि उपचारांमुळे आपण फरक ओळखू शकता.

शेवटी, मी चौथे आर जोडण्याचा विचार केला: "repurpose" म्हणजेच, जर संशोधकांना त्यांचे मूळ संशोधन प्रश्न सोडवण्यापेक्षा अधिक प्रायोगिक डेटा सापडला तर ते नवीन प्रश्न विचारण्यासाठी डेटा पुन्हा वापरायला हवा. उदाहरणार्थ, कल्पना करा की क्रेमर आणि सहकाऱ्यांनी फरक-मधील मतभेदांचा अंदाज लावला होता आणि त्यांच्या संशोधन प्रश्नांशी संबंधात आवश्यक त्यापेक्षा अधिक डेटा प्राप्त केला. संपूर्णपणे डेटाचा वापर न करता, ते पूर्व-उपचार भावनिक अभिव्यक्तीचे फंक्शन म्हणून प्रभावाचा आकार अभ्यासू शकले असते. फक्त Schultz et al. (2007) आढळले की उपचारांचा प्रभाव प्रकाश आणि मोठ्या वापरकर्त्यांसाठी वेगळा होता, कदाचित बातम्या फीडचे परिणाम सुखी (किंवा दुःखी) संदेश पोस्ट करण्याच्या प्रयत्नात असलेल्या लोकांसाठी वेगळे होते. "मासेमारी" (Humphreys, Sierra, and Windt 2013) आणि "पी-हैकिंग" (Simmons, Nelson, and Simonsohn 2011) "मासेमारी" होऊ शकतात परंतु हे प्रामाणिक अहवाल (Simmons, Nelson, and Simonsohn 2011) , प्री-रजिस्ट्रेशन (Humphreys, Sierra, and Windt 2013) , आणि मशीन शिकण्याची पद्धत ज्यामुळे अत्याधिक टाळण्यासाठी प्रयत्न केले जातात.