पुढील भाष्य

या विभागात एक गोष्ट म्हणून वाचले पाहिजे ऐवजी, एक संदर्भ म्हणून वापर करण्यासाठी केली आहे.

• परिचय (विभाग 4.1,)

सामाजिक संशोधन कार्यकारणभाव प्रश्न अनेकदा जटिल आणि क्लिष्ट आहे. कार्यकारण भाव आलेख आधारित कार्यकारणभाव एक foundational दृष्टिकोन, पहा Pearl (2009) , आणि संभाव्य परिणाम आधारित foundational दृष्टिकोन, पाहू Imbens and Rubin (2015) (आणि हे प्रकरण तांत्रिक परिशिष्ट). या दोन पध्दती दरम्यान एक तुलनेत, हे पहा Morgan and Winship (2014) . एक confounder व्याख्या एक औपचारिक दृष्टिकोन, पहा VanderWeele and Shpitser (2013) .

अध्यायात मी प्रायोगिक आणि गैर-प्रयोग डेटा कार्यकारण भाव अंदाज करण्यासाठी आमच्या क्षमता दरम्यान एक तेजस्वी ओळ असं वाटत होतं काय निर्माण केले. प्रत्यक्षात, मी फरक blurrier आहे की. उदाहरणार्थ, प्रत्येकजण धूम्रपान आम्ही लोक धूम्रपान करण्यास सक्ती करते की एक यादृच्छिकीकृत नियंत्रित प्रयोग केले नाही तरी कर्करोग होतो की स्वीकारतो. नॉन-प्रायोगिक डेटा कार्यकारण भाव अंदाज बनवण्यासाठी उत्कृष्ट पुस्तक लांबी उपचार पहा Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , आणि Dunning (2012) .

अध्याय 1 आणि 2 Freedman, Pisani, and Purves (2007) स्पष्ट परिचय प्रयोग, नियंत्रित प्रयोग फरक मध्ये देतात, आणि नियंत्रित प्रयोग यादृच्छिकीकृत.

Manzi (2012) यादृच्छिकीकृत नियंत्रित प्रयोग तात्विक आणि सांख्यिकी underpinnings मध्ये एक सुंदर आणि वाचनीय परिचय उपलब्ध आहे. तसेच व्यवसाय प्रयोग शक्ती मनोरंजक रिअल-वर्ल्ड उदाहरण उपलब्ध आहे.

• प्रयोग काय आहे? (विभाग 4.2,)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) प्रायोगिक रचना आणि विश्लेषण सांख्यिकीय पैलू चांगले गाड्या उपलब्ध आहेत. अर्थशास्त्र शिवाय, अनेक विविध क्षेत्रात प्रयोग वापर उत्कृष्ट उपचार आहेत (Bardsley et al. 2009) , समाजशास्त्र (Willer and Walker 2007; Jackson and Cox 2013) , मानसशास्त्र (Aronson et al. 1989) , राज्यशास्त्र (Morton and Williams 2010) , आणि सामाजिक धोरण (Glennerster and Takavarasha 2013) .

सहभागी भरती (उदा, नमूना) महत्त्व प्रायोगिक संशोधन अंतर्गत-कौतुक अनेकदा आहे. मात्र, उपचार परिणाम लोकसंख्या जिनसीपणाचा अभाव असेल, तर नमूना गंभीर आहे. Longford (1999) तो आकस्मिकपणे नमूना एक लोकसंख्या सर्वेक्षण म्हणून प्रयोग विचार संशोधक यांच्यासाठी वकिलांची स्पष्टपणे बिंदू करते.

• प्रयोग दोन अंगे: लॅब मैदानावरील आणि analog-डिजिटल (विभाग 4.3)

मी लॅब आणि शेतात प्रयोग दरम्यान सादर दोन भागांत विभाजन थोडा सोपी आहे. खरं तर, इतर संशोधक क्षेत्रात प्रयोग विविध फॉर्म वेगळे विशिष्ट विषयावर मध्ये अधिक विस्तृत typologies प्रस्तावित आहेत (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . सर्वेक्षण प्रयोग आणि सामाजिक प्रयोग सर्वेक्षण प्रयोग आहेत विद्यमान सर्वेक्षण इन्फ्रास्ट्रक्चर वापरून प्रयोग पर्यायी आवृत्ती प्रतिसाद तुलना शिवाय, सामाजिक शास्त्रज्ञ द्वारे सादर प्रयोगशाळेमध्ये आणि फील्ड दोन भागांत विभाजन लोकांना व्यवस्थितपणे बसत नाहीत असे दोन इतर प्रकार आहेत. समान प्रश्न (काही सर्वेक्षण प्रयोग Chapter 3 सादर केले आहेत); सर्वेक्षण प्रयोग अधिक पाहू Mutz (2011) . सामाजिक प्रयोग जेथे उपचार काही सामाजिक धोरण फक्त एक सरकारने अंमलबजावणी जाऊ शकते आहे प्रयोग आहेत. सामाजिक प्रयोग लक्षपूर्वक मूल्यमापन कार्यक्रमास संबंधित आहेत. धोरण प्रयोग अधिक माहितीसाठी, पहा Orr (1998) , Glennerster and Takavarasha (2013) , आणि Heckman and Smith (1995) .

अर्ज अनेक गोषवारा मध्ये लॅब आणि शेतात प्रयोग तुलना (Falk and Heckman 2009; Cialdini 2009) आणि राज्यशास्त्र विशिष्ट प्रयोग परिणाम दृष्टीने (Coppock and Green 2015) , अर्थशास्त्र (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) आणि मानसशास्त्र (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) लॅब आणि शेतात प्रयोग परिणाम तुलना एक छान संशोधन रचना देते.

ते मला माहीत आहे, ते लक्षपूर्वक कधी कधी मागणी प्रभाव म्हटले जाते साजरा होत आहेत आणि ते मानसशास्त्र अभ्यास केला गेला आहे कारण त्यांची वागणूक बदलत सहभागी बद्दल चिंता (Orne 1962) आणि अर्थशास्त्र (Zizzo 2009) . मुख्यतः लॅब प्रयोग संबद्ध असला तरी, या समान समस्या तसेच शेतात प्रयोग समस्या होऊ शकते. खरं तर, मागणी प्रभाव देखिल कधी कधी हॉतओर्न प्रभाव क्षेत्रात प्रयोग पासून ी की एक शब्द, पाश्चात्य इलेक्ट्रिक कंपनीच्या हॉतओर्न बांधकाम येथे 1924 मध्ये सुरुवात केली की विशेषतः प्रसिद्ध प्रदीपन प्रयोग म्हटले जाते, (Adair 1984; Levitt and List 2011) . दोन्ही मागणी प्रभाव आणि काटेरी झुडूप याला पांढरी प्रभाव लक्षपूर्वक प्रतिक्रियात्मक मापन Chapter 2 चर्चा कल्पना संबंधित (देखील पाहू Webb et al. (1966) ).

शेतात प्रयोग इतिहास अर्थशास्त्र वर्णन केले आहे (Levitt and List 2009) , राज्यशास्त्र (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , मानसशास्त्र (Shadish 2002) , व सार्वजनिक धोरण (Shadish and Cook 2009) . शेतात प्रयोग लवकर प्रमुख झाले जेथे सामाजिक विज्ञान एक क्षेत्र आंतरराष्ट्रीय विकास आहे. अर्थशास्त्र आत काम एक सकारात्मक पुनरावलोकन पहा Banerjee and Duflo (2009) , आणि एक गंभीर मूल्यांकन पाहू Deaton (2010) . राज्यशास्त्र मध्ये हे काम आढावा पहा Humphreys and Weinstein (2009) . शेवटी, शेतात प्रयोग सहभागी नैतिक आव्हाने राज्यशास्त्र मध्ये उत्खनन केले गेले आहे (Humphreys 2015; Desposato 2016b) आणि विकास अर्थशास्त्र (Baele 2013) .

धडा, मी पूर्व-उपचार माहिती अंदाज उपचार प्रभाव सुस्पष्टता सुधारण्यासाठी वापरली जाऊ शकते, अशी सूचना, पण हा दृष्टिकोन बद्दल काही वाद आहे: Freedman (2008) , Lin (2013) , आणि Berk et al. (2013) ; पाहू Bloniarz et al. (2016) अधिक माहितीसाठी.

• सोपे प्रयोग पलीकडे हलवून (विभाग 4.4)

आणि यंत्रणा वैधता उपचार प्रभाव धक्का बसला असून रहिवासातील, मी तीन भर संकल्पना करणे निवडले आहे. ही संकल्पना विविध क्षेत्रात विविध नावे आहेत. उदाहरणार्थ, मानसशास्त्रज्ञ मध्यस्थाची आणि नियंत्रक लक्ष केंद्रित करून साधी प्रयोग हलण्यास कल (Baron and Kenny 1986) . मध्यस्थाची कल्पना मी यंत्रणा म्हणतो यांनी मिळविले आहे, आणि नियंत्रक कल्पना मी बाह्य वैधता (eg, विविध घटनांमध्ये चालवल्याप्रमाणे प्रयोग परिणाम विविध असेल) आणि उपचार प्रभाव धक्का बसला असून रहिवासातील (म्हणतो करून मिळविले आहे उदा, इतरांपेक्षा काही लोक) मोठ्या प्रभाव आहे.

प्रयोग Schultz et al. (2007) कसे सामाजिक सिद्धांत प्रभावी हस्तक्षेप डिझाइन करण्यासाठी वापरले जाऊ शकते दाखवते. प्रभावी हस्तक्षेप रचना सिद्धांत भूमिका बद्दल अधिक सामान्य वाद, पहा Walton (2014) .

• वैधता (विभाग 4.4.1)

अंतर्गत आणि बाह्य वैधता संकल्पना प्रथम सुरू करण्यात आली Campbell (1957) . पहा Shadish, Cook, and Campbell (2001) अधिक तपशीलवार इतिहास आणि संख्याशास्त्रीय निष्कर्ष वैधता अंतर्गत वैधता एक काळजीपूर्वक चैतन्य, कारण वैधता आणि बाह्य वैधता बांधकाम.

प्रयोग संख्याशास्त्रीय निष्कर्ष वैधता संबंधित विषयांवर विहंगावलोकन साठी पहा Gerber and Green (2012) (एक विज्ञान सामाजिक दृष्टीकोन) आणि Imbens and Rubin (2015) (एक संख्याशास्त्रीय दृष्टिकोनाचा). ऑनलाइन क्षेत्रात प्रयोग विशेषत: निर्माण संख्याशास्त्रीय निष्कर्ष वैधता काही मुद्दे अशा अवलंबून डेटा आत्मविश्वास कालांतराने तयार करण्यासाठी कम्प्युटेशनलि सक्षम पद्धती म्हणून मुद्दे समावेश (Bakshy and Eckles 2013) .

अंतर्गत वैधता जटिल क्षेत्रात प्रयोग सुनिश्चित करण्यासाठी कठीण होऊ शकते. उदाहरणार्थ, पाहा, Gerber and Green (2000) , Imai (2005) , आणि Gerber and Green (2005) मतदान एक जटिल क्षेत्रात प्रयोग अंमलबजावणी बद्दल वाद आहे. Kohavi et al. (2012) आणि Kohavi et al. (2013) ऑनलाइन क्षेत्रात प्रयोग मध्यांतर वैधता आव्हाने मध्ये एक परिचय प्रदान.

अंतर्गत वैधता एक काळजीचा विषय यादृच्छिक समस्या आहे. संभाव्य यादृच्छिक समस्या शोधण्यात एक मार्ग दृश्य प्रवृत्तींचे उपचार आणि नियंत्रण गट तुलना आहे. तुलनेत या प्रकारची एक शिल्लक चेक म्हणतात. पहा Hansen and Bowers (2008) धनादेश समतोल आणि पाहा एक संख्याशास्त्रीय दृष्टिकोन Mutz and Pemantle (2015) शिल्लक धनादेश बद्दल चिंता आहे. उदाहरणार्थ, एक शिल्लक वापरून तपासा Allcott (2011) काही पुरावा यादृच्छिक OPower प्रयोग काही तिन्ही प्रयोग योग्यरितीने अंमलबजावणी नाही होते की तेथे आहे असे आढळले (तक्ता 2 पाहू; साइट 2, 6, 8). इतर पध्दती, पहा Imbens and Rubin (2015) , धडा 21.

अंतर्गत वैधता संबंधित इतर मोठी चिंता आहेत: 1) पालन न, उपचार गट प्रत्येक प्रत्यक्षात उपचार प्राप्त जेथे बाजूंनी, 2) दोन उपचार गट सगळ्यांनाच उपचार आणि काही प्राप्त जेथे पालन न, बाजूंनी कंट्रोल ग्रूप लोकांना उपचार लोक कंट्रोल स्थितीत लोकांना उपचार स्थितीत प्रभाव टाकत असतात जेथे उपचार, 3) झीज, परिणाम काही सहभागी मोजली नाहीत, जेथे, आणि 4) हस्तक्षेप स्विकारा. पहा Gerber and Green (2012) अध्याय 5, 6, 7, आणि या समस्या प्रत्येक अधिक 8.

बांधकाम वैधता अधिक माहितीसाठी, पहा Westen and Rosenthal (2003) , आणि मोठे डेटा स्रोत बांधकाम वैधता अधिक साठी Lazer (2015) आणि Chapter 2 या पुस्तकाच्या.

बाह्य वैधता एक पैलू एक हस्तक्षेप चाचणी केली आहे जेथे सेटिंग आहे. Allcott (2015) साइट निवड बायस काळजीपूर्वक सैद्धांतिक आणि प्रायोगिक उपचार उपलब्ध आहे. या समस्येचे देखील चर्चा करण्यात आली आहे Deaton (2010) . अनेक साइट्स असेच जात व्यतिरिक्त, हस्तक्षेप मुख्यपृष्ठ ऊर्जा अहवाल देखील स्वतंत्रपणे अनेक संशोधन करणारे गट अभ्यास केला गेला आहे (उदा, Ayres, Raseman, and Shih (2013) ).

• उपचार प्रभाव धक्का बसला असून रहिवासातील (विभाग 4.4.2)

शेतात प्रयोग उपचार प्रभाव धक्का बसला असून रहिवासातील एक उत्कृष्ट विहंगावलोकन, धडा 12 पाहू Gerber and Green (2012) . वैद्यकीय चाचण्या उपचार प्रभाव धक्का बसला असून रहिवासातील करण्यासाठी परिचय, पहा Kent and Hayward (2007) , Longford (1999) , आणि Kravitz, Duan, and Braslow (2004) . उपचार प्रभाव धक्का बसला असून रहिवासातील साधारणपणे पूर्व उपचार वैशिष्ट्ये आधारित फरक लक्ष केंद्रित करा. आपण पोस्ट-उपचार परिणाम आधारित धक्का बसला असून रहिवासातील स्वारस्य असल्यास, नंतर अधिक जटिल approachs अशा मुख्य साहित्य बियाणे म्हणून आवश्यक आहेत (Frangakis and Rubin 2002) ; पहा Page et al. (2015) पुनरावलोकनासाठी.

अनेक संशोधक रेषीय अपगमनातून वापरून उपचार प्रभाव धक्का बसला असून रहिवासातील अंदाज, पण नवीन पद्धती उदाहरणार्थ, मशीन लर्निंग अवलंबून Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , आणि Athey and Imbens (2016a) .

कारण एकाधिक तुलना समस्या आणि ". मासेमारी" अनेक तुलना बद्दल पत्ता चिंता मदत करू शकता संख्याशास्त्रीय पध्दती विविध आहेत प्रभाव धक्का बसला असून रहिवासातील निष्कर्ष काही शंकांना आहे (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "फिशिंग" बद्दल चिंता एक पद्धत पूर्व-नोंदणी, मानसशास्त्र वाढत्या सामान्य होत आहे आहे (Nosek and Lakens 2014) , राज्यशास्त्र (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) आणि अर्थशास्त्र (Olken 2015) .

अभ्यास Costa and Kahn (2013) केवळ प्रयोग घरांमध्ये अर्धा लोकसंख्याशास्त्रीय माहिती दुवा साधला जाऊ करण्यासाठी सक्षम होते. या विश्लेषण तपशील आणि शक्य समस्या मध्ये स्वारस्य वाचक मूळ कागद पहा.

• यंत्रणेचे (कलम 4.4.3)

यंत्रणा आश्चर्यकारकपणे महत्वाचे आहेत, पण ते अभ्यास करण्यासाठी अतिशय कठीण असल्याचे बाहेर चालू. यंत्रणा बद्दल संशोधन लक्षपूर्वक मानसशास्त्र मध्यस्थाची अभ्यास संबंधित (पण पाहू VanderWeele (2009) दोन कल्पना दरम्यान एक तंतोतंत तुलना). अशा विकसित दृष्टिकोन म्हणून शोधत यंत्रणा सांख्यिकीय पध्दती, Baron and Kenny (1986) सामान्य आहेत. दुर्दैवाने, तो त्या प्रक्रियेचा काही मजबूत एक पायरी वर अवलंबून की बाहेर करते (Bullock, Green, and Ha 2010) आणि एक अनेक घटनांमध्ये अपेक्षा कदाचित म्हणून अनेक यंत्रणा आहेत, तेव्हा दु: ख, (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) आणि Imai and Yamamoto (2013) काही सुधारित सांख्यिकीय पद्धती देतात. शिवाय, VanderWeele (2015) संवेदनशीलता विश्लेषण व्यापक दृष्टिकोन समावेश महत्वाचे परिणाम, संख्या एक पुस्तक-लांबी उपचार देतो.

एक वेगळे दृष्टिकोन थेट यंत्रणा (उदा देत खलाशी व्हिटॅमिन सी) हाताळू प्रयत्न प्रयोग लक्ष केंद्रीत करतो. दुर्दैवाने, अनेक सामाजिक विज्ञान सेटिंग्ज मध्ये अनेकदा अनेक यंत्रणा आहेत आणि इतर बदलून न एक बदलू उपचार डिझाइन करणे कठीण आहे. काही पध्दती प्रायोगिक बदलविणारे यंत्रणा वर्णन आहेत Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , आणि Pirlott and MacKinnon (2016) .

शेवटी, यंत्रणा देखील एक दीर्घ इतिहास विज्ञान तत्त्वज्ञान वर्णन म्हणून Hedström and Ylikoski (2010) .

• विद्यमान वातावरणात वापरून (कलम 4.5.1.1)

भेदभाव मोजण्यासाठी पत्रव्यवहार अभ्यास आणि ऑडिट अभ्यास वापर अधिक पहा Pager (2007) .

• आपल्या स्वत: च्या प्रयोग तयार (विभाग 4.5.1.2)

आपण तयार करणारे प्रयोग सहभागी भरती सर्वात सामान्य मार्ग ऍमेझॉन यांत्रिकी तुर्क (Mturk) आहे. पारंपरिक लॅब प्रयोग-देवून लोक Mturk नक्कल पैलू कामे की, त्यांनी मुक्त अनेक संशोधक करु नका असे पूर्ण करण्यासाठी कारण आधीच Turkers (Mturk कामगार) चा वापर करून पारंपारिक पेक्षा जलद आणि स्वस्त डेटा संकलन परिणामी मानवी विषय प्रयोग सहभागी म्हणून सुरु केले आहे ऑन कॅम्पस प्रयोगशाळा प्रयोग (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Mturk नियुक्त करण्यात सहभागी प्रयोग मोठी शक्ती, logistical आहेत, ते संशोधक सहभागी लवकर आणि गरज म्हणून भरती करण्यास परवानगी देते. लॅब प्रयोग चालविण्यासाठी आठवडे लागू आणि शेतात प्रयोग सेट-अप करण्यासाठी महिने लागू करू शकता तर, Mturk नियुक्त करण्यात सहभागी प्रयोग दिवसांत करू शकता. उदाहरणार्थ, Berinsky, Huber, and Lenz (2012) 8 मिनिट प्रयोग एक दिवस 400 विषय भरती करणे शक्य झाले. पुढे, हे सहभागी अक्षरशः कोणत्याही हेतूसाठी (सर्वेक्षण आणि वस्तुमान सहकार्याने समावेश अध्याय चर्चा आपण 3 आणि 5) भरती केले जाऊ शकते. भरती या सहजपणे संशोधक जलद परंपरा संबंधित प्रयोग क्रम चालवू शकता अर्थ असा की.

आपल्या स्वत: च्या प्रयोग साठी Mturk सहभागी भरती करण्यापूर्वी, जाणून चार महत्त्वाच्या गोष्टी आहेत. प्रथम, अनेक संशोधक Turkers समावेश प्रयोग विना-विशिष्ट आणि शंकांना आहे. या संशयखोर वृत्ती विशिष्ट नाही, कारण तो पुरावा विरूद्ध कठीण आहे. तथापि, Turkers वापरून अभ्यास अनेक वर्षांनी, आम्ही आता या संशयखोर वृत्ती विशेषतः आवश्यक नाही असे मानू शकतो. Turkers लोकसंख्येबद्दल इतर लोकसंख्या आणि प्रयोगांचे निकाल इतर लोकसंख्या पासून निकाल Turkers तुलना अनेक अभ्यास तुलना अनेक अभ्यास आहेत. हे सर्व काम दिले, मी तुम्हाला तो विचार सर्वोत्तम मार्ग Turkers, वाजवी सोयीसाठी नमुना आहेत की जास्त विद्यार्थी पण किंचित अधिक वैविध्यपूर्ण आहे असे वाटते की, (Berinsky, Huber, and Lenz 2012) . त्यामुळे विद्यार्थ्यांना काही वाजवी लोकसंख्या पण सर्व प्रायोगिक संशोधन आहेत फक्त म्हणून, Turkers काही वाजवी लोकसंख्या पण सर्व संशोधन आहेत. आपण Turkers काम करणार असाल तर, मग हे तुलनात्मक अभ्यास अनेक वाचा आणि त्यांच्या बारकावे समजून घेणे अर्थ प्राप्त होतो.

दुसरी गोष्ट म्हणजे, संशोधक तुर्क प्रयोग अंतर्गत वैधता वाढत उत्कृष्ट-पद्धती विकसित केली आहे, आणि आपण जाणून घेण्यासाठी आणि या सर्वोत्तम पद्धती अनुसरणे आवश्यक आहे (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . उदाहरणार्थ, Turkers वापरून संशोधक गाफील सहभागी काढण्यासाठी screeners वापरण्यासाठी प्रोत्साहन देण्यात येत आहे (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (पण पाहू DJ Hauser and Schwarz (2015b) आणि DJ Hauser and Schwarz (2015a) ). आपण गाफील सहभागी काढून टाकू नका तर, नंतर उपचार कोणताही परिणाम गाफील सहभागी ओळख आवाज बाहेर धुऊन जाऊ शकते, आणि सराव मध्ये गाफील सहभागींची संख्या खारा असू शकते. ह्युबर आणि सहकारी प्रयोग मध्ये (2012) 30% सहभागी अयशस्वी मूलभूत लक्ष screeners. Turkers सामान्य दुसरी समस्या नॉन-साधा सहभागी आहे (Chandler et al. 2015) .

तिसऱ्या, डिजिटल प्रयोग काही इतर फॉर्म संबंधीत Mturk प्रयोग मोजमाप शकत नाही; Stewart et al. (2015) अंदाज कोणत्याही वेळी फक्त 7000 Mturk लोक आहेत.

शेवटी, आपण Mturk त्याच्या स्वत: च्या नियम आणि नियम समुदायामध्ये आहे माहित पाहिजे (Mason and Suri 2012) . आपण एक देश जेथे आपण आपल्या प्रयोग चालवण्यासाठी जात होते, संस्कृती बद्दल शोधण्यासाठी प्रयत्न होईल, त्याचप्रमाणे, आपण संस्कृती आणि Turkers रुढी अधिक जाणून घेण्याचा प्रयत्न करू नये (Salehi et al. 2015) . आणि, आपण Turkers आपण काहीतरी अयोग्य किंवा अनैतिक, तर आपला प्रयोग बोलत जाणार असेल की माहिती पाहिजे (Gray et al. 2016) .

Mturk आपल्या प्रयोगात सहभागी भरती एक आश्चर्यजनक सोयीस्कर मार्ग आहे, ते जसे, लॅब सारखी आहेत की नाही हे Huber, Hill, and Lenz (2012) , किंवा अधिक क्षेत्रात सारखी, जसे Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , आणि Mao et al. (2016) .

• आपल्या स्वत: च्या उत्पादन तयार (विभाग 4.5.1.3)

आपण आपल्या स्वत: उत्पादन तयार करण्यासाठी प्रयत्न विचार करत असाल, तर मी तुम्हाला MovieLens गट देऊ सल्ला वाचा शिफारस करतो की, Harper and Konstan (2015) . त्यांच्या अनुभव कळ अंतर्ज्ञान प्रत्येक यशस्वी प्रकल्प अनेक, अनेक अयशस्वी आहे. उदाहरणार्थ, MovieLens गट अशा पूर्ण अपयश होते GopherAnswers इतर उत्पादने सुरू (Harper and Konstan 2015) . उत्पादन तयार करण्यासाठी प्रयत्न करताना अपयश संशोधक आणखी एक उदाहरण Arden नावाचे एक ऑनलाइन गेम तयार करण्यासाठी एडवर्ड Castronova च्या प्रयत्न आहे. असूनही $ 250.000 निधी, प्रकल्प अपयशी होते (Baker 2008) . GopherAnswers आणि Arden सारख्या प्रकल्प दुर्दैवाने MovieLens सारख्या प्रकल्प पेक्षा जास्त सामान्य आहेत. शेवटी, मी यशस्वीरित्या पुनरावृत्ती प्रयोग उत्पादने बांधली होती की इतर कोणत्याही संशोधक माहित नाही म्हणाला, येथे माझ्या निकष आहेत: 1) सहभागी कारण तो त्यांना उपलब्ध काय (उदा, ते दिले नाहीत उत्पादन वापर आणि ते नाहीत स्वयंसेवक विज्ञान मदत) आणि 2) उत्पादन एकापेक्षा अधिक सुस्पष्ट प्रयोग (म्हणजेच, असेच प्रयोग अनेक विविध सहभागी संचाची वेळा) वापरली गेली आहे. आपण इतर उदाहरणे माहित असेल तर कृपया मला कळवा.

• शक्तिशाली भागीदार (विभाग 4.5.2)

मी टेक कंपन्या वारंवार चर्चा पाश्चर च्या कोनमापक कल्पना ऐकले आहे, आणि तो Google वर संशोधन प्रयत्न आयोजित करण्यास मदत करते (Spector, Norvig, and Petrov 2012) .

बाँड आणि सहकारी 'अभ्यास (2012) त्यांना प्राप्त ज्यांनी मित्र या उपचारांचा परिणाम शोधण्यात प्रयत्न करतो. कारण प्रयोग रचना, या spillovers स्वच्छतेने सापडणे कठीण असते; स्वारस्य वाचक पाहू नये Bond et al. (2012) अधिक कसून चर्चा. हा प्रयोग मतदान प्रोत्साहित करण्यासाठी प्रयत्न राज्यशास्त्र प्रयोग दीर्घ परंपरा भाग आहे (Green and Gerber 2015) . ते पाश्चर च्या क्वाड्रंट मध्ये आहेत कारण या बाह्यांग बाहेर-मत प्रयोग भाग सामान्य आहेत. आहे, मतदान व मतदान वाढवण्यासाठी वर्तन बदल आणि सामाजिक प्रभाव अधिक सामान्य सिद्धांत चाचणी करण्यासाठी एक मनोरंजक वर्तन असू शकते प्रेरित अनेक लोक आहेत.

इतर संशोधक अशा राजकीय पक्ष, स्वयंसेवी संस्था, आणि व्यवसाय भागीदार संस्था क्षेत्र प्रयोग चालू बद्दल सल्ला प्रदान केले (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . इतर संस्था भागीदारी संशोधन डिझाईन्स प्रभावित करू शकता याबद्दल सल्ला दिला आहे (Green, Calfano, and Aronow 2014; King et al. 2007) . भागीदारी देखील नैतिक प्रश्न होऊ शकते (Humphreys 2015; Nickerson and Hyde 2016) .

• डिझाईन सल्ला (विभाग 4.6)

आपण आपल्या प्रयोग चालू करण्यापूर्वी एक विश्लेषण योजना तयार जात आहेत तर, मी तुम्हाला अहवाल मार्गदर्शक तत्त्वे वाचून ते प्रारंभ सुचवा. नवरा किंवा बायको मार्गदर्शक तत्त्वे (च्या चाचण्या संकलित मानक अहवाल) औषध विकसित होते (Schulz et al. 2010) आणि सामाजिक संशोधन सुधारणा (Mayo-Wilson et al. 2013) . मार्गदर्शक तत्त्वे संबंधित संच प्रायोगिक राज्यशास्त्र जर्नल ऑफ संपादक विकसित केले गेले आहे (Gerber et al. 2014) (देखील पाहू Mutz and Pemantle (2015) आणि Gerber et al. (2015) ). शेवटी, अहवाल मार्गदर्शक तत्त्वे मानसशास्त्र विकसित केले आहेत (Group 2008) , आणि पाहू Simmons, Nelson, and Simonsohn (2011) .

आपण विश्लेषण योजना तयार असेल तर, तुम्हाला कारण पूर्व-नोंदणी इतर आपल्या परिणामांमध्ये आत्मविश्वास वाढेल-पूर्व नोंदणी विचार करावा. पुढे, आपण भागीदार काम करत आहेत तर, तो परिणाम पाहून विश्लेषण बदलण्यासाठी आपल्या जोडीदाराच्या क्षमता मर्यादित करेल. पूर्व-नोंदणी मानसशास्त्र वाढत्या सामान्य होत आहे (Nosek and Lakens 2014) , राज्यशास्त्र (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , आणि अर्थशास्त्र (Olken 2015) .

आपल्या पूर्व-विश्लेषण योजना तयार करताना आपण काही संशोधक देखील अंदाज उपचार प्रभाव सुस्पष्टता सुधारण्यासाठी पुन्ह आणि संबंधित पध्दती वापर याची जाणीव असावी, आणि हा दृष्टिकोन बद्दल काही वाद आहे: Freedman (2008) , Lin (2013) , आणि Berk et al. (2013) ; पाहू Bloniarz et al. (2016) अधिक माहितीसाठी.

ऑनलाइन क्षेत्रात प्रयोग विशेषत डिझाईन सल्ला मध्ये प्रस्तुत केले जाते Konstan and Chen (2007) आणि Chen and Konstan (2015) .

• शून्य बदलणारा खर्च डेटा तयार करा (विभाग 4.6.1)

MusicLab प्रयोग अधिक माहितीसाठी, पहा Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , आणि Salganik (2007) . विजेता-घेणे-सर्व बाजारपेठांमध्ये अधिक माहितीसाठी, पहा Frank and Cook (1996) . Untangling नशीब आणि कौशल्य अधिक अधिक सामान्यतः, पहा Mauboussin (2012) , Watts (2012) , आणि Frank (2016) .

सक्तीची लष्कर सेवा: संशोधक सावधगिरीने घ्यावी सहभागी देयके दूर करण्यासाठी आणखी एक दृष्टिकोन आहे. अनेक ऑनलाइन क्षेत्रात प्रयोग सहभागी मुळात प्रयोग मध्ये तयार केला आणि कधीही मोबदला दिला जातो. हा दृष्टिकोन उदाहरणे Restivo आणि डी Rijt च्या समाविष्ट (2012) , विकिपीडिया आणि बाँड आणि सहकारी च्या बक्षिसे प्रयोगात (2012) मतदान लोकांना प्रोत्साहन देत वर प्रयोग होता. या प्रयोगांमुळे खरोखर शून्य बदलणारा खर्च नाही, ते संशोधक शून्य बदलणारा खर्च आहे. या प्रयोगांमुळे अनेक खर्च प्रत्येक सहभागी अत्यंत लहान आहे, तरी, लहान खर्च सहभागी प्रचंड लवकर जोडू शकता ठोठावण्यात आला आहे. मोठ्या प्रमाणावरील ऑनलाइन प्रयोग चालू संशोधक अनेकदा अनेक लोक लागू करताना या लहान प्रभाव महत्वाचे होऊ शकतात असे लहान अंदाज उपचार प्रभाव महत्त्व समायोजित. तंतोतंत समान विचार संशोधक सहभागी लादणे की खर्च लागू होते. आपल्या प्रयोग एक मिनिट वाया घालवू एक दशलक्ष लोक प्रवृत्त करतो, तर प्रयोग कोणत्याही विशिष्ट व्यक्ती अतिशय घातक नाही, पण एकत्रित ती वेळ जवळजवळ दोन वर्षे वाया आहे.

सहभागी शून्य बदलणारा खर्च पैसे तयार दुसरा दृष्टिकोन लॉटरी, तसेच सर्वेक्षण संशोधन वापरले गेले आहे की एक दृष्टिकोन वापर आहे (Halpern et al. 2011) . शेवटी, रचना बद्दल अधिक आनंददायक वापरकर्ता-अनुभव पाहू Toomim et al. (2011) .

• पुनर्स्थित अचूक आणि कमी करा (कलम 4.6.2)

येथे तीन आर मूळ व्याख्या, आहेत Russell and Burch (1959) :

"बदलण्याचे जड साहित्य लाजाळू उच्च प्राणी देश पर्याय याचा अर्थ. कपात दिलेल्या रक्कम आणि सुस्पष्टता माहिती प्राप्त करण्यासाठी वापरली प्राणी संख्या कमी अर्थ. शुद्धता प्रादुर्भाव किंवा अजूनही वापरले करणे आवश्यक आहे जे प्राणी लागू अमानुष प्रक्रियेची तीव्रता कोणत्याही कमी म्हणजे. "

तीन आर च्या मी मांडणे की धडा 6. वर्णन नैतिक तत्त्वे पासून खोढून पुन्हा लिहीले नाही उलट, ते मानवी प्रयोग सेटिंग त्या तत्त्वे-परोपकार-विशेषतः अधिक दाखविले आवृत्ती एक आहेत.

भावनिक संसर्ग विचार करताना, हा प्रयोग निष्कर्षांचा अर्थ लावणे तेव्हा लक्षात ठेवणे तीन नॉन-नैतिक मुद्दे आहेत. प्रथम, तो प्रयोग प्रत्यक्ष तपशील सैद्धांतिक दावे कनेक्ट कसे स्पष्ट नाही; दुसऱ्या शब्दांत, बांधकाम वैधता प्रश्न आहेत. कारण 1) स्पष्ट नाही आहे, सकारात्मक आणि नकारात्मक शब्द संख्या प्रत्यक्षात सहभागी भावनिक राज्य एक चांगला सूचक असतात लोक काय पोस्ट की शब्द त्यांच्या भावना एक चांगला निर्देशक आहेत असे स्पष्ट नाही आहे, आणि 2) हे स्पष्ट नाही आहे संशोधक वापरले त्या विशिष्ट भावना विश्लेषण तंत्र विश्वसनीयरित्या भावना अनुमान करण्यास सक्षम आहे (Beasley and Mason 2015; Panger 2016) . दुसऱ्या शब्दांत, एक वाईट पक्षपाती सिग्नल उपाय असू शकते. दुसरी गोष्ट म्हणजे, प्रयोग रचना आणि विश्लेषण आम्हाला सर्वात कोण परिणाम होता (म्हणजे, उपचार प्रभाव धक्का बसला असून रहिवासातील नाही विश्लेषण आहे) आणि प्रणाली काय असू शकते काहीच सांगते. या प्रकरणात, संशोधक सहभागी माहिती बरेच होते, पण ते मूलत: विश्लेषण विजेट म्हणून उपचार करण्यात आले. तिसरा, या प्रयोगात परिणाम आकार खूप लहान होते; उपचार आणि नियंत्रण अटी फरक 1 1000 शब्द आहे. त्यांच्या लेखात, Kramer आणि सहकारी लाखो लोकांना शेकडो प्रवेश कारण त्यांच्या बातम्या प्रत्येक दिवस फीड या आकाराचे एक परिणाम महत्वाचे आहे त्या बाबतीत करा. दुसऱ्या शब्दांत, ते प्रत्येक व्यक्ती ते एकंदर मोठ्या आहेत लहान आहेत, की प्रभाव की भांडणे. आपण या युक्तिवाद मान्य तरी, हे अद्याप स्पष्ट आकार एक प्रभाव भावनिक संसर्ग अधिक सामान्य वैज्ञानिक प्रश्न महत्वाचे आहे, तर आहे. लहान प्रभाव महत्वाचे आहेत जेथे घटनांमध्ये अधिक पहा Prentice and Miller (1992) .

पहिल्या आर (बदलण्याचे) दृष्टीने, भावनिक संसर्ग प्रयोग तुलना (Kramer, Guillory, and Hancock 2014) आणि भावनिक संसर्ग नैसर्गिक प्रयोग (Coviello et al. 2014) पासून हलवून सहभागी ट्रेड-ऑफ काही सामान्य धडे देते नैसर्गिक प्रयोग प्रयोग (आणि गैर-प्रायोगिक माहिती प्रयोग अंदाज करण्यासाठी हा प्रयत्न जुळणारे सारख्या इतर पध्दती, Chapter 2 पहा). नैतिक फायदे व्यतिरिक्त, प्रायोगिक न प्रायोगिक अभ्यास स्विच ते logistically उपयोजित अक्षम आहोत की उपचार अभ्यास संशोधक सक्षम करते. या नैतिक आणि logistical फायदे खर्च आला, मात्र. नैसर्गिक प्रयोग संशोधक सहभागी यादृच्छिक भरती यासारख्या गोष्टी प्रती कमी नियंत्रण, आणि उपचार निसर्ग आहे. उदाहरणार्थ, एक उपचार म्हणून पाऊस एक मर्यादा असते आणि ते दोन्ही सकारात्मकता वाढते आणि नकारात्मकता कमी आहे. प्रायोगिक अभ्यास, तथापि, Kramer आणि सहकारी स्वतंत्रपणे सकारात्मकता आणि नकारात्मक समायोजित करण्यासाठी सक्षम होते.

विशिष्ट दृष्टिकोन द्वारे वापरले Coviello et al. (2014) अधिक मध्ये स्पष्ट होते Coviello, Fowler, and Franceschetti (2014) . कारणीभूत चल ओळख करून पहा Angrist and Pischke (2009) (औपचारिक) किंवा Angrist, Imbens, and Rubin (1996) (अधिक औपचारिक). कारणीभूत चलने एक संशयवादी मूल्यमापन पहा Deaton (2010) , आणि कमकुवत साधने (पाऊस एक कमकुवत साधन आहे) सह कारणीभूत चल एक परिचय साठी, पहा Murray (2006) .

अधिक सामान्यतः, नैसर्गिक प्रयोग एक चांगला परिचय आहे Dunning (2012) , आणि Rosenbaum (2002) , Rosenbaum (2009) , आणि Shadish, Cook, and Campbell (2001) प्रयोग न कार्यकारण भाव प्रभाव अंदाज याबद्दल चांगल्या कल्पना देतात.

दुसरा आर (शुद्धता) दृष्टीने, वैज्ञानिक व logistical ट्रेड-ऑफ पोस्ट वाढविणे पोस्ट अवरोधित पासून भावनिक संसर्ग रचना बदलत विचार तेव्हा आहेत. उदाहरणार्थ, की बातम्या फीड तांत्रिक अंमलबजावणी तो पोस्ट वाढविणे एक प्रयोग ऐवजी पोस्ट अवरोधित सह एक प्रयोग करू सेवनाने सोपे आहे करते केस असू शकते (लक्षात घ्या पोस्ट अवरोधित सह एक प्रयोग वर स्तर म्हणून लागू केले जाऊ शकते की अंतर्भुत प्रणालीची बदल) साठी कोणत्याही न करता बातम्या फीड प्रणाली सुरवातीला. शास्त्रोक्त पद्धतीने, तथापि, प्रयोग लक्ष सिद्धांत स्पष्टपणे इतर एक डिझाइन सूचित नाही.

दुर्दैवाने, मी अवरोधित करणे आणि बातम्या फीड सामग्री वाढविणे सापेक्ष गुणवत्तेशी बरीच अगोदर संशोधन जाणीव नाही. तसेच, मी त्यांना कमी हानीकारक करण्यासाठी उपचार परिष्कृत बद्दल जास्त संशोधन पाहिले नाही एक अपवाद आहे Jones and Feamster (2015) (मी पुन्हा एकदा अभ्यास संबंध Chapter 6 चर्चा विषय इंटरनेट सेन्सॉरशिप मोजमाप बाबतीत असणारी जे (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

तिसऱ्या आर (रिडक्शन) दृष्टीने, पारंपारिक शक्ती विश्लेषण करण्यासाठी एक चांगली परिचय आहे Cohen (1988) . पूर्व-उपचार covariates डिझाइन टप्पा आणि प्रयोग विश्लेषण टप्प्यात समाविष्ट केले जाऊ शकते; अध्याय 4 Gerber and Green (2012) दोन्ही पध्दती एक चांगला परिचय पुरवतो, व Casella (2008) एक अधिक सखोल उपचार उपलब्ध आहे. यादृच्छिक या पूर्व-उपचार माहितीचा वापर तंत्र विशेषत म्हटले जाते एकतर प्रायोगिक डिझाईन्स किंवा थराथराने रचलेला प्रायोगिक डिझाईन्स (परिभाषा समुदाय ओलांडून सातत्याने वापरले नाही) अवरोधित; हे तंत्रज्ञान गंभीरपणे धडा 3. पहा चर्चा थराथराने रचलेला नमूना तंत्र संबंधित Higgins, Sävje, and Sekhon (2016) भव्य प्रयोग या डिझाईन्स वापर करून अधिक आहे. पूर्व-उपचार covariates देखील विश्लेषण टप्प्यात समाविष्ट केले जाऊ शकते. McKenzie (2012) सखोलतेने क्षेत्रात प्रयोग विश्लेषण करण्यासाठी फरक-इन-फरक दृष्टिकोन explores. पहा Carneiro, Lee, and Wilhelm (2016) उपचार प्रभाव अंदाजपत्रकास मध्ये सुस्पष्टता वाढवण्यासाठी विविध पध्दती दरम्यान ट्रेड-ऑफ अधिक आहे. शेवटी, रचना किंवा विश्लेषण टप्प्यात (किंवा दोन्ही) पूर्व-उपचार covariates समावेश प्रयत्न हे ठरविताना, तेथे विचार करण्यासाठी काही घटक आहेत. संशोधक नाहीत की "फिशिंग" कुठे दर्शवू इच्छित सेटिंग मध्ये (Humphreys, Sierra, and Windt 2013) , रचना टप्प्यात पूर्व उपचार covariates वापरून उपयोगी असू शकते (Higgins, Sävje, and Sekhon 2016) . सहभागी अनुक्रमशः आगमन, विशेषत: ऑनलाइन क्षेत्रात प्रयोग, डिझाइन टप्प्यात पूर्व उपचार माहितीचा वापर करून logistically कठीण होऊ शकते जेथे घटनांमध्ये, उदाहरणार्थ पाहू Xie and Aurisset (2016) .

तो थोडा अंतर्ज्ञान फरक-फरक फरक-इन-साधन पेक्षा खूप अधिक प्रभावी असू शकते का जोडून वाचतो आहे. अनेक ऑनलाइन परिणाम अतिशय उच्च फरक आहे (पहा उदा, Lewis and Rao (2015) आणि Lamb et al. (2015) ) आणि कालांतराने स्थीर आहे. या प्रकरणात, बदल धावसंख्या संख्याशास्त्रीय चाचणी शक्ती वाढत, सेवनाने लहान फरक आहे. या संपर्क साधला अधिक अनेकदा वापरले नाही एक कारण डिजिटल वय अगोदर पूर्व उपचार परिणाम आहे सामान्य नाही होते आहे. विचार अधिक स्पष्ट मार्ग एक विशिष्ट व्यायाम नियमानुसार वजन कमी होते की नाही हे मोजण्यासाठी एक प्रयोग कल्पना आहे. आपण एक फरक-इन-अर्थ दृष्टिकोन असेल तर, आपल्या अंदाज लोकसंख्या वजने परिवर्तनशीलता येते की परिवर्तनशीलता आहे. आपण एक फरक-इन-फरक दृष्टिकोन असेल तर, तथापि, वजने की नैसर्गिकपणे येणार्या फरक काढला आणि अधिक सहजपणे उपचार द्वारे झाल्याने एक फरक ओळखू शकतो.

आपला प्रयोग सहभागी संख्या कमी करण्यासाठी एक महत्वाचा मार्ग जे Kramer आणि सहकारी नैसर्गिक प्रयोग पासून साजरा परिणाम आकार आधारित असती तर ते एक शक्ती विश्लेषण चालविणे आहे Coviello et al. (2014) किंवा Kramer आधीच्या नॉन-प्रायोगिक संशोधन (2012) (खरं तर या या प्रकरणाच्या शेवटी उपक्रम आहेत). लक्षात शक्ती विश्लेषण या वापर ठराविक पेक्षा थोडा वेगळा आहे. analog वय, संशोधक सहसा त्यांच्या अभ्यास खूप लहान नाही, याची खात्री करण्यासाठी शक्ती विश्लेषण केले (म्हणजे, अंतर्गत शक्तीशाली). (म्हणजे, प्रती-शक्तीशाली) आता मात्र, संशोधक करावे शक्ती विश्लेषण अभ्यास खूप मोठा आहे की नाही याची खात्री करण्यासाठी.

Repurpose: शेवटी, मी जोडून चौथा आर मानले. की ते त्यांच्या मूळ संशोधन प्रश्न सोडविण्यास गरज पेक्षा संशोधक अधिक प्रायोगिक माहिती स्वत: शोधू तर, ते नवीन प्रश्न विचारू डेटा repurpose पाहिजे, आहे. उदाहरणार्थ, Kramer आणि सहकारी त्यांच्या संशोधन प्रश्न सोडविण्यास आवश्यक पेक्षा अधिक माहिती एक फरक-इन-फरक अंदाज वापरले आणि आढळले होते की स्वत: कल्पना. उलट पूर्ण प्रमाणात डेटा वापरून पेक्षा नाही, ते पूर्व-उपचार भावनिक अभिव्यक्ती कार्य म्हणून परिणाम आकार अभ्यास केला आहे नाही. फक्त म्हणून Schultz et al. (2007) आढळले उपचार परिणाम कदाचित बातम्या फीड प्रभाव आधीच आनंदी (किंवा दु: खी) संदेश पोस्ट करण्यासाठी tended लोक वेगळे होते, प्रकाश आणि जड वापरकर्त्यांसाठी विविध होता. Repurposing "फिशिंग" होऊ शकते (Humphreys, Sierra, and Windt 2013) आणि "पी-हॅकिंग" (Simmons, Nelson, and Simonsohn 2011) , पण या मुख्यत्वे प्रामाणिक अहवाल संयोजन अॅड्रेसेवल आहेत (Simmons, Nelson, and Simonsohn 2011) , पूर्व नोंदणी (Humphreys, Sierra, and Windt 2013) , आणि समर्पक टाळण्यासाठी प्रयत्न मशीन शिक्षण पद्धती.