4.6.2 बदलें, परिष्कृत, और कम

, गैर प्रायोगिक अध्ययन के साथ प्रयोगों की जगह उपचार परिष्कृत, और प्रतिभागियों की संख्या को कम करके अपने प्रयोग अधिक मानवीय बनाने।

कि मैं डिजिटल प्रयोगों डिजाइन के बारे में की पेशकश करना चाहते सलाह का दूसरा टुकड़ा नैतिकता का सवाल है। विकिपीडिया शो में barnstars पर Restivo और वैन डे Rijt प्रयोग, कम लागत के रूप में इसका मतलब है कि नैतिकता अनुसंधान डिजाइन की एक तेजी से महत्वपूर्ण हिस्सा बन जाएगा। नैतिक सिद्धांतों जानवरों को शामिल प्रयोगों मार्गदर्शन करने के लिए विकसित: मानव विषयों अनुसंधान कि मैं अध्याय 6 में वर्णन करेंगे मार्गदर्शक नैतिक व्यवस्थाएं करने के लिए इसके अलावा, डिजिटल प्रयोगों को डिजाइन शोधकर्ताओं ने यह भी एक अलग स्रोत से नैतिक विचारों पर आकर्षित कर सकते हैं। विशेष रूप से, इंसानियत प्रयोगात्मक तकनीक के अपने ऐतिहासिक पुस्तक सिद्धांतों में, Russell and Burch (1959) बदलें, परिष्कृत, और कमी: तीन सिद्धांत है कि पशु अनुसंधान मार्गदर्शन करना चाहिए प्रस्ताव रखा। मैं प्रस्ताव है कि इन तीन आर भी इस्तेमाल किया जा सकता है एक थोड़ा संशोधित करना चाहते मानव प्रयोगों के डिजाइन फार्म के लिए मार्गदर्शन। विशेष रूप से,

• बदलें: कम आक्रामक तरीके यदि संभव हो तो प्रयोगों के साथ बदलें
• परिष्कृत करें: उपचार परिष्कृत यह संभव के रूप में हानिरहित बनाने के लिए
• कम: के रूप में ज्यादा अपने प्रयोग में भाग लेने वालों की संख्या में कमी के रूप में संभव

आदेश में इन तीन आर ठोस बनाने के लिए और कैसे वे संभवतः बेहतर और अधिक मानवीय प्रयोगात्मक डिजाइन करने के लिए नेतृत्व कर सकते हैं दिखाने के लिए, मैं एक ऑनलाइन क्षेत्र प्रयोग है कि नैतिक बहस उत्पन्न वर्णन करेंगे। तब मैं वर्णन करेंगे कि कैसे तीन आर प्रयोग के डिजाइन करने के लिए ठोस और व्यावहारिक परिवर्तनों का सुझाव।

सबसे नैतिकता की दृष्टि से बहस डिजिटल क्षेत्र प्रयोगों में से एक "भावनात्मक छूत," जो एडम क्रेमर, जेमी Gillroy, और जेफरी Hancock द्वारा आयोजित किया गया है (2014) । प्रयोग फेसबुक पर जगह ले ली और वैज्ञानिक और व्यावहारिक सवालों का एक मिश्रण से प्रेरित था। समय, प्रमुख रास्ता है कि उपयोगकर्ताओं को फेसबुक के साथ बातचीत की समाचार फ़ीड, एक उपयोगकर्ता के फेसबुक दोस्तों से फेसबुक स्टेटस अपडेट के एक एल्गोरिदम क्यूरेट सेट था। फेसबुक के कुछ आलोचकों का सुझाव दिया था कि क्योंकि समाचार फ़ीड ज्यादातर सकारात्मक उनकी नवीनतम दिखावा पदों-फ्रेंड है पार्टी यह उपयोगकर्ताओं को दुख होता है क्योंकि उनके जीवन की तुलना में कम रोमांचक लग रहे हो सकता है। दूसरी ओर, शायद प्रभाव बिल्कुल विपरीत है; शायद अपने दोस्त एक अच्छा समय आप खुश महसूस करना होगा होने को देखकर? आदेश को संबोधित करने के लिए इन परिकल्पना और एक प्रयोग कैसे एक व्यक्ति की भावनाओं उसके मित्रों से प्रभावित कर रहे हैं के बारे में हमारी समझ को अग्रिम करने के लिए भावनाओं-क्रेमर और उनके सहयोगियों दौड़ा प्रतिस्पर्धा। शोधकर्ताओं ने एक सप्ताह के लिए चार समूहों में 700,000 के बारे में उपयोगकर्ताओं रखा: एक "नकारात्मकता को कम" समूह, नकारात्मक शब्द (जैसे, एसएडी) बेतरतीब ढंग से समाचार फ़ीड प्रदर्शित होने से अवरुद्ध कर रहे थे जिनके साथ के लिए पदों; एक "सकारात्मकता कम हो" के लिए जिसे सकारात्मक शब्दों (जैसे, खुश) के साथ पदों को बेतरतीब ढंग से अवरुद्ध किया गया समूह; और दो नियंत्रण समूहों। "नकारात्मकता को कम" समूह के लिए नियंत्रण समूह में, पदों बेतरतीब ढंग से "नकारात्मकता को कम" समूह के रूप में है, लेकिन भावनात्मक सामग्री के संबंध के बिना एक ही दर पर अवरुद्ध किया गया। "सकारात्मकता कम" समूह के लिए समूह के नियंत्रण के लिए एक समानांतर फैशन में निर्माण किया गया था। इस प्रयोग के डिजाइन दिखाता है कि उचित नियंत्रण समूह हमेशा कोई परिवर्तन के साथ एक नहीं है। बल्कि, कभी कभी नियंत्रण समूह आदेश सटीक तुलना पैदा करने के लिए है कि एक शोध की आवश्यकता है सवाल में एक उपचार प्राप्त करता है। सभी मामलों में, पदों है कि समाचार फ़ीड से अवरुद्ध कर रहे थे अभी भी फेसबुक वेबसाइट के अन्य भागों के माध्यम से उपयोगकर्ताओं के लिए उपलब्ध थे।

क्रेमर और सहयोगियों ने पाया कि सकारात्मकता में प्रतिभागियों हालत को कम करने के लिए, उनकी स्थिति अद्यतन में सकारात्मक शब्दों का प्रतिशत कमी आई है और नकारात्मक शब्दों का प्रतिशत वृद्धि हुई है। दूसरी ओर, नकारात्मकता को कम हालत में प्रतिभागियों के लिए, सकारात्मक शब्दों का प्रतिशत वृद्धि हुई है और नकारात्मक शब्दों का प्रतिशत (चित्रा 4.23) में कमी आई है। हालांकि, इन प्रभावों को काफी छोटे थे: उपचार और नियंत्रण के बीच सकारात्मक और नकारात्मक शब्दों में अंतर के बारे में 1 1,000 शब्दों में किया गया था।

चित्रा 4.23: भावनात्मक छूत के साक्ष्य (Kramer, Guillory, and Hancock 2014) । सकारात्मक शब्दों और प्रयोगात्मक हालत से नकारात्मक शब्दों का प्रतिशत। सलाखों के मानक त्रुटियों का अनुमान प्रतिनिधित्व करते हैं।

मैं अध्याय के अंत में आगे पढ़ने के अनुभाग में इस प्रयोग के वैज्ञानिक पहलुओं की चर्चा डाल दिया है, लेकिन दुर्भाग्य से, इस प्रयोग सबसे नैतिक बहस पैदा करने के लिए जाना जाता है। बस दिनों के बाद इस पत्र राष्ट्रीय विज्ञान अकादमी की कार्यवाही में प्रकाशित किया गया था, वहाँ दोनों शोधकर्ताओं और प्रेस से एक विशाल चिल्लाहट था। 1) प्रतिभागियों मानक फेसबुक के नियम की सेवा एक इलाज है कि कुछ सोचा और प्रतिभागियों के लिए नुकसान का कारण हो सकता है 2) अध्ययन नहीं आया था तीसरे पक्ष के नैतिक के लिए बाहर किसी भी सहमति प्रदान नहीं किया: दो मुख्य बिंदुओं पर ध्यान केंद्रित कागज के आसपास नाराजगी समीक्षा (Grimmelmann 2015) । इस बहस में उठाया नैतिक सवाल वजह से पत्रिका जल्दी नैतिकता और अनुसंधान के लिए नैतिक समीक्षा प्रक्रिया के बारे में एक दुर्लभ "चिंता के संपादकीय अभिव्यक्ति" प्रकाशित करने के लिए (Verma 2014) । बाद के वर्षों में, प्रयोग तीव्र बहस और असहमति का एक स्रोत होने के लिए जारी रखा है, और इस असहमति के साये कई अन्य प्रयोगों है कि कंपनियों द्वारा किया जा रहा है में ड्राइविंग के अनपेक्षित प्रभाव था हो सकता है (Meyer 2014) ।

भावनात्मक छूत के बारे में है कि पृष्ठभूमि को देखते हुए, मैं अब पता चलता है कि 3 आर के वास्तविक अध्ययन के लिए ठोस, व्यावहारिक सुधार (जो भी आप व्यक्तिगत रूप से इस विशेष रूप से प्रयोग की नैतिकता के बारे में सोच सकते हैं) कर सकते हैं सुझाव चाहते हैं। पहले आर की जगह है: शोधकर्ताओं, कम आक्रामक और जोखिम भरा तकनीक के साथ प्रयोग को बदलने के लिए यदि संभव हो तो लेनी चाहिए। उदाहरण के लिए, बल्कि एक प्रयोग चलाने की तुलना में, शोधकर्ताओं ने एक प्राकृतिक प्रयोग शोषण किया जा सकता था। अध्याय 2 में वर्णित है, प्राकृतिक प्रयोगों (जैसे, एक लॉटरी तय करने के लिए जो सैन्य में मसौदा तैयार किया जाएगा) जहां कुछ दुनिया है कि उपचार के यादृच्छिक असाइनमेंट का अनुमान लगाती में होता स्थितियों रहे हैं। एक प्राकृतिक प्रयोग के लाभ यह है कि शोधकर्ता उपचार देने के लिए नहीं है; पर्यावरण आप के लिए करता है। दूसरे शब्दों में, एक प्राकृतिक प्रयोग के साथ, शोधकर्ताओं ने प्रयोगात्मक लोगों के न्यूज फीड में हेरफेर करने की जरूरत है नहीं होगा।

वास्तव में, भावनात्मक छूत प्रयोग के साथ लगभग समवर्ती, Coviello et al. (2014) का शोषण रहा था कि क्या एक भावनात्मक छूत प्राकृतिक प्रयोग कहा जा सकता है। उनका दृष्टिकोण है, जो एक तकनीक महत्वपूर्ण भूमिका निभाई चर नाम का उपयोग करता है, अगर आप इसे पहले कभी नहीं देखा है थोड़ा जटिल है। तो, ताकि समझाने के लिए क्यों यह आवश्यक था में, चलो यह तक का निर्माण करते हैं। पहला विचार कुछ शोधकर्ताओं भावनात्मक छूत का अध्ययन करने के लिए हो सकता है कि दिन जहां अपने समाचार फ़ीड बहुत दिनों पर अपने पदों के लिए सकारात्मक जहां अपने समाचार फ़ीड बहुत ही नकारात्मक था पर अपने पदों की तुलना करने के लिए किया जाएगा। अगर लक्ष्य अपने पदों में से भावनात्मक सामग्री भविष्यवाणी करने के लिए बस गया था यह दृष्टिकोण ठीक हो जाएगा, लेकिन इस दृष्टिकोण समस्याग्रस्त है लक्ष्य अपने पदों पर अपने समाचार फ़ीड के कारण प्रभाव का अध्ययन करने के लिए है। इस डिजाइन के साथ समस्या यह देखने के लिए, धन्यवाद पर विचार करें। अमेरिका में, सकारात्मक और नकारात्मक पदों स्पाइक पदों धन्यवाद पर बोझ। इस प्रकार, धन्यवाद पर, शोधकर्ताओं देख सकता था कि अपने समाचार फ़ीड बहुत सकारात्मक था और आप सकारात्मक चीजों के रूप में अच्छी तरह से पोस्ट किया है कि। लेकिन, अपने सकारात्मक पदों अपने समाचार फ़ीड की सामग्री से नहीं धन्यवाद की वजह से किया जा सकता था। इसके बजाय, आदेश कारण प्रभाव शोधकर्ताओं ने कुछ ऐसा है जो सीधे अपनी भावनाओं को बदलने के बिना अपने समाचार फ़ीड की सामग्री परिवर्तन की आवश्यकता का अनुमान करने में। मौसम: सौभाग्य से, वहाँ है कि क्या हो रहा है सब समय की तरह कुछ है।

Coviello और उनके सहयोगियों ने पाया कि किसी के शहर में एक बरसात के दिन होगा, औसत पर, कि पदों के बारे में 1 प्रतिशत अंक से सकारात्मक रहे हैं के अनुपात में कम होती है और पदों है कि लगभग 1 प्रतिशत अंक से नकारात्मक कर रहे हैं के अनुपात में वृद्धि हुई है। फिर, Coviello और उनके सहयोगियों की जरूरत प्रयोगात्मक हेरफेर करने के लिए किसी के भी समाचार फ़ीड के बिना भावनात्मक छूत अध्ययन करने के लिए इस तथ्य का फायदा उठाया। संक्षेप में वे क्या किया उपाय है कि कैसे अपने पदों शहरों में जहां अपने मित्रों को जीने में मौसम से प्रभावित थे। देखने के लिए क्यों यह समझ में आता है, कल्पना है कि आप न्यूयॉर्क शहर में रहते हैं और आप एक दोस्त है जो सिएटल में रहता है। अब सोचिए कि एक दिन यह शुरू होता है सिएटल में बारिश हो रही है। सिएटल में इस बारिश सीधे आपके मूड को प्रभावित नहीं करेगा, लेकिन यह अपने समाचार फ़ीड क्योंकि अपने दोस्त के पदों की कम सकारात्मक और नकारात्मक अधिक होने का कारण होगा। इस प्रकार, सिएटल में बारिश बेतरतीब ढंग से अपने समाचार फ़ीड manipulates। एक विश्वसनीय सांख्यिकीय प्रक्रिया में यह आभास टर्निंग जटिल है (और सटीक Coviello और उनके सहयोगियों द्वारा इस्तेमाल किया दृष्टिकोण एक सा अमानक है) तो मैं आगे पढ़ने के अनुभाग में एक अधिक विस्तृत चर्चा डाल दिया है। सबसे महत्वपूर्ण बात यह Coviello के बारे में याद करने के लिए और सहयोगी दृष्टिकोण है कि यह उन्हें सक्षम एक प्रयोग है कि संभावित प्रतिभागियों को नुकसान पहुँचा सकता है चलाने के लिए आवश्यकता के बिना भावनात्मक छूत अध्ययन करने के लिए है, और यह मामला है कि कई अन्य सेटिंग्स में आप अन्य प्रयोगों के साथ जगह ले सकता है हो सकता है तकनीक।

में 3 रुपये दूसरा परिष्कृत है: शोधकर्ताओं आदेश छोटी से छोटी नुकसान संभव पैदा करने के लिए उनके उपचार को निखारने के लिए लेनी चाहिए। उदाहरण के लिए, बजाय सामग्री है कि या तो सकारात्मक या नकारात्मक था अवरुद्ध से, शोधकर्ताओं सामग्री है कि सकारात्मक या नकारात्मक था बढ़ाया जा सकता था। यह बढ़ाने डिजाइन प्रतिभागियों की न्यूज फीड भावनात्मक सामग्री को बदल दिया है, लेकिन यह चिंता का विषय है कि एक आलोचकों व्यक्त संबोधित होता है: कि प्रयोगों प्रतिभागियों का कारण हो सकता है उनके समाचार फ़ीड में महत्वपूर्ण जानकारी को याद करने के लिए। क्रेमर और उनके सहयोगियों द्वारा इस्तेमाल किया डिजाइन के साथ, एक संदेश है कि महत्वपूर्ण है के रूप में एक ही है कि नहीं है के रूप में अवरुद्ध होने की संभावना है। हालांकि, एक बढ़ाने डिजाइन के साथ, संदेश है कि विस्थापित किया जाएगा उन है कि कम महत्वपूर्ण हैं होगा।

अंत में, तीसरे आर कम है: शोधकर्ताओं, उनके प्रयोग में भाग लेने वालों की संख्या कम करने के लिए यदि संभव हो तो लेनी चाहिए। अतीत में, इस कमी स्वाभाविक रूप से हुआ है क्योंकि अनुरूप प्रयोगों के परिवर्तनीय लागत उच्च था, जो उनके डिजाइन और विश्लेषण का अनुकूलन करने के लिए अनुसंधान को प्रोत्साहित किया। हालांकि, जब शून्य परिवर्तनीय लागत डेटा है वहाँ, शोधकर्ताओं ने अपने प्रयोग के आकार पर एक लागत बाधा का सामना न करना, और इस क्षमता को अनावश्यक रूप से बड़े प्रयोगों के लिए नेतृत्व करने के लिए है।

उदाहरण के लिए, क्रेमर और उनके सहयोगियों ने उनके विश्लेषण और अधिक कुशल बनाने के लिए व्यवहार-अपने प्रतिभागियों-तरह के पूर्व उपचार के रूप में पोस्टिंग के बारे में पूर्व उपचार के बारे में जानकारी के लिए इस्तेमाल किया जा सकता था। अधिक विशेष रूप से, बल्कि उपचार और नियंत्रण की स्थिति में सकारात्मक शब्दों के अनुपात में तुलना की तुलना में, क्रेमर और उनके सहयोगियों की स्थिति के बीच सकारात्मक शब्दों के अनुपात में परिवर्तन की तुलना में हो सकता है; एक दृष्टिकोण अक्सर अंतर-में-मतभेद और जो निकट (चित्रा 4.5) मिश्रित डिजाइन है कि मैं अध्याय में वर्णित पहले से संबंधित है कहा जाता है। यही कारण है, प्रत्येक भागीदार के लिए, शोधकर्ताओं ने एक परिवर्तन स्कोर (के बाद इलाज व्यवहार - पूर्व उपचार व्यवहार) बनाया जाता है हो सकता है और उसके बाद उपचार और नियंत्रण की स्थिति में प्रतिभागियों के परिवर्तन के स्कोर की तुलना में। यह अंतर-में-मतभेद दृष्टिकोण जिसका मतलब है कि शोधकर्ताओं ने एक ही सांख्यिकीय आत्मविश्वास बहुत छोटे नमूने का उपयोग कर प्राप्त कर सकते हैं सांख्यिकीय अधिक कुशल है। दूसरे शब्दों में, "विजेट" की तरह प्रतिभागियों का इलाज नहीं, शोधकर्ताओं अक्सर अधिक सटीक अनुमान प्राप्त कर सकते हैं।

कच्चे डेटा बिना यह पता है कि वास्तव में कितना अधिक कुशल एक अंतर-में-मतभेद दृष्टिकोण इस मामले में हो गया होता मुश्किल है। लेकिन, Deng et al. (2013) की रिपोर्ट है कि बिंग सर्च इंजन पर तीन ऑनलाइन प्रयोगों में वे के बारे में 50% से उनके अनुमान के विचरण को कम करने में सक्षम थे, और इसी तरह के परिणाम नेटफ्लिक्स पर कुछ ऑनलाइन प्रयोगों के लिए सूचित किया गया है (Xie and Aurisset 2016) । यह 50% विचरण कमी का मतलब है कि भावनात्मक छूत शोधकर्ताओं छमाही में उनके नमूने में कटौती के लिए अगर वे एक अलग विश्लेषण के तरीकों का इस्तेमाल किया था सक्षम हो सकता है। दूसरे शब्दों में, विश्लेषण में एक छोटे से बदलाव के साथ, 350,000 लोग प्रयोग में भागीदारी बख्शा गया हो सकता है।

इस बिंदु पर आप सोच हो सकता है क्यों शोधकर्ताओं यदि 350,000 लोग बेकार में भावनात्मक छूत में थे ध्यान देना चाहिए। वहाँ है कि अत्यधिक आकार के साथ चिंता का विषय उपयुक्त बनाने के भावनात्मक छूत की दो खास विशेषताएं हैं, और इन सुविधाओं के कई डिजिटल क्षेत्र प्रयोगों द्वारा साझा कर रहे हैं: 1) वहाँ के बारे में प्रयोग कम से कम कुछ प्रतिभागियों के लिए नुकसान का कारण बन जाएगा और 2) की भागीदारी नहीं था कि अनिश्चितता है स्वैच्छिक। इन दो विशेषताओं के साथ प्रयोगों में यह प्रयोगों के रूप में संभव के रूप में छोटे रखना उचित लगता है।

अंत में, तीन, R's की जगह को निखारने, और सिद्धांतों की मदद कर सकते है कि शोधकर्ताओं ने अपने प्रयोगात्मक डिजाइन में नैतिकता निर्माण में कमी-प्रदान करते हैं। बेशक, भावनात्मक छूत के लिए इन संभावित परिवर्तनों के प्रत्येक व्यापार-नापसंद का परिचय। उदाहरण के लिए, प्राकृतिक प्रयोगों से सबूत नहीं हमेशा की तरह साफ बेतरतीब प्रयोगों से सबूत के रूप में है और बढ़ाने अधिक logistically मुश्किल ब्लॉक से लागू करने के लिए किया गया हो सकता। तो, इन परिवर्तनों का सुझाव दे के प्रयोजन के अन्य शोधकर्ताओं के फैसले दूसरी लगता नहीं था। दरअसल, यह वर्णन कैसे तीन आर एक यथार्थवादी स्थिति में लागू किया जा सकता था।