4.3 प्रयोगहरू दुई आयाम: ल्याब-क्षेत्र र एनालग-डिजिटल

प्रयोगशाला प्रयोगहरु क्षेत्र प्रयोगहरू यथार्थवाद प्रस्ताव, र डिजिटल क्षेत्र प्रयोगहरू मात्रा मा नियन्त्रण र यथार्थवाद संयोजन, नियन्त्रण प्रस्ताव।

प्रयोगहरू विभिन्न आकार र आकारहरूमा आउँछन्। विगतमा, शोधकर्ताहरूले यो ल्याब प्रयोगहरू र क्षेत्र प्रयोगहरू बीच निरंतर साथ प्रयोगहरू व्यवस्थित गर्न उपयोगी पाएका छन्। तथापि, शोधकर्ताहरूले एनालॉग प्रयोगहरू र डिजिटल प्रयोगहरू बीच दोस्रो सेकेन्डमा पनि अनुभवहरू व्यवस्थित गर्नुपर्छ। यो दुई-आयामी डिजाइन स्पेसले तपाईंलाई विभिन्न दृष्टिकोणको शक्ति र कमजोरीहरू बुझ्न मद्दत गर्नेछ र सबैभन्दा ठूलो अवसरका क्षेत्रहरूलाई हाइलाइट गर्दछ (चित्र 4.1)।

चित्रा 4.1: प्रयोगका लागि योजनाबद्ध योजना ठाउँ। विगतमा, प्रयोगशालाहरू ल्याब-फिल्ड आयामसँगै भिन्न हुन्छन्। अब, तिनीहरू एनालॉग-डिजिटल आयाममा भिन्न हुन्छन्। यो दुई-आयामिक डिजाइन स्पेसले यस अध्यायमा वर्णन गरेको चार प्रयोगहरूद्वारा चित्रण गरिएको छ। मेरो विचारमा, सबैभन्दा ठूलो अवसरको क्षेत्र डिजिटल क्षेत्र प्रयोगहरू हो।

एक आयाम जसमा प्रयोगहरू व्यवस्थित गर्न सकिन्छ प्रयोगशाला-फिल्ड आयाम हो। सामाजिक विज्ञानमा धेरै प्रयोगहरू प्रयोगशाला प्रयोगहरू छन् जहाँ स्नातक विद्यार्थीहरूले क्रेडिट क्रेडिटको लागि अनावश्यक कार्यहरू अजीब कार्य गर्छन्। यस प्रकारको प्रयोग मनोविज्ञान मा अनुसन्धान मा हावी छ किनकि यसले शोधकर्ताओं लाई सटीक रूप देखि सामाजिक व्यवहार को बारे मा विशिष्ट सिद्धांतों को अलग र परीक्षण गर्न को लागि अत्यधिक नियंत्रित सेटिंग्स को निर्माण गर्न सक्षम गर्दछ। तथापि, केही समस्याहरूको लागि, केहि असामान्य मानिसहरू यस्तो असामान्य सेटिङमा यस्ता असामान्य कार्यहरू प्रदर्शन गर्ने मानव व्यवहारको बारेमा बलियो निष्कर्षहरूको बारेमा केही अजीब लाग्छ। यी चिन्ताहरूले मैदान प्रयोगको दिशामा एक गतिको नेतृत्व गरेका छन्। क्षेत्र प्रयोगहरूले अधिक प्राकृतिक सेटिङहरूमा थप सामान्य कार्यहरू प्रदर्शन गर्ने अधिक प्रतिनिधि समूहहरूको साथ randomized control experiments of strong design।

यद्यपि केही व्यक्तिहरूले प्रतिस्पर्धात्मक तरिकाको प्रयोगशाला र क्षेत्र प्रयोगहरूको बारेमा सोच्न थालेका छन्, उनीहरूले उनीहरूको बारेमा पूरै रूपमा विभिन्न ताकत र कमजोरीको साथ सोच्न सजिलो हुन्छ। उदाहरणका लागि, Correll, Benard, and Paik (2007) "मातृत्व को दंड" को स्रोत खोज्न को लागी एक प्रयोगशाला प्रयोग र एक क्षेत्र प्रयोग को प्रयोग गरे। संयुक्त राज्य मा, मातृभाषाहरु भन्दा कम बच्चाहरु लाई कम कमाई महिलाहरु लाई पनि समान समान कामका साथ काम गर्ने महिलाहरूको तुलना। यस ढाँचाका लागि धेरै सम्भावना स्पष्टीकरणहरू छन्, जसमध्ये एउटा हो कि नियोक्ताहरू आमाहरूको विरुद्ध पक्षपातशील हुन्छन्। (चाखलाग्दो, विपरीत पिताहरूका लागि सही देखिन्छ जस्तो लाग्छ: उनीहरूको तुलनात्मक बेग्लै पुरुषहरू भन्दा बढी कमाई हुन्छन्।) आमाको विरुद्ध सम्भावना पूर्वाग्रहको मूल्यांकन गर्न, कोर्रेल र साथीहरूले दुई प्रयोगहरू भाग्यो: एक प्रयोगशाला र एक क्षेत्रमा।

पहिलो, ल्याब प्रयोगमा उनी सहभागीहरू थिए, जो कलेज इन्टरनेसनल थिए, कि कम्पनीले आफ्नो पूर्वी पूर्वी कोस्ट मार्केटिंग विभागको नेतृत्व गर्ने व्यक्तिको लागि रोजगारी खोज सञ्चालन गरिरहेको थियो। विद्यार्थीहरूलाई भनिएको थियो कि कम्पनीले भर्ती प्रक्रियामा उनीहरूको सहयोग चाहियो, र उनीहरूलाई धेरै सम्भावित उम्मेदवारहरूको पुनरुत्थानको समीक्षा गर्न र उनीहरूको बुद्धि, गर्मी, र काम गर्ने प्रतिबद्धता जस्ता विभिन्न आयामहरूमा मूल्याङ्कन गर्न आग्रह गरिएको थियो। साथै, विद्यार्थीहरूलाई सोधियो भने तिनीहरू आवेदक भर्ती गर्ने र उनीहरूलाई सुरूवात वेतनको रूपमा सिफारिस गर्ने सिफारिस गर्नेछन्। तथापि, विद्यार्थीहरुलाई अनबेकाउन, एकै कुरा को बाहेक अन्यथा सुरू गर्न विशेष रूप देखि निर्माण गरियो: केहि केहि मातृत्व (एक अभिभावक-शिक्षक संघमा संलग्न सूचीबद्ध गरेर) र केहि पनि गरेन। Correll र सहकर्मीहरूले पत्ता लगाए कि विद्यार्थीहरूलाई आमा भर्ती गर्न सिफारिस गर्न कम्तिमा कम थियो र उनीहरूले उनीहरूलाई कम शुरुवात वेतन प्रदान गरे। यसबाहेक, मूल्याङ्कन र भर्ती सम्बन्धी निर्णयहरू को एक सांख्यिकीय विश्लेषण मार्फत, Correll र सहकर्मीहरूले पत्ता लगाए कि मातृभाषाहरू प्रायः स्पष्ट रूपमा वर्णन गरेका थिए कि उनीहरूले क्षमता र प्रतिबद्धताको सन्दर्भमा कम मूल्याङ्कन गरे। यसकारण, यस प्रयोगशाला प्रयोगले Correll र सहकर्मीहरुलाई अनुमति दिईएको प्रभाव मापन र प्रभाव को लागि एक संभावित व्याख्या प्रदान गर्न को लागी।

निस्सन्देह, सम्पूर्ण अमेरिकी मजदूर बजारको बारेमा केहि सौ स्नातकहरूको निर्णयको आधारमा निष्कर्ष निकाल्ने बारेमा सम्भवतया हुन सक्छ जसले सम्भवतया पूर्ण-समयको काम गरेको छैन, एक्लै कसैलाई भर्ना गरिसकेको छ। यसैले, Correll र सहकर्मीहरूले पनि एक पूरक क्षेत्र प्रयोग गरे। तिनीहरूले सैकड़ों विज्ञापित नौकरी खोल्ने क्रममा नकली आवरण पत्रहरू र सुरूवातहरूसँग जवाफ दिए। स्नातकहरूलाई देखाइएको सामग्रीको समान, केहीले नक्कल मातृत्वको पुनरुत्थान र केहि गरेनन्। Correll र सहयोगिहरु ले पाया कि आमाहरु लाई समान रूप देखि योग्य बच्चाहरु को तुलना मा साक्षात्कार को लागि फिर्ता बुलाया जाने को संभावना कम थियो। अन्य शब्दहरुमा, वास्तविक नियोक्ताहरूले प्राकृतिक निर्णयमा परिणामी निर्णय गर्ने स्नातकोत्तरहरू जस्तै व्यवहार गरे। के उनीहरूले त्यहि निर्णयको लागि निर्णय गरे? दुर्भाग्यवश, हामी थाहा छैनौं। शोधकर्ताहरु नियोक्ताहरुलाई उम्मेदवार को दर गर्न को लागि या उनको निर्णय को व्याख्या गर्न मा सक्षम नहीं थिए।

प्रयोगहरूको यो जोडीले प्रयोगशाला र क्षेत्र प्रयोगहरूको बारेमा सामान्य रूपमा प्रकट गर्दछ। ल्याब प्रयोगहरूले शोधकर्ताहरूलाई वातावरणको नजिक-कुल नियन्त्रण प्रदान गर्दछ जसमा सहभागीहरू निर्णय गर्दैछन्। त्यसैले, उदाहरणका लागि, ल्याब प्रयोगमा, Correll र सहकर्मीहरूले यो सुनिश्चित गर्न सक्षम थिए कि सबै पुन: सुरुहरू शान्त सेटिङमा पढ्न सकेन; क्षेत्र प्रयोगमा, पुनरुत्थान मध्ये केहि पनि पढ्न सकेन। यसको अतिरिक्त, ल्याब सेटिङमा सहभागिताहरू उनीहरूको अध्ययन गर्दैछन् भनेर जान्दछन्, शोधकर्ताहरू अक्सर थप डेटा एकत्र गर्न सक्षम छन् जसले समेट्न मद्दत गर्न सक्दछन् किन प्रतिभागिहरु आफ्नो निर्णय गर्दैछन्। उदाहरणका लागि, Correll र सहकर्मीहरू लेबुल प्रयोगशालामा सहभागीहरूलाई विभिन्न आयामहरूमा मूल्याङ्कन गर्न आग्रह गरे। यस्तो प्रकारका प्रक्रिया डाटाले शोधकर्ताहरुले कसरी सहभागीहरू पुन: सुरु गर्ने व्यवहारमा मतभेदको तन्त्रणालाई बुझ्न मदत गर्न सक्छ।

अर्कोतर्फ, यी सटीक विशेषताहरू जुन मैले भर्खरै फायदेको वर्णन गरेको छु, कहिलेकाहीँ पनि हानि मानिन्छ। क्षेत्रीय प्रयोगहरू मनपर्ने शोधकर्ताहरूले तर्क गर्छन् कि प्रयोगशाला प्रयोगहरूमा सहभागीहरू धेरै भिन्न हुन सक्छन् किनकी तिनीहरू जान्दछन् कि उनीहरूको अध्ययन गरिन्। उदाहरणका लागि, ल्याब प्रयोगमा, सहभागीहरूले अनुसन्धानको लक्ष्य अनुमान लगाएका हुन सक्छन् र उनीहरूको व्यवहार परिवर्तन गर्दछन् जसले पूर्वाधार देखा पर्दैन। यसबाहेक, फिल्ड प्रयोगहरू मनपर्ने शोधकर्ताहरूले तर्क गर्न सक्छन् कि पुनरुत्थानमा साना मतभेदहरू मात्र एक धेरै सफा, बाँझ प्रयोगशाला वातावरणमा खडा हुन सक्छन्, र यसैले ल्याब प्रयोगले वास्तविक कामकाज निर्णयमा मातृत्वको प्रभाव अधिकृत गर्नेछ। अन्ततः, क्षेत्र प्रयोगका धेरै समर्थकहरूले WEIRD सहभागीहरूमा प्रयोगशाला प्रयोगका आधारमा आलोचना गर्छन्: मुख्यतः पश्चिमी, शिक्षित, औद्योगिक, रिच, र डेमोक्रेटिक देशका विद्यार्थीहरू (Henrich, Heine, and Norenzayan 2010a) । Correll र सहकर्मीहरु द्वारा प्रयोग (2007) ले दुई चरमहरु प्रयोगशाला क्षेत्र को निरंतरता मा बताछन। यी दुई चरमहरूको बीचमा हाइब्रिड डिजाइनहरू पनि विभिन्न प्रकारका छन्, जस्तै गैर-विद्यार्थीहरू प्रयोगशालामा वा क्षेत्रमा जान, तर अझै पनि सहभागिताहरू असामान्य काम गर्छन्।

अतीतमा अस्तित्वमा प्रयोगशाला-फिल्ड आयामको अलावा, डिजिटल युग भनेको शोधकर्ताहरूसँग अब दोस्रो दोस्रो आयाम हो जसका प्रयोगहरू भिन्न हुन सक्छन्: एनालग-डिजिटल। जस्तै शुद्ध प्रयोगशाला प्रयोगहरू, शुद्ध क्षेत्र प्रयोगहरू, र बीचको हाइब्रिड विभिन्न प्रकारका छन्, शुद्ध एनालग प्रयोगहरू, शुद्ध डिजिटल प्रयोगहरू र हाइब्रिडको विभिन्न प्रकारका छन्। यो आयामको औपचारिक परिभाषा प्रस्ताव गर्न कठिन छ, तर एक उपयोगी कामको परिभाषा हो कि पुरा तरिकाले डिजिटल प्रयोगहरू प्रयोग हुने हुन् जुन भर्ती प्रतिभागिहरु को लागी डिजिटल पूर्वाधारको प्रयोग, अनियमितता, उपचार दिन, र परिणामको परिमार्जन गर्न प्रयोग गर्दछ। उदाहरणका लागि, रिभिभो र भ्यान डे रिजल्ट (2012) बर्नस्टार र विकिपीडियाको अध्ययन एकदम पूर्ण प्रयोगात्मक अनुभव थियो किनभने यसले यी सबै चरणहरूको डिजिटल प्रणाली प्रयोग गर्यो। त्यस्तै गरी, पूर्णतया एनालग प्रयोगहरूले यी चार चरणहरूको लागि डिजिटल पूर्वाधारको प्रयोग गर्दैन। मनोविज्ञान मा धेरै क्लासिक प्रयोग पूर्णतया एनालॉग प्रयोगहरू छन्। यी दुई चरमहरू बीचमा आंशिक डिजिटल प्रयोगहरू छन् जुन एनालॉग र डिजिटल प्रणालीको संयोजन प्रयोग गर्दछ।

जब केहि मान्छे डिजिटल प्रयोग को बारे मा सोचते हो, उनि तुरुन्तै अनलाइन प्रयोगहरु को बारे मा सोचते हो। यो दुर्भाग्यवश हो किनकि डिजिटल प्रयोगहरू चलाउने मौकाहरू अनलाइन मात्र होइनन्। शोधकर्ताहरूले डिजिटल संसारमा डिजिटल यन्त्रहरू प्रयोग गरेर आंशिक रूपमा डिजिटल प्रयोगहरू चलाउन सक्दछन् उपचार दिन वा परिणामहरू प्राप्त गर्न। उदाहरणका लागि, शोधकर्ताले स्मार्टफोन प्रयोग गर्न सक्ने वातावरणमा उपचार वा सेन्सरलाई उद्धार गर्न सक्ने परिणामहरू निर्धारण गर्न सक्दछ। वास्तवमा, हामी यस अध्यायमा पछि पछि हेर्नेछौं, शोधकर्ताले पहिले नै 8 9 मिलियन परिवार (Allcott 2015) समावेश गरेको ऊर्जा खपतको प्रयोगमा प्रयोगहरूको परिणाम मापन गर्न घर पावर मीटरको प्रयोग गरेको छ। डिजिटल उपकरणहरू बढ्दै जाँदा मानिसहरूको जीवनमा एकीकृत हुन्छन् र सेन्सरहरू निर्मित वातावरणमा एकीकृत हुन्छन्, भौतिक संसारमा आंशिक रूपमा डिजिटल प्रयोगहरू चलाउने यी अवसरहरूले नाटकीय रूपमा वृद्धि गर्नेछ। अन्य शब्दहरूमा, डिजिटल प्रयोगहरू केवल अनलाइन प्रयोगहरू छैनन्।

डिजिटल प्रणालीले प्रयोगशालाका लागि नयाँ सुविधाहरू ल्याब-फिल्ड निरंतर रूपमा सबै ठाउँहरू सिर्जना गर्दछ। उदाहरणका लागि, शुद्ध ल्याब प्रयोगहरूमा, शोधकर्ताहरू डिजिटल प्रणालीहरूले सहभागीहरूको सहभागिताको व्यवहारको लागि प्रयोग गर्न सक्छन्; यस प्रकारको सुधारको मापको एक उदाहरण आँखा-ट्र्याकिङ उपकरण हो जसले टजको स्थानको सटीक र निरन्तर उपाय प्रदान गर्दछ। डिजिटल युगले अनलाइन प्रयोगशाला प्रयोग गर्ने तरिका सिर्जना गर्ने संभावना पनि सिर्जना गर्दछ। उदाहरणका लागि, शोधकर्ताहरुले अनलाइन प्रतिभाहरु (अंक 4.2) को लागि प्रतिभागिहरु को भर्ती गर्न को लागि अमेज़न मकोनिकल टर्की (एमटीकर्क) लाई चाँडै अपनाया। MTurk "नियोक्ताहरू" सँग मेल खान्छ जसले कार्यकर्ताहरूलाई "कामदार" सँग पूरा गर्न आवश्यक छ जसले पैसाका लागि ती कार्यहरू पूरा गर्न चाहन्छ। पारंपरिक श्रम बजारको विपरीत, तथापि, कार्यहरू सामेल भएकाले सामान्यतया पूर्णतया केही मिनेट चाहिन्छ, र नियोक्ता र कार्यकर्ता बीचको सम्पूर्ण सम्बन्ध अनलाइन छ। किनभने MTurk पारंपरिक प्रयोगशाला प्रयोगहरूको पहलुहरु माईकिक्स गर्दछ - व्यक्तिहरूलाई कार्य पूरा गर्न को लागी उनीहरूले निःशुल्क काम गर्दैनन् - यो स्वाभाविक रूपमा केही प्रकारका प्रयोगहरूको लागि उपयुक्त छ। अनिवार्य रूपमा, MTurk ले सहभागीहरूको पूल व्यवस्थापन गर्ने आधारभूत संरचना सिर्जना गरेको छ - मानिस भर्ती र भुक्तानी गर्ने - र शोधकर्ताहरूले त्यस संरचनाको फाइदा उठाउनुभएको छ जसले सहभागीहरूको सँधै उपलब्ध पूलमा ट्याप गर्न मद्दत गर्दछ।

चित्रा 4.2: अमेजन मेकेनिकल टर्की (एमटीर्क) बाट डेटा प्रयोग गरी प्रकाशन गरिएका कागजातहरू। MTurk र अन्य अनलाइन श्रम बजारहरूले शोधकर्ताहरूले प्रयोगका लागि प्रतिभागिहरु भर्ना गर्न एक सुविधाजनक तरिका प्रस्ताव गर्छन्। Bohannon (2016) बाट अनुकूल।

डिजिटल प्रणालीले क्षेत्र जस्तै प्रयोगहरूको लागि थप सम्भावनाहरू सिर्जना गर्दछ। विशेष गरी, तिनीहरू शोधकर्ताहरूले तल्लो नियन्त्रण र अधिक प्राकृतिक सेटिङहरू प्रयोगशाला प्रयोगका साथ सम्बद्ध छन् प्रयोगशाला प्रयोगका साथ कडा नियन्त्रण र प्रक्रिया डेटा जोड्न सक्षम हुन्छन्। यसको अतिरिक्त, डिजिटल क्षेत्र प्रयोगहरूले एनालॉग प्रयोगहरूमा कठिन तीनवटा अवसरहरू पनि प्रस्ताव गर्दछ।

पहिलो, जबकि एनालॉग प्रयोगशाला र क्षेत्र प्रयोगहरूमा सयौं सहभागिता छन्, डिजिटल क्षेत्र प्रयोगहरूमा लाखौं सहभागिता हुन सक्छ। यो परिवर्तन मापन हुन्छ किनभने केहि डिजिटल प्रयोगहरू शून्य चर लागतमा डेटा उत्पादन गर्न सक्दछ। यही छ, एकपटक शोधकर्ताहरूले एक प्रयोगात्मक पूर्वाधार सिर्जना गरेको छ, सामान्यतया प्रतिभागिहरु को संख्या बढाने को लागत मा वृद्धि गर्दैन। 100 वा धेरैको एक कारकका सहभागिताहरूको संख्या बढाउनु केवल एक मात्रात्मक परिवर्तन छैन; यो एक गुणात्मक परिवर्तन हो, किनभने यसले शोधकर्ताहरूलाई विभिन्न चीजहरू प्रयोगहरूबाट प्रयोग गर्न सक्षम बनाउँदछ (उदाहरणको लागि, उपचारको प्रभावको विरूपणता) र पूर्णतया फरक प्रयोगात्मक डिजाइनहरू (जस्तै, ठूलो-समूह प्रयोगहरू) चलाउन। यो बिन्दु धेरै महत्वपूर्ण छ, म यसलाई अध्यायको अन्त्यमा फिर्ता आउनेछु जब डिजिटल प्रयोगहरू सिर्जना गर्ने बारे सल्लाह प्रदान गर्दछु।

दोस्रो, जबकि अधिकांश एनालॉग प्रयोगशाला र क्षेत्र अनुभवहरूले असंगत विगेट्सको रूपमा भाग लिन्छन्, डिजिटल फिल्ड प्रयोगहरू प्रायः सहभागीहरूको बारेमा अनुसन्धान जानकारी को डिजाइन र विश्लेषण चरणहरु मा प्रयोग गर्दछ। यो पृष्ठभूमि जानकारी, जुन पूर्व-उपचार जानकारी भनिन्छ , प्राय: डिजिटल प्रयोगहरूमा उपलब्ध छ किनभने तिनीहरू सधैँ मापन प्रणालीको शीर्षमा दौडिरहेका छन् (अध्याय 2 हेर्नुहोस्)। उदाहरणको लागि, फेसबुकमा एक शोधकर्ताले विश्वविद्यालयको शोधकर्ता भन्दा धेरै डिजिटल प्रयोग प्रयोगमा मानिसहरूको बारेमा धेरै अधिक जानकारी प्राप्त गरेको छ यसको एनालग क्षेत्र प्रयोगको बारेमा। यो पूर्व-उपचारले अधिक कुशल प्रयोगात्मक डिजाइनहरू सक्षम गर्दछ - जस्तै अवरुद्ध (Higgins, Sävje, and Sekhon 2016) र प्रतिभागिहरु को लक्षित भर्ती (Eckles, Kizilcec, and Bakshy 2016) - र अधिक (Eckles, Kizilcec, and Bakshy 2016) विश्लेषण - जस्तै उपचार को प्रभाव को हिंसा को अनुमान (Athey and Imbens 2016a) र सुधारिएको परिशुद्धताको लागि उत्प्रेरित समायोजन (Bloniarz et al. 2016) ।

तेस्रो, जबकि धेरै एनालॉग प्रयोगशाला र क्षेत्र प्रयोगहरूले उपचार प्रदान गर्दछ र अपेक्षाकृत संकुचित मात्रामा नतिजाहरूको मापदण्ड गर्छ, केही डिजिटल क्षेत्र प्रयोगहरू धेरै समयका समय भन्दा बढी हुन्छ। उदाहरणका लागि, रिभिभो र भ्यान डे रिजको प्रयोगले 9 0 दिनको लागि नतिजा पायो, र एक प्रयोगमा मैले तपाईंलाई पछि उल्लेख गर्दछु (Ferraro, Miranda, and Price 2011) डिस्काउन्ट (Ferraro, Miranda, and Price 2011) तीन वर्ष भन्दा बढी नतिजाको परिणाममा आधारभूत रूपमा लागत। यी तीन अवसरों आकार, पूर्व-उपचार जानकारी, र दीर्घकालीन उपचार र परिणाम डेटा-प्रायः सामान्यतया जब प्रयोगहरू सधैँ मापन प्रणालीको शीर्षमा प्रयोग हुन्छन् (सधैँ मापन प्रणालीमा बढीका लागि अध्याय 2 हेर्नुहोस्)।

डिजिटल क्षेत्र प्रयोगहरूले धेरै सम्भावनाहरू प्रदान गर्दा, तिनीहरू एनालग प्रयोगशाला र एनालग क्षेत्र प्रयोगहरूमा केही कमजोरीहरू पनि साझेदारी गर्छन्। उदाहरणको लागि, विगतको अध्ययन गर्न प्रयोगहरू प्रयोग गर्न सकिँदैन, र तिनीहरूले केवल हेरचाह गर्न सक्ने असरहरूको असर अनुमान गर्न सक्छन्। साथै, नीतिनिर्देशनको लागि यद्यपि अनुभवहरू निस्सन्देही उपयोगी हुन्छन्, उनीहरूको प्रस्ताव प्रस्ताव गर्न सक्ने सही निर्देशन केही जटिलताहरू जस्तै पर्यावरणगत निर्भरता, अनुपालन समस्याहरू, र संतुलन प्रभावहरू (Banerjee and Duflo 2009; Deaton 2010) जस्ता सीमित छन्। डिजिटल क्षेत्र प्रयोगहरूले क्षेत्र प्रयोगहरूबाट उत्पन्न नैतिक चिन्ताहरू पनि बढाउँदछ - एउटा विषय म पछि यो अध्याय र अध्याय 6 मा ठेगाना गर्नेछु।