4.3 प्रयोगहरू दुई आयाम: ल्याब-क्षेत्र र एनालग-डिजिटल

प्रयोगशाला प्रयोगहरु क्षेत्र प्रयोगहरू यथार्थवाद प्रस्ताव, र डिजिटल क्षेत्र प्रयोगहरू मात्रा मा नियन्त्रण र यथार्थवाद संयोजन, नियन्त्रण प्रस्ताव।

परीक्षणहरू विभिन्न आकार र आकार मा आउनुहोस्। तर, यी मतभेद भए तापनि, अनुसन्धानकर्ताहरूले यो उपयोगी प्रयोगशाला प्रयोगहरु र क्षेत्र प्रयोगहरू बीच एक Continuum साथ प्रयोगहरू व्यवस्थित गर्न पाएका छन्। अब तथापि, अनुसन्धानकर्ताहरूले पनि प्रयोगहरू अनुरूप प्रयोगहरू र डिजिटल प्रयोगहरू बीच एक Continuum साथ संगठित गर्नुपर्छ। यो दुई-आयोमी डिजाइन ठाउँ तपाईं तागत र अलग अलग दृष्टिकोण को कमजोरी सबैभन्दा ठूलो मौका को क्षेत्रहरु (चित्रा 4.1) बुझ्न र सुझाव मदत गर्नेछ।

चित्रा 4.1: प्रयोगहरू लागि डिजाइन स्पेस योजनाबद्ध। विगतमा, प्रयोग गर्ने प्रयोगशाला-क्षेत्र आयाम साथ अंतर रहन्थ्यो। अब, तिनीहरूले पनि अनुरूप-डिजिटल आयाम मा फरक हुन्छन्। मेरो विचारमा, सबैभन्दा ठूलो मौका को क्षेत्र डिजिटल क्षेत्र प्रयोगहरू छ।

विगतमा, अनुसन्धानकर्ताहरूले प्रयोगहरू सङ्गठित गर्ने मुख्य तरिका ल्याब-क्षेत्र आयाम साथ थियो। सामाजिक विज्ञान मा प्रयोगहरू को बहुमत जहाँ स्नातक विद्यार्थीहरू पाठ्यक्रम क्रेडिट एक प्रयोगशाला मा अनौठो कार्यहरू प्रदर्शन प्रयोगशाला प्रयोगहरु छन्। यो सामाजिक व्यवहार बारेमा धेरै निश्चित सिद्धान्त परीक्षण गर्न डिजाइन धेरै विशिष्ट उपचार सिर्जना गर्न अनुसन्धानकर्ताहरूले सक्षम किनभने प्रयोग यस प्रकारको मनोविज्ञान मा अनुसन्धान हावी छ। केही समस्याहरु को लागि, तर, केही असामान्य मान्छे यस्तो यस्तो असामान्य सेटिङ यस्तो असामान्य कार्य देखि मानव व्यवहार बारे बलियो निष्कर्ष चित्रकला बारेमा एक बिट अनौठो महसुस। यी चिन्ता क्षेत्र प्रयोगहरू तिर एक आन्दोलन गर्न नेतृत्व गरेका छन्। क्षेत्र प्रयोगहरू यादृच्छिक नियन्त्रण प्रयोगहरू को बलियो डिजाइन सहभागी थप प्रतिनिधि समूहहरूसँग, प्रदर्शन र साधारण कार्यहरू, थप प्राकृतिक मा संयोजन।

केही मानिसहरू विधिहरू प्रतिस्पर्धा रूपमा प्रयोगशाला र क्षेत्र प्रयोगहरू विचार भए तापनि, यो फरक तागत र कमजोरी संग पूरक विधिहरू रूपमा तिनीहरूलाई सोच्न भन्दा राम्रो छ। उदाहरणका लागि, Correll, Benard, and Paik (2007) एक प्रयोगशाला प्रयोग र संयुक्त राज्य अमेरिका मा को स्रोतहरु "मातृत्व दण्ड।" फेला पार्न प्रयास मा एक क्षेत्र प्रयोग दुवै प्रयोग, आमा अपुताली महिला भन्दा कम पैसा कमाउन, हुँदा पनि यस्तै यस्तै जब काम कौशल संग तुलना महिला। यो ढाँचा लागि धेरै सम्भव व्याख्या हो, र एक कर्मचारीलाई आमा विरुद्ध biased छन् भन्ने छ। (चाखलाग्दो कुरा, विपरीत पुर्खाहरूले लागि साँचो जस्तो देखिन्छ: तिनीहरूले तुलना अपुताली मानिसहरूको भन्दा बढी कमाउन गर्छन)। ल्याब मा एक र खेतमा एक: आमा विरुद्ध सम्भव पूर्वाग्रह आकलन गर्न, Correll र सहयोगिहरु दुई प्रयोगहरू भाग्यो।

पहिलो, एक ल्याब प्रयोग मा Correll र सहयोगिहरु जो कलेज undergraduates थिए सहभागीहरू, एक क्यालिफोर्निया आधारित सुरु-अप संचार कम्पनी आफ्नो नयाँ पूर्वी तट मार्केटिङ विभाग नेतृत्व गर्न एक व्यक्ति को रोजगार खोज सञ्चालन भएको थियो बताए। विद्यार्थीहरूले कम्पनी हाइरिङ प्रक्रियामा आफ्नो सहयोग चाहियो र तिनीहरूले धेरै सम्भावित उम्मेदवारको रिजुमेहरू समीक्षा गर्न र यस्तो आफ्नो बुद्धि, स्नेह, र काम गर्न प्रतिबद्धता रूपमा आयामका एक नम्बर मा उम्मेदवार मूल्याङ्कन गर्न आग्रह गरेका थिए भनिएको थियो। यसबाहेक, विद्यार्थीहरू तिनीहरूले आवेदक र तिनीहरूले के सुरू तलब रूपमा सिफारिस भर्ती गर्न सिफारिस यदि सोधियो। विद्यार्थीहरू गर्न Unbeknownst तथापि, रिजुमेहरू विशेष एउटा कुरा बाहेक समान हुन निर्माण थिए: को रिजुमेहरू केही (अभिभावक-शिक्षक संघ संलग्नता सूची द्वारा) मातृत्व signaled र केही गरेनन्। Correll विद्यार्थीहरूले आमा भर्ती सिफारिस गर्न कम संभावना थिए र तिनीहरूलाई कम सुरूवात तलब चढाएको फेला परेन। यसबाहेक, मूल्यांकन र हाइरिङ-सम्बन्धित निर्णय दुवैको तथ्याङ्क विश्लेषण मार्फत, Correll कि आमा 'बेफाइदा धेरै हदसम्म आमा क्षमता र प्रतिबद्धता मामलामा कम मूल्याङ्कन थिए भन्ने तथ्यलाई द्वारा बताए थिए फेला परेन। अर्को शब्दमा, Correll यस्ता गुणले आमा विपन्न छन् जो मार्फत संयन्त्र हो भनेर तर्क छ। तसर्थ, यो ल्याब प्रयोग एक causal प्रभाव मापन र प्रभाव लागि एक सम्भव विवरण प्रदान गर्न Correll र सहयोगिहरु दिनुभयो।

निस्सन्देह, एक सम्पूर्ण अमेरिकी श्रम केहि सय undergraduates शायद कहिल्यै, पूर्ण समय काम थियो एक्लै मान्छे राखएको छ जो को निर्णय मा आधारित बजार बारेमा निष्कर्ष चित्रकला बारेमा संदेह हुन सक्छ। तसर्थ, Correll र सहयोगिहरु पनि पूरक क्षेत्र प्रयोग सञ्चालन। नक्कली आवरण अक्षर र रिजुमेहरू मा पठाएर विज्ञापन काम खुलने सयौं प्रतिक्रिया शोधकर्ताओं। को undergraduates देखाइएको सामाग्री समान, केही रिजुमेहरू मातृत्व signaled र केही गरेनन्। Correll र सहयोगिहरु आमा कम उत्तिकै योग्य अपुताली महिला भन्दा साक्षात्कार को लागि भनिन्छ गर्न फिर्ता संभावना थिए फेला परेन। अर्को शब्दमा, प्राकृतिक सेटिंग मा परिआउने निर्णय वास्तविक हाकिमहरूले धेरै undergraduates जस्तै गऱ्यौ। तिनीहरूले नै कारणले पनि त्यस्तै निर्णय गर्नुभयो? दुर्भाग्यवश, हामीलाई थाहा छैन। शोधकर्ताओं उम्मेदवार मूल्याङ्कन वा आफ्नो निर्णय व्याख्या गर्न हाकिमहरूले सोध्न गर्न सकेनौं।

प्रयोगहरू को यो जोडी सामान्य मा प्रयोगशाला र क्षेत्र प्रयोगहरू बारेमा धेरै प्रकट गर्छ। प्रयोगशाला प्रयोगहरु जो सहभागी निर्णय गर्दै वातावरण को कुल नियन्त्रण नजिकै अनुसन्धानकर्ताहरूले प्रस्ताव। त्यसैले, उदाहरणका लागि, ल्याब प्रयोग मा, Correll सबै रिजुमेहरू एक शान्त सेटिङ मा पढ्न थिए भन्ने सुनिश्चित गर्न सक्षम थियो; क्षेत्र प्रयोग मा, रिजुमेहरू केही पनि पढ्न सक्छ गरिएको। यसबाहेक, ल्याब सेटिङ सहभागी तिनीहरूले अध्ययन भइरहेको छ भनेर थाहा किनभने, अनुसन्धानकर्ताहरूले अक्सर किन सहभागीहरू आफ्नो निर्णय गर्दै तिनीहरूलाई बुझ्न मदत गर्न सक्छ कि अतिरिक्त डाटा सङ्कलन गर्न सक्षम छन्। उदाहरणका लागि, Correll विभिन्न आयाम मा उम्मेदवार मूल्याङ्कन गर्न प्रयोगशाला प्रयोग सहभागी सोधे। प्रक्रिया डाटा यस प्रकारको अनुसन्धानकर्ताहरूले सहभागीहरू को रिजुमेहरू कसरी व्यवहार मा मतभेद पछि संयन्त्र बुझ्न मदत गर्न सक्छ।

अर्कोतर्फ, म सिर्फ लाभ रूपमा वर्णन गरिएको छ कि यी नै सटीक विशेषताहरु पनि कहिलेकाहीं बेफाइदा मानिन्छ। जो क्षेत्र प्रयोगहरू रुचि अनुसन्धानकर्ताहरूले तिनीहरूले नजिकबाट अवलोकन भइरहेको गर्दा प्रयोगशाला प्रयोगहरु सहभागी कार्य धेरै फरक सक्ने तर्क। उदाहरणका लागि, ल्याब मा प्रयोग सहभागीहरू अनुसन्धान को लक्ष्य अंदाजा र biased देखा छैन ताकि तिनीहरूको व्यवहार बदल गरेको हुन सक्छ। यसबाहेक, जसले क्षेत्र प्रयोगहरू रुचि रिजुमेहरू त्यस सानो मतभेद तर्क सक्छ अनुसन्धानकर्ताहरूले मात्र धेरै सफा, बाँझ प्रयोगशाला वातावरणमा बाहिर खडा गर्न सक्छन्, र यसरी ल्याब प्रयोग वास्तविक हाइरिङ निर्णय मा मातृत्व को प्रभाव-अनुमान हुनेछ। मुख्य रूप पश्चिमी शिक्षित, औद्योगिक, धनी देखि विद्यार्थीहरू र लोकतान्त्रिक देशहरूमा: अन्तमा, क्षेत्र प्रयोगहरू धेरै प्रेरकों अजीब सहभागीहरू मा प्रयोगशाला प्रयोगहरु रिलायन्स आलोचना (Henrich, Heine, and Norenzayan 2010) । Correll र सहयोगिहरु द्वारा प्रयोगहरू (2007) ल्याब-क्षेत्र Continuum मा दुई अचाक्ली चित्रण। यी दुई अचाक्ली बीच त्यहाँ यस्तो प्रयोगशाला मा गैर-विद्यार्थी ल्याउन वा फिल्डमा जाँदै तर अझै पनि सहभागीहरू एक असामान्य कार्य प्रदर्शन भएको दृष्टिकोण सहित संकर डिजाइन को एक किसिम हो।

एनालग-डिजिटल: विगतमा अस्तित्व छ कि प्रयोगशाला-क्षेत्र आयाम साथै, डिजिटल उमेर अनुसन्धानकर्ताहरूले अब प्रयोगहरू भिन्न हुन सक्छन् जो साथ दोस्रो प्रमुख आयाम छन् भन्ने हो। त्यहाँ शुद्ध ल्याब प्रयोग, शुद्ध क्षेत्र प्रयोग, र बीच मा संकर को एक किसिम हो जसरी, त्यहाँ शुद्ध अनुरूप प्रयोग, शुद्ध डिजिटल प्रयोग, र संकर को एक किसिम हो। यो परिमाण को एक औपचारिक परिभाषा प्रदान गर्न मुश्किल छ, तर एक उपयोगी काम परिभाषा पूर्ण डिजिटल प्रयोग, सहभागीहरू रंगरुट बनाएं उपचार प्रदान गर्न, र परिणाम मापन डिजिटल पूर्वाधार प्रयोग गर्ने प्रयोगपरिक्षणहरू छन् भन्ने छ। उदाहरणका लागि, Restivo र भ्यान डे Rijt गरेको (2012) यी कदम को सबै चार लागि डिजिटल प्रणाली प्रयोग किनभने barnstars को अध्ययन र विकिपीडिया एउटा पूर्णतया डिजिटल प्रयोग थियो। त्यस्तै गरी पूर्ण अनुरूप प्रयोगहरू यी चार कदम कुनै पनि लागि डिजिटल पूर्वाधार प्रयोग गर्छन् कि प्रयोगहरू छन्। मनोविज्ञान मा क्लासिक प्रयोगहरू धेरै अनुरूप प्रयोगहरू छन्। यी दुई अचाक्ली बीच त्यहाँ आंशिक चार कदम लागि एनालग र डिजिटल प्रणाली संयोजन प्रयोग डिजिटल प्रयोगहरू छन्।

Critically, को अवसर बस अनलाइन डिजिटल प्रयोगहरू छैनन् चलान। अनुसन्धानकर्ताहरूले उपचार छुटकारा वा परिणाम मापन गर्न भौतिक संसारमा डिजिटल उपकरणहरू प्रयोग गरेर आंशिक डिजिटल प्रयोगहरू चल्न सक्छ। उदाहरणका लागि, अनुसन्धानकर्ताहरूले परिणाम मापन गर्न निर्माण वातावरणमा उपचार वा सेन्सर छुटाउन स्मार्ट फोन प्रयोग गर्न सक्छ। वास्तवमा, हामी यस अध्यायमा पछि देख्ने रूपमा, अनुसन्धानकर्ताहरूले पहिले नै घर शक्ति मीटर सामाजिक मान्यता र ऊर्जा खपत मुछिएको घरपरिवारले 8.5 लाख प्रयोगहरू मा परिणाम मापन गर्न प्रयोग गरेका छन् (Allcott 2015) । डिजिटल उपकरणहरू झन् मानिसहरूको जीवन मा एकीकृत हुन र सेन्सर निर्मित वातावरण मा एकीकृत हुँदा, भौतिक संसारमा आंशिक डिजिटल प्रयोगहरू सञ्चालन गर्न यी अवसर नाटकीय वृद्धि हुनेछ। अर्को शब्दमा, डिजिटल प्रयोगहरू केवल अनलाइन प्रयोगहरू छन्।

डिजिटल प्रणाली जताततै ल्याब-क्षेत्र Continuum साथ प्रयोगहरू लागि नयाँ सम्भावनाहरू सिर्जना गर्नुहोस्। शुद्ध प्रयोगशाला प्रयोगहरु मा, उदाहरणका लागि, अनुसन्धानकर्ताहरूले सहभागीहरू व्यवहार को बेहतर मापन लागि डिजिटल प्रणाली प्रयोग गर्न सक्नुहुन्छ; सुधारिएको मापन यस प्रकारको को एउटा उदाहरण Gaze स्थान को सटीक र लगातार उपाय प्रदान गर्दछ जो आँखा-ट्रयाक उपकरण छ। डिजिटल उमेर पनि अनलाइन ल्याब-जस्तो प्रयोगहरू चलान संभावना सिर्जना गर्छ। उदाहरणका लागि, अनुसन्धानकर्ताहरूले तीव्र गतिमा अमेजन यांत्रिक टर्क (MTurk) अनलाइन प्रयोगहरू लागि सहभागीहरू (चित्रा 4.2) रंगरुट गर्न अँगालेका छन्। MTurk मुद्रा को लागि ती कार्यहरू पूरा गर्न चाहनेहरूको "कामदारहरूको" संग पूरा गर्न भनेर आवश्यक कार्यहरू भएका "हाकिमहरूले" मेल खाने। परम्परागत श्रम बजार विपरीत तथापि, सामान्यतया संलग्न कार्य मात्र केही मिनेट पूरा गर्न आवश्यक र कर्मचारी र कामदार बीच सम्पूर्ण अन्तरक्रिया भर्चुअल छ। परम्परागत प्रयोगशाला प्रयोगहरु-तिर्ने मान्छे को MTurk नकल पक्षहरू तिनीहरूले के छैन भनेर कार्य पूरा गर्न किनभने स्वतन्त्र यसलाई स्वाभाविक प्रयोगहरू केहि प्रकारको अनुकूल छ। मूलतः, MTurk सहभागीहरू-भर्ती को एक पूल व्यवस्थापन गर्न र मान्छे-र अनुसन्धानकर्ताहरूले सहभागी एक सधैं उपलब्ध पूल मा नल कि पूर्वाधार फाइदा लिएका छन् तिर्ने लागि पूर्वाधार सिर्जना गरेको छ।

चित्रा 4.2: पेपर्स डाटा प्रयोग प्रकाशित अमेजन यांत्रिक टर्क (MTurk) देखि (Bohannon 2016) । MTurk र अन्य अनलाइन श्रम बजार अनुसन्धानकर्ताहरूले प्रयोगहरू लागि सहभागीहरू रंगरुट एउटा सुविधाजनक बाटो प्रस्ताव।

डिजिटल प्रयोगहरू क्षेत्र-जस्तो प्रयोगहरू लागि पनि थप सम्भावनाहरू सिर्जना गर्नुहोस्। डिजिटल क्षेत्र प्रयोगहरू सम्भव तंत्र (ल्याब प्रयोगहरू जस्तै) र थप विविध सहभागीहरू एक प्राकृतिक वातावरण (क्षेत्र प्रयोगहरू जस्तै) मा वास्तविक निर्णयहरू बुझ्न तंग नियन्त्रण र प्रक्रिया डाटा प्रस्ताव गर्न सक्नुहुन्छ। पहिले प्रयोगहरू को राम्रो विशेषता यो संयोजन साथै, डिजिटल क्षेत्र प्रयोगहरू पनि एनालग प्रयोगशाला र क्षेत्र प्रयोगहरू मा कठिन थिए तीनवटा अवसर प्रदान।

पहिलो, सबै भन्दा अनुरूप प्रयोगशाला र क्षेत्र प्रयोगहरू सहभागी सयौं छ जबकि, डिजिटल क्षेत्र प्रयोगहरू सहभागी लाखौं हुन सक्छ। केही डिजिटल प्रयोगहरू शून्य चर लागत मा डाटा उत्पादन गर्न सक्छन् किनभने मात्रा मा यो परिवर्तन हो। एक पटक अनुसन्धानकर्ताहरूले सामान्यतया लागत वृद्धि गर्दैन सहभागी संख्या वृद्धि, एउटा प्रयोगात्मक पूर्वाधार सिर्जना गरेको छ। 100 वा थप कारक द्वारा सहभागी संख्या वृद्धि केवल एक मात्रात्मक परिवर्तन हो, यो प्रयोगहरू (जस्तै, उपचार प्रभाव heterogeneity) र सम्पूर्ण फरक प्रयोगात्मक डिजाइन चलान (फरक कुरा सिक्न अनुसन्धानकर्ताहरूले सक्षम किनभने, एक गुणात्मक परिवर्तन छ जस्तै, ठूलो समूह प्रयोगहरू)। यो बिन्दु महत्त्वपूर्ण छ, म जब म डिजिटल प्रयोगहरू सिर्जना गर्ने बारे सल्लाह प्रस्ताव अध्याय को अन्त्यतिर यो फर्कन छौँ।

दोस्रो, जबकि सबैभन्दा अनुरूप प्रयोगशाला र क्षेत्र प्रयोगहरू सहभागीहरू व्यवहार रूपमा अप्रभेद्य विजेट, डिजिटल क्षेत्र प्रयोगहरू अक्सर अनुसन्धान को डिजाइन र विश्लेषण चरणमा सहभागीहरू बारेमा पृष्ठभूमि जानकारी प्रयोग गर्नुहोस्। तिनीहरूले पूर्णतया मापन वातावरणमा ठाउँ लिन कारण यो पृष्ठभूमि जानकारी, पूर्व-उपचार जानकारी भनिन्छ जो, अक्सर डिजिटल प्रयोगहरू मा उपलब्ध छ। उदाहरणका लागि, फेसबुक मा एक शोधकर्ता undergraduates संग एक मानक प्रयोगशाला प्रयोग डिजाइन एक शोधकर्ता भन्दा धेरै पूर्व-उपचार जानकारी छ। यो पूर्व-उपचार जानकारी सहभागीहरू रूपमा अप्रभेद्य विजेट उपचार परे सार्न अनुसन्धानकर्ताहरूले सक्षम बनाउँछ। थप विशेष, पूर्व-उपचार जानकारी अधिक कुशल प्रयोगात्मक डिजाइन-यस्तो अवरुद्ध रूपमा सक्षम (Higgins, Sävje, and Sekhon 2016) र सहभागी लक्षित भर्ती (Eckles, Kizilcec, and Bakshy 2016) heterogeneity को अनुमान रूपमा -and थप Insightful यस्तो विश्लेषण- उपचार प्रभाव (Athey and Imbens 2016a) र सुधार सटीक लागि covariate समायोजन (Bloniarz et al. 2016) ।

तेस्रो, जबकि धेरै अनुरूप प्रयोगशाला र क्षेत्र प्रयोगहरू समय को एक अपेक्षाकृत संकुचित रकम मा उपचार र उपाय परिणाम छुटकारा, केही डिजिटल क्षेत्र प्रयोगहरू समय वितरण कि र गर्न सक्छन् प्रभाव पनि समय मापन गर्न सकिन्छ उपचार पनि सम्बन्धित छन्। उदाहरणका लागि, Restivo र भ्यान डे Rijt गरेको प्रयोग 90 दिनको लागि दैनिक मापन नतिजा छ, र प्रयोगहरू मध्ये एक म तपाईंलाई अध्यायमा बारेमा पछि बताउन छौँ (Ferraro, Miranda, and Price 2011) मूलतः मा 3 वर्ष परिणाम ट्रकहरु कुनै लागत। यी तीन अवसर-आकार, पूर्व-उपचार जानकारी, र अनुदैर्ध्य उपचार र नतिजा भन्दा साधारण डाटा-हुँदा प्रयोगहरू को शीर्ष मा चलान छन् सधैं-माप प्रणाली (सधैं-मापन प्रणाली मा थप अध्याय 2 हेर्नुहोस्)।

जबकि डिजिटल क्षेत्र प्रयोगहरू धेरै सम्भावनाहरू प्रस्ताव, तिनीहरूले पनि एनालग प्रयोगशाला र क्षेत्र प्रयोगहरू दुवै केही कमजोरी साझेदारी गर्नुहोस्। उदाहरणका लागि, प्रयोग पछिल्लो अध्ययन गर्न प्रयोग गर्न सक्नुहुन्छ, र तिनीहरूले manipulated गर्न सकिन्छ भनेर उपचार को प्रभाव मात्र अनुमान गर्न सक्नुहुन्छ। साथै, हुनत प्रयोगहरू नीति मार्गदर्शन गर्न उपयोगी पक्कै हो, सही निर्देशन तिनीहरूले प्रस्ताव किनभने यस्तो पर्यावरण निर्भरता, अनुपालन समस्या, र संतुलन प्रभाव रूपमा जटिलताहरुलाई केहि सीमित छ (Banerjee and Duflo 2009; Deaton 2010) । अन्तमा, डिजिटल क्षेत्र प्रयोगहरू क्षेत्र प्रयोगहरू द्वारा सिर्जना नैतिक चिन्ता महिमा। क्षेत्र प्रयोगहरू को प्रेरकों unobtrusively र अनियमित लाखौं गरेको परिआउने निर्णय मा हस्तक्षेप गर्न आफ्नो क्षमता बिगुल। यी सुविधाहरू निश्चित वैज्ञानिक लाभ प्रस्ताव, तर तिनीहरूले पनि क्षेत्र प्रयोगहरू नैतिकता जटिल बनाउन सक्छ (यो सोच्न अनुसन्धानकर्ताहरूले एक विशाल मात्रा मा "प्रयोगशाला चूहहरुमा" जस्तै मान्छे उपचार रूपमा)। यसबाहेक, सहभागीहरू गर्न सम्भव हानि बाहेक, डिजिटल क्षेत्र प्रयोग, किनभने आफ्नो मात्रा को पनि काम सामाजिक प्रणाली को अवरोध बारेमा चिन्ता हुर्काउन सक्छन् (जस्तै, विकिपीडिया गरेको इनाम सिस्टम disrupting Restivo र वैन der Rijt धेरै barnstars दिनुभयो भने बारेमा चिन्ता) ।