आगे क्या पढ़ना है
- परिचय (धारा 5.1)
मास सहयोग नागरिक विज्ञान , भीड़ संसाधन , और सामूहिक बुद्धि से विचारों को मिलाता है। नागरिक विज्ञान का अर्थ आमतौर पर वैज्ञानिक प्रक्रिया में "नागरिक" (यानी, गैर-वैज्ञानिक) शामिल है; अधिक के लिए, देखें Crain, Cooper, and Dickinson (2014) और Bonney et al. (2014) । क्रॉडसोर्सिंग का मतलब आम तौर पर एक संगठन के भीतर हल की गई समस्या को हल करना और इसके बजाय भीड़ को आउटसोर्स करना; अधिक के लिए, Howe (2009) । सामूहिक खुफिया आमतौर पर उन व्यक्तियों के समूह का अर्थ है जो सामूहिक रूप से बुद्धिमानी से काम करते हैं; अधिक के लिए, Malone and Bernstein (2015) । Nielsen (2012) वैज्ञानिक अनुसंधान के लिए जन सहयोग की शक्ति के लिए एक पुस्तक-लंबाई परिचय है।
ऐसे कई प्रकार के जन सहयोग हैं जो मैंने प्रस्तावित तीन श्रेणियों में अच्छी तरह से फिट नहीं हैं, और मुझे लगता है कि इनमें से तीन विशेष ध्यान देने योग्य हैं क्योंकि वे सामाजिक शोध में उपयोगी हो सकते हैं। एक उदाहरण भविष्यवाणी बाजार है, जहां प्रतिभागी दुनिया में होने वाले परिणामों के आधार पर रिडीम करने योग्य अनुबंध खरीदते हैं और व्यापार करते हैं। अनुमानित बाजारों का पूर्वानुमान अक्सर फर्मों और सरकारों द्वारा भविष्यवाणी के लिए किया जाता है, और इन्हें सामाजिक शोधकर्ताओं द्वारा मनोविज्ञान (Dreber et al. 2015) में प्रकाशित अध्ययन की प्रतिकृति की भविष्यवाणी करने के लिए भी उपयोग किया जाता है। पूर्वानुमान बाजारों के अवलोकन के लिए, Wolfers and Zitzewitz (2004) और Arrow et al. (2008) ।
एक दूसरा उदाहरण जो मेरी वर्गीकरण योजना में अच्छी तरह फिट नहीं है पॉलीमाथ प्रोजेक्ट है, जहां शोधकर्ताओं ने नए गणित प्रमेय साबित करने के लिए ब्लॉग और विकी का उपयोग करके सहयोग किया। पॉलीमाथ प्रोजेक्ट नेटफ्लिक्स पुरस्कार के समान कुछ तरीकों से है, लेकिन इस परियोजना में प्रतिभागियों ने दूसरों के आंशिक समाधानों पर अधिक सक्रिय रूप से बनाया है। पॉलीमाथ प्रोजेक्ट पर अधिक जानकारी के लिए, Gowers and Nielsen (2009) , Kloumann et al. (2016) और Kloumann et al. (2016) Cranshaw and Kittur (2011) , Nielsen (2012) , और Kloumann et al. (2016) ।
एक तीसरा उदाहरण जो मेरी वर्गीकरण योजना में अच्छी तरह फिट नहीं है, समय-निर्भर आंदोलन जैसे रक्षा उन्नत अनुसंधान परियोजना एजेंसी (डीएआरपीए) नेटवर्क चैलेंज (यानी, लाल गुब्बारा चुनौती) है। इन समय-संवेदनशील आंदोलनों पर अधिक के लिए Pickard et al. (2011) देखें Pickard et al. (2011) , Tang et al. (2011) , और Rutherford et al. (2013) ।
- मानव गणना (धारा 5.2)
"मानव गणना" शब्द कंप्यूटर वैज्ञानिकों द्वारा किए गए कार्यों से बाहर आता है, और इस शोध के पीछे के संदर्भ को समझने से आपकी समस्याओं को चुनने की क्षमता में सुधार होगा जो इसके लिए उपयुक्त हो सकता है। कुछ कार्यों के लिए, कंप्यूटर अविश्वसनीय रूप से शक्तिशाली हैं, जिनकी क्षमता विशेषज्ञों के विशेषज्ञों से कहीं अधिक है। उदाहरण के लिए, शतरंज में, कंप्यूटर भी सर्वश्रेष्ठ दादाओं को हरा सकते हैं। लेकिन- और सामाजिक वैज्ञानिकों द्वारा इसकी सराहना की जाती है- अन्य कार्यों के लिए, कंप्यूटर वास्तव में लोगों की तुलना में बहुत खराब हैं। दूसरे शब्दों में, फिलहाल आप छवियों, वीडियो, ऑडियो और टेक्स्ट की प्रसंस्करण से जुड़े कुछ कार्यों में सबसे परिष्कृत कंप्यूटर से भी बेहतर हैं। इन कठिन कंप्यूटरों के लिए आसान कंप्यूटर कार्यों पर काम कर रहे कंप्यूटर वैज्ञानिकों ने इसलिए महसूस किया कि वे मनुष्यों को उनकी कम्प्यूटेशनल प्रक्रिया में शामिल कर सकते हैं। यहां बताया गया है कि कैसे लुइस वॉन आह (2005) ने मानव गणना का वर्णन किया जब उन्होंने पहली बार अपने शोध प्रबंध में शब्द बनाया: "मानव प्रसंस्करण शक्ति का उपयोग करने के लिए एक प्रतिमान जो कंप्यूटर अभी तक हल नहीं कर सकता है।" मानव गणना के एक पुस्तक-लंबाई उपचार के लिए, शब्द की सबसे सामान्य भावना, Law and Ahn (2011) ।
अहन Ahn (2005) फोल्डिट में प्रस्तावित परिभाषा के अनुसार- जिसे मैंने खुले कॉल पर अनुभाग में वर्णित किया है- को मानव गणना परियोजना माना जा सकता है। हालांकि, मैं फोल्डिट को एक खुली कॉल के रूप में वर्गीकृत करना चुनता हूं क्योंकि इसे विशेष कौशल की आवश्यकता होती है (हालांकि आवश्यक रूप से औपचारिक प्रशिक्षण नहीं) और स्प्लिट-लागू-संयोजन रणनीति का उपयोग करने के बजाय इसका सबसे अच्छा समाधान योगदान होता है।
सांख्यिकीय कंप्यूटिंग के लिए रणनीति का वर्णन करने के लिए "स्प्लिट-एप-गठबंधन" शब्द का उपयोग Wickham (2011) द्वारा किया गया था, लेकिन यह कई मानवीय गणना परियोजनाओं की प्रक्रिया को पूरी तरह से कैप्चर करता है। विभाजन-लागू-संयोजन रणनीति Google पर विकसित MapReduce ढांचे के समान है; MapReduce पर अधिक जानकारी के लिए, Dean and Ghemawat (2004) और Dean and Ghemawat (2008) । अन्य वितरित कंप्यूटिंग आर्किटेक्चर पर अधिक जानकारी के लिए, Vo and Silvia (2016) । Law and Ahn (2011) अध्याय 3 में इस अध्याय में उन लोगों की तुलना में अधिक जटिल गठबंधन चरणों के साथ परियोजनाओं की चर्चा है।
अध्याय में चर्चा की गई मानव गणना परियोजनाओं में, प्रतिभागियों को पता था कि क्या हो रहा था। हालांकि, कुछ अन्य परियोजनाएं "काम" को पकड़ने की तलाश में हैं जो पहले से ही हो रही है (ईबर्ड के समान) और प्रतिभागी जागरूकता के बिना। उदाहरण के लिए, ईएसपी गेम (Ahn and Dabbish 2004) और (Ahn and Dabbish 2004) (Ahn et al. 2008) । हालांकि, इन दोनों परियोजनाओं में नैतिक प्रश्न भी उठाए गए हैं क्योंकि प्रतिभागियों को यह नहीं पता था कि उनके डेटा का उपयोग कैसे किया जा रहा था (Zittrain 2008; Lung 2012) ।
ईएसपी गेम से प्रेरित, कई शोधकर्ताओं ने अन्य "एक उद्देश्य के साथ खेल" (Ahn and Dabbish 2008) (यानी, "मानव-आधारित गणना खेलों" (Pe-Than, Goh, and Lee 2015) विकसित करने का प्रयास किया है) जो हो सकता है विभिन्न समस्याओं को हल करने के लिए प्रयोग किया जाता है। ये "उद्देश्य के साथ खेल" में आम बात यह है कि वे मानवीय गणना में शामिल कार्यों को आनंददायक बनाने की कोशिश करते हैं। इस प्रकार, जबकि ईएसपी गेम गैलेक्सी चिड़ियाघर के साथ एक ही विभाजन-लागू-गठबंधन संरचना साझा करता है, यह इस बात से भिन्न होता है कि प्रतिभागियों को विज्ञान की मदद करने के लिए प्रेरित-मजेदार बनाम इच्छा कैसे होती है। एक उद्देश्य के साथ खेल के लिए, Ahn and Dabbish (2008) ।
गैलेक्सी चिड़ियाघर का मेरा विवरण Nielsen (2012) , Adams (2012) , Clery (2011) , और Hand (2010) पर आकर्षित करता है, और गैलेक्सी चिड़ियाघर के शोध लक्ष्यों की मेरी प्रस्तुति को सरल बनाया गया था। खगोल विज्ञान में आकाशगंगा वर्गीकरण के इतिहास और गैलेक्सी चिड़ियाघर इस परंपरा को जारी रखने के इतिहास के बारे में अधिक जानकारी के लिए, Masters (2012) और Marshall, Lintott, and Fletcher (2015) । गैलेक्सी चिड़ियाघर पर बिल्डिंग, शोधकर्ताओं ने गैलेक्सी चिड़ियाघर 2 पूरा किया जिसने स्वयंसेवकों (Masters et al. 2011) से 60 मिलियन से अधिक जटिल मोर्फोलॉजिकल वर्गीकरण एकत्र किए। इसके अलावा, उन्होंने चंद्रमा की सतह की खोज, ग्रहों की खोज और पुराने दस्तावेजों को स्थानांतरित करने सहित आकाशगंगा के आकार के बाहर की समस्याओं में ब्रांच किया। वर्तमान में, उनकी सभी परियोजनाएं ज़ूनीर वेबसाइट (Cox et al. 2015) में एकत्र की जाती हैं। परियोजनाओं में से एक - स्नैपशॉट सेरेनेगी- सबूत प्रदान करता है कि गैलेक्सी चिड़ियाघर-प्रकार छवि वर्गीकरण परियोजनाएं पर्यावरण अनुसंधान (Swanson et al. 2016) लिए भी की जा सकती हैं।
एक मानव गणना परियोजना, Chandler, Paolacci, and Mueller (2013) और J. Wang, Ipeirotis, and Provost (2015) लिए एक माइक्रोट्रस्क श्रम बाजार (उदाहरण के लिए, अमेज़ॅन मैकेनिकल तुर्क) का उपयोग करने की योजना बनाने वाले शोधकर्ताओं के लिए कार्य डिजाइन पर अच्छी सलाह देते हैं और अन्य संबंधित मुद्दों। Porter, Verdery, and Gaddis (2016) विशेष रूप से माइक्रोटस्क श्रम बाजारों के उपयोग पर ध्यान केंद्रित करते हुए उदाहरण और सलाह प्रदान करते हैं, जिसे वे "डेटा वृद्धि" कहते हैं। डेटा वृद्धि और डेटा संग्रह के बीच की रेखा कुछ हद तक धुंधली है। टेक्स्ट के लिए पर्यवेक्षित शिक्षा के लिए लेबल एकत्र करने और उपयोग करने के लिए, Grimmer and Stewart (2013) ।
शोधकर्ताओं ने जो कम्प्यूटर-सहायता मानव गणना प्रणाली (उदाहरण के लिए, मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए मानव लेबल का उपयोग करने वाले सिस्टम) कहलाते हैं, बनाने में रुचि रखते हैं, उन्हें Shamir et al. (2014) में रुचि हो सकती है Shamir et al. (2014) (ऑडियो का उपयोग करने के उदाहरण के लिए) और Cheng and Bernstein (2015) । साथ ही, इन परियोजनाओं में मशीन लर्निंग मॉडल को खुली कॉल के साथ अनुरोध किया जा सकता है, जिससे शोधकर्ता सबसे अच्छा भविष्यवाणी प्रदर्शन के साथ मशीन लर्निंग मॉडल बनाने के लिए प्रतिस्पर्धा करते हैं। उदाहरण के लिए, गैलेक्सी चिड़ियाघर टीम ने एक खुली कॉल चलाई और एक नया दृष्टिकोण पाया जो Banerji et al. (2010) में विकसित एक से बेहतर प्रदर्शन किया Banerji et al. (2010) ; विवरण के लिए Dieleman, Willett, and Dambre (2015) देखें।
- ओपन कॉल (सेक्शन 5.3)
ओपन कॉल नई नहीं हैं। वास्तव में, सबसे प्रसिद्ध खुली कॉलों में से एक 1714 तक की तारीख है जब ब्रिटेन की संसद ने किसी भी व्यक्ति के लिए दीर्घायु पुरस्कार बनाया जो समुद्र में जहाज के देशांतर के निर्धारण का एक तरीका विकसित कर सकता था। इस समस्या ने आइजैक न्यूटन समेत दिनों के सबसे महान वैज्ञानिकों को फेंक दिया, और विजेता समाधान अंततः ग्रामीण इलाके के एक घड़ी निर्माता जॉन हैरिसन ने प्रस्तुत किया, जिन्होंने उन समाधानों पर ध्यान केंद्रित किया जो समाधान पर केंद्रित थे जो किसी भी तरह खगोल विज्ञान ; अधिक जानकारी के लिए, Sobel (1996) । जैसा कि इस उदाहरण से पता चलता है, एक कारण है कि खुली कॉलों को इतनी अच्छी तरह से काम करने के लिए सोचा जाता है कि वे विभिन्न दृष्टिकोण और कौशल (Boudreau and Lakhani 2013) लोगों तक पहुंच प्रदान करते हैं। समस्या हल करने में विविधता के मूल्य पर अधिक के लिए Hong and Page (2004) और Page (2008) ।
अध्याय में खुले कॉल मामलों में से प्रत्येक को इस श्रेणी में क्यों संबंधित है इसके बारे में कुछ और स्पष्टीकरण की आवश्यकता है। सबसे पहले, मैं मानव गणना और खुली कॉल परियोजनाओं के बीच अंतर करने का एक तरीका यह है कि आउटपुट सभी समाधानों (मानव गणना) या सर्वोत्तम समाधान (खुली कॉल) का औसत है। नेटफ्लिक्स पुरस्कार इस संबंध में कुछ हद तक मुश्किल है क्योंकि सबसे अच्छा समाधान व्यक्तिगत समाधानों का एक परिष्कृत औसत साबित हुआ है, एक दृष्टिकोण जिसे एक पहनावा समाधान (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) । नेटफ्लिक्स के परिप्रेक्ष्य से, हालांकि, उन्हें बस इतना करना था कि वह सबसे अच्छा समाधान उठाए। नेटफ्लिक्स पुरस्कार पर अधिक जानकारी के लिए, Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , और Feuerverger, He, and Khatri (2012) ।
दूसरा, मानव गणना के कुछ परिभाषाओं (उदाहरण के लिए, अहन Ahn (2005) ), फोल्डिट को मानव गणना परियोजना माना जाना चाहिए। हालांकि, मैं इसे एक खुली कॉल के रूप में वर्गीकृत करना चुनता हूं क्योंकि इसे विशेष कौशल (हालांकि आवश्यक रूप से विशेष प्रशिक्षण नहीं) की आवश्यकता होती है और यह एक विभाजन-लागू-संयोजन रणनीति का उपयोग करने के बजाय सबसे अच्छा समाधान लेता है। फोल्डिट पर अधिक जानकारी के लिए, Cooper et al. (2010) , Khatib et al. (2011) , और Andersen et al. (2012) ; फोल्डिट का मेरा विवरण बोहन्नॉन Bohannon (2009) , Hand (2010) , और Nielsen (2012) में विवरणों पर आकर्षित करता है।
अंत में, कोई तर्क दे सकता है कि पीयर-टू-पेटेंट वितरित डेटा संग्रह का एक उदाहरण है। मैं इसे एक खुली कॉल के रूप में शामिल करना चुनता हूं क्योंकि इसमें प्रतिस्पर्धा जैसी संरचना होती है और केवल सर्वोत्तम योगदान का उपयोग किया जाता है, जबकि वितरित डेटा संग्रह के साथ, अच्छे और बुरे योगदानों का विचार कम स्पष्ट होता है। पीयर-टू-पेटेंट पर अधिक जानकारी के लिए, Noveck (2006) Ledford (2007) , Noveck (2009) Ledford (2007) , Noveck (2009) , और Bestor and Hamp (2010) ।
सामाजिक शोध में खुली कॉल का उपयोग करने के मामले में, Glaeser et al. (2016) समान परिणाम Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) अध्याय 10 में रिपोर्ट किया गया है, जिससे न्यूयॉर्क शहर आवास निरीक्षकों की उत्पादकता में बड़े लाभ पैदा करने के लिए भविष्यवाणी मॉडलिंग का उपयोग करने में सक्षम था। न्यूयॉर्क शहर में, इन भविष्यवाणियों के मॉडल शहर के कर्मचारियों द्वारा बनाए गए थे, लेकिन अन्य मामलों में, कोई कल्पना कर सकता था कि उन्हें खुली कॉल के साथ बनाया या सुधार किया जा सकता है (उदाहरण के लिए, Glaeser et al. (2016) )। हालांकि, संसाधनों को आवंटित करने के लिए प्रत्याशित मॉडल के साथ एक प्रमुख चिंता यह है कि इन मॉडलों में मौजूदा पूर्वाग्रहों को मजबूत करने की क्षमता है। कई शोधकर्ताओं को पहले से ही "कचरा, कचरा बाहर" पता है, और पूर्वानुमानित मॉडल के साथ यह "पूर्वाग्रह में, पूर्वाग्रह" हो सकता है। Barocas and Selbst (2016) और O'Neil (2016) को भविष्यवाणी मॉडल के खतरों के बारे में अधिक जानकारी के लिए देखें पक्षपातपूर्ण प्रशिक्षण डेटा के साथ।
एक समस्या जो सरकारों को खुली प्रतियोगिताओं का उपयोग करने से रोक सकती है, यह है कि इसके लिए डेटा रिलीज की आवश्यकता होती है, जिससे गोपनीयता उल्लंघन हो सकता है। खुली कॉल में गोपनीयता और डेटा रिलीज के बारे में अधिक जानकारी के लिए, Narayanan, Huey, and Felten (2016) और अध्याय 6 में चर्चा देखें।
पूर्वानुमान और स्पष्टीकरण के बीच मतभेदों और समानताओं पर अधिक जानकारी के लिए, Breiman (2001) , Shmueli (2010) , Watts (2014) , और Kleinberg et al. (2015) । सामाजिक शोध में भविष्यवाणी की भूमिका के बारे में अधिक जानकारी के लिए, Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , और Yarkoni and Westfall (2017) ।
जीवविज्ञान में खुली कॉल परियोजनाओं की समीक्षा के लिए, डिजाइन सलाह सहित, Saez-Rodriguez et al. (2016) ।
- वितरित डेटा संग्रह (सेक्शन 5.4)
Bhattacharjee (2005) , Robbins (2013) , और Sullivan et al. (2014) में विवरणों पर ईबर्ड का मेरा वर्णन आकर्षित करता है Sullivan et al. (2014) । शोधकर्ताओं ने ईबर्ड डेटा का विश्लेषण करने के लिए सांख्यिकीय मॉडल का उपयोग कैसे किया है, इसके बारे में अधिक जानकारी के लिए Fink et al. (2010) और Hurlbert and Liang (2012) । ईबर्ड प्रतिभागियों के कौशल का अनुमान लगाने के लिए, केलिंग Kelling, Johnston, et al. (2015) । ऑर्निथोलॉजी में नागरिक विज्ञान के इतिहास पर अधिक जानकारी के लिए, Greenwood (2007) ।
मलावी जर्नल प्रोजेक्ट पर अधिक जानकारी के लिए, Watkins and Swidler (2009) और Kaler, Watkins, and Angotti (2015) । दक्षिण अफ्रीका में संबंधित परियोजना पर अधिक जानकारी के लिए, Angotti and Sennott (2015) । मलावी जर्नल परियोजना से डेटा का उपयोग करके शोध के अधिक उदाहरणों के लिए Kaler (2004) और Angotti et al. (2014) ।
- अपना खुद का डिजाइन (धारा 5.5)
डिजाइन सलाह देने के लिए मेरा दृष्टिकोण सफल और असफल जन सहयोग परियोजनाओं के उदाहरणों के आधार पर अपरिवर्तनीय था, जिसके बारे में मैंने सुना है। सामूहिक सहयोग परियोजनाओं के डिजाइन के लिए प्रासंगिक ऑनलाइन समुदायों को डिजाइन करने के लिए अधिक सामान्य सामाजिक मनोवैज्ञानिक सिद्धांतों को लागू करने के शोध प्रयासों की एक धारा भी रही है, उदाहरण के लिए, Kraut et al. (2012) ।
प्रतिभागियों को प्रेरित करने के संबंध में, वास्तव में लोगों को बड़े पैमाने पर सहयोग परियोजनाओं (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) में भाग लेने का अनुमान लगाने में काफी मुश्किल है (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) । यदि आप प्रतिभागियों को माइक्रोटस्क श्रम बाजार (उदाहरण के लिए, अमेज़ॅन मैकेनिकल तुर्क), Kittur et al. (2013) पर भुगतान के साथ प्रेरित करने की योजना बनाते हैं Kittur et al. (2013) कुछ सलाह प्रदान करता है।
आश्चर्यजनक सक्षम करने के बारे में, ज़ूवर परियोजनाओं से अप्रत्याशित खोजों के अधिक उदाहरणों के लिए, Marshall, Lintott, and Fletcher (2015) लिंटॉट Marshall, Lintott, and Fletcher (2015) ।
नैतिक होने के संबंध में, शामिल मुद्दों पर कुछ अच्छे सामान्य परिचय Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , और Zittrain (2008) । विशेष रूप से भीड़ कर्मचारियों के साथ कानूनी मुद्दों से संबंधित मुद्दों के लिए, Felstiner (2011) । O'Connor (2013) शोधकर्ताओं और प्रतिभागियों की भूमिकाओं को धुंधला करते समय अनुसंधान की नैतिक निगरानी के बारे में प्रश्नों को संबोधित करते हैं। नागरिक विज्ञान परियोजनाओं में प्रतिभागियों की रक्षा करते समय डेटा साझा करने से संबंधित मुद्दों के लिए, Bowser et al. (2014) । Purdam (2014) और Purdam (2014) और Purdam (2014) Windt and Humphreys (2016) दोनों में वितरित डेटा संग्रह में नैतिक मुद्दों के बारे में कुछ चर्चा है। अंत में, अधिकांश परियोजनाएं योगदान स्वीकार करती हैं लेकिन प्रतिभागियों को लेखांकन क्रेडिट नहीं देती हैं। फोल्डिट में, खिलाड़ियों को अक्सर एक लेखक के रूप में सूचीबद्ध किया जाता है (Cooper et al. 2010; Khatib et al. 2011) । अन्य खुली कॉल परियोजनाओं में, विजेता योगदानकर्ता अक्सर अपने समाधानों का वर्णन करने वाले पेपर लिख सकते हैं (उदाहरण के लिए, Bell, Koren, and Volinsky (2010) और Dieleman, Willett, and Dambre (2015) )।
