इसके अलावा कमेंटरी

यह खंड के बजाय एक कथा के रूप में पढ़ा जा करने के लिए एक संदर्भ के रूप में इस्तेमाल किया जा करने के लिए बनाया गया है।

• परिचय (धारा 5.1)

मास सहयोग नागरिक विज्ञान, Crowdsourcing, और सामूहिक खुफिया विचारों से मिश्रणों। नागरिक विज्ञान आमतौर पर "नागरिकों" वैज्ञानिक प्रक्रिया में (यानी, गैर-वैज्ञानिकों) को शामिल मतलब है (Crain, Cooper, and Dickinson 2014) । Crowdsourcing आम तौर पर आम तौर पर एक संगठन के भीतर हल कर एक समस्या रही है और इसके बजाय यह एक भीड़ को आउटसोर्सिंग का मतलब (Howe 2009) । आम तौर पर सामूहिक खुफिया तरीकों से सामूहिक रूप से अभिनय व्यक्तियों के समूहों है कि प्रतीत बुद्धिमान का मतलब (Malone and Bernstein 2015) । Nielsen (2012) वैज्ञानिक अनुसंधान के लिए बड़े पैमाने पर सहयोग की शक्ति के रूप में एक अद्भुत किताब लंबाई परिचय है।

वहाँ बड़े पैमाने पर सहयोग के कई प्रकार है कि तीन श्रेणियों कि मैं प्रस्तावित में बड़े करीने से फिट नहीं हैं, और मुझे लगता है कि तीन विशेष ध्यान देने लायक है क्योंकि वे कुछ बिंदु पर सामाजिक अनुसंधान के क्षेत्र में उपयोगी हो सकता है। एक उदाहरण भविष्यवाणी बाजारों, जहां प्रतिभागियों को खरीदने के लिए और व्यापार अनुबंध है कि परिणाम है कि दुनिया में होते हैं पर आधारित हैं प्रतिदेय है (Wolfers and Zitzewitz 2004; Arrow et al. 2008) । भविष्यवाणी बाजारों अक्सर भविष्यवाणी के लिए कंपनियों और सरकारों द्वारा किया जाता है, और भविष्यवाणी बाजारों में भी मनोविज्ञान में प्रकाशित अध्ययन के replicability भविष्यवाणी करने के लिए सामाजिक शोधकर्ताओं द्वारा इस्तेमाल किया गया है (Dreber et al. 2015) ।

एक दूसरा उदाहरण है कि मेरे वर्गीकरण योजना में अच्छी तरह से फिट नहीं है बहुश्रुत परियोजना है, जहां शोधकर्ताओं ने नए गणित प्रमेयों साबित करने के लिए ब्लॉग और wikis का उपयोग कर सहयोग किया है (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) । बहुश्रुत परियोजना कुछ नेटफ्लिक्स पुरस्कार के लिए समान तरीके में है, लेकिन बहुश्रुत परियोजना प्रतिभागियों में अधिक सक्रिय रूप से दूसरों का आंशिक समाधान पर बनाया गया।

एक तीसरा उदाहरण है कि मेरे वर्गीकरण योजना में अच्छी तरह से फिट नहीं है इस तरह के रक्षा एडवांस्ड रिसर्च प्रोजेक्ट्स एजेंसी (DARPA) नेटवर्क चैलेंज (यानी, लाल गुब्बारा चैलेंज) के रूप में समय पर निर्भर mobilizations है। इन समय पर अधिक के लिए संवेदनशील mobilizations देख Pickard et al. (2011) , Tang et al. (2011) , और Rutherford et al. (2013) ।

• मानव अभिकलन (धारा 5.2)

शब्द "मानव गणना" काम कंप्यूटर वैज्ञानिकों द्वारा किए गए कार्य से बाहर आता है, और इस शोध के पीछे संदर्भ बाहर समस्या है कि यह करने के लिए उत्तरदायी हो सकता है लेने के लिए अपनी क्षमता में सुधार होगा समझने। कुछ कार्यों के लिए, कंप्यूटर क्षमताओं दूर भी विशेषज्ञ मनुष्यों से अधिक के साथ अविश्वसनीय रूप से शक्तिशाली हैं। उदाहरण के लिए, शतरंज में, कंप्यूटर भी सबसे अच्छा भव्य स्वामी को हरा सकते हैं। लेकिन और इस कम अच्छी तरह से सामाजिक ने सराहना की है वैज्ञानिकों के लिए अन्य कार्यों, कंप्यूटर वास्तव में लोगों की तुलना में ज्यादा बदतर हैं। दूसरे शब्दों में, अभी आप चित्र, वीडियो, ऑडियो, और पाठ के प्रसंस्करण से जुड़े कुछ कार्यों में भी सबसे अधिक परिष्कृत कंप्यूटर की तुलना में बेहतर हैं। इस प्रकार के रूप में एक अद्भुत xkcd से यह साफ हो गया था कार्टून-वहां कार्य है कि कंप्यूटर के लिए आसान और कठिन लोगों के लिए कर रहे हैं, लेकिन वहाँ भी कार्य है कि कंप्यूटर के लिए कठिन है और लोगों के लिए आसान कर रहे हैं (चित्रा 5.13) कर रहे हैं। कंप्यूटर वैज्ञानिकों पर इन हार्ड कंप्यूटर का आसान-के लिए मानव के लिए कार्य है, इसलिए, महसूस किया कि वे अपने कम्प्यूटेशनल प्रक्रिया में मनुष्य शामिल हो सकते हैं काम कर रहे हैं। यहाँ कैसे लुइस वॉन Ahn है (2005) मानव गणना वर्णित जब वह पहली बार अपने शोध प्रबंध में शब्द गढ़ा: "। समस्याओं को हल करने के लिए है कि कंप्यूटर अभी तक हल नहीं कर सकते मानव संसाधन शक्ति के उपयोग के लिए एक प्रतिमान"

चित्रा 5.13: कुछ कार्यों के लिए कंप्यूटर का कमाल कर रहे हैं, मानव विशेषज्ञों की क्षमता अधिक है। लेकिन, अन्य कार्यों के लिए, साधारण मनुष्य भी परिष्कृत कंप्यूटर सिस्टम मात कर सकते हैं। बड़े पैमाने पर समस्या है कि कार्य है कि कंप्यूटर के लिए कठिन है और मनुष्य के लिए आसान कर रहे हैं शामिल मानव गणना के लिए अच्छी तरह से अनुकूल हैं। शर्तों यहाँ वर्णित के अनुसार इस्तेमाल किया: http://xkcd.com/license.html

इस परिभाषा फोल्ड इट-जो मैं खुले पर खंड में वर्णित द्वारा एक मानव गणना परियोजना कॉल-विचार किया जा सकता है। हालांकि, मैं एक खुला कॉल के रूप में फोल्ड इट वर्गीकृत करने के लिए चुनते हैं, क्योंकि यह विशेष कौशल की आवश्यकता है और यह सबसे अच्छा समाधान के लिए एक विभाजन लागू-गठबंधन रणनीति का प्रयोग करने के बजाय योगदान लेता है।

मानव गणना के एक बेहतरीन किताब लंबाई उपचार के लिए, इस शब्द का सबसे सामान्य अर्थ में, वहाँ Law and Ahn (2011) । के अध्याय 3 Law and Ahn (2011) इस अध्याय में लोगों की तुलना में अधिक जटिल गठबंधन कदमों में से एक दिलचस्प चर्चा है।

शब्द "विभाजन लागू-गठबंधन 'द्वारा इस्तेमाल किया गया था Wickham (2011) सांख्यिकीय कंप्यूटिंग के लिए एक रणनीति का वर्णन करने के लिए, लेकिन यह पूरी तरह से कई मानव गणना परियोजनाओं की प्रक्रिया को दर्शाता है। विभाजन लागू-गठबंधन की रणनीति गूगल पर विकसित MapReduce ढांचे के समान है (Dean and Ghemawat 2004; Dean and Ghemawat 2008) ।

दो चतुर मानव गणना परियोजनाओं है कि मैं चर्चा करने के लिए स्थान नहीं था ईएसपी खेल रहे हैं (Ahn and Dabbish 2004) और reCAPTCHA (Ahn et al. 2008) । इन दोनों परियोजनाओं में प्रतिभागियों को प्रेरित करने के लिए छवियों पर लेबल प्रदान करने के लिए रचनात्मक तरीके पाया। हालांकि, इन परियोजनाओं के दोनों भी नैतिक सवाल उठाया है, क्योंकि आकाशगंगा चिड़ियाघर के विपरीत, ईएसपी खेल और reCAPTCHA में भाग लेने वालों के लिए कैसे अपने डेटा का उपयोग किया जा रहा था पता नहीं था (Lung 2012; Zittrain 2008) ।

ईएसपी खेल से प्रेरित होकर, कई शोधकर्ताओं दूसरों "एक उद्देश्य के साथ खेल" विकसित करने के लिए प्रयास किया है (Ahn and Dabbish 2008) (यानी, "मानव-आधारित गणना खेल" (Pe-Than, Goh, and Lee 2015) ) हो सकता है कि अन्य समस्याओं की एक किस्म को हल करने के लिए इस्तेमाल किया। क्या इन "एक उद्देश्य के साथ खेल" आम में है कि वे मानव गणना मनोरंजक में शामिल कार्यों बनाने की कोशिश है। इस प्रकार, शेयरों, जबकि ईएसपी खेल एक ही विभाजन लागू-गठबंधन आकाशगंगा चिड़ियाघर के साथ संरचना है, यह कैसे प्रतिभागियों रहे हैं प्रेरित मज़ा बनाम विज्ञान की मदद करने की इच्छा में अलग है।

आकाशगंगा चिड़ियाघर के अपने विवरण पर आ रही है Nielsen (2012) , Adams (2012) , Clery (2011) , और Hand (2010) , और आकाशगंगा चिड़ियाघर के अनुसंधान के लक्ष्यों में से अपनी प्रस्तुति को सरल बनाया गया था। खगोल विज्ञान में आकाशगंगा के वर्गीकरण का इतिहास और आकाशगंगा चिड़ियाघर इस परंपरा जारी है पर अधिक के लिए, देखें Masters (2012) और Marshall, Lintott, and Fletcher (2015) । आकाशगंगा चिड़ियाघर पर बिल्डिंग, शोधकर्ताओं ने गैलेक्सी चिड़ियाघर 2 जो स्वयंसेवकों से 60 लाख से अधिक और अधिक जटिल रूपात्मक वर्गीकरण एकत्र पूरा (Masters et al. 2011) । इसके अलावा, वे, चंद्रमा की सतह की खोज ग्रहों की खोज, और पुराने दस्तावेजों transcribing सहित गैलेक्सी आकृति विज्ञान के बाहर समस्याओं में बाहर branched। वर्तमान में, अपने सभी परियोजनाओं पर एकत्र कर रहे हैं www.zooniverse.org (Cox et al. 2015) । में से एक परियोजनाओं-स्नैपशॉट सबूत है कि आकाशगंगा चिड़ियाघर-प्रकार की छवि वर्गीकरण परियोजनाओं को भी पर्यावरण अनुसंधान के लिए किया जा सकता है Serengeti-प्रदान करता है (Swanson et al. 2016) ।

शोधकर्ताओं ने एक मानव गणना परियोजना के लिए एक सूक्ष्म कार्य श्रम बाजार (जैसे, अमेज़न मैकेनिकल तुर्क) का उपयोग करने की योजना बना लिए, Chandler, Paolacci, and Mueller (2013) और Wang, Ipeirotis, and Provost (2015) कार्य डिजाइन और पर अच्छी सलाह की पेशकश अन्य संबंधित मुद्दों।

बनाने मैं दूसरी पीढ़ी के मानव गणना सिस्टम क्या कहा जाता है में रुचि शोधकर्ताओं (जैसे, प्रणाली है कि मानव लेबल का उपयोग एक मशीन सीखने मॉडल प्रशिक्षित करने के लिए) में रुचि हो सकती है Shamir et al. (2014) और (एक उदाहरण के ऑडियो का उपयोग कर के लिए) Cheng and Bernstein (2015) । इसके अलावा, इन परियोजनाओं को खोलने कॉल, जिससे शोधकर्ताओं सबसे बड़ी भविष्य कहनेवाला प्रदर्शन के साथ मशीन सीखने मॉडल बनाने के लिए प्रतिस्पर्धा के साथ किया जा सकता है। उदाहरण के लिए, आकाशगंगा चिड़ियाघर टीम एक खुला कॉल भाग गया और एक नया दृष्टिकोण है कि में विकसित एक से बेहतर प्रदर्शन पाया Banerji et al. (2010) ; वहाँ Dieleman, Willett, and Dambre (2015) जानकारी के लिए।

• ओपन कॉल (धारा 5.3)

ओपन कॉल नए नहीं हैं। वास्तव में, सबसे प्रसिद्ध खुला कॉल में से एक 1714 के लिए तारीखें जब ब्रिटेन की संसद के किसी कि समुद्र में एक जहाज के देशांतर निर्धारित करने के लिए एक तरह से विकास कर सकते हैं के लिए देशांतर पुरस्कार बनाया। समस्या आइजैक न्यूटन सहित दिनों के महानतम वैज्ञानिकों में से कई स्टम्प्ड, और जीतने के समाधान के अंत में ग्रामीण इलाकों जो वैज्ञानिकों ने एक समाधान है कि किसी भी तरह खगोल विज्ञान को शामिल करना होगा पर ध्यान केंद्रित किया गया से अलग ढंग से समस्या का दरवाजा खटखटाया से एक नियम द्वारा प्रस्तुत की गई थी (Sobel 1996) । इस उदाहरण के रूप में दिखाता है, एक कारण है कि खुले कॉल इतनी अच्छी तरह से काम करने के बारे में सोचा जाता है कि वे अलग अलग दृष्टिकोण और कौशल के साथ लोगों के लिए पहुँच प्रदान करता है (Boudreau and Lakhani 2013) । देखें Hong and Page (2004) और Page (2008) समस्या को सुलझाने में विविधता के महत्व पर अधिक के लिए।

अध्याय में खुले कॉल मामलों में से प्रत्येक क्यों यह इस श्रेणी में आता है के लिए आगे स्पष्टीकरण के एक बिट की आवश्यकता है। सबसे पहले, एक ही रास्ता है कि मैं मानव गणना और खुले कॉल परियोजनाओं के बीच भेद है कि क्या उत्पादन सभी समाधान के एक औसत (मानव गणना) या सबसे अच्छा समाधान (ओपन कॉल) है। क्योंकि सबसे अच्छा समाधान निकला व्यक्तिगत समाधान का एक परिष्कृत औसत होने की नेटफ्लिक्स पुरस्कार इस संबंध में कुछ हद तक मुश्किल है, एक एक जोड़ा समाधान कहा जाता दरवाजा खटखटाया (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) । नेटफ्लिक्स के दृष्टिकोण से, हालांकि, वे सब करना था सबसे अच्छा समाधान लेने गया था।

दूसरा, मानव गणना की कुछ परिभाषाओं से (जैसे, Von Ahn (2005) ), फोल्ड इट एक मानव गणना परियोजना पर विचार किया जाना चाहिए। हालांकि, मैं एक खुला कॉल के रूप में फोल्ड इट वर्गीकृत करने के लिए चुनते हैं, क्योंकि यह विशेष कौशल की आवश्यकता है और यह सबसे अच्छा समाधान का योगदान दिया, बल्कि एक विभाजन लागू-गठबंधन की रणनीति का उपयोग करने से लेता है।

अंत में, एक तर्क दे सकते हैं कि सहकर्मी से पेटेंट वितरित डेटा संग्रह का एक उदाहरण है। मैं एक खुली फोन के रूप में इसे शामिल करने के लिए है, क्योंकि यह एक प्रतियोगिता की तरह संरचना है और केवल सबसे अच्छा योगदान उपयोग किया जाता है (जबकि वितरित डेटा संग्रह के साथ, अच्छे और बुरे योगदान के विचार कम स्पष्ट है) का चयन करें।

नेटफ्लिक्स पुरस्कार के बारे में अधिक के लिए, देखें Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , और Feuerverger, He, and Khatri (2012) । फोल्ड इट पर अधिक देखने के लिए, Cooper et al. (2010) , Andersen et al. (2012) , और Khatib et al. (2011) ; फोल्ड इट के अपने विवरण में विवरण पर आ रही है Nielsen (2012) , Bohannon (2009) , और Hand (2010) । सहकर्मी से पेटेंट के बारे में अधिक के लिए, देखें Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , और Noveck (2009) ।

के परिणामों के समान Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , न्यू यॉर्क शहर में आवास निरीक्षकों की उत्पादकता में 10 अध्याय रिपोर्टों बड़े लाभ जब निरीक्षण भविष्य कहनेवाला मॉडल द्वारा निर्देशित कर रहे हैं। न्यूयॉर्क शहर में, इन भविष्य कहनेवाला मॉडल शहर कर्मचारियों द्वारा बनाया गया था, लेकिन अन्य मामलों में, एक कल्पना कर सकता है कि वे या बनाया जा सकता है खुला कॉल के साथ सुधार हुआ है (जैसे, Glaeser et al. (2016) )। हालांकि, भविष्य कहनेवाला मॉडल संसाधनों के आवंटन के लिए इस्तेमाल किया जा रहा है के साथ एक प्रमुख चिंता का विषय है कि मॉडल संभावित मौजूदा पूर्वाग्रहों को सुदृढ़ करने के लिए किया है। कई शोधकर्ताओं ने पहले से ही "में कचरा, बाहर कचरा" पता है, और भविष्य कहनेवाला मॉडल के साथ यह हो सकता है "में पूर्वाग्रह, पूर्वाग्रह बाहर।" देखें Barocas and Selbst (2016) और O'Neil (2016) बनाया भविष्य कहनेवाला मॉडल के खतरों के बारे में अधिक के लिए पक्षपाती प्रशिक्षण डेटा के साथ।

एक समस्या यह है कि खुले प्रतियोगिता का उपयोग करने से सरकारों को रोकने सकता है कि यह डेटा जारी है, जो गोपनीयता के उल्लंघन के लिए ले जा सकता है की आवश्यकता है। खुले कॉल में गोपनीयता और डेटा रिलीज के बारे में अधिक जानकारी के लिए देखते Narayanan, Huey, and Felten (2016) और अध्याय 6 में चर्चा।

• वितरित डेटा संग्रह (धारा 5.4)

EBird के अपने विवरण में विवरण पर आ रही है Bhattacharjee (2005) और Robbins (2013) । कैसे शोधकर्ताओं सांख्यिकीय मॉडल का उपयोग eBird डेटा का विश्लेषण करने पर अधिक देखने के लिए Hurlbert and Liang (2012) और Fink et al. (2010) । Ornothology में नागरिक विज्ञान के इतिहास के बारे में अधिक के लिए, देखें Greenwood (2007) ।

मलावी पत्रिकाओं परियोजना पर अधिक के लिए, देखें Watkins and Swidler (2009) और Kaler, Watkins, and Angotti (2015) । और दक्षिण अफ्रीका में एक संबंधित परियोजना पर अधिक के लिए, वहाँ Angotti and Sennott (2015) । मलावी पत्रिकाओं परियोजना से डेटा का उपयोग कर अनुसंधान का अधिक उदाहरण के लिए देखें Kaler (2004) और Angotti et al. (2014) ।

• अपने खुद के (धारा 5.5) डिजाइनिंग

डिजाइन सलाह की पेशकश करने के लिए मेरे दृष्टिकोण प्रेरक था, सफल के उदाहरण पर आधारित है और बड़े पैमाने पर सहयोग परियोजनाओं है कि मैं के बारे में सुना है विफल रहा है। वहाँ भी अनुसंधान की एक धारा उदाहरण के लिए, कि बड़े पैमाने पर सहयोग परियोजनाओं के डिजाइन के लिए प्रासंगिक है ऑनलाइन समुदायों को डिजाइन करने के लिए और अधिक सामान्य सामाजिक मनोवैज्ञानिक सिद्धांतों को लागू करने के लिए, देखते हैं, के लिए प्रयास करता है Kraut et al. (2012) ।

प्रेरित प्रतिभागियों के बारे में, यह वास्तव में क्यों लोगों को बड़े पैमाने पर सहयोग परियोजनाओं में भाग लेने के लिए बाहर निकालने के लिए वास्तव में काफी मुश्किल है (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) । आप एक सूक्ष्म कार्य श्रम बाजार पर भुगतान (जैसे, अमेज़न मैकेनिकल तुर्क) के साथ प्रतिभागियों को प्रेरित करने के लिए योजना बना रहे हैं Kittur et al. (2013) में कुछ सलाह प्रदान करता है।

अप्रत्याशित Zoouniverse परियोजनाओं से बाहर आने खोजों में से अधिक उदाहरण के लिए, आश्चर्य सक्रिय करने के बारे में, वहाँ Marshall, Lintott, and Fletcher (2015) ।

नैतिक किया जा रहा है के बारे में, शामिल मुद्दों के लिए कुछ अच्छा सामान्य परिचय रहे हैं Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , और Zittrain (2008) । मुद्दों विशेष रूप से भीड़ कर्मचारियों के साथ कानूनी मुद्दों से संबंधित के लिए, देखें Felstiner (2011) । O'Connor (2013) अनुसंधान के नैतिक निरीक्षण के बारे में सवालों के पते जब शोधकर्ताओं और प्रतिभागियों की भूमिकाओं धुंधला। डेटा साझा करने से संबंधित है, जबकि नागरिक विज्ञान परियोजनाओं में participats की रक्षा मुद्दों के लिए, देखें Bowser et al. (2014) । दोनों Purdam (2014) और Windt and Humphreys (2016) वितरित डेटा संग्रह में नैतिक मुद्दों के बारे में कुछ चर्चा की है। अंत में, सबसे परियोजनाओं योगदान को स्वीकार करते हैं, लेकिन प्रतिभागियों को ग्रन्थकारिता क्रेडिट देना नहीं है। फोल्ड इट में फोल्ड इट खिलाड़ियों को अक्सर एक लेखक के रूप में सूचीबद्ध हैं (Cooper et al. 2010; Khatib et al. 2011) अन्य ओपन कॉल परियोजनाओं में, जीतने योगदानकर्ता अक्सर एक कागज उनके समाधान का वर्णन लिख सकते हैं (जैसे, Bell, Koren, and Volinsky (2010) और Dieleman, Willett, and Dambre (2015) )। परियोजनाओं की आकाशगंगा चिड़ियाघर परिवार में, बेहद सक्रिय और महत्वपूर्ण योगदान कभी कभी कागज पर सह लेखक होने के लिए आमंत्रित कर रहे हैं। उदाहरण के लिए, इवान Terentev और टिम Matorny, रूस से दो रेडियो आकाशगंगा चिड़ियाघर प्रतिभागियों, कागजात है कि है कि इस परियोजना से उठी में से एक पर सह लेखक थे (Banfield et al. 2016; Galaxy Zoo 2016) ।