अर्को पढ्न के

• परिचय (खण्ड 5.1)

सामूहिक सहयोगले नागरिक विज्ञान , crowdsourcing र सामूहिक खुफियाबाट विचारहरू मिश्रण गर्दछ। नागरिक विज्ञान सामान्यतया वैज्ञानिक प्रक्रियामा "नागरिक" (जस्तै, वैज्ञानिकहरू) समावेश छ; थपको लागि, हेर्नुहोस् Crain, Cooper, and Dickinson (2014) र Bonney et al. (2014) । Crowdsourcing सामान्यतया एक समस्या लिनु भनेको एक संगठन भित्र हल गर्न यसको अर्थ हो र यसको बजाय एक भीडमा आउटसोर्सिंग; अधिकका लागि, Howe (2009) हेर्नुहोस्। सामूहिक खुफिया सामान्यतया बुद्धिमान लाग्ने तरिकाहरूमा सामूहिक व्यवहार गर्ने व्यक्तिहरूको समूह हो; अधिकका लागि, Malone and Bernstein (2015) हेर्नुहोस्। Nielsen (2012) वैज्ञानिक अनुसन्धानको लागि ठूलो सहयोगको शक्तिको लागि पुस्तक लम्बाइ परिचय हो।

त्यहाँ थुप्रै प्रकारका सामूहिक सहयोगहरू छन् जुन मैले तीनवटा कोटिहरूमा राम्रोसँग फिट हुँदैन, र मलाई यी तीनवटा विशेष ध्यान दिन्छन् किनभने तिनीहरू सामाजिक अनुसन्धानमा उपयोगी हुन सक्छन्। एक उदाहरण भविष्यवाणी मार्केटहरू हो, जहाँ सहभागीहरूले ठेकेदारहरू खरीद र व्यापार गर्ने जुन विश्वमा हुने परिणामहरूमा आधारित रिडाइम योग्य छन्। बजारहरूको भविष्यवाणी फर्महरू र सरकारहरूले भविष्यवाणी गर्नका लागि प्राय: प्रयोगका लागि प्रयोग गरिन्छ, र तिनीहरू सामाजिक शोधकर्ताहरूले पनि मनोविज्ञान (Dreber et al. 2015) प्रकाशित अध्ययनको प्रतिकृया गर्नका लागि प्रयोग गरेका छन्। भविष्यवाणी बजारहरूको अवलोकनको लागि, Wolfers and Zitzewitz (2004) र Arrow et al. (2008) ।

एक दोस्रो उदाहरण जो मेरो वर्गीकरण योजना मा राम्रो तरिकाले फिट छैन PolyMath परियोजना हो, जहां शोधकर्ताहरूले ब्लग्स र विकी को उपयोग गरेर नयाँ गणित प्रमेयहरुलाई साबित गर्न सहयोग गरे। PolyMath परियोजना Netflix पुरस्कार जस्तै केहि तरिकामा छ, तर यस परियोजनामा ​​सहभागिताहरू अधिक सक्रिय रूपमा अन्य आंशिक समाधानहरूमा निर्माण गरिएको छ। पालिमाथ परियोजनाको बारेमा थपका लागि, गोस्र्स Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , र Kloumann et al. (2016) ।

एक तेस्रो उदाहरण जो मेरो वर्गीकरण योजना मा राम्रो तरिकाले फिट छैन समय-निर्भर गतिशीलता को रूप मा रक्षा उन्नत अनुसन्धान परियोजना एजेन्सी (DARPA) नेटवर्क चुनौती (यानी, लाल गुब्बारे चैलेंज)। यी समय-संवेदनशील मोबाईलिलाइजेसनमा अधिकका लागि Pickard et al. (2011) , Tang et al. (2011) , र Rutherford et al. (2013) ।

• मानव गणना (खण्ड 5.2)

"मानव संकलन" शब्द कम्प्यूटर वैज्ञानिकहरूले गरेको कामबाट बाहिर आउँछ, र यस अनुसन्धान पछिको सन्दर्भलाई बुझ्नका लागि यसले उपयुक्त छनोट गर्ने क्षमतालाई सुधार गर्नेछ जुन यसको लागि उपयुक्त हुन सक्छ। केहि कार्यहरूका लागि, कम्प्यूटर अविश्वसनीय शक्तिशाली छन्, क्षमताओंका साथ पनि विशेषज्ञ मानिसहरूको भन्दा बढी। उदाहरणको लागि, शतरंजमा, कम्प्यूटरहरूले पनि राम्रो भव्य भित्रीहरुलाई हराउन सक्छन्। तर - र सामाजिक वैज्ञानिकहरूले यो कम राम्रो सराहना गरेको छ - अन्य कार्यहरूको लागि, कम्प्युटरहरू वास्तवमा मानिसहरू भन्दा धेरै खराब छन्। अन्य शब्दहरूमा, अब तपाईं तस्बिरहरू, भिडीयो, अडियो, र पाठको प्रसोधन सहित केही कार्यहरूमा पनि सबैभन्दा परिष्कृत कम्प्युटर भन्दा राम्रो हुनुहुन्छ। कम्प्युटर वैज्ञानिकहरूले यी कडा-कम्प्यूटर-सजिलो-सजिलो कार्यहरूमा काम गरिरहेका छन् त्यसैले त्यसो भएन कि उनीहरूले उनीहरूको सामजिक प्रक्रियामा समावेश गर्न सक्थे। यहाँ लुइस वोन आहन (2005) ले मानव कथनको बारेमा वर्णन गरिसकेपछि उनीहरूले उनको शोधपत्रमा शब्दलाई पहिलो पटक लेखे: "समस्या समाधान गर्न मानव प्रविधि शक्तिको प्रयोग गर्नका लागि एक दृष्टान्त, जसले कम्प्यूटर अझै समाधान गर्न सकेन।" मानव गणनाको पुस्तक-लम्बाइको उपचारको लागि, शब्द को सबै भन्दा अधिक सामान्य अर्थ, Law and Ahn (2011) हेर्नुहोस्।

Ahn (2005) प्रस्तावित परिभाषा अनुसार, मैले फोल्डरमा सेकेन्डमा वर्णन गरेको फोल्डिट - जुन मानव कम्प्युटिङ प्रोजेक्टलाई विचार गर्न सकिन्छ। यद्यपि, म खुल्ला कलको रूपमा Foldit वर्गीकरण गर्न छनौट गर्दछ किनभने यो विशेष कौशल चाहिन्छ (हुनत आवश्यक औपचारिक प्रशिक्षण छैन) र यो एक विभाजित-लागू-गठबन्धन रणनीति प्रयोग गर्नु भन्दा राम्रो योगदान प्रदान गर्दछ।

"विभाजित-लागू-गठबन्धन" शब्द "विक्टि-अप-ग्रुप" शब्दको प्रयोग सांख्यिकीय कम्प्युटिङको लागि रणनीतिको वर्णन गर्न Wickham (2011) द्वारा प्रयोग गरिएको थियो, तर यो पुरातत्व धेरै मानव गणना डेटा को प्रक्रिया मा कब्जा गर्दछ। विभाजित-लागू-संयोजन रणनीति Google मा विकसित MapReduce ढाँचा जस्तै छ; अधिकका लागि MapReduce मा, Dean and Ghemawat (2004) र Dean and Ghemawat (2008) । अन्य वितरित कम्प्युटिङ आर्किटेक्चरहरूमा बढीको लागि, Vo and Silvia (2016) हेर्नुहोस्। Law and Ahn (2011) को अध्याय 3 सँग यस अध्यायमा भएका भन्दा बढी जटिल गठबन्धन चरणहरूसँग परियोजनाहरूको छलफल छ।

मानव गणना प्रोजेक्ट जुन मैले अध्यायमा छलफल गरेको छु, सहभागीहरू के हुन थालेको बारेमा थाहा थियो। तथापि, केही अन्य परियोजनाहरू, "पहिले" हो ("इबर्ड जस्तै)" र सहभागी जागरूकता बिना "काम" खिच्न खोज्छ। उदाहरणका लागि, ईएसपी खेल (Ahn and Dabbish 2004) र (Ahn and Dabbish 2004) (Ahn et al. 2008) । तथापि, यी दुवै परियोजनाहरूले नैतिक प्रश्नहरू बढाउँछन् किनकी सहभागिताहरू थाहा थिएन कि उनीहरूको डेटा कसरी प्रयोग गरिन्थ्यो (Zittrain 2008; Lung 2012) ।

ईएसपी खेल द्वारा प्रेरित, धेरै शोधकर्ताओं को "एक उद्देश्य संग खेल" (Ahn and Dabbish 2008) ("मानव आधारित गणना को खेल" (Pe-Than, Goh, and Lee 2015) विकसित गर्न को लागि प्रयास गरेको छ अन्य समस्याहरूको विभिन्न प्रकारको समाधान गर्न प्रयोग गरियो। यी "यी उद्देश्यका साथ खेल" भनेको साधारणसँग हो कि उनीहरूले मानव गणनाको मनोरञ्जनमा संलग्न कार्यहरू गर्ने प्रयास गर्छन्। त्यसकारण, जब ईएसपी खेलले आकाशगंगा चिडियासँग एउटै विभाजित-लागू-गठबन्धन संरचना साझेदारी गर्दछ, यसले फरक पार्दछ कि कसरी सहभागिताहरू उत्प्रेरित हुन्छन्-विज्ञानलाई मद्दत गर्न चाहने उद्देश्य। उद्देश्यको साथ खेलहरूमा अधिकका लागि, Ahn and Dabbish (2008) हेर्नुहोस्।

ग्यालक्सी चिडियाको मेरो विवरण Nielsen (2012) , Adams (2012) , Clery (2011) , र Hand (2010) मेरो विवरण र ग्यालेक्सी चिडियाका अनुसन्धान लक्ष्यहरूको प्रस्तुतीकरण सरल थियो। आकाशगंगा वर्गीकरण को इतिहास मा अधिक को लागि खगोल विज्ञान र कसरि गैलेक्सी चिडिया यो परंपरा जारी छ, Masters (2012) र Marshall, Lintott, and Fletcher (2015) । ग्यालेक्सी चिडियाघरमा निर्माण, शोधकर्ताहरूले ग्यालेक्सी चिडियाघर 2 लाई पूरा गरे जसले 60 लाख भन्दा बढि जटिल जटिलतात्मक वर्गीकरणहरू स्वयंसेवकहरू (Masters et al. 2011) बाट एकत्र गरे। यसबाहेक, तिनीहरूले आकाशगंगा माणुपोलोजीभन्दा बाहिरका समस्याहरूमा बिग्रिएका थिए, जसमा चन्द्रको सतह अन्वेषण, ग्रहहरूको खोजी र पुरानो कागजातहरू ट्राफिक गर्दै समावेश गर्दछ। हाल, उनीहरूका सबै परियोजनाहरु जूनाइभर वेबसाइट (Cox et al. 2015) एकत्रित छन्। एक परियोजनाको स्न्यापसट सेरेन्गेटीले ग्यालेक्सी चिल्लो छवि वर्गीकरण परियोजनाहरु लाई पर्यावरणीय अनुसन्धान (Swanson et al. 2016) लागी पनि गर्न सकिन्छ भन्ने प्रमाण दिन्छ।

एक मानव गणना परियोजना, Chandler, Paolacci, and Mueller (2013) र J. Wang, Ipeirotis, and Provost (2015) कार्य डिजाइनमा राम्रो सल्लाह प्रदान गर्नका लागी एक माइक्रोकोटस्क श्रम बजार (उदाहरणीय, अमेजन मेक्सिको टर्क) प्रयोग गर्ने योजनाकारहरुको लागि। अन्य सम्बन्धित समस्याहरू। Porter, Verdery, and Gaddis (2016) प्रस्ताव उदाहरण र सल्लाह के तिनीहरूले कल लागि microtask श्रम बजार प्रयोगका मा विशेष केन्द्रित "डाटा वृद्धि।" डाटा वृद्धि र डाटा संग्रह बीच लाइन केहि धमिलो छ। पाठको लागि निरीक्षण गरिएको शिक्षाको लागि लेबलहरू इकट्ठा गर्न र प्रयोग गर्न थपका लागि, Grimmer and Stewart (2013) हेर्नुहोस्।

शोधकर्ताहरूले मैले कम्प्यूटर-समर्थित मानव गणना प्रणालीहरू (जस्तै, प्रणालीहरू जुन मानव लेबल प्रयोग गर्ने एक मेशिन सिकाउने मोडेललाई प्रशिक्षण दिन प्रयोग गर्न) सिर्जना गर्न Shamir et al. (2014) ) Shamir et al. (2014) रुचि हुन सक्छ Shamir et al. (2014) (अडियो प्रयोग गरेर एउटा उदाहरणको लागि) र Cheng and Bernstein (2015) । साथै, यी प्रोजेक्टहरूमा मेशिन सिकाउने मोडेल खुला कलहरूसँग सम्पर्क गर्न सकिन्छ, जसमा शोधकर्ताहरूले सबैभन्दा ठूलो भविष्यवाणी प्रदर्शनको साथ मेसिन सिकाउने मोडेलहरू सिर्जना गर्न प्रतिस्पर्धा गर्छन्। उदाहरणका लागि, ग्यालेक्सी चिडियाघरले एक खुला कल दौड्यो र एक नया दृष्टिकोण पत्ता लगायो जसले Banerji et al. (2010) ; विवरणका लागि Dieleman, Willett, and Dambre (2015) हेर्नुहोस्।

• कल खोल्नुहोस् (खण्ड 5.3)

कलहरू नयाँ छैनन्। वास्तवमा, सबैभन्दा सबैभन्दा प्रसिद्ध खुला कलहरू 1714 मा फिर्ता हुन्छन् जब बेलायतको संसदले समुद्रमा जहाजको देशान्तर निर्धारण गर्ने तरिका विकास गर्न सक्ने कुनै देशको लागि देशान्तर पुरस्कार सिर्जना गर्यो। समस्या धेरै समयका महान वैज्ञानिकों stumped, सहित आइजक न्यूटन सहित, और विजेता समाधान अंततः ग्रामीण इलाकों के एक घड़ीकर्मी द्वारा जॉन हैरिसन द्वारा प्रस्तुत किया गया था जो वैज्ञानिकों से अलग समस्या से संपर्क किया गया है कि एक समाधान पर केंद्रित थे कि किसी भी तरह से खगोल शास्त्र शामिल होगा ; थप जानकारीको लागि, Sobel (1996) हेर्नुहोस्। यस उदाहरणको रूपमा, उदाहरणका लागि खुला कलहरूको कारणले त्यस्तो राम्रो काम गर्न सोचेको छ कि उनीहरूले मानिसहरूलाई विभिन्न दृष्टिकोण र कलाहरू (Boudreau and Lakhani 2013) पहुँच प्रदान गर्छन्। समस्या समाधान गर्न विविधताको मूल्यमा अधिकका लागि Hong and Page (2004) र Page (2008) हेर्नुहोस्।

यस अध्यायमा रहेको किन किनका लागि अध्यायमा खुल्ला कलका घटनाहरू प्रत्येकको लागि थप स्पष्टीकरण आवश्यक छ। पहिलो, एक तरिका जसको म मानव गणना र खुला कल परियोजनाहरु बीच भेद गर्दछ कि यो आउटपुट सबै समाधान (मानव गणना) को औसत या सर्वोत्तम समाधान (खुला कल) हो। Netflix पुरस्कार यस सन्दर्भमा केहि हदसम्म छ किनभने उत्तम समाधान व्यक्तिगत समाधान को परिष्कृत औसत, एक इम्मेल समाधान (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) । Netflix को दृष्टिकोण देखि, तथापि, सबै गर्न को लागी सबै भन्दा राम्रो समाधान थियो। Netflix पुरस्कार मा अधिक को लागि, Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , र Feuerverger, He, and Khatri (2012) ।

दोस्रो, मानव गणनाको केही परिभाषाहरूद्वारा (उदाहरणको लागि, Ahn (2005) ), फोल्डरलाई मानव गणना प्रोजेक्टलाई विचार गर्नुपर्छ। यद्यपि, म यसलाई एक खुल्ला कलको रूपमा वर्गीकरण गर्न छनौट गर्दछ किनभने यो विशेष क्षमताहरू चाहिन्छ (यद्यपि आवश्यक पर्दैन प्रशिक्षण छैन) र यो विभाजित-लागू-संयोजन रणनीति प्रयोग गर्नु भन्दा उत्तम समाधान लिन्छ। Foldit मा अधिक को लागि, Cooper et al. (2010) , Khatib et al. (2011) , र Andersen et al. (2012) ; Foldit को मेरो विवरण Bohannon (2009) , Hand (2010) , र Nielsen (2012) ।

अन्तमा, कसैले बहस गर्न सक्छ कि सहकर्मीले वितरित डेटा संग्रहको उदाहरण हो। म यसलाई एक खुला कलको रूपमा समावेश गर्न छनौट गर्दछ किनभने यसमा एक प्रतियोगिता-जस्तो संरचना छ र केवल सबै भन्दा राम्रो योगदानहरू प्रयोग गरिन्छ, जबकि वितरित डेटा संग्रहसँग, राम्रो र खराब योगदानको विचार कम स्पष्ट छ। पियर-टू-पेटेंटमा अधिकका लागि, Noveck (2006) , Ledford (2007) , Noveck (2009) , र Bestor and Hamp (2010) ।

सामाजिक अनुसन्धानमा खुला कलहरू प्रयोग गर्ने सन्दर्भमा, Glaeser et al. (2016) परिणामहरू Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) अध्याय 10 मा न्यूयर्क शहरले आवास निरीक्षकहरूको उत्पादनमा ठूलो फाइदा उत्पादन गर्न भविष्यवाणी मॉडलिंग प्रयोग गर्न सक्षम भएको थियो। न्यू यॉर्क शहरमा यी अनुमानित मोडेलहरू शहरका कर्मचारीहरूले बनाइएका थिए, तर अन्य अवस्थामा, उनीहरूले कल्पना गर्न सक्थे कि तिनीहरू सिर्जना गर्न वा खुला कलहरूको साथ सुधार गर्न सक्छन् (उदाहरणका लागि, Glaeser et al. (2016) )। तथापि, भविष्यवाणी आवंटित गर्न प्रयोग हुने भविष्यवाणी मोडेलको साथमा एक प्रमुख चिन्ता भनेको छ कि यी मोडलहरूसँग अवस्थित पूर्वाधारहरु लाई बलियो बनाउने क्षमता छ। धेरै शोधकर्ताहरू पहिले नै "कचरा भित्र, कचौरा बाहिर," जान्छन् र भविष्यवाणीशील मोडेलहरूसँग यो "पूर्वाग्रह, पूर्वाग्रह बाहिर।" Barocas and Selbst (2016) र O'Neil (2016) हेर्नुहोस् भविष्यवाणी Barocas and Selbst (2016) खतरनाक अधिक पूर्वाधार प्रशिक्षण डेटा संग।

एक समस्या जो सरकारहरूले खुला प्रतियोगिताहरू प्रयोग गर्नदेखि रोक्न सक्दछ यो यो डेटा रिलीज चाहिन्छ, जुन गोपनीयता उल्लङ्घनहरूको नेतृत्व गर्न सक्छ। खुला कलहरुमा गोपनीयता र डेटा रिलीज को बारे मा अधिक देखने को लागि Narayanan, Huey, and Felten (2016) र अध्याय 6 मा चर्चा।

भविष्यवाणी र व्याख्या को बीच मतभेद र समानताहरु को बारे मा अधिक को लागि, Breiman (2001) , Shmueli (2010) , Watts (2014) , र Kleinberg et al. (2015) । सोशल रिसर्चमा भविष्यवाणीको भूमिकाको बारेमा थप, Cederman and Weidmann (2017) Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , र Yarkoni and Westfall (2017) ।

जीवविज्ञानमा खुल्ला कल परियोजनाहरूको समीक्षाको लागि डिजाइन सल्लाह सहित, Saez-Rodriguez et al. (2016) ।

• वितरित डेटा संग्रह (सेक्सन 5.4)

ईबर्डको मेरो विवरण Bhattacharjee (2005) , Robbins (2013) मा वर्णन गर्दछ, र Sullivan et al. (2014) । ईबर्ड डाटा विश्लेषण गर्नको लागि सांख्यिकीय मोडेलहरू कसरी प्रयोग गर्ने भन्ने बारे थप जानकारीका लागि Fink et al. (2010) र Hurlbert and Liang (2012) । EBird सहभागीहरूको कुञ्जी अनुमान अनुमान गर्नका लागि, Kelling, Johnston, et al. (2015) हेर्नुहोस् Kelling, Johnston, et al. (2015) । मौगोल विज्ञान मा नागरिक विज्ञान को इतिहास मा अधिक को लागि, Greenwood (2007) हेर्नुहोस्।

मलावी पत्रिकाहरूको प्रोजेक्टको बारेमा अधिक Watkins and Swidler (2009) , Watkins and Swidler (2009) र Kaler, Watkins, and Angotti (2015) । दक्षिण अफ्रिकामा एक सम्बन्धित परियोजनाको लागि, Angotti and Sennott (2015) हेर्नुहोस्। मलावी पत्रिकाहरूको डेटा प्रयोग गरी अनुसन्धानको थप उदाहरणहरूको लागि परियोजना Kaler (2004) र Angotti et al. (2014) ।

• तपाइँको आफ्नै डिजाइन (सेक्शन 5.5)

डिजाइन सल्लाह प्रस्ताव गर्न मेरो दृष्टिकोण परिचालक थियो, मैले सुनेको सफल र असफल जन सहयोग परियोजनाहरूको उदाहरणमा आधारित। त्यहाँ सामान्य सामाजिक मनोवैज्ञानिक सिद्धान्तहरु लाई अनलाइन प्रयास गर्न को लागी अनुसन्धान प्रयत्न को एक स्ट्रीम रहेको छ जुन ठूलो सहकार्य परियोजनाहरु को डिजाइन को लागी प्रासंगिक छ, उदाहरण को लागि, Kraut et al. (2012) ।

सहभागिताको सन्दर्भमा, यो वास्तवमा एकदम कठिन छ कि मानिसलाई सामूहिक सहकार्यको परियोजनामा ​​भाग लिनु हो (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) । यदि तपाइँ माइक्रोकोटस्क श्रम बजारमा भुक्तानीका साथ सहभागीहरूलाई प्रोत्साहित गर्ने योजना बनाउनुहुन्छ (जस्तै, अमेजन मेक्रोनिकल टर्क), Kittur et al. (2013) केहि सल्लाह प्रदान गर्दछ।

आश्चर्यजनक सम्बन्धको बारेमा, अनौपचारिक खोजहरूको थप उदाहरणहरूको लागि जोउभेई प्रोजेक्ट्सबाट बाहिर आउनु, Marshall, Lintott, and Fletcher (2015) ।

नैतिकताको सन्दर्भमा, सम्बन्धित मुद्दाहरूमा केही सामान्य सामान्य परिचयहरू Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , र Zittrain (2008) । भीड कर्मचारीहरु संग कानुनी मुद्दाहरु लाई विशेष गरी सम्बन्धित मुद्दाहरु को लागी, Felstiner (2011) हेर्नुहोस्। O'Connor (2013) शोधकर्ताहरु र प्रतिभागिहरु को भूमिका निस्तार जब अनुसन्धान को नैतिक निगरानी को बारे मा प्रश्नहरु लाई ठेगाना गर्दछ। नागरिक विज्ञान परियोजनाहरूमा सहभागीहरूको संरक्षण गर्दा डेटा साझा गर्न सम्बन्धित मुद्दाहरूको लागि, Bowser et al. (2014) । दुवै Purdam (2014) र Windt and Humphreys (2016) वितरित डेटा संग्रहमा नैतिक मुद्दाहरूको बारेमा केही छलफल छ। अन्तमा, धेरै परियोजनाहरूले योगदान स्वीकार गर्छन् तर प्रतिभागिताका लागि लेखकपन क्रेडिट नदिनुहोस्। Foldit मा, खेलाडीहरू प्रायः लेखकको रूपमा सूचीबद्ध हुन्छन् (Cooper et al. 2010; Khatib et al. 2011) । अन्य खुला कल परियोजनाहरूमा, विजेता योगदानकर्ताले प्रायजसो उनीहरूको समाधानहरू वर्णन गर्नका कागजहरू लेख्न सक्छन् (उदाहरणार्थ, Bell, Koren, and Volinsky (2010) र Dieleman, Willett, and Dambre (2015) )।