5.3.1 Netflix पुरस्कार

यो Netflix पुरस्कार जो चलचित्र मान्छे जस्तै हुनेछ भनेर भविष्यवाणी गर्न खुला कल प्रयोग गर्दछ।

सबैभन्दा लोकप्रिय खुला कल परियोजना Netflix पुरस्कार हो। Netflix एक अनलाइन चलचित्र भाडा कम्पनी हो, र 2000 मा यो सिनेमासिनेन्स, ग्राहकहरूलाई चलचित्रहरू सिफारिस गर्नको लागि एक सेवा सुरु गर्यो। उदाहरणका लागि, क्यामेनिङले तपाईंलाई नोटिस गर्न सक्छ कि तपाइँ स्टार वार्स ब्याक र साम्राज्य स्ट्राइकहरू मनपराउनुभयो र त्यसपछि सिफारिस गर्नुहुन्छ कि तपाईं जेडीको फर्किनुहुन्छ । सुरुमा, सिनेम्याचले खराब काम गर्यो। तर, धेरै वर्षको दौडान, यसले कुन चलचित्र ग्राहकहरूलाई मजा लिने भविष्यवाणी गर्ने क्षमतालाई अझ राम्रो बनाइयो। सन् 2006 सम्म, सिनेम्याचमा प्रगति गरिएको थियो। Netflix मा शोधकर्ताहरूले उनीहरूको बारेमा सोच्न सक्ने सबै भन्दा धेरै प्रयास गरेका थिए, तर, एकै समयमा, उनीहरूले उनीहरूको अन्य प्रणालीमा सुधार गर्न मद्दत गर्न सक्ने अन्य विचारहरू थिए भन्ने कुरामा संदेह गरे। यसरी, तिनीहरूले के थियो, के साथ आए, एक कट्टरपंथी समाधान: एक खुला कल।

Netflix पुरस्कारको अन्तिम सफलताको आलोचनात्मक थियो कसरी खुला कल डिजाइन गरिएको थियो, र यो डिजाइनले सामाजिक अनुसन्धानको लागि कसरी खुला कल प्रयोग गर्न सकिन्छ भन्ने लागि महत्त्वपूर्ण पाठहरू थिए। Netflix ले केवल विचारहरूको लागि एक असंगत अनुरोध नबुझेका छन्, जुन पहिलो व्यक्तिले खुल्ला कललाई विचार गर्दा धेरै मानिसहरू कल्पना गर्छन्। बरु, Netflix सरल मूल्याङ्कन प्रक्रियाको साथ एक स्पष्ट समस्या रहेको छ: तिनीहरूले मानिसहरूलाई लाखौं फिल्म मूल्याङ्कनको सेट प्रयोग गर्न चुनौती दिएका थिए भनेर 3 मिलियन बाहिरिएको मूल्याङ्कनको मूल्याङ्कन गरे (प्रयोगकर्ताहरूले बनाएको मूल्याङ्कनहरू तर Netflix जारी भएनन्)। एल्गोरिथ्म सिर्जना गर्ने पहिलो व्यक्तिले भविष्यवाणी गरेको 3 मिलियन बाहिरिएको मूल्याङ्कनमा 10% भन्दा बढी सिनेमामेन्सन भन्दा राम्रो थियो। मूल्याङ्कन प्रक्रिया लागू गर्न यो स्पष्ट र सजिलो - अनुमानित मूल्याङ्कनहरूको तुलनामा मूल्याङ्कन गरिएको मूल्याङ्कनहरूको तुलना-तुलनात्मक मूल्याङ्कनहरूको तुलना - यसको अर्थ हो कि Netflix पुरस्कार यस्तो तरिकाले उत्पन्न गरिएको थियो जुन समाधान उत्पन्न गर्न जाँच गर्न सजिलो थियो; यसले एक खुला कलको लागि उपयुक्त समस्यामा Cinematch सुधार गर्न चुनौतीलाई बदलिदिन्छ।

2006 को अक्टोबर, Netflix लगभग 500,000 ग्राहकहरु मध्ये 100 मिलियन फिल्म मूल्याङ्कन वाला एक डेटासेट जारी गरे (हामी यस अध्याय को गोपनीयता 6 मा अध्याय 6 मा रिलीज गर्दछ)। Netflix डेटा एक विशाल मैट्रिक्स को रूपमा 20,000 चलचित्रहरु द्वारा लगभग 500,000 ग्राहकहरु को रूप मा अवधारणात्मक हुन सक्छ। यस म्याट्रिक्स भित्र, एक देखि पाँच तारा (तालिका 5.2) बाट लगभग 100 मिलियन मूल्याङ्कनहरू थिए। चुनौती म्याट्रिक्समा अवलोकन गरिएको डेटा 3 मिलियन आयोजित आयोजित-मूल्याङ्कनको अनुमान गर्न प्रयोग गर्न थियो।

विश्वभरका शोधकर्ताहरू र हैकरहरू चुनौतीमा सारिएका थिए, र 2008 सम्म 30,000 भन्दा बढी व्यक्तिहरूले यसमा काम गरिरहेका थिए (Thompson 2008) । प्रतियोगिताको समयमा, Netflix बाट 5,000 टोलीहरू (Netflix 2009) बाट 40,000 भन्दा बढी प्रस्तावित समाधानहरू प्राप्त गरियो। जाहिर छ, Netflix यी सबै प्रस्तावित समाधानहरू पढ्न र बुझ्न सकेन। तथापि, सबै कुरा सुचारु तरिकाले भागे, किनभने समाधानहरू सजिलो थियो। Netflix हुन सक्छ एक कम्प्यूटरले अनुमानित मूल्याङ्कनहरूको तुलनामा मूल्याङ्कन गरिएको मूल्याङ्कनको तुलनामा एक निर्धारित मीट्रिक प्रयोग गरेर (मूल्याङ्कन गरिएको विशेष मेट्रिक मतलब squared त्रुटि को वर्ग मूल थियो)। यो चाँडै सबैलाई समाधान गर्न Netflix लाई सक्षम पार्ने समाधानहरूको मूल्यांकन गर्न क्षमता थियो, जसले महत्वपूर्ण हुन सक्यो किनभने राम्रो विचारहरू केही आश्चर्यजनक ठाउँहरूबाट आए। वास्तव मा, विजेता समाधान तीन शोधकर्ताओं द्वारा शुरू गरे एक टीम द्वारा प्रस्तुत गरिएको थियो जसको कुनै पूर्व अनुभव बिल्डिंग मूवी सिफारिश प्रणाली (Bell, Koren, and Volinsky 2010) ।

Netflix पुरस्कार को एक सुन्दर पहलू यो छ कि यो सबै प्रस्तावित समाधान को मूल्यांकन को लागि निष्पक्ष मा सक्षम गरियो। यही हो, जब मानिसहरूले आफ्नो भविष्यवाणी गरिएको मूल्याङ्कनहरू अपलोड गरे, उनीहरूलाई उनीहरूको शैक्षिक प्रमाणहरू, उनीहरूको उमेर, दौड, लिंग, यौन अभिविन्यास, वा आफ्नै बारेमा केही अपलोड गर्न आवश्यक थिएन। स्ट्यानफोर्डबाट एक प्रसिद्ध प्रोफेसरको अनुमानित मूल्याङ्कनहरू उनको शयन कक्षमा एक किशोरीको रूपमा समान रूपमा व्यवहार गरिएको थियो। दुर्भाग्यवश, यो धेरै सामाजिक अनुसन्धानमा सही छैन। यो प्रायः सोशल अनुसन्धानको लागि, मूल्यांकन धेरै समय-उपभोग र आंशिक रूपमा विषयक हो। त्यसोभए, अधिकांश अनुसन्धान विचारहरू कहिल्यै गम्भीर रूपमा मूल्यांकन गर्दैनन्, र जब विचारहरू मूल्याङ्कन गरिन्छ, ती विचारहरूलाई विचारका रचनाहरूबाट ती मूल्याङ्कनहरू हटाउन गाह्रो हुन्छ। अर्को हातमा कल परियोजनाहरू खोल्नुहोस्, सजिलो र निष्पक्ष मूल्याङ्कन छ त्यसैले उनीहरूले विचारहरू पत्ता लगाउन सक्ने छन् जुन अन्यथा छुटेको छ।

उदाहरणका लागि, Netflix पुरस्कारको समयमा एक पटकमा, स्क्रिन नाम सिमोन फर्ककले आफ्नो ब्लगमा एक प्रस्तावित समाधान एक एकल मूल्य अपघटनको आधारमा पोस्ट गरेको थियो, जसले रेजर बीजगण्टको दृष्टिकोणबाट पहिले अन्य सहभागीहरूले प्रयोग गरेको थिएन। फर्कको ब्लग पोस्ट एक साथ टेक्निकल र अजीब अनौपचारिक थियो। के यो ब्लग पोष्ट राम्रो समाधान वर्णन गरिएको थियो वा यो समय बर्बाद थियो? खुला कल परियोजनाको बाहिर, समाधानले कहिल्यै गम्भीर मूल्याङ्कन प्राप्त गरेको हुन सक्छ। आखिर, सिमोन फर्क एमआईटीमा प्रोफेसर थिएन। उनी एक सफ्टवेयर डेभलपर थिए, जुन समय, न्यूजील्याण्ड (Piatetsky 2007) आसपास ब्याकप्याकिंग गर्दै थिए। यदि उनले यो विचार Netflix मा ईन्जिनियरलाई ईमेल गरे, यो लगभग निश्चित रूपमा पढ्न सकेन।

सौभाग्य देखि, किनभने मूल्याङ्कन मापदण्ड स्पष्ट र लागू गर्न सजिलो थियो, उनको भविष्यवाणी मूल्याङ्कनहरू मूल्याङ्कन गरिएको थियो, र यो तुरुन्तै स्पष्ट थियो कि उनको दृष्टिकोण धेरै शक्तिशाली थियो: उनले प्रतिस्पर्धामा चौथो स्थानमा गोल गरे, एक ठूलो परिणामले अन्य टोलीहरू पहिले नै भएको थियो। समस्यामा महिनाका लागि काम गर्दै। अन्त्यमा, उनको दृष्टिकोणका भागहरू प्रायः सबै गम्भीर प्रतियोगीहरू (Bell, Koren, and Volinsky 2010) द्वारा प्रयोग गरिएको थियो।

यस तथ्यले कि सिमोन फर्कले आफ्नो दृष्टिकोणको व्याख्या गर्न ब्लग पोस्ट लेख्ने छनौट गरे तापनि यसलाई गोप्य राख्ने प्रयास गर्नुको साथै यो पनि बताउँछ कि Netflix पुरस्कारका धेरै सहभागीहरू विशेष रूपमा लाखौं पुरस्कारले उत्प्रेरित गर्दैनन्। तर, धेरै सहभागीहरूले पनि बौद्धिक चुनौती र समुदायको विकास गर्ने समुदायको अनुभव गरेका थिए (Thompson 2008) समस्याको (Thompson 2008) , भावनाहरु जुन म धेरै शोधकर्ताहरुलाई बुझ्न चाहन्छन्।

Netflix पुरस्कार एक खुला कलको एक क्लासिक उदाहरण हो। Netflix ले एक विशिष्ट लक्ष्य (चलचित्र मूल्याङ्कनको अनुमानित) र धेरै व्यक्तिहरूको अनुरोध समाधानको साथ एक प्रश्न प्रस्तुत गर्यो। Netflix यो सबै समाधानहरूको मूल्यांकन गर्न सक्षम थिए किनभने तिनीहरू जाँच गर्न सजिलो थिए, र अन्तमा Netflix ले सर्वश्रेष्ठ समाधान उठायो। अर्को, म तपाईंलाई देखाउनेछु कि यो दृष्टिकोण कसरी जीवविज्ञान र कानूनमा प्रयोग गर्न सकिन्छ, र एक लाख डलर बिना।