5.3.1 Netflix पुरस्कार

लोक आवडेल जे चित्रपट अंदाज Netflix पुरस्कार उघडा कॉल वापरते.

सर्वात सुप्रसिद्ध ओपन कॉल प्रोजेक्ट हा Netflix पारितोषिक आहे Netflix एक ऑनलाइन चित्रपट भाडे कंपनी आहे, आणि 2000 मध्ये Cinematch लाँच, ग्राहकांना चित्रपटांची शिफारस करण्यासाठी एक सेवा. उदाहरणार्थ, सिनेमॅच कदाचित लक्षात येईल की आपल्याला स्टार वॉर्स आणि साम्राज्य स्ट्राइक बॅक आवडले आणि नंतर आपण शिफारस करतो की जेडीचे रिटर्न पाहा . प्रारंभी, सिनेमॅच खराब काम केले. पण, कित्येक वर्षांच्या कालावधीत, ग्राहकांनी कोणत्या फिल्म्सचा उपभोग घेता येईल याचा अंदाज देण्याची त्यांची क्षमता सुधारणे चालूच राहिले. 2006 पर्यंत, सिनेमॅचवर प्रगती होते. नेटफ्लिक्समधील संशोधकांनी त्यांच्याबद्दल विचार करायला हरकत घेतली होती, परंतु त्याच वेळी त्यांना शंका होती की इतर कल्पनाही असू शकतील ज्यामुळे त्यांची प्रणाली सुधारण्यात मदत होईल. अशाप्रकारे, ते त्यावेळी काय होते यावर आले, त्यावेळी, एक मूलगामी समाधान: एक मुक्त कॉल.

Netflix पारितोषिकेची अंतिम यश हे गंभीर होते की खुल्या कॉलची रचना कशी करण्यात आली होती, आणि या डिझाइनमध्ये महत्वाच्या धडे आहेत की खुल्या कॉलचा सामाजिक शोध करण्यासाठी कसा वापर केला जाऊ शकतो. Netflix फक्त कल्पनांसाठी एक असंरक्षित विनंती बाहेर ठेवले नाही, जे अनेक लोक जेव्हा ते प्रथम एक खुले कॉल विचार तेव्हा कल्पना आहे. ऐवजी, Netflix एक साधी मूल्यमापन प्रक्रिया एक स्पष्ट समस्या विचारला: त्यांनी लोकांना 3 दशलक्ष आयोजित-आऊट रेटिंग्स (रेटिंग वापरकर्त्यांनी बनविले परंतु Netflix सोडले नाही की रेटिंग) अंदाज करण्यासाठी 100 दशलक्ष चित्रपट रेटिंग एक संच वापरण्यासाठी आव्हान दिले. पहिली व्यक्ती म्हणजे अल्गोरिदम तयार करणारी जो 3 मिलियन आऊटव्हॉइड रेटिंग्सची अंदाज देईल जी सिनेमॅचपेक्षा 10% अधिक चांगली असेल तर दहा लाख डॉलर्स मिळतील. मूल्यांकनात्मक मूल्यांकनासह मूल्यांकनात्मक मूल्यांकनाची मूल्यांकन-तुलना करणे हे स्पष्ट आणि सोपे आहे-म्हणजे Netflix पारितोषिक अशा प्रकारे तयार केले गेले होते की व्युत्पन्न करण्यापेक्षा उपाय करणे सोपे होते; यामुळे खुल्या कॉलसाठी योग्य असलेल्या समस्येत सिनेमॅच सुधारण्याचं आव्हान निर्माण झाले.

ऑक्टोबर 2006 मध्ये, नेटफ्लिक्सने एका डेटासेटचे प्रकाशन केले जे सुमारे 500,000 ग्राहकांपासून 100 दशलक्ष चित्रपट रेटिंग समाविष्ट करते (आम्ही अध्याय 6 मध्ये या डेटा रिलीझच्या गोपनीयता परिणामांचा विचार करणार आहोत) Netflix डेटा एक प्रचंड मॅट्रिक्स म्हणून संकल्पनाकृत केले जाऊ शकते जो जवळजवळ 500,000 ग्राहक आहे आणि 20,000 चित्रपटांद्वारे. या मॅट्रिक्सच्या आत, एका ते पाच तारे (सारणी 5.2) वर स्केल वर सुमारे 100 दशलक्ष रेटिंग्स होते. 3 दशलक्ष आस-आऊट रेटिंग्जची अंमलबजावणी करण्यासाठी मॅट्रिक्समधील साजरा डेटा वापरणे हे आव्हान होते.

जगभरातील संशोधक आणि हॅकर्स या आव्हानाला सामोरे जात होते, आणि 2008 पर्यंत 30,000 पेक्षा जास्त लोक त्यावर काम करीत होते (Thompson 2008) . या स्पर्धेत नेटफ्लिक्सने 5000 पेक्षा अधिक कार्यसंघ (Netflix 2009) 40,000 पेक्षा अधिक प्रस्तावित सोल्यूशन प्राप्त केले. स्पष्टपणे, Netflix या सर्व प्रस्तावित उपाय वाचले आणि समजू शकत नाही. सर्व गोष्टी सहजतेने संपली, तथापि, उपाय तपासणे सोपे होते. Netflix एक संगणकीय एक prespeined मेट्रिक (ते वापरले विशिष्ट मेट्रिक क्षुद्र squared त्रुटी वर्गमूळ होते) वापरून आयोजित-आऊट रेटिंग्स सह अंदाज रेटिंगची तुलना असू शकते. हे नेक्स्ट्लिक्सने प्रत्येकाकडून उपाय स्वीकारणे यासारख्या समाधानाचे द्रुतगतीने मूल्यांकन करण्याची क्षमता होती, जे महत्वाचे ठरले कारण काही आश्चर्यजनक ठिकाणाहून चांगले कल्पना आले खरेतर, तीन शोधकांनी सुरु केलेल्या टीमने जिंकलेले समाधान सबमिट केले होते ज्यांचे पूर्वी अनुभव नसलेले चित्रपट शिफारस प्रणाली (Bell, Koren, and Volinsky 2010) .

Netflix पुरस्कार एक सुंदर पैलू की तो सर्व प्रस्तावित उपाय प्रामाणिकपणाने मूल्यांकन करणे सक्षम आहे. म्हणजे, जेव्हा लोकांनी त्यांचे पूर्वानुमानित रेटिंग्स अपलोड केले, तेव्हा त्यांना त्यांच्या शैक्षणिक श्रेय, त्यांची वय, वंश, लिंग, लैंगिक अभिमुखता किंवा स्वतःबद्दल काहीही अपलोड करण्याची आवश्यकता नव्हती. स्टॅनफोर्डमधील एका प्रसिद्ध प्रोफेसरच्या अंदाजानुसार त्याच्या बेडरुममध्ये असलेल्या किशोरवयीन मुलांप्रमाणेच त्याचे मूल्यांकन केले गेले. दुर्दैवाने, हे बर्याच सामाजिक संशोधनांमध्ये सत्य नाही. म्हणजेच, बहुतेक सामाजिक संशोधनासाठी, मूल्यमापन करणे वेळ-घेणारे आणि अंशतः व्यक्तिपरक आहे. म्हणून, बर्याचशा संशोधन कल्पनांचा कधीही गंभीरतेने मूल्यांकन केलेला नाही आणि जेव्हा कल्पनांचे मूल्यांकन केले जाते तेव्हा कल्पनांचे निर्मात्याकडून त्या मूल्यांकनांचे वेगळे करणे कठीण आहे. ओपन कॉल प्रोजेक्ट्स, दुसरीकडे, सोपा आणि सुयोग्य मूल्यमापन करा म्हणजे ते अशा कल्पना शोधू शकतील ज्या अन्यथा चुकतील.

उदाहरणार्थ, Netflix पारितोषिकांदरम्यान एका क्षणी, सायमन फंकच्या स्क्रीन नावाच्या व्यक्तीने आपल्या ब्लॉगवर एक असामान्य मूल्याच्या अपघटनच्या आधारावर प्रस्तावित उपाय सांगितला आहे, जो रेखीय बीजगणितापूर्वीचा एक दृष्टिकोन होता जो पूर्वी इतर सहभागींनी वापरलेला नव्हता. फंकचा ब्लॉग पोस्ट एकाचवेळी तांत्रिक आणि अनियमितपणे अनौपचारिक होता. हा ब्लॉग पोस्ट चांगला समाधान वर्णन करीत आहे किंवा तो वेळ वाया जात आहे? खुल्या कॉल प्रोजेक्टच्या बाहेर, याउलट व्हायरसने कधीच गंभीर मूल्यमापन प्राप्त केले नाही. शेवटी, सायमन फंक एमआयटीमध्ये प्राध्यापक नव्हते; तो एक सॉफ्टवेअर डेव्हलपर होता, जो त्यावेळी न्यूझीलंड (Piatetsky 2007) आसपास बॅकपॅकिंग होता. जर त्याने ही कल्पना Netflix येथे अभियंताकडे पाठविली असेल तर ती नक्कीच वाचली गेली नसती.

सुदैवाने, कारण मूल्यांकन निकष स्पष्ट आणि लागू करणे सोपे होते, त्यांच्या अंदाजानुसार मूल्यांकनांचे मूल्यांकन केले गेले होते आणि ते तत्परतेने स्पष्ट झाले की त्याचा दृष्टिकोन खूपच शक्तिशाली होता. तो स्पर्धेत चौथ्या क्रमांकावर आला आणि इतर संघांना आधीच खूपच फायदा झाला. समस्या चालू महिन्यांसाठी अखेरीस, त्याच्या दृष्टिकोनाचा भाग अक्षरशः सर्व गंभीर प्रतिस्पर्धी (Bell, Koren, and Volinsky 2010) द्वारे वापरला होता.

सायमन फंकने एक ब्लॉग पोस्ट लिहिला आहे की तो गुप्त ठेवण्याचा प्रयत्न करण्याऐवजी त्याच्या दृष्टिकोन समजावून सांगतो, तसेच Netflix पारितोषिकतील अनेक सहभागी केवळ दशलक्ष डॉलर पारितोषिकाने प्रेरित नसल्याचे स्पष्ट करते. त्याऐवजी, अनेक सहभागींनी बौद्धिक आव्हान आणि समस्येच्या आसपास विकसित झालेल्या समाजाचा (Thompson 2008) अनुभवला असावा, ज्या भावना मी अपेक्षा करतो त्या अनेक संशोधकांना समजतील.

Netflix पारितोषिक खुल्या कॉलचे एक उत्कृष्ट उदाहरण आहे. Netflix एक विशिष्ट ध्येय एक प्रश्न posed (मूव्ही रेटिंग अंदाज) आणि अनेक लोक उपाय मागितली. Netflix या सर्व उपाय मूल्यमापन करण्यासाठी सक्षम होते कारण ते तयार करणे जास्त सोपे होते, आणि अखेरीस Netflix सर्वोत्तम उपाय उचलला पुढे, मी तुम्हाला हे दाखवीन की जीवशास्त्र आणि कायद्यामध्ये हेच दृष्टिकोण कसे वापरले जाऊ शकते, आणि लाख डॉलर्सचे बक्षीस न देता कसे