5.3.1 নেটফ্লিক্স পুরস্কার

নেটফ্লিক্স পুরস্কার ভবিষ্যদ্বাণী যা চলচ্চিত্র মানুষ পছন্দ করবে খোলা কল ব্যবহার.

সবচেয়ে সুপরিচিত খোলা কল প্রকল্প Netflix পুরস্কার হয়। Netflix একটি অনলাইন সিনেমা ভাড়া কোম্পানী, এবং 2000 সালে এটি Cinematch চালু, গ্রাহকদের জন্য সিনেমা সুপারিশ একটি সেবা। উদাহরণস্বরূপ, সিনেম্যাচ হয়তো মনে করতে পারেন যে আপনি স্টার ওয়ারস এবং সাম্রাজ্য স্ট্রাইকস ব্যাক পছন্দ করেছেন এবং তারপর সুপারিশ করুন যে আপনি জেডি রিটার্ন দেখুন প্রাথমিকভাবে, সিনেমেক খারাপভাবে কাজ করে। কিন্তু, অনেক বছর ধরে, এটি ভবিষ্যতে কোন সিনেমাগুলি গ্রাহককে উপভোগ করতে পারে তার পূর্বাভাসের উন্নতিতে অব্যাহত থাকে। ২006 সাল নাগাদ সিনামেখের অগ্রগতিতে প্লেটড ছিল। Netflix এ গবেষকরা তারা মনে করতে পারে প্রায় সবকিছু চেষ্টা করেছিল, কিন্তু, একই সময়ে, তারা তাদের সিস্টেম উন্নত তাদের সাহায্য করতে পারে যে অন্যান্য ধারণা ছিল সন্দেহ। সুতরাং, তারা কি ছিল, সেই সময়ে, একটি র্যাডিক্যাল সমাধান: একটি খোলা কল।

Netflix পুরস্কারের শেষ সাফল্যের সমালোচনামূলক ছিল কিভাবে খোলা কল ডিজাইন করা হয়েছিল, এবং এই নকশাটি কীভাবে খোলা কল সামাজিক গবেষণা জন্য ব্যবহার করা যেতে পারে জন্য গুরুত্বপূর্ণ পাঠ। Netflix শুধুমাত্র ধারণা জন্য একটি অসংগঠিত অনুরোধ করা হয়নি, যা অনেক মানুষ কল্পনা করা যখন তারা প্রথম একটি খোলা কল বিবেচনা করে বরং, Netflix একটি সরল মূল্যায়ন পদ্ধতির সঙ্গে একটি স্পষ্ট সমস্যাটি প্রকাশ করেছে: তারা মানুষকে 100 মিলিয়ন সিনেমা নির্ধারণের একটি সেট ব্যবহার করার জন্য চ্যালেঞ্জ করেছে যেটি 3 মিলিয়নের মেয়াদে অনুষ্ঠিত রেটিংগুলির (ব্যবহারকারীদের তৈরি করা হয়েছে কিন্তু Netflix প্রকাশ করা হয়নি) পূর্বাভাস দেয়। প্রথম অ্যালগোরিদম তৈরির প্রথম ব্যক্তিটি 3 মিলিয়নের মেয়াদে অনুষ্ঠিত রেটিংগুলির 10% সিনেমেকের চেয়ে ভাল বলে পূর্বাভাস দিয়েছে, সেটি মিলিয়ন ডলারে জয় করবে। মূল্যায়ন পদ্ধতি প্রয়োগের সাথে এই পরিষ্কার এবং সহজে তুলনা করা হয় - অনুষ্ঠিত রেটিংগুলির সাথে পূর্বনির্ধারিত রেটিংগুলির তুলনা- অর্থাত Netflix পুরস্কারটি এমনভাবে তৈরি করা হয়েছিল যে উত্পন্ন করার চেয়ে সমাধানগুলি সহজে পরীক্ষা করা হয়েছিল; এটি একটি খোলা কল জন্য উপযুক্ত একটি সমস্যা সিনামেখ উন্নত করার চ্যালেঞ্জ পরিণত।

২006 সালের অক্টোবরে, Netflix প্রায় 500,000 গ্রাহক থেকে 100 মিলিয়ন সিনেমা রেটিং সম্বলিত একটি ডেটাসেট প্রকাশ করেছে (আমরা অধ্যায় 6 এ এই তথ্য প্রকাশের গোপনীয়তা বিষয়গুলি বিবেচনা করব)। Netflix তথ্য একটি বিশাল ম্যাট্রিক্স হিসাবে ধারণা করা যায় যা প্রায় 500,000 গ্রাহক 20,000 চলচ্চিত্র দ্বারা। এই ম্যাট্রিক্সের মধ্যে, এক থেকে পাঁচটি টাওয়ার (টেবিল 5.2) পর্যন্ত স্কেলে প্রায় 100 মিলিয়ন রেটিং ছিল। চ্যালেঞ্জটি ম্যাট্রিক্সের পর্যবেক্ষণকৃত তথ্য ব্যবহার করে 30 মিলিয়নেরও বেশি আউট-আউট রেটিংগুলির ভবিষ্যদ্বাণী করা।

সারা বিশ্বের গবেষকরা এবং হ্যাকাররা চ্যালেঞ্জের দিকে এগিয়ে যায়, এবং ২008 সালের তুলনায় 30,000 এরও বেশি লোক কাজ করছিল (Thompson 2008) । প্রতিযোগিতার সময়, Netflix 5,000 টিরও বেশি টিম (Netflix 2009) থেকে 40,000 টি প্রস্তাবিত সমাধান পেয়েছে। স্পষ্টতই, Netflix এই সব প্রস্তাবিত সমাধান পড়তে এবং বুঝতে পারে না। সম্পূর্ণ জিনিস চালনা করা সহজভাবে, তবে, কারণ সমাধান সহজ ছিল। Netflix সম্ভবত একটি কম্পিউটার একটি prespecified মেট্রিক (তারা ব্যবহৃত নির্দিষ্ট মেট্রিক গড় স্কোয়ার্ড ত্রুটির বর্গমূল ছিল) ব্যবহার করে অনুষ্ঠিত আউট রেটিং সঙ্গে পূর্বাভাসের রেটিং তুলনা করতে পারে এটি এমন সব সমাধানগুলি নির্ণয় করতে সক্ষম ছিল যা Netflix সবাইকে সমাধানগুলি গ্রহণ করতে সক্ষম হয়েছিল, যা গুরুত্বপূর্ণ হয়ে উঠেছিল কারণ কিছু বিস্ময়কর স্থানগুলি থেকে ভাল ধারণাগুলি এসেছিল। বস্তুত, তিনটি গবেষক দ্বারা শুরু করা একটি দল দ্বারা বিজয়ী সমাধানটি জমা দেওয়া হয়েছিল যার পূর্বে কোনও অভিজ্ঞতা সম্পন্ন চলচ্চিত্রের সুপারিশ সিস্টেম (Bell, Koren, and Volinsky 2010) ।

Netflix পুরস্কার একটি সুন্দর দৃষ্টিভঙ্গি যে এটি প্রস্তাবিত সব সমাধান মোটামুটি মূল্যায়ন করা সক্ষম। যেহেতু লোকেরা তাদের পূর্বানুমানিক রেটিংগুলি আপলোড করে, তাদের তাদের অ্যাকাডেমিক প্রমাণপত্রাদি, তাদের বয়স, জাতি, লিঙ্গ, যৌন অভিযোজন বা নিজের সম্পর্কে কিছু আপলোড করার প্রয়োজন হয় না। স্ট্যানফোর্ডের একজন বিখ্যাত অধ্যাপক এর পূর্বাভাসকৃত রেটিংগুলি তার বেডরুমের কিশোরীর মতোই একই রকম আচরণ করা হয়েছিল। দুর্ভাগ্যবশত, এটি বেশিরভাগ সামাজিক গবেষণার ক্ষেত্রে সত্য নয়। যে, অধিকাংশ সামাজিক গবেষণা জন্য, মূল্যায়ন খুব সময় ব্যয়কারী এবং আংশিকভাবে বিষয়ী। সুতরাং, বেশিরভাগ গবেষণা ধারণাগুলি গুরুত্ব সহকারে মূল্যায়ন করা হয় না এবং যখন ধারণাগুলি মূল্যায়ন করা হয় তখন ধারণাগুলি সৃষ্টিকর্তা থেকে সেই মূল্যায়নগুলি আলাদা করা কঠিন। খোলা কল প্রকল্প, অন্যদিকে, সহজ এবং নিখুঁত মূল্যায়ন আছে যাতে তারা এমন ধারণাগুলি আবিষ্কার করতে পারে যা অন্যভাবে মিস করা হবে।

উদাহরণস্বরূপ, Netflix পুরস্কারের সময় এক সময়ে, স্ক্রীনের নাম সাইমন ফেনারের কেউ কেউ তার ব্লগে একটি একক উপভোক্তার উপর ভিত্তি করে একটি প্রস্তাবিত সমাধান পোস্ট করেছেন, রৈখিক বীজগাণির একটি পদ্ধতি যা অন্য অংশগ্রহণকারীদের দ্বারা পূর্বে ব্যবহার করা হয়নি। ফাঙ্কের ব্লগ পোস্ট একযোগে প্রযুক্তিগত এবং অদ্ভুতভাবে অনানুষ্ঠানিক ছিল। এই ব্লগ পোস্ট একটি ভাল সমাধান বর্ণনা ছিল বা এটি সময় অপচয় ছিল? একটি খোলা কল প্রকল্পের বাইরে, সমাধানটি গুরুতর মূল্যায়ন নাও পেতে পারে। সব পরে, সাইমন ফাক এমআইটি এর অধ্যাপক ছিলেন না; তিনি একটি সফ্টওয়্যার ডেভেলপার ছিলেন, যারা সময়, নিউজিল্যান্ড (Piatetsky 2007) পেছনে ব্যাকপ্যাকিং ছিল। যদি তিনি Netflix এ একটি ইঞ্জিনিয়ার থেকে এই ধারণা ইমেল ছিল, এটি প্রায় অবশ্যই পড়তে হবে না।

সৌভাগ্যবশত, মূল্যায়ন মাপদণ্ড স্পষ্ট এবং প্রয়োগ করা সহজ ছিল, কারণ তার পূর্বসূরি রেটিং মূল্যায়ন করা হয়েছিল, এবং এটি তাত্ক্ষণিকভাবে স্পষ্ট ছিল যে তার পদ্ধতি অত্যন্ত শক্তিশালী ছিল: প্রতিযোগিতায় চতুর্থ স্থানটি রকেট করা, অন্য দলগুলি ইতিমধ্যেই দেওয়া হয়েছে এমন একটি অসাধারণ ফলাফল সমস্যা মাস জন্য কাজ অবশেষে, তার দৃষ্টিভঙ্গির অংশগুলি প্রায় সব গুরুতর প্রতিযোগীদের (Bell, Koren, and Volinsky 2010) দ্বারা ব্যবহৃত হয়েছিল।

সাইমন ফুক একটি ব্লগ পোস্ট লিখতে পছন্দ করেন যেটি গোপন রাখার চেষ্টা করার পরিবর্তে তার পদ্ধতিটি ব্যাখ্যা করে, এটিও দেখায় যে Netflix পুরস্কারের অনেক অংশীদারিত্ব একচেটিয়াভাবে মিলিয়ন ডলার পুরস্কার দ্বারা অনুপ্রাণিত ছিল না। বরং, অনেক অংশগ্রহণকারী বুদ্ধিবৃত্তিক চ্যালেঞ্জ এবং সমস্যাটি (Thompson 2008) চারপাশে বিকশিত সম্প্রদায়টি উপভোগ করতে লাগলো, আমি অনুভব করছি যে অনেক গবেষক বুঝতে পারবেন

Netflix পুরস্কার একটি খোলা কল এর একটি চমৎকার উদাহরণ। Netflix একটি নির্দিষ্ট লক্ষ্য (ছবির রেটিং পূর্বাভাস) এবং অনেক মানুষ থেকে solicited সমাধানের একটি প্রশ্ন উত্থাপিত Netflix এই সব সমাধান মূল্যায়ন করতে সক্ষম ছিল কারণ তারা তৈরি চেয়ে চেক করতে সহজ ছিল, এবং পরিণামে Netflix সেরা সমাধান বাছাই। পরবর্তী, আমি আপনাকে দেখাব কিভাবে এই একই পদ্ধতি জীববিদ্যা এবং আইন ব্যবহার করা যেতে পারে, এবং একটি মিলিয়ন ডলার পুরস্কার ছাড়া।