5.3.1 جایزه Netflix بکشد

جایزه Netflix بکشد با استفاده از پاسخ باز به پیش بینی که فیلم از مردم می خواهم.

برنامه شناخته شده ترین برنامه تماس آزاد، جایزه Netflix است. Netflix یک شرکت اجاره ای فیلم آنلاین است و در سال 2000 Cinematch، یک سرویس برای توصیه فیلم به مشتریان را راه اندازی کرد. به عنوان مثال، Cinematch ممکن است متوجه شود که دوست دارید جنگ ستارگان و امپراتوری اعتصاب کنید و سپس توصیه می کنید که به تماشای بازگشت از جدی بپردازید. در ابتدا، Cinematch بد کار کرد. اما، طی سالهای بسیاری، آن را همچنان به بهبود توانایی خود در پیش بینی فیلمهایی که مشتریان از آن لذت می برند، ادامه داد. با این حال، در سال 2006، پیشرفت Cinematch در حال تردد بود. محققان Netflix تقریبا همه چیز را که می توانستند فکر کنند، سعی کرده بودند، اما در عین حال آنها مظنون بودند که ایده های دیگری وجود دارد که ممکن است به آنها کمک کند سیستم خود را بهبود بخشند. به این ترتیب، آنها با آنچه که در آن زمان بود، یک راه حل رادیکال مطرح شد: یک تماس باز.

انتقاد به موفقیت در نهایت جایزه Netflix این بود که چگونه فراخوانی باز طراحی شده است و این طراحی درس های مهمی برای چگونگی استفاده از تماس های باز برای تحقیقات اجتماعی می باشد. Netflix نه تنها یک درخواست بدون ساختار برای ایده ها ارائه داد، که بسیاری از مردم آن را تصور می کنند زمانی که ابتدا یک تماس باز را در نظر بگیرند. در عوض Netflix با یک روش ارزیابی ساده مواجه بود: آنها مردم را به استفاده از مجموعه ای از 100 میلیون رتبه بندی فیلم برای پیش بینی 3 میلیون رتبه (رتبه بندی که کاربران ساخته شده بود اما Netflix منتشر نشده) به چالش کشیده شد. اولین فردی که یک الگوریتم را ایجاد کرد، پیش بینی کرد که 3 میلیون رأی دهی شده 10٪ بهتر از Cinematch یک میلیون دلار برساند. این روش ساده و آسان برای اعمال ارزیابی - مقایسه رتبه بندی پیش بینی شده با رتبه بندی های برجسته - به این معنی بود که جایزه Netflix به گونه ای طراحی شده بود که راه حل ها برای کسب اطمینان از تولید آسان تر بود؛ این چالش بهبود Cinematch را به یک مشکل مناسب برای یک تماس باز تبدیل کرد.

در ماه اکتبر سال 2006، Netflix یک مجموعه داده حاوی 100 میلیون فیلم رتبه بندی را از حدود 500،000 مشتری منتشر کرد (ما مفاهیم حفظ حریم خصوصی این انتشار اطلاعات را در فصل 6 بررسی خواهیم کرد). داده های Netflix را می توان به عنوان یک ماتریس بزرگ که تقریبا 500،000 مشتری را با 20،000 فیلم به نمایش می گذارد، مفهوم می کند. در این ماتریس حدود 100 میلیون رأی در یک مقیاس از یک تا پنج ستاره وجود داشت (جدول 5.2). چالش این بود که از داده های مشاهده شده در ماتریس برای پیش بینی 3 میلیون رأی گیری های باز شده استفاده شود.

محققان و هکرها در سراسر جهان به چالش کشیدند و تا سال 2008 بیش از 30،000 نفر در آن کار میکردند (Thompson 2008) . در طی مسابقه، Netflix بیش از 40،000 راه حل پیشنهاد شده از بیش از 5،000 تیم (Netflix 2009) . بدیهی است Netflix نمی تواند تمام این راه حل های پیشنهادی را بخواند و درک کند. با این وجود، همه چیز هموار بود، زیرا راه حل ها برای بررسی آسان بود. Netflix فقط می تواند یک رایانه را با رتبه بندی های پیشنهادی با استفاده از یک متریک پیش تعیین شده مقایسه کند (معیار خاصی که از آنها استفاده می شود ریشه مربع میانگین خطای مربع است). این توانایی به سرعت ارزیابی راه حل هایی بود که Netflix را قادر می ساخت تا راه حل هایی را از همه قبول کند، که مهم بود زیرا ایده های خوبی از مکان های شگفت انگیز به دست آمد. در حقیقت، راه حل برنده توسط یک تیم آغاز شده توسط سه محقق که هیچ تجربه قبلی ساخت سیستم توصیه های فیلم (Bell, Koren, and Volinsky 2010) نداد.

یک جنبه زیبا از جایزه Netflix این است که تمام راه حل های پیشنهاد شده را به طور صحیح ارزیابی کرده است. به این معنی که وقتی افراد رتبه بندی پیش بینی شده خود را آپلود کردند، نیازی به آپلود مجوزهای تحصیلی، سن، نژاد، جنسیت، گرایش جنسی و یا هر چیزی درباره خودشان نداشتند. رأی پیش بینی شده ی یک استاد معروف از استنفورد دقیقا مانند کسانی بود که از یک نوجوان در اتاق خوابش استفاده می کردند. متاسفانه این در بیشتر تحقیقات اجتماعی درست نیست. این است که برای اغلب تحقیقات اجتماعی، ارزیابی بسیار زمان گیر و جزئی ذهنی است. بنابراین، بسیاری از ایده های تحقیق هرگز به طور جدی مورد ارزیابی قرار نمی گیرند، و هنگامی که ایده ها ارزیابی می شوند، این ارزیابی ها را از خالق ایده ها جدا می کند. از سوی دیگر، پروژه های فراخواننده، ارزیابی آسان و عادلانه دارند تا بتوانند ایده هایی را که در غیر این صورت از دست رفته، کشف کنند.

برای مثال، در یک نقطه در طول جایزه Netflix، کسی که با نام Screen Simon Funk در وبلاگ خود یک راه حل پیشنهادی را بر اساس تقسیم ارزش منحصر به فرد، یک رویکرد از جبر خطی که قبلا توسط دیگر شرکت کنندگان استفاده نکرده بود، در وبلاگ خود قرار داد. وبلاگ وبلاگ فانک به طور همزمان فنی و فوق العاده غیر رسمی بود. آیا این پست وبلاگ توصیف یک راه حل خوب بود و یا آن را اتلاف وقت؟ در خارج از یک پروژه تماس آزاد، راه حل ممکن است هرگز ارزیابی جدی دریافت نکرده باشد. پس از همه، سیمون فانک استاد در MIT نبود؛ او یک توسعه دهنده نرم افزاری بود که در آن زمان، در اطراف نیوزیلند (Piatetsky 2007) . اگر او این ایده را به مهندس Netflix ایمیل فرستاد، تقریبا قطعا آن را نخوانده بود.

خوشبختانه، چون معیارهای ارزیابی واضح و آسان بود، رتبه بندی های پیش بینی شده او مورد ارزیابی قرار گرفت و فورا روشن شد که رویکرد او بسیار قدرتمند بود؛ او در رقابت به مقام چهارم رسید، نتیجه بسیار بزرگی با توجه به اینکه تیم های دیگر مشغول به کار برای ماه هاست. در نهایت، بخش هایی از رویکرد وی توسط تقریبا تمام رقبای جدی (Bell, Koren, and Volinsky 2010) .

واقعیتی که سیمون فانک تصمیم به نوشتن یک پست وبلاگ برای توضیح رویکرد خود کرد، به جای تلاش برای مخفی نگه داشتن آن، نشان می دهد که بسیاری از شرکت کنندگان در جایزه Netflix به طور انحصاری توسط جایزه میلیون دلاری انگیزه داده نمی شوند. در عوض، بسیاری از شرکت کنندگان نیز به نظر می رسید از چالش فکری و جامعه ای که در اطراف مشکل توسعه یافتند (Thompson 2008) ، احساساتی که انتظار می رود بسیاری از محققان بتوانند از آن لذت ببرند.

جایزه Netflix یک مثال کلاسیک از یک تماس باز است. Netflix یک سوال با هدف خاص (پیش بینی رتبه بندی فیلم) و راه حل های درخواست شده از بسیاری از مردم مطرح شد. Netflix قادر به ارزیابی تمام این راه حل ها بود چرا که آنها برای بررسی آسان تر از ایجاد و در نهایت Netflix بهترین گزینه را انتخاب کردند. بعد، من به شما نشان خواهم داد که چگونه این روش را می توان در زیست شناسی و حقوق و بدون یک جایزه میلیون دلاری استفاده کرد.