5.3.1 Netflix mukofoti

Netflix mukofoti odamlar kabi bo'ladi filmlar oldindan ochiq qo'ng'iroq foydalanadi.

Eng yaxshi ma'lum bo'lgan ochiq chaqiriq loyiha Netflix mukofoti hisoblanadi. Netflix onlayn kino lizing kompaniyasi bo'lib, 2000-yilda u mijozlarga filmlar tavsiya Cinematch, xizmat ishga tushirildi. Misol uchun, Cinematch siz Orqaga va keyin siz Jedi qaytish tomosha tavsiya Star Wars va Empire Strikes yoqdi ko'rishingiz mumkin. Dastlab, Cinematch yomon ishlagan. Lekin, ko'p yillar davomida, Cinematch mijozlar bahramand nima filmlar bashorat qilish qobiliyatini yaxshilash uchun davom etdi. 2006 yilga kelib, ammo, Cinematch harakat plateaued. Netflix da tadqiqotchilar ular o'ylab mumkin deyarli har bir narsani sinab ko'rdim, lekin shu bilan birga, ularni o'z tizimini yaxshilashga yordam berishi mumkin, boshqa g'oyalar bor edi, deb gumon. ochiq qo'ng'iroq: Shunday qilib, ular, vaqtda, qanday bilan tubdan hal keldi.

Netflix mukofoti yakuniy muvaffaqiyat uchun muhim ochiq chaqiriq mo'ljallangan qanday edi va bu dizayn ijtimoiy tadqiqotlar uchun foydalanish mumkin qanday ochiq qo'ng'iroqlar uchun muhim saboq bor. Netflix faqat ular birinchi ochiq qo'ng'iroq muhokamalarsiz ko'p odamlar tasavvur nima g'oyalar uchun yapılandırılmamış so'rov amalga qilmadi. Balki, Netflix oddiy baholash mezonlari bilan ochiq-oydin muammo tug'dirardi: ular 3 million bo'lib-out reytinglarini bashorat qilish 100 million kino reytinglar majmuini foydalanish odamlarni shubha ostiga (foydalanuvchilar qilgan ratings lekin Netflix ozod qilmagan). Cinematch 1 million dollar yutib bo'lardi nisbatan 10% yaxshi 3 million bo'lib-out reytinglarini oldindan mumkin bir algoritm yaratish mumkin har bir kishi. Bu ochiq-oydin va oson baholash bo'lib-out taxmin reytinglarini mezonlar-taqqoslab qo'llash Netflix mukofoti echimlar ishlab ko'ra tekshirish uchun oson shunday belgilangan edi reytinglari-edi; u ochiq qo'ng'iroq uchun mos bir muammo ichiga Cinematch takomillashtirish ostiga qaradi.

2006 yil oktyabr oyida, Netflix (biz 6-bobda ham bu ma'lumotlar ozod maxfiylik oqibatlarini ko'rib chiqamiz) haqida 500,000 mijozlar 100 million kino reytinglarini o'z ichiga olgan ma'lumotlar majmui ozod. Netflix ma'lumotlar 20.000 filmlar tomonidan taxminan 500,000 mijozlar bo'lgan katta matritsasi deb kavramsallaştırma mumkin. Bu matritsasi doirasida 1 5 yulduzli (jadval 5.2) dan bir miqyosda 100 million ratings bor edi. qiyinchilik 3 million bo'lib-out reytinglarini bashorat qilish matritsasi kuzatilgan ma'lumotlarni foydalanish edi.

Butun dunyo bo'ylab Tadqiqotchilar va hackerlar da'volariga jalb etildi, va 2008 dan ortiq 30.000 kishi ustida ishlayotgan edi (Thompson 2008) . Tanlovi davomida Netflix 5000 dan ortiq jamoalar dan ortiq 40.000 taklif hal qabul (Netflix 2009) . Shubhasiz, Netflix o'qish va barcha bu taklif hal tushunish mumkin emas. echimlar tekshirish uchun oson edi, chunki butun narsa, ammo, silliq yugurib ketdi. Netflix faqat kompyuter oldindan belgilangan metrik (ular o'rtacha kvadratik-xato kvadrat ildiz edi ishlatiladi Xususan metrika-) tomonidan o'tkazilgan-out reyting bashorat reytingini solishtirish bo'lishi mumkin. Bu tez yaxshi g'oyalar ba'zi ajablanarli joylarda kelgan, chunki muhim bo'lib chiqdi har bir, echimlarni qabul qilish Netflix yoqishingiz hal baholash, bu qobiliyati edi. Aslida, g'olib hal hech oldin tajribasi qurilish kino tavsiya tizimlari edi uch tadqiqotchilar tomonidan boshlangan bir jamoa tomonidan taqdim etilgan (Bell, Koren, and Volinsky 2010) .

Netflix mukofoti biri go'zal jihati bu ularning hal adolatli baho ega bo'lishi dunyoda hammani yoqishingiz deb. odamlar o'z bashorat reytingini yuklangan bo'lsa, ular ilmiy ishonch yorliqlarini, o'zlari haqida, ularning yoshi, irqi, jinsi, jinsiy yo'nalishini, yoki biror narsa yuklash uchun kerak emas edi. Shunday qilib, Stenford bir mashhur professor bashorat ratings aniq yotoqxonasiga bir o'smir kelgan bir xil muomala qilindi. Afsuski, bu eng ijtimoiy tadqiqotlar haqiqiy emas. Bu eng ijtimoiy tadqiqotlar uchun, baholash juda qachon qabul qiluvchi va qisman sub'ektiv hisoblanadi. Shunday qilib, eng tadqiqot g'oyalar jiddiy baholanadi hech qachon, va g'oyalar baholanadi, u g'oyalar yaratuvchisi kelgan baholarini ajratib qiyin. echimlar tekshirish uchun oson, chunki, ochiq chaqiriqlar tadqiqotchilar ular faqat mashhur professor echimlarni ko'rib bo'lsa yoriqlar orqali qolishidan barcha potentsial ajoyib hal kirish uchun imkon beradi.

Misol uchun, ekran nomi bilan Netflix mukofoti kishi davomida bir nuqtada Simon Funk bir birlik qiymati parchalanish asoslangan uning blog taklif hal posted, boshqa ishtirokchilar tomonidan ilgari qo'llanilgan edi chiziqli algebra bir yondashuv. Funk ning blog post bir vaqtning o'zida texnik va weirdly norasmiy edi. Bu blog post yaxshi yechim tasvirlab yoki vaqt chiqindilarni edi? ochiq chaqiriq loyiha Outside, eritma jiddiy baho olgan hech qachon mumkin. Barcha Simon Funk Tinglash Tech yoki afsona professori emas edi keyin; U paytda, Yangi Zelandiya atrofida backpacking edi, bir dasturiy ta'minot ishlab edi (Piatetsky 2007) . U Netflix da muhandis bu fikrni yuboriladi edi, u deyarli albatta jiddiy qabul qilmagan.

baholash mezonlari aniq va qo'llash oson edi, chunki Yaxshiyamki, uning bashorat ratings baholandi va uning yondashuv juda kuchli ekanligini bir zumda aniq edi: u tanlovda to'rtinchi joyga .Qolaversa, katta natija boshqa jamoalar allaqachon edi berilgan muammo ustida oy ish. Oxir-oqibat, Simon Funk yondashuviga qismlari deyarli barcha jiddiy raqib tomonidan ishlatilgan (Bell, Koren, and Volinsky 2010) .

Simon Funk aksincha sir saqlashga harakat ko'ra, uning yondashuvni tushuntirib blog post yozish uchun tanlab oldi, aslida, ham Netflix mukofoti ko'plab ishtirokchilari faqat million dollar mukofot maqsadi emas, deb ko'rsatadi. Aksincha, ko'p ishtirokchilar ham intellektual muammo va muammo atrofida rivojlangan hamjamiyatni bahramand tuyulardi (Thompson 2008) , men juda ko'p tadqiqotchilar tushunish mumkin kutish tuyg'ular.

Netflix mukofoti ochiq qo'ng'iroqning bir klassik misol. Netflix (kino reytinglarini bashorat) muayyan maqsad bilan savol bergan va ko'p odamlardan hal qilar edi. Ular yaratish ko'ra tekshirish uchun oson edi, chunki Netflix bu barcha yechimlarni baholash muvaffaq bo'ldi va oxir-oqibatda Netflix eng yaxshi yechim oldi. bu bir xil yondashuv biologiya va qonun foydalanish mumkin qanday Keyingi, men senga ko'rsataman.