5.3.1 Netflix mükafatı

Netflix mükafatı insanlar kimi olan kino proqnozlaşdırmaq açıq zəng edir.

Ən yaxşı açıq elan layihəsi Netflix mükafatıdır. Netflix bir onlayn film kirayəsi şirkətidir və 2000-ci ildə Cinematch, filmlərə müştərilərə məsləhət vermək üçün bir xidmət təqdim etdi. Məsələn, Cinematch siz Star Wars və Empire Strikes Back xoşladığınızı görə bilər və sonra Jedi qayıdışını izləmək üçün gəlir . Əvvəlcə Cinematch zəif işləmişdir. Lakin uzun illər ərzində filmlərin müştərilərinin hansı filmlərdən istifadə edəcəyini proqnozlaşdırmaq qabiliyyətini artırmağa davam etmişdir. 2006-cı ilədək, Cinematchdə irəliləyiş baş verdi. Netflix'teki araştırmacılar düşündükleri her şeyi denemeye başlamışlardı, eyni zamanda, sistemlerini iyileştirmelerine yardımcı olabilecek başqa fikirler olduğuna şüphelenmiştir. Beləliklə, onlar həmin zamanda radikal bir həll yolu ilə ortaya çıxdılar: açıq çağırış.

Netflix Mükafatının son müvəffəqiyyətinə kritik olaraq açıq çağırış necə hazırlanmışdı və bu dizayn ictimai araşdırma üçün açıq çağırışların necə istifadə olacağına dair mühüm dərslər var. Netflix ideyalar üçün qeyri-konstruktiv bir istək ortaya qoymadı, çünki bir çox insanlar ilk dəfə açıq çağırışı düşündükdə təsəvvür edirlər. Əksinə, Netflix sadə qiymətləndirmə proseduru ilə aydın bir problem yaratdı: onlar insanları 3 milyon saxlanılan reytinqi (istifadəçilər etdiyi şərhlər, lakin Netflixin azad etmədiyini) proqnozlaşdırmaq üçün 100 milyon film reytinqindən istifadə etməyə çağırdılar. Cinematchə nisbətlə 3 milyona bərabər olan 10% daha yaxşı qiymətləndirən bir alqoritm yaratmaq üçün bir adam milyon dollar qazandı. Bu açıq və asan qiymətləndirmə prosedurası - gözlənilən reytinqləri keçirilmiş dərəcələrlə müqayisə etmək - Netflix mükafatının istehsaldan daha asan yoxlanılmasını asanlaşdırdığına görə nəzərdə tutulmuşdu; Cinematch'i açıq bir çağırışa uyğun bir problemə çevirməyə meydan oxudu.

2006-cı ilin oktyabrında Netflix təxminən 500,000 müştəridən 100 milyon film reytinqi olan bir məlumat bazasını çıxardı (bu məlumatların azad olunmasının 6-cı fəsildə gizli nəticələrini nəzərdən keçirəcəyik). Netflix məlumatları 20 min filmlə təxminən 500 min müştəriyə malik böyük bir matrix kimi konseptual ola bilər. Bu matrisdə birdən beş ulduza qədər miqyasda təxminən 100 milyon reytinq var idi (cədvəl 5.2). Müsahibə, matrisdə müşahidə olunan məlumatların 3 milyonu keçmiş reytinqi proqnozlaşdırmaq üçün istifadə etmək idi.

Dünyadakı tədqiqatçılar və hackerlər bu problemə cəlb olundular və 2008-ci il ərzində 30 min nəfərdən çox insan işləyirdi (Thompson 2008) . Müsabiqənin gedişatı zamanı Netflix 5000-dən çox komandadan təklif olunan 40.000-dən çox təklifi qəbul etmişdir (Netflix 2009) . Aydındır ki, Netflix bütün bu təklifləri oxuyub anlaya bilmədi. Bununla belə, hər şey səmərəli şəkildə qaçdı, çünki həlləri yoxlamaq asan idi. Netflix, öncədən təyin edilmiş bir metrik (istifadə olunan metrik, orta kvadrat xətanın kvadrat kökü idi) istifadə edərək, aparılan qiymətləndirmələrlə proqnozlaşdırılmış reytinqləri kompüterlə müqayisə edə bilər. Netflix-in hər kəsdən qərar qəbul etməsini təmin edən həllərin tez qiymətləndirilməsi bu qabiliyyət idi, çünki yaxşı fikirlər bəzi təəccüblü yerlərdən gəldi. Əslində, qazanan həlli əvvəlcədən təcrübəyə malik olmayan film tövsiyə sistemləri (Bell, Koren, and Volinsky 2010) üç tədqiqatçı tərəfindən başlanan bir qrup tərəfindən təqdim edildi.

Netflix mükafatının bir gözəl xüsusiyyəti, təklif edilən bütün həllərin ədalətli qiymətləndirilməsinə imkan verdi. Yəni insanlar proqnozlaşdırılan reytinqlərini yüklədikdə, akademik etimadlarını, yaşlarını, irqini, cinsini, cinsi oriyentasını və ya özləri haqqında bir şey yükləməyə ehtiyac duymadı. Stenfordun tanınmış professorunun proqnozlaşdırılan reytinqi yataq otağına daxil olan gənclərdən tam fərqlənirdi. Təəssüf ki, bu ən çox ictimai araşdırmada doğru deyil. Yəni, əksər sosial tədqiqatlar üçün qiymətləndirmə çox vaxt aparan və qismən subyektivdir. Beləliklə, ən çox araşdırma ideyaları heç vaxt ciddi qiymətləndirilmir və fikirlər qiymətləndirildikdə, bu qiymətləndirmələri fikir yaradanlardan ayırmaq çətindir. Digər tərəfdən açıq çağırış layihələrinə asan və ədalətli qiymətləndirmə aparmaq üçün başqa cür qaçırılmayacaq fikirləri aşkar edə bilərsiniz.

Məsələn, Netflix Mükafatı zamanı bir nömrəli ekran adı olan Simon Funk öz blogunda tək bir dəyər ayrışmasına əsaslanan təklif edilən bir həll təklifini, digər iştirakçılar tərəfindən daha əvvəl istifadə edilməmiş xətti cəbrdən bir yanaşma təqdim etdi. Funk'in blog yazısı eyni vaxtda texniki və qəribə olaraq qeyri-rəsmi idi. Yaxşı bir həll təsvir edən bu blog yazısı yox idi ya da vaxt itkisi oldu? Açıq çağırış layihəsi xaricində həll heç bir zaman ciddi qiymətləndirmə əldə etməmişdir. Axı Simon Funk MİT-də professor deyildir; o, Yeni Zelandiyanı (Piatetsky 2007) ətrafında arxa (Piatetsky 2007) olan bir proqram geliştiricisi idi. Bu fikri Netflix-də mühəndisə göndərsə, demək olar ki, oxunmurdu.

Xoşbəxtlikdən, qiymətləndirmə kriteriyaları açıq və asan tətbiq olunduğundan, proqnozlaşdırılan reytinqlər qiymətləndirilmiş və anlayış dərhal aydın idi ki, onun yanaşması çox güclü idi: rəqabətdə dördüncü yeri tutmuşdu, nəticədə digər komandalar artıq böyük bir nəticə əldə etmişdilər Aylıq problemlə əlaqədar çalışır. Sonda onun yanaşmasının bir hissəsi demək olar ki, bütün ciddi rəqiblər tərəfindən istifadə olundu (Bell, Koren, and Volinsky 2010) .

Simon Funk, onun gizli saxlamağa çalışmaqdan çox, onun yanaşmasını izah edən bir blog yazısı yazmağı seçməsinin Netflix mükafatına daxil olan bir çox iştirakçının yalnız milyon dollarlıq mükafatla motivasiya edilmədiyini göstərir. Əksinə, bir çox iştirakçı da intellektual çağırışdan və problem ətrafında inkişaf edən cəmiyyətdən (Thompson 2008) , bir çox tədqiqatçıların başa düşəcəyini düşündüyüm duyğulara malik idi.

Netflix mükafatı açıq çağırışın klassik nümunəsidir. Netflix, müəyyən bir hədəflə (film qiymətləndirmələrini proqnozlaşdırmaq) bir sual meydana gətirdi və bir çox insanın həll təkliflərini soruşdu. Netflix bütün bu həlləri qiymətləndirə bildi, çünki onlar yaratmaqdan daha asan idi və nəticədə Netflix ən yaxşı həlli seçdi. Bundan sonra, bu yanaşmanın biologiya və qanunda və milyon dollarlıq mükafat olmadan necə istifadə edəcəyini göstərəcəyəm.