5.3.1 Netflix Prize

Nagroda Netflix wykorzystuje otwarte zaproszenie do przewidzenia, które ludzie lubią filmy.

Najbardziej znanym projektem Open Call jest Nagroda Netflix. Netflix to internetowa wypożyczalnia filmów, aw 2000 roku uruchomiła Cinematch, usługę polecania filmów klientom. Na przykład Cinematch może zauważyć, że lubisz Gwiezdne wojny i Imperium kontratakuje, a następnie polecam oglądać Powrót Jedi . Początkowo Cinematch działał słabo. Jednak w ciągu wielu lat poprawiał swoją zdolność do przewidywania, jakie filmy będą lubić. Jednak do 2006 r. Postęp w sprawie Cinematch utrzymywał się na stabilnym poziomie. Naukowcy z Netflix próbowali praktycznie wszystkiego, co tylko mogli wymyślić, ale jednocześnie podejrzewali, że istnieją inne pomysły, które mogą pomóc im ulepszyć ich system. Tak więc wymyślili coś, co było wówczas radykalnym rozwiązaniem: wezwaniem otwartym.

Istotny dla ostatecznego sukcesu nagrody Netflix był sposób zaprojektowania otwartego zaproszenia, a projekt ten ma ważną lekcję na temat tego, jak można wykorzystać otwarte połączenia do badań społecznych. Firma Netflix nie tylko wydała niestrukturowaną prośbę o pomysły, co wielu ludzi sobie wyobraża, gdy po raz pierwszy rozważają otwartą rozmowę. Netflix stanowił oczywisty problem związany z prostą procedurą oceny: zmusili oni ludzi do korzystania z zestawu 100 milionów ocen filmów, aby przewidzieć 3 miliony wystawionych ocen (ocen, które użytkownicy zrobili, ale których Netflix nie wydał). Pierwsza osoba, która stworzy algorytm, który przewidywał 3 miliony ocen przeterminowanych o 10% lepiej niż Cinematch, wygrałaby milion dolarów. Ta przejrzysta i łatwa w zastosowaniu procedura oceny - porównywanie przewidywanych ocen z ocenami wystawionymi - oznaczała, że ​​Nagroda Netflix została sformułowana w taki sposób, że łatwiej jest sprawdzić rozwiązania niż je wygenerować; stało się wyzwaniem, jakim jest poprawa Cinematch w kwestii odpowiedniej do otwartego połączenia.

W październiku 2006 roku Netflix opublikował zbiór danych zawierający 100 milionów ocen filmów od około 500 000 klientów (weźmiemy pod uwagę implikacje prywatności tych danych w rozdziale 6). Dane Netflix można konceptualizować jako ogromną matrycę, która wynosi około 500 000 klientów na 20 000 filmów. W tej macierzy było około 100 milionów ocen w skali od jednej do pięciu gwiazdek (tabela 5.2). Wyzwanie polegało na wykorzystaniu obserwowanych danych w macierzy w celu przewidzenia 3 milionów wystawionych ocen ratingowych.

Naukowcom i hakerom z całego świata udało się sprostać temu wyzwaniu, a do 2008 r. Pracowało nad nim ponad 30 000 osób (Thompson 2008) . W trakcie trwania konkursu Netflix otrzymał ponad 40 000 proponowanych rozwiązań od ponad 5000 zespołów (Netflix 2009) . Oczywiście, Netflix nie był w stanie przeczytać i zrozumieć wszystkich proponowanych rozwiązań. Całość przebiegła sprawnie, ponieważ rozwiązania były łatwe do sprawdzenia. Netflix mógł po prostu mieć komputer, który porównałby przewidywane oceny z wystawionymi ocenami za pomocą z góry określonej metryki (konkretna metryka, której użyli, była pierwiastkiem kwadratowym ze średniego kwadratu błędu). To była właśnie umiejętność szybkiego oceniania rozwiązań, dzięki którym Netflix akceptował rozwiązania od wszystkich, co okazało się ważne, ponieważ dobre pomysły pochodziły z zaskakujących miejsc. W rzeczywistości zwycięskie rozwiązanie zostało złożone przez zespół, który rozpoczął trzech badaczy, którzy wcześniej nie mieli doświadczenia w tworzeniu systemów rekomendacji filmów (Bell, Koren, and Volinsky 2010) .

Jednym z pięknych aspektów nagrody Netflix jest to, że umożliwiło sprawiedliwą ocenę wszystkich proponowanych rozwiązań. Oznacza to, że gdy użytkownicy dodali swoje przewidywane oceny, nie musieli przesyłać swoich danych akademickich, ich wieku, rasy, płci, orientacji seksualnej ani niczego w ich własnym imieniu. Przewidywane oceny słynnego profesora ze Stanford były traktowane dokładnie tak samo jak te z nastolatka w jej sypialni. Niestety nie jest tak w przypadku większości badań społecznych. Oznacza to, że w przypadku większości badań społecznych ocena jest bardzo czasochłonna i częściowo subiektywna. Dlatego większość pomysłów badawczych nigdy nie jest poważnie oceniana, a kiedy pomysły są oceniane, trudno oddzielić te oceny od twórcy pomysłów. Z drugiej strony projekty otwartych zaproszeń mają łatwą i uczciwą ocenę, dzięki czemu mogą odkryć pomysły, których inaczej by brakowało.

Na przykład w pewnym momencie nagrody Netflix ktoś o nazwisku Simon Funk zamieścił na swoim blogu proponowane rozwiązanie oparte na dekompozycji pojedynczej wartości, podejście z algebry liniowej, które nie było wcześniej używane przez innych uczestników. Blog Funka był jednocześnie techniczny i dziwnie nieformalny. Czy ten wpis na blogu opisał dobre rozwiązanie, czy też był to strata czasu? Poza projektem otwartego połączenia rozwiązanie mogło nigdy nie otrzymać poważnej oceny. W końcu Simon Funk nie był profesorem MIT; był programistą, który w tym czasie (Piatetsky 2007) po Nowej Zelandii (Piatetsky 2007) . Gdyby wysłał ten pomysł do inżyniera z Netflix, prawie na pewno by go nie przeczytano.

Na szczęście, ponieważ kryteria oceny były jasne i łatwe do zastosowania, oceniano jego przewidywane oceny i od razu było jasne, że jego podejście było bardzo mocne: awansował na czwarte miejsce w konkursie, co było ogromnym wynikiem, ponieważ inne zespoły były już wcześniej. przez miesiące pracowałem nad problemem. W końcu część jego podejścia wykorzystali praktycznie wszyscy poważni konkurenci (Bell, Koren, and Volinsky 2010) .

Fakt, że Simon Funk zdecydował się napisać post na blogu wyjaśniający jego podejście, zamiast starać się zachować to w tajemnicy, pokazuje również, że wielu uczestników nagrody Netflix nie było wyłącznie zmotywowanych nagrodą za milion dolarów. Wydaje się, że wielu uczestników cieszyło się także intelektualnym wyzwaniem i społecznością, która rozwinęła się wokół problemu (Thompson 2008) , uczuć, których oczekuję od wielu badaczy.

Nagroda Netflix to klasyczny przykład połączenia otwartego. Netflix postawił pytanie z konkretnym celem (przewidywanie ocen filmów) i zamówionymi rozwiązaniami wielu osób. Netflix był w stanie ocenić wszystkie te rozwiązania, ponieważ łatwiej je było sprawdzić, niż tworzyć, i ostatecznie Netflix wybrał najlepsze rozwiązanie. Następnie pokażę, jak można zastosować to samo podejście w biologii i prawie, bez nagrody za milion dolarów.