5.3.1 Netflix nagradu

Netflix nagradu koristi otvoreni poziv za predviđanje koje filmove ljudi će vam se svidjeti.

najpoznatiji projekt je otvoren poziv je Netflix nagradu. Netflix je online iznajmljivanje film kompanije, a 2000. godine je pokrenula Cinematch, servis za preporuku filmova kupcima. Na primjer, Cinematch možda primijetiti da vam se sviđa Star Wars i Imperija uzvraća udarac, a onda preporučujemo da gledate Return of the Jedi. U početku, Cinematch radili loše. Ali, tokom mnogih godina, Cinematch nastavio da poboljša svoju sposobnost da predvide šta filmovi će kupci uživati. Do 2006. godine, međutim, napredak u Cinematch plateaued. Istraživači na Netflix je pokušao skoro sve što su mogli na pamet, ali u isto vrijeme, oni se sumnja da su druge ideje koje bi mogle pomoći da poboljšaju svoje sistema. Tako su došli do što je, u to vrijeme, radikalno rješenje: otvoreni poziv.

Od ključne važnosti za eventualni uspjeh Netflix nagrada je kako je otvoren poziv dizajniran, a ovaj dizajn ima važne lekcije o tome kako otvoreni pozivi mogu se koristiti za društvena istraživanja. Netflix nije samo ugasi nestrukturisano zahtjev za ideje, a to je ono što mnogi ljudi misle kada su prvi put smatraju otvoreni poziv. Umjesto toga, Netflix postavio jasan problem sa jednostavnim kriterijima vrednovanja: oni su izazvali ljudi da koriste skup 100 miliona filma ocjene za predviđanje 3 milijuna održan-out ocjene (ocjene koje korisnici su napravili, ali da Netflix nije objavio). Svako ko bi mogao stvoriti algoritam koji bi mogao predvidjeti 3 milijuna održan-out ocjena 10% bolje nego što bi Cinematch osvojiti 1 milion dolara. To jasno i lako se nanosi evaluaciju kriterija-u odnosu predviđa ocjene da se drže out ocjene-značilo da je Netflix nagradu je uokvirena na takav način da se lakše provjeriti nego generirati rješenja; ispostavilo izazov poboljšanja Cinematch u problem pogodan za otvoreni poziv.

U oktobru 2006. godine, Netflix je objavio skup koji sadrži 100 miliona film ocene o oko 500.000 kupaca (mi ćemo razmotriti implikacije privatnost ovih podataka puštanje u Poglavlju 6). Podaci Netflix može biti koncipiran kao veliki matrica koja je otprilike 500.000 klijenata za 20.000 filmova. U okviru ove matrice, bilo je oko 100 miliona ocjena na skali od 1 do 5 zvezdica (Tabela 5.2). Izazov je da se koristi posmatrane podataka u matrici predvidjeti 3 miliona održan-out ocjene.

Istraživači i hakera širom svijeta izvučeni su na izazov, a do 2008. godine više od 30.000 ljudi koji rade na tome (Thompson 2008) . Tokom takmičenja, Netflix primili više od 40.000 predloženih rješenja od više od 5.000 timova (Netflix 2009) . Očigledno, Netflix ne može pročitati i razumjeti sve te predloženih rješenja. Čitava stvar glatko, međutim, jer su rješenja bilo lako provjeriti. Netflix bi mogao samo imati računar uporedimo predviđa ocjene na održanoj-out ocjene od strane prethodno navedenih metričkih (posebnim metričke su koristili je kvadratni korijen srednje-kvadratna greška). Bilo je tu sposobnost da brzo procijeniti rješenja koji je omogućio Netflix da prihvati rješenja od svih, za koje se ispostavilo da je važno, jer dobre ideje je došao iz neke iznenađujuće mjesta. U stvari, pobjednički rješenje je dostavljen od strane tima započete od tri istraživača koji nisu imali prethodnog iskustva zgrade film preporuka sistema (Bell, Koren, and Volinsky 2010) .

Jedan prekrasan aspekt Netflix nagrade je da je omogućio svima u svijetu da imaju svoje rješenje ocijenjen prilično. Kada ljudi upload svoje predvidio rejtinga, oni ne moraju da postave svoje akademske vjerodajnice, njihova starost, rasu, spol, seksualnu orijentaciju, ili nešto o sebi. Dakle, predviđa ocjene poznatog profesora na Stanfordu su potpuno isti tretman kao i oni iz tinejdžer u svojoj spavaćoj sobi. Nažalost, to nije istina u većini društvenih istraživanja. To je, za većinu društvena istraživanja, evaluacija je vrlo dugotrajan i djelomično subjektivne. Dakle, većina istraživanja ideje nikada nisu ozbiljno ocenjuju, a kada se vrednuju ideje, teško je odvojiti tih procjena iz tvorac ideje. Jer rješenja su lako provjeriti, otvorene pozive omogućiti istraživačima da pristup svim potencijalno divne rješenja koja će pasti kroz pukotine ako se u obzir samo rješenja iz čuvenog profesora.

Na primjer, u jednom trenutku u toku neko Netflix nagradu sa imenom ekran Simon Funk je pisao na svom blogu je predloženo rješenje na osnovu singularnih vrijednosti razgradnje, pristup iz linearne algebre koji nisu prethodno koriste drugi učesnici. Funk je blog post je istovremeno tehnički i čudno neformalne. Je ovaj blog post opisuje dobro rješenje ili je to gubljenje vremena? Izvan projekat otvorenog poziva, rješenje možda nikada ne bi dobili ozbiljne evaluacije. Uostalom Simon Funk nije bio profesor na Cal Tech ili MIT; bio je programer koji je, u to vrijeme, bio backpacking oko Novog Zelanda (Piatetsky 2007) . Ako je poslana ova ideja inženjer na Netflix, gotovo sigurno ne bi bilo ozbiljno.

Srećom, jer su kriteriji evaluacije bili su jasni i lako se nanosi, njegova predvidio ocjene su ocijenjen, i bilo je odmah jasno da je njegov pristup je bio vrlo moćan: on skočio na četvrto mjesto u konkurenciji, ogroman rezultat s obzirom da drugi timovi su već bili rade mjesecima na taj problem. Na kraju, dijelovi Simon Funk pristupa su koristili gotovo svi ozbiljni konkurenti (Bell, Koren, and Volinsky 2010) .

Činjenica da je Simon Funk odlučio pisati blog post objašnjavajući svoj pristup, a ne pokušavaju zadržati u tajnosti, također pokazuje da su mnogi učesnici u Netflix nagradu nije isključivo motivisani nagradu od milion dolara. Umjesto toga, mnogi učesnici također činilo da uživaju u intelektualni izazov i zajednici koja se razvila oko problema (Thompson 2008) , osjećaje da očekujem mnogi istraživači mogu shvatiti.

Netflix nagradu je klasičan primjer otvorenog poziva. Netflix postavio pitanje sa određenim ciljem (predviđanje ocjena filma) i traženo rješenja iz mnogih ljudi. Netflix je bio u stanju da proceni svih ovih rješenja, jer su bili lakše provjeriti nego da se stvori, i na kraju Netflix izabrali najbolje rješenje. Dalje, ja ću vam pokazati kako taj isti pristup može se koristiti u biologiji i zakonom.