5.3.1 Netflix Cena

Netflix Cena využíva otvorenú výzvu predpovedať, aké filmy sa budú ľudia radi.

Najznámejším otvoreným projektom je cena Netflix. Spoločnosť Netflix je online spoločnosť na prenájom filmov a v roku 2000 spustila službu Cinematch, ktorá odporúča filmy zákazníkom. Napríklad, Cinematch si môže všimnúť, že sa vám páčilo Star Wars a The Empire Strikes Back a potom odporúčame sledovať Návrat Jedi . Spočiatku Cinematch pracoval zle. Ale v priebehu mnohých rokov pokračovala v zlepšovaní svojej schopnosti predpovedať, aké filmy zákazníci budú mať radosť. Do roku 2006 však došlo k pokroku v spoločnosti Cinematch. Výskumníci spoločnosti Netflix sa pokúsili skoro všetko, čo si myslia, ale súčasne mali podozrenie, že existujú iné nápady, ktoré im môžu pomôcť zlepšiť ich systém. Preto prišli s tým, čo bolo v tom čase radikálnym riešením: otvoreným volaním.

Kľúčom k prípadnému úspechu ceny Netflixu bolo, ako bola otvorená výzva navrhnutá, a tento návrh má dôležité lekcie o tom, ako môžu byť otvorené hovory použité pre sociálny výskum. Netflix nevytvoril len neštruktúrovanú žiadosť o nápady, čo si predstavujú mnohí ľudia, ktorí po prvýkrát zvážia otvorenú výzvu. Netflix skôr predstavoval jasný problém s jednoduchým hodnotiacim postupom: napadli ľudí, aby použili súbor 100 miliónov filmových hodnotení, aby predpovedali 3 milióny zverejnených hodnotení (hodnotenia, ktoré používatelia urobili, ale Netflix sa nevydal). Prvá osoba, ktorá vytvorila algoritmus, ktorý predpovedal 3 milióny predĺžených hodnotení o 10% lepšie ako Cinematch, získal milión dolárov. Tento jasný a ľahko použiteľný hodnotiaci postup - porovnávajúci predpokladané ratingy s ratingmi, ktoré boli vydané - znamenalo, že cena Netflix bola zarámovaná takým spôsobom, že riešenia boli ľahšie kontrolovateľné než generovanie; to zmenilo výzvu zlepšenia Cinematch na problém vhodný pre otvorený hovor.

V októbri 2006 spoločnosť Netflix uverejnila súbor dát obsahujúci 100 miliónov filmových hodnotení od zhruba 500 000 zákazníkov (v kapitole 6 budeme brať do úvahy dôsledky tohto uverejnenia údajov v oblasti ochrany osobných údajov). Údaje Netflix môžu byť koncipované ako obrovská matica, ktorá predstavuje približne 500 000 zákazníkov o 20 000 filmov. V rámci tejto matice bolo približne 100 miliónov hodnotení na stupnici od jednej do piatich hviezdičiek (tabuľka 5.2). Úlohou bolo použiť pozorované údaje v matici, aby sa predpovedali 3 milióny predĺžených ratingov.

Výskumní pracovníci a hackeri po celom svete sa na túto výzvu dostali a do roku 2008 pracovalo na nej viac ako 30 000 ľudí (Thompson 2008) . V priebehu súťaže spoločnosť Netflix získala viac ako 40 000 navrhovaných riešení od viac ako 5 000 tímov (Netflix 2009) . Samozrejme, spoločnosť Netflix nemohla prečítať a pochopiť všetky tieto navrhované riešenia. Celá vec prebehla hladko, pretože riešenia boli ľahko kontrolovateľné. Netflix by mohol mať len počítač porovnať predpokladané hodnotenia s ratingami, ktoré boli vydané, pomocou predvolenej metriky (konkrétna metrika, ktorú použili, bola druhá odmocnina strednej kvadratickej chyby). Práve táto schopnosť rýchlo vyhodnotila riešenia, ktoré spoločnosti Netflix umožnili prijať riešenia od všetkých, čo sa ukázalo byť dôležité, pretože dobré nápady prišli z niektorých prekvapivých miest. V skutočnosti bolo víťazné riešenie predložené tímom, ktorý začali traja výskumní pracovníci, ktorí nemali žiadne predchádzajúce skúsenosti s vytváraním systémov odporúčania filmov (Bell, Koren, and Volinsky 2010) .

Jedným z krásnych aspektov ceny Netflix je to, že umožnilo spravodlivé ohodnotenie všetkých navrhovaných riešení. To znamená, že keď ľudia odovzdali svoje predpokladané hodnotenia, nemuseli nahrávať svoje akademické údaje, ich vek, rasu, pohlavie, sexuálnu orientáciu alebo niečo o sebe. Predpokladané hodnotenia slávneho profesora z Stanfordu sa zaobchádzali úplne rovnako ako s teenagerom v spálni. Bohužiaľ, to nie je pravda vo väčšine spoločenského výskumu. To znamená, že pre väčšinu sociálneho výskumu je hodnotenie veľmi časovo náročné a čiastočne subjektívne. Takže väčšina výskumných myšlienok sa nikdy vážne nehodnotí a keď sa hodnotia nápady, je ťažké oddeliť tieto hodnotenia od tvorcu myšlienok. Na druhej strane otvorené projekty volania majú jednoduché a spravodlivé hodnotenie, aby mohli objaviť nápady, ktoré by inak chýbali.

Napríklad v jednom čase počas ceny Netflix, niekto s obrazovým názvom Simon Funk uverejnil na svojom blogu navrhované riešenie založené na rozložení singulárnej hodnoty, prístup z lineárnej algebry, ktorý predtým nepoužívali iní účastníci. Funk blog bol súčasne technický a divne neformálny. Bol tento príspevok blogu opisujúci dobré riešenie alebo bol to strata času? Mimo otvoreného projektu volania by riešenie nemalo nikdy dostať vážne hodnotenie. Koniec koncov, Simon Funk nebol profesorom MIT; on bol softvérový vývojár, ktorý v tom čase bol backpacking po Novom Zélande (Piatetsky 2007) . Ak by túto myšlienku zaslal inžinierovi v spoločnosti Netflix, takmer určite by to nebolo prečítané.

Našťastie, pretože hodnotiace kritériá boli jasné a ľahko uplatniteľné, jeho predpokladané hodnotenia boli vyhodnotené a bolo okamžite jasné, že jeho prístup bol veľmi silný: umiestnil sa na štvrté miesto v súťaži, obrovský výsledok vzhľadom na to, že ostatné tímy už boli pracovať niekoľko mesiacov na problém. Nakoniec časť jeho prístupu využili takmer všetci vážni konkurenti (Bell, Koren, and Volinsky 2010) .

Skutočnosť, že sa Simon Funk rozhodol napísať blogový príspevok vysvetľujúci jeho prístup, než aby sa snažil zachovať jeho tajomstvo, tiež ilustruje, že mnohí účastníci ceny Netflix neboli výhradne motivovaní miliónov dolárovou cenou. Skôr sa mnohí účastníci tiež zdalo, že majú intelektuálnu výzvu a komunitu, ktorá sa rozvinula okolo problému (Thompson 2008) , pocity, ktoré môžem očakávať od mnohých výskumníkov.

Cena Netflixu je klasickým príkladom otvoreného hovoru. Netflix položil otázku s konkrétnym cieľom (predpovedanie hodnotenia filmu) a vyžiadali riešenia od mnohých ľudí. Netflix dokázal vyhodnotiť všetky tieto riešenia, pretože ich bolo jednoduchšie skontrolovať, než vytvoriť, a nakoniec Netflix vybral najlepšie riešenie. Ďalej vám ukážem, ako môže byť tento prístup použitý v biológii a práve a bez ceny za milión dolárov.