5.3.1 Netflix nagrado

Netflix nagrado uporablja javni razpis predvideti, kateri filmi bodo ljudje radi.

Najbolj znan projekt odprtega klica je nagrada Netflix. Netflix je podjetje za najem filmov na spletu, leta 2000 pa je začelo Cinematch, storitev za priporočila filmom strankam. Na primer, Cinematch lahko opazil, da vam je všeč Star Wars in The Empire Strikes Back, nato pa priporočite, da si ogledate Vračanje Jedija . Cinematch je prvotno delal slabo. Toda v mnogih letih je še naprej izboljševala svojo sposobnost, da napoveduje, katere filme bodo uživali kupci. Do leta 2006 pa je bil napredek na Cinematchu ravnovesje. Raziskovalci v Netflixu so preizkušali precej vsega, kar si lahko zamislijo, vendar so hkrati domnevali, da obstajajo druge ideje, ki bi jim lahko pomagale izboljšati svoj sistem. Tako so prišli do tistega, kar je bila takrat radična rešitev: odprt razpis.

Ključni za morebitni uspeh Netflixove nagrade je bil oblikovanje odprtega klica, ki ima pomembne lekcije o tem, kako se lahko uporabijo odprti klici za družbene raziskave. Netflix ni samo postavil nestrukturirane zahteve za ideje, kar si mnogi predstavljajo, ko prvič razmišljajo o javnem razpisu. Namesto tega je Netflix postavil očiten problem s preprostim postopkom ocenjevanja: ljudje so izpodbijali, naj uporabijo nabor 100 milijonov filmskih ocen, da napovejo 3 milijone ocen, ki so jih ocenili uporabniki (ocene, ki so jih uporabili uporabniki, vendar Netflix ni izdal). Prva oseba, ki je ustvarila algoritem, ki je napovedal, da bi 3 milijone ocen, ki so bile presežene za 10% bolje kot Cinematch, bi osvojilo milijon dolarjev. Ta jasen in enostaven postopek ocenjevanja, ki primerja predvidene ocene z ocenjenimi ocenami, je pomenil, da je bila nagrada Netflix zasnovana tako, da so bile rešitve lažje preverjati kot ustvarjati; se je izzval izboljšanja Cinematch spremenil v težavo, ki je primerna za javni razpis.

V oktobru leta 2006 je Netflix izdal podatkovni niz, ki je vseboval 100 milijonov filmskih ocen s približno 500.000 strankami (upoštevali bomo zasebnostne posledice tega izdajanja podatkov v 6. poglavju). Podatki Netflixa so lahko zasnovani kot velika matrika, ki znaša približno 500.000 strank z 20.000 filmi. V tej matriki je bilo na lestvici od 1 do 5 zvezdic približno 100 milijonov ocen (tabela 5.2). Izziv je bil uporabiti opazovane podatke v matriki, da bi napovedali 3 milijone ocen, ki jih ne bi bilo mogoče oceniti.

Raziskovalci in hekerji po vsem svetu so bili pripravljeni na izziv, do leta 2008 pa je delalo več kot 30.000 ljudi (Thompson 2008) . V teku tekmovanja je Netflix prejel več kot 40.000 predlaganih rešitev iz več kot 5000 ekip (Netflix 2009) . Očitno Netflix ni mogel prebrati in razumeti vseh predlaganih rešitev. Vsekakor je vseeno potekalo gladko, ker so bile rešitve enostavne za preverjanje. Netflix bi lahko imel samo računalnik primerjati predvidene ocene z ocenami, ki niso bile opravljene, z uporabo vnaprej določenega merila (določena metrika, ki so jo uporabili, je bil kvadratni koren srednjega kvadrata napake). Takšna zmožnost je bila hitro ovrednotiti rešitve, ki so Netflixu omogočile sprejemanje rešitev od vseh, kar se je izkazalo za pomembno, ker so bile dobre ideje iz nekaterih presenetljivih mest. Dejstvo je, da je zmagovalno rešitev oddala ekipa, ki so jo začeli trije raziskovalci, ki niso imeli predhodnih izkušenj pri gradnji filmskih priporočil (Bell, Koren, and Volinsky 2010) .

Eden čudovitih vidikov nagrade Netflix je, da je omogočil pošteno oceno vseh predlaganih rešitev. To pomeni, da ljudje niso prenesli svojih akademskih poverilnic, njihove starosti, rase, spola, spolne usmerjenosti ali karkoli o sebi sami prenesli svoje predvidene ocene. Predvidene ocene slavnega profesorja iz Stanforda so bile obravnavane popolnoma enake tistim iz najstnice v svoji spalnici. Na žalost to v večini družbenih raziskav ni res. To pomeni, da je za večino družbenih raziskav vrednotenje zelo zamudno in delno subjektivno. Torej, večina raziskovalnih idej ni nikoli resno ovrednotena in ko se ocene vrednotijo, jih je težko odstopiti od ustvarjalca idej. Po drugi strani pa imajo projekti odprtih klicev enostavno in pošteno oceno, da lahko odkrijejo zamisli, ki bi jih sicer zamudili.

Na primer, nekoč med nagrado Netflix je nekdo s scenarijem Simon Funk na svojem blogu objavil predlagano rešitev, ki temelji na edinstveni razgradnji vrednosti, pristopu linearne algebre, ki ga predhodno niso uporabljali drugi udeleženci. Funk's blog post je bil hkrati tehničen in čudno neformalen. Je bil to objavo na spletnem mestu, ki opisuje dobro rešitev ali je bilo zapravljanje časa? Razen projekta odprtega klica, rešitev morda nikoli ni prejela resnega vrednotenja. Konec koncev, Simon Funk ni bil profesor na MIT-u; bil je razvijalec programske opreme, ki je v tistem času (Piatetsky 2007) po Novi Zelandiji (Piatetsky 2007) . Če bi to idejo poslali inženirju v Netflixu, ga skoraj zagotovo ne bi prebral.

Na srečo, ker so bila merila za ocenjevanje jasna in enostavna, so ocenili njegove predvidene ocene in takoj je bilo jasno, da je bil njegov pristop zelo močan: na natečaju se je povzpel na četrto mesto, kar je ogromen rezultat, saj so ostale ekipe že bile delam več mesecev na problem. Na koncu so njegove pristope uporabljali skoraj vsi resni tekmeci (Bell, Koren, and Volinsky 2010) .

Dejstvo, da se je Simon Funk odločil napisati blog, ki pojasnjuje njegov pristop, in ne poskuša ostati skrivnost, prav tako ponazarja, da mnogi udeleženci v nagradi Netflix niso bili izključno motivirani z nagrado v višini milijon dolarjev. Zdi se, da je veliko udeležencev uživalo tudi intelektualni izziv in skupnost, ki se je razvila okoli te težave (Thompson 2008) , čustev, ki jih pričakujem, da mnogi raziskovalci lahko razumejo.

Nagrada Netflix je klasičen primer odprtega klica. Netflix je postavil vprašanje s posebnim ciljem (napovedovanje filmskih ocen) in zahteval rešitve mnogih ljudi. Netflix je bil sposoben ovrednotiti vse te rešitve, saj jih je bilo lažje preveriti kot ustvariti, in nazadnje je Netflix izbral najboljšo rešitev. Nato vam pokažem, kako se lahko ta isti pristop uporablja v biologiji in pravu ter brez nagrade za milijon dolarjev.