5.3.1 Netflix nagrado

Netflix nagrado uporablja javni razpis predvideti, kateri filmi bodo ljudje radi.

Najbolj znan projekt javni razpis je Netflix nagrado. Netflix je online najem film podjetje, v letu 2000 je začela Cinematch, storitev priporočiti filmov strankam. Na primer, Cinematch morda opazili, da vam je všeč Star Wars in Empire Strikes Back, nato pa priporočamo, da si gledal Return of the Jedi. Sprva Cinematch delal slabo. Ampak, v teku več let, Cinematch še naprej izboljševala svojo sposobnost predvidevanja, kaj filmi bi kupci uživajo. Do leta 2006, pa je napredek na Cinematch ostala na enaki ravni. Raziskovalci na Netflix skušal precej vse, kar so lahko zamislite, ampak hkrati pa obstaja sum, da je bilo druge ideje, da bi jim pomagali izboljšati svoj sistem. Tako so prišli s tem, kar je bilo v času, radikalno rešitev: javni razpis.

Odločilnega pomena za končni uspeh nagrade Netflix je bilo, kako se je javni razpis namenjen, in ta oblika ima pomembne izkušnje za kako odprto klice se lahko uporablja za socialne raziskave. Netflix ni samo dal ven tudi nestrukturiranih zahtevo za ideje, ki je tisto, kar mnogi ljudje predstavljajo, ko so najprej preučiti javni razpis. Namesto, Netflix postavljeno jasno težave s preprostim meril ocenjevanja: izpodbijajo ljudi k uporabi niz 100 milijonov filmskih ocen napovedati 3 milijone v posesti iz ocene (ocene, ki so uporabniki, ki vendar Netflix ni za javnost). Vsakdo, ki bi lahko ustvariti algoritem, ki lahko napovedujejo na 3 milijone v posesti iz ocen 10% boljši, kot bi Cinematch zmago 1 milijon dolarjev. Ta jasna in enostavna za uporabo ocenjevalnih meril, primerjavo napovedane ocene na posesti od ocen, je pomenilo, da je Netflix nagrado oblikovani tako, da so rešitve, lažje preveriti kot ustvarjanje; se je izkazalo izziv izboljšanje Cinematch v težave primerno za javni razpis.

Oktobra 2006, Netflix izdal nabor podatkov, ki vsebuje 100 milijonov filmske ocene od približno okoli 500.000 kupcev (bomo preučiti posledice zasebnosti te objave podatkov v poglavju 6). Podatki Netflix lahko zamišljen kot velik matrico, ki je približno 500.000 kupcev, ki jih 20.000 filmov. V okviru te matrice, je bilo približno 100 milijonov ocene na lestvici od 1 do 5 zvezdic (tabela 5.2). Izziv je bil za uporabo opazovanih podatkov v matriki napovedati 3 milijone posesti-out ocene.

Raziskovalci in hekerji po vsem svetu so bili pripravljeni na izziv, in do leta 2008 več kot 30.000 ljudi, so delali na tem (Thompson 2008) . Tekom tekmovanja, Netflix je prejela več kot 40.000 predlaganih rešitev iz več kot 5000 ekip (Netflix 2009) . Očitno je, da Netflix ni bilo mogoče prebrati in razumeti vse te predlagane rešitve. Celotna stvar tekel brez zapletov, vendar, ker so bile rešitve, enostavno preveriti. Netflix lahko samo še računalnik primerjati napovedane ocene na posesti od ocen, ki jih vnaprej določeni metrični (posamezno meritev, ki jih uporablja je kvadratni koren povprečne kvadrat napake). Bilo je to sposobnost, da hitro ocenijo rešitve, ki so omogočale Netflix sprejeti rešitve, od vsakogar, ki se je izkazalo, da je pomembno, ker dobre ideje je prišel iz nekaterih presenetljivih krajih. V resnici je bila izbrana rešitev predloži skupina treh raziskovalcev, ki jih prej niso imeli izkušnje, gradbeni film priporočilo sistemov začel (Bell, Koren, and Volinsky 2010) .

Ena lepa vidik nagrade Netflix je, da je omogočen vsem v svetu, da so njihova rešitev oceniti pošteno. Ko ljudje naložili svoje napovedane ocene, ki jih ni bilo treba naložiti svoje akademske poverilnice, njihovo starost, raso, spol, spolno usmerjenost, ali kaj o sebi. Tako so bile napovedane ocene znanega profesorja iz Stanforda obravnavati povsem enako kot tisti iz najstnik v svoji spalnici. Na žalost, to ni res, v večini družboslovnega raziskovanja. To pomeni, da za večino socialne raziskave, vrednotenje je zelo zamudno in delno subjektivna. Torej, večina raziskovalne ideje niso nikoli resno oceniti, in ko se vrednotijo ​​ideje, da je težko ločiti te ocene od ustvarjalca idej. Ker so rešitve lahko preveri, razpisi omogočajo raziskovalcem dostop do vseh potencialno čudovite rešitve, ki bi padli skozi razpoke, če se upošteva le rešitve iz znanih profesorjev.

Na primer, v nekem trenutku med Netflix nagrado nekdo z vzdevkom Simon Funk objavil na svojem blogu predlagano rešitev, ki temelji na vrednosti razgradnje ednini, pristop iz linearne algebre, ki niso bile prej uporabljene drugi udeleženci. Funk je blog post je hkrati tehnično in nenavadno neformalno. Je bil ta blog post, ki opisuje dobro rešitev ali je to izguba časa? Zunaj projekta odprtega klic, lahko rešitev nikoli ne bi prejela resno oceno. Konec koncev Simon Funk ni bil profesor na Cal Techu ali MIT; je bil razvijalec programske opreme, ki je v času, ko je bila backpacking po Novi Zelandiji (Piatetsky 2007) . Če bi bil po e-pošti na to idejo, da inženir na Netflix, skoraj gotovo ne bi bili sprejeti resno.

Na srečo, ker so bila merila za ocenjevanje jasna in enostavna za uporabo, so bile ocenjene njegove predvidene ocene, in je bilo takoj jasno, da je bil njegov pristop zelo močna: je povzpela na četrto mesto v konkurenci, ogromno rezultat glede na to, so že druge ekipe delajo več mesecev na problem. Na koncu so bili deli pristopa Simon Funk je s skoraj vseh resnih konkurentov uporablja (Bell, Koren, and Volinsky 2010) .

Dejstvo, da je Simon Funk odločila, da napiše blog post pojasnjuje njegov pristop, namesto da poskuša obdržati skrivnost, prav tako kaže, da mnogi udeleženci nagrado Netflix niso motivirani izključno nagrado milijon dolarjev. Nasprotno, številni udeleženci je zdelo prav, da uživajo intelektualni izziv in skupnosti, ki je razvila okoli tega problema (Thompson 2008) , občutke, ki sem pričakujejo številni raziskovalci lahko razumeti.

Netflix Nagrada je klasičen primer odprtega razpisa. Netflix zastavljeno vprašanje z določenim ciljem (napoved filmske ocene) in zbrala rešitve od mnogih ljudi. Netflix je bil sposoben oceniti vse te rešitve, ker so lažje, da se preveri, kot za ustvarjanje, in na koncu Netflix izbral najboljšo rešitev. Dalje, ti bom pokazal, kako lahko ta isti pristop lahko uporablja v biologiji in prava.