5.3.1 Netflix Prize

Prize la Netflix sèvi ak louvri apèl nou ka prevwa ki sinema moun pral renmen.

Pwojè ki pi byen li te ye apèl la se pri Netflix la. Netflix se yon konpayi fim sou entènèt lokasyon, ak nan lane 2000 li te lanse Cinematch, yon sèvis rekòmande fim nan kliyan yo. Pou egzanp, Cinematch ka remake ke ou te renmen Star Lagè ak Anpi a frape Retounen ak Lè sa a rekòmande ke ou gade Retounen nan Jedi la . Okòmansman, Cinematch te travay mal. Men, sou kou a nan anpil ane, li kontinye amelyore kapasite li nan predi kisa sinema kliyan ta renmen. Pa 2006, sepandan, pwogrè sou Cinematch te plante. Chèchè yo nan Netflix te eseye bèl anpil tout bagay yo te ka panse a, men, an menm tan an, yo sispèk ke te gen lòt lide ki ta ka ede yo amelyore sistèm yo. Se konsa, yo te vini ak sa ki te, nan moman an, yon solisyon radikal: yon apèl ouvè.

Kritik nan siksè nan evantyèlman nan Prize a Netflix te ki jan yo te rele a louvri, ak konsepsyon sa a gen leson enpòtan pou ki jan apèl ouvè yo ka itilize pou rechèch sosyal. Netflix pa t 'sèlman mete deyò yon demann unstructured pou lide, ki se sa anpil moun imajine yo lè yo premye konsidere yon apèl ouvè. Olye de sa, Netflix poze yon pwoblèm klè ak yon pwosedi evalyasyon ki senp yo: yo defye moun yo sèvi ak yon seri 100 milyon dola evalyasyon fim predi 3 milyon evalyasyon ki te fèt-soti (evalyasyon ki itilizatè te fè men ki Netflix pa t 'lage). Premye moun yo kreye yon algorithm ki prevwa 3 milyon dola ki te fèt-soti evalyasyon yo 10% pi bon pase Cinematch ta genyen yon milyon dola. Sa a klè ak fasil pou aplike pou pwosedi evalyasyon-konpare evalyasyon prevwa ak evalyasyon ki te fèt-soti vle di ke pri Netflix la te ankadre nan yon fason ke solisyon yo te pi fasil yo tcheke pase jenere; li vire defi a nan amelyore Cinematch nan yon pwoblèm apwopriye pou yon apèl ouvè.

Nan mwa oktòb 2006, Netflix lage yon dataset ki gen 100 milyon dola evalyasyon fim nan sou 500,000 kliyan (nou pral konsidere enplikasyon sou vi prive sa a lage nan chapit 6). Done Netflix yo ka konsèptualize kòm yon gwo matris ki apeprè 500,000 kliyan pa 20,000 sinema. Nan matris sa a, te gen apeprè 100 milyon dola evalyasyon sou yon echèl ki sòti nan youn a senk zetwal (tab 5.2). Defi a te sèvi ak done yo obsève nan matris la predi 3 milyon dola ki te fèt-soti evalyasyon yo.

Chèchè yo ak entru atravè mond lan te trase nan defi a, ak nan 2008 plis pase 30,000 moun yo te ap travay sou li (Thompson 2008) . Plis pase kou a nan konpetisyon an, Netflix resevwa plis pase 40,000 solisyon pwopoze soti nan plis pase 5,000 ekip (Netflix 2009) . Evidamman, Netflix pa t 'kapab li ak konprann tout solisyon sa yo pwopoze yo. Tout bagay la te kouri san pwoblèm, sepandan, paske solisyon yo te fasil yo tcheke. Netflix te kapab jis gen yon òdinatè konpare evalyasyon yo prevwa ak evalyasyon yo ki te fèt-soti lè l sèvi avèk yon metrik prespecified (metrik an patikilye yo te itilize te rasin kare nan erè an vle di kare). Li te kapasite sa a byen vit evalye solisyon ki pèmèt Netflix yo aksepte solisyon nan men tout moun, ki te tounen soti yo dwe enpòtan paske lide bon te soti nan kèk kote etone. An reyalite, solisyon an genyen te soumèt pa yon ekip ki te kòmanse pa twa chèchè ki pa te gen okenn sistèm rekòmandasyon rekòmandasyon anvan eksperyans (Bell, Koren, and Volinsky 2010) .

Yon bèl aspè nan Prize Netflix la se ke li pèmèt tout solisyon yo pwopoze yo dwe evalye san patipri. Sa se, lè moun ki te ajoute evalyasyon prevwa, yo pa t 'bezwen Upload kalifikasyon akademik yo, laj yo, ras, sèks, oryantasyon seksyèl, oswa anyen sou tèt yo. Evalyasyon yo prevwa nan yon pwofesè pi popilè nan Stanford te trete egzakteman menm bagay la tou tankou sa yo ki sòti nan yon tinedjè nan chanm li. Malerezman, sa pa vre nan pi fò rechèch sosyal. Sa se, pou pifò rechèch sosyal, evalyasyon se trè tan konsome ak pasyèlman subjectif. Se konsa, pifò ide rechèch yo pa janm evalye seryezman, epi lè evalyasyon lide, li difisil pou detache evalyasyon sa yo nan kreyatè ide yo. Louvri pwojè rele, nan lòt men an, yo gen evalyasyon fasil e ki jis pou yo ka dekouvri lide ki ta ka rate otreman.

Pou egzanp, nan yon pwen pandan Prize Netflix a, yon moun ki gen non ekran Simon Funk afiche sou blog li a yon solisyon pwopoze ki baze sou yon dekonpozisyon valè sengilye, yon apwòch ki soti nan aljèb lineyè ki pa te itilize deja pa lòt patisipan yo. Post blog Funk la te ansanm teknik ak weirdly enfòmèl. Eske pòs blog sa a ki te dekri yon solisyon bon oswa li te yon fatra nan tan? Deyò nan yon pwojè apèl louvri, solisyon an pa janm ka resevwa evalyasyon grav. Apre yo tout, Simon Funk pa t 'yon pwofesè nan MIT; li te yon pwomotè lojisyèl ki, nan moman an, te randone alantou New Zeland (Piatetsky 2007) . Si li te kouriyèl lide sa a nan yon enjenyè nan Netflix, li prèske sètènman pa ta yo te li.

Erezman, paske kritè evalyasyon yo te klè ak fasil pou aplike, evalyasyon prevwa li yo te evalye, epi li te imedyatman klè ke apwòch li te trè pwisan: li te raple nan katriyèm plas nan konpetisyon an, yon rezilta fòmidab ke ekip lòt te deja k ap travay pou mwa sou pwoblèm nan. Nan fen a, pati nan apwòch l 'yo te itilize pa nòmalman tout konpetitè grav (Bell, Koren, and Volinsky 2010) .

Lefèt ke Simon Funk te chwazi yo ekri yon pòs blog eksplike apwòch l 'yo, olye ke eseye kenbe li sekrè, tou ilistre ke patisipan yo anpil nan Prize la Netflix pa te sèlman motive pa pri a milyon dola-dola. Olye de sa, anpil patisipan yo te sanble yo jwi defi a entelektyèl ak kominote a ki te devlope nan pwoblèm nan (Thompson 2008) , santiman ke mwen atann anpil chèchè ka konprann.

Prize a Netflix se yon egzanp klasik nan yon apèl ouvè. Netflix te poze yon kesyon ak yon objektif espesifik (predi ke evalyasyon fim) ak solisyon solisyon nan anpil moun. Netflix te kapab evalye tout solisyon sa yo paske yo te pi fasil yo tcheke pase yo kreye, epi finalman Netflix pran solisyon an pi byen. Apre sa, mwen pral montre w kouman apwòch sa a menm yo ka itilize nan byoloji ak lalwa, epi san yon pwi milyon dola.