5.3.1 Netflix Prize

Netflix Prize выкарыстоўвае адкрыты выклік , каб прадказаць , якія фільмы людзі любяць.

Самыя вядомы праект з адкрытым выклікам з'яўляецца Netflix Prize. Netflix з'яўляецца онлайн фільм арэнду кампаніі, а ў 2000 годзе ён пачаў Cinematch, абслугоўванне, каб рэкамендаваць фільмы кліентам. Напрыклад, Cinematch можна заўважыць , што вам спадабалася Star Wars і Імперыя наносіць зваротны ўдар , а затым рэкамендуецца глядзець Вяртанне джэдая. Першапачаткова Cinematch працаваў дрэнна. Але, на працягу многіх гадоў, ён працягвае ўдасканальваць сваю здольнасць прадказваць, якія фільмы кліентаў будуць карыстацца. Да 2006 году, аднак, прагрэс у Cinematch было стабілізавалася. Даследчыкі Netflix спрабавалі амаль усё, што яны маглі б думаць, але, у той жа час, яны падазравалі, што былі і іншыя ідэі, якія маглі б дапамагчы ім палепшыць сваю сістэму. Такім чынам, яны прыдумалі, што было, у той час, радыкальнае рашэнне: адкрыты выклік.

Вырашальнае значэнне для канчатковага поспеху Netflix прэміі было як адкрыты выклік быў распрацаваны, і гэты праект мае важныя ўрокі аб тым, як адкрытых выкліках можа быць выкарыстана для сацыяльных даследаванняў. Netflix не толькі патушыць неструктураваных запыт на ідэі, якая з'яўляецца тое, што многія людзі думаюць, калі яны спачатку разгледзім адкрыты выклік. Хутчэй за ўсё, Netflix паставіў дакладную задачу з дапамогай простай працэдуры ацэнкі: яны кінулі выклік людзей выкарыстоўваць набор з 100 мільёнаў рэйтынгаў фільмаў прадказаць 3 мільёны ўтрыманы з адзнак (ацэнкі, якія зрабілі карыстальнікі, але што Netflix не выпускалі). Першы чалавек, каб стварыць алгарытм, які прадказаў 3 мільёны ўтрыманы з рэйтынгаў 10% лепш, чым Cinematch б выйграць мільён долараў. Гэта ясна і лёгка ўжываць працэдуру ацэнкі, параўноўваючы прадказаныя рэйтынгі з ўтрымліваецца з адзнак, меў на ўвазе, што Netflix Prize была аформлена такім чынам, што растворы лягчэй праверыць, чым генераваць; апынуліся задача паляпшэння Cinematch ў праблему прыдатную для адкрытага выкліку.

У кастрычніку 2006 года, Netflix выпусціла набор дадзеных, якія змяшчаюць 100 мільёнаў рэйтынгаў фільмаў ад каля каля 500 000 кліентаў (мы разгледзім наступства прыватнасці гэтай версіі дадзеных у главе 6). Дадзеныя Netflix можна прадставіць у выглядзе вялізнай матрыцы, якая складае прыкладна 500000 кліентаў 20000 фільмаў. У гэтай матрыцы налічвалася каля 100000000 адзнак па шкале ад аднаго да пяці зорак (табліца 5.2). Задача складалася ў тым, каб выкарыстоўваць назіраныя дадзеныя ў матрыцы, каб прадказаць 3 мільёны ўтрыманы з рэйтынгаў.

Даследчыкі і хакеры па ўсім свеце былі намаляваны на выклік, і да 2008 года больш чым 30000 людзей працавалі над ім (Thompson 2008) . На працягу конкурсу, Netflix атрымаў больш за 40000 прапанаваных рашэнняў ад больш чым 5000 каманд (Netflix 2009) . Відавочна, што Netflix не мог чытаць і разумець усе гэтыя прапанаваныя рашэнні. Усё гэта прайшло гладка, аднак, паколькі рашэнне было лёгка праверыць. Netflix можа проста мець кампутар параўнаць прадказаныя рэйтынгі з ўтрымліваецца з адзнак, выкарыстоўваючы предуказанную метрыку (канкрэтная метрыкай яны выкарыстоўвалі корань квадратны з сярэдняга квадрата памылкі). Менавіта гэтая здольнасць хутка ацэньваць рашэнні, якія далі Netflix прымаць рашэнні ад усіх, што апынулася важным, таму што добрыя ідэі прыйшлі з самых нечаканых месцаў. На самай справе, выйгрышнае рашэнне было прадстаўлена групай распачатай трыма даследчыкамі , якія раней не мелі вопыт стварэння рэкамендацыйных сістэм кіно (Bell, Koren, and Volinsky 2010) .

У адзін цудоўны аспект Netflix прэміі з'яўляецца тое, што яна дазволіла усе прапанаваныя рашэнні павінны быць ацэнены справядліва. Гэта значыць, калі людзі загружаныя іх прадказаныя рэйтынгі, яны не павінны загружаць свае акадэмічныя паўнамоцтвы, іх узросту, расы, полу, сэксуальнай арыентацыі, або што-небудзь пра сябе. Прагнозныя рэйтынгі вядомага прафесара з Стэнфорда ставіліся гэтак жа, як і ад падлетка ў сваёй спальні. На жаль, гэта не так у большасці сацыяльных даследаванняў. Гэта значыць, для большасці сацыяльных даследаванняў, ацэнка вельмі шмат часу і часткова суб'ектыўны характар. Такім чынам, большасць даследчых ідэй ніколі сур'ёзна не ацэнены, і калі ідэі ацэньваюцца, што цяжка аддзяліць гэтыя ацэнкі ад стваральніка ідэй. Праекты з адкрытым выклікам, з другога боку, маюць простую і справядлівую ацэнку, каб яны маглі выявіць ідэі, якія будуць прапушчаныя інакш.

Напрыклад, у адной кропцы падчас Netflix прэміі, хтосьці з нікім Simon Funk размясцілі на сваім блогу прапанаванага рашэння на аснове сінгулярнасць раскладання, падыход з лінейнай алгебры, якія не выкарыстоўваліся раней іншымі ўдзельнікамі. блог Функа быў адначасова тэхнічным і ўдачлівы нефармальным. Ці быў гэты пост у блогу, які апісвае добрае рашэнне ці гэта пустая трата часу? Па-за праект адкрытага выкліку, рашэнне ніколі б не атрымала сур'ёзную ацэнку. У рэшце рэшт, Сайман Funk ня быў прафесарам у MIT; ён быў распрацоўшчыкам праграмнага забеспячэння , які, у той час, быў альпінізм вакол Новай Зеландыі (Piatetsky 2007) . Калі б ён паслаў па электроннай пошце гэтай ідэі інжынера на Netflix, гэта амаль напэўна не было б чытаць.

На шчасце, так як крытэрыі ацэнкі былі зразумелыя і простыя ва ўжыванні, яго прадказаныя рэйтынгі былі ацэненыя, і гэта было адразу зразумела, што яго падыход быў вельмі магутным: ён узляцеў на чацвёртае месца ў конкурсе, велізарны вынік, улічваючы, што іншыя каманды ўжо былі працаваць на працягу некалькіх месяцаў па гэтай праблеме. У рэшце рэшт, часткі яго падыходу былі выкарыстаныя практычна ва ўсіх сур'ёзных канкурэнтаў (Bell, Koren, and Volinsky 2010) .

Той факт, што Сайман Funk вырашыў напісаць паведамленне ў блогу тлумачачы свой падыход, а не спрабаваць трымаць яго ў сакрэце, таксама паказвае, што многія ўдзельнікі Netflix прэміі ня былі выключна матываваныя прыз у мільён даляраў. Хутчэй за ўсё , многія ўдзельнікі таксама , здаваліся, атрымлівалі асалоду ад інтэлектуальным выклікам і супольнасцю , якое склалася вакол праблемы (Thompson 2008) , (Thompson 2008) , пачуццё , якія я чакаю многія даследчыкі могуць зразумець.

Netflix Prize з'яўляецца класічным прыкладам адкрытага выкліку. Netflix задаў пытанне з канкрэтнай мэтай (прагназавання рэйтынгаў фільмаў) і хадайнічаў рашэнне многіх людзей. Netflix быў у стане ацаніць усе гэтыя рашэнні, таму што яны былі лягчэй праверыць, чым стварыць, і ў канчатковым рахунку Netflix абраў лепшае рашэнне. Далей я пакажу вам, як гэта такі ж падыход можа быць выкарыстаны ў біялогіі і правы, і без прыза ў мільён долараў.