5.3.1 Netflix Prize

Netflix Prize выкарыстоўвае адкрыты выклік , каб прадказаць , якія фільмы людзі любяць.

Самы вядомы праект з адкрытым выклік з'яўляецца Netflix Prize. Netflix з'яўляецца онлайн фільм арэнду кампаніі, а ў 2000 годзе яна запусціла Cinematch, паслугу, каб рэкамендаваць фільмы кліентам. Напрыклад, Cinematch маглі заўважыць , што вам спадабалася Star Wars і Імперыя наносіць зваротны ўдар Назад , а затым рэкамендуецца глядзець Вяртанне джэдая. Першапачаткова Cinematch працавалі дрэнна. Але, на працягу многіх гадоў, Cinematch працягвае ўдасканальваць сваю здольнасць прадказваць, якія фільмы кліенты будуць карыстацца. Да 2006 году, аднак, прагрэс у Cinematch стабілізаваўся. Даследчыкі Netflix спрабавалі амаль усё, што яны маглі б думаць, але ў той жа час, яны падазравалі, што былі і іншыя ідэі, якія маглі б дапамагчы ім палепшыць сваю сістэму. Такім чынам, яны прыдумалі тое, што было, у той час, радыкальнае рашэнне: адкрытая выкліку.

Вырашальнае значэнне для канчатковага поспеху Netflix прэміі быў як адкрыты выклік быў распрацаваны, і гэты праект мае важныя ўрокі для таго, як адкрытыя заклікі могуць быць выкарыстаны для сацыяльных даследаванняў. Netflix не проста патушыць неструктураваных запыт на ідэі, якая з'яўляецца тое, што многія людзі думаюць, калі яны спачатку разгледзім адкрыты выклік. Хутчэй за ўсё, Netflix паставіў дакладную задачу з дапамогай простага крытэра ацэнкі: яны кінулі выклік людзям выкарыстоўваць набор 100 мільёнаў адзнак фільмаў прадказаць 3 мільёны ўтрыманы з адзнак (ацэнкі, якія зрабілі карыстальнікі, але што Netflix не выпускалі). Любы, хто можа стварыць алгарытм, які мог прадказаць 3 мільёны ўтрыманы з рэйтынгаў 10% лепш, чым Cinematch б выйграць 1 мільён долараў. Гэта ясна і лёгка ўжываць крытэрыі ацэнкі, параўноўваючы прадказаныя рэйтынгі ўтрыманы з адзнак, меў на ўвазе, што Netflix Prize была аформлена такім чынам, што рашэнні лягчэй праверыць, чым генераваць; аказалася задачу паляпшэння Cinematch ў праблему, прыдатнай для адкрытага выкліку.

У кастрычніку 2006 года, Netflix выпусціла набор дадзеных, які змяшчае 100 мільёнаў рэйтынгі фільмаў ад каля каля 500 000 кліентаў (мы разгледзім наступствы сакрэтнасці гэтай версіі дадзеных у главе 6). Дадзеныя Netflix можна прадставіць у выглядзе вялізнай матрыцы, якая складае прыкладна 500000 кліентаў 20000 фільмаў. У рамках гэтай матрыцы, налічвалася каля 100 мільёнаў адзнак па шкале ад 1 да 5 зорак (табліца 5.2). Задача складалася ў тым, каб выкарыстоўваць назіраныя дадзеныя ў матрыцы для прагназавання 3 мільёны ўтрыманы з рэйтынгаў.

Даследчыкі і хакеры па ўсім свеце былі намаляваны на выклік, а да 2008 года больш чым 30000 чалавек працавалі над ім (Thompson 2008) . На працягу конкурсу, Netflix атрымаў больш за 40000 прапанаваных рашэнняў з больш чым 5000 каманд (Netflix 2009) . Відавочна, што Netflix не мог чытаць і разумець усе гэтыя прапанаваныя рашэнні. Усё гэта прайшло гладка, аднак, паколькі рашэння было лёгка праверыць. Netflix можа проста мець кампутар і параўноўваць прадказаныя рэйтынгі ўтрыманы з рэйтынгаў загадзя агавораным метрыкай (канкрэтнай метрыкі яны выкарыстоўвалі корань квадратны з сярэднеквадратовае памылкі). Менавіта гэтая здольнасць хутка ацэньваць рашэнні, якія далі Netflix прымаць рашэнні ад усіх, што апынулася важным, таму што добрыя ідэі прыйшлі з некаторых нечаканых месцах. На самай справе, выйгрышнае рашэнне было прадстаўлена групай распачатай трыма даследчыкамі , якія раней не мелі вопыт стварэння рэкамендацыйных сістэм кіно (Bell, Koren, and Volinsky 2010) .

У адзін цудоўны аспект Netflix прэміі з'яўляецца тое, што яна дазволіла ўсім у свеце, каб мець іх рашэнне ацэньваецца справядліва. Калі людзі загрузілі свае прадказаныя рэйтынгі, яны не павінны загружаць свае акадэмічныя паўнамоцтвы, іх узросту, расы, полу, сэксуальнай арыентацыі, або што-небудзь пра сябе. Такім чынам, прадказаныя рэйтынгі вядомага прафесара з Стэнфардскага ставіліся гэтак жа, як і тыя, ад падлетка ў сваёй спальні. На жаль, гэта не так у большасці сацыяльных даследаванняў. Гэта значыць, для большасці сацыяльных даследаванняў, ацэнка вельмі шмат часу і часткова суб'ектыўны характар. Так, большасць навуковых ідэй ніколі не сур'ёзна ацэнены, і калі ідэі ацэньваюцца, цяжка аддзяліць гэтыя ацэнкі ад стваральніка ідэй. Паколькі рашэнні лёгка праверыць, адкрытыя выклікі дазваляюць даследчыкам атрымаць доступ да ўсіх патэнцыйна выдатныя рашэнні, якія падпадалі б праз расколіны, калі яны разглядаюцца толькі рашэння ад вядомых прафесараў.

Напрыклад, у адной кропцы падчас хтосьці Netflix Prize з нікам Simon Funk размясціў на сваім блогу прапанаванае рашэнне на аснове сінгулярнасць раскладання, падыход з лінейнай алгебры, якія не былі выкарыстаныя раней іншымі ўдзельнікамі. паведамленне ў блогу Функа быў адначасова тэхнічным і ўдачлівы нефармальным. Ці быў гэты пост у блогу, якая апісвае добрае рашэнне ці гэта пустая трата часу? Па-за праектам з адкрытым выкліку, рашэнне ніколі б не атрымалі сур'ёзнай ацэнкі. Бо Сайман Funk ня быў прафесарам у Каліфарнійскім тэхналагічным інстытуце або MIT; ён быў распрацоўшчыкам праграмнага забеспячэння , які, у той час, быў альпінізмам вакол Новай Зеландыі (Piatetsky 2007) . Калі б ён паслаў па электроннай пошце гэтую ідэю інжынерам у Netflix, гэта амаль напэўна не былі б прынятыя ўсур'ёз.

На шчасце, так як крытэрыі ацэнкі былі ясныя і простыя ва ўжыванні, яго прадказаныя рэйтынгі былі ацэненыя, і гэта было адразу зразумела, што яго падыход быў вельмі магутным: ён узляцеў на чацвёртае месца ў конкурсе, велізарны вынік, улічваючы, што іншыя каманды ўжо былі працаваць на працягу некалькіх месяцаў па гэтай праблеме. У рэшце рэшт, часткі падыходу Саймана Функа былі выкарыстаныя практычна ва ўсіх сур'ёзных канкурэнтаў (Bell, Koren, and Volinsky 2010) .

Той факт, што Сайман Funk вырашыў напісаць паведамленне ў блогу тлумачачы свой падыход, а не спрабаваць трымаць яго ў сакрэце, таксама паказвае, што многія ўдзельнікі Netflix прэміі не былі выключна матываванае прыз за мільён долараў. Хутчэй за ўсё , многія ўдзельнікі таксама , здавалася, атрымліваў асалоду ад інтэлектуальны выклік і супольнасць , якое склалася вакол праблемы (Thompson 2008) , пачуцці , якія я чакаю многія даследчыкі могуць зразумець.

Netflix Prize ўяўляе сабой класічны прыклад адкрытага выкліку. Netflix задаў пытанне з канкрэтнай мэтай (прагназавання рэйтынгі фільмаў) і хадайнічаў рашэння ад многіх людзей. Netflix быў у стане ацаніць усе гэтыя рашэнні, таму што яны былі лягчэй праверыць, чым стварыць, і ў канчатковым рахунку Netflix абраў лепшае рашэнне. Далей я пакажу вам, як той жа самы падыход можа быць выкарыстаны ў біялогіі і права.