5.3.1 Нетфлик награда

Је Нетфлик награда користи отворени позив да предвиди који филмови ће људи воле.

Најпознатији пројекат отвореног позива је Нетфлик награда. Нетфлик је компанија за изнајмљивање филмова на интернету, а 2000. године покренула је Цинематцх, услугу која препоручује купцима филмове. На примјер, Цинематцх може примијетити да вам се свиђају Стар Варс и Тхе Емпире Стрикес Бацк, а затим препоручити да гледате Повратак Једиа . У почетку, Цинематцх је радио лоше. Али, током много година, наставио је да побољшава своју способност да предвиди које филмове купци уживају. До 2006. године, међутим, напредак на Цинематцх-у је био успорен. Истраживачи у компанији Нетфлик су покушали прилично све што су могли да размишљају, али су истовремено сумњали да постоје и друге идеје које би им могле помоћи да побољшају свој систем. Тако су дошли до онога што је тада било радикално решење: отворени позив.

Критични за евентуални успех Нетфлик награде је био како је отворен позив, а овај дизајн има важне лекције како се отворени позиви могу користити за друштвена истраживања. Нетфлик није само издао неструктурирани захтев за идеје, то је оно што многи замишљају када прво размотре отворени позив. Уместо тога, Нетфлик је поставио јасан проблем једноставном процедуром процене: они су оспоравали људе да користе сет од 100 милиона филмских оцјена како би предвидјели 3 милиона одрезаних оцјена (оцјене које су корисници направили, али Нетфлик није објавио). Прва особа која је креирала алгоритам који је предвиђао да ће 3 милиона издржаних рејтинга бити 10% боље од Цинематцх-а би освојио милион долара. Ова јасна и једноставна процедура процене - упоређивање предвиђених рејтинга са издржаним оценама - значило је да је Нетфлик награда окружена тако да је рјешења лакше провјерити него генерирати; то је изазвало побољшање Цинематцх-а у проблем који одговара отвореном позиву.

У октобру 2006. Нетфлик је објавио скуп података који садржи 100 милиона филмских рејтинга од око 500.000 клијената (ми ћемо размотрити импликације приватности овог издавања података у поглављу 6). Нетфлик подаци се могу конципирати као огромна матрица која је око 500.000 клијената са 20.000 филмова. У оквиру ове матрице, било је око 100 милиона оцена на скали од једне до пет звездица (табела 5.2). Изазов је био да се користе посматрани подаци у матрици да би се предвидјели 3 милиона издвојених рејтинга.

На изазов су привукли истраживаче и хакере широм света, а до 2008. године радило је више од 30.000 људи (Thompson 2008) . Током такмичења, Нетфлик је добио више од 40.000 предложених решења из више од 5.000 тимова (Netflix 2009) . Очигледно је да Нетфлик није могао читати и разумјети сва ова предложена рјешења. Свеједно, цела ствар је текла глатко, јер су се рјешења лако проверавала. Нетфлик би могао да има рачунар упоређивање предвиђених рејтинга са издржаним оценама користећи унапред дефинисану метрику (одређена метрика коју су користили је квадратни корен средњег квадратног погрешка). Управо ова могућност је брзо проценила решења која су омогућавала Нетфлику да прихвати решења од свих, што се показало важним јер су добре идеје дошле са неких изненађујућих места. У ствари, победничко решење је поднео тим који су започели три истраживача који нису имали претходно искуство у изградњи филмских препорука (Bell, Koren, and Volinsky 2010) .

Један од најлепших аспеката Нетфлик награде је да је омогућено да се сва предложена рјешења поштују. То јест, када су људи поставили своје предвиђене оцене, нису им требали учитати своје академске акредитиве, њихову старост, расну припадност, пол, сексуалну оријентацију или било шта о себи. Предвиђене оцене познатог професора из Станфорда третиране су потпуно исто као и оне из тинејџера у њеној спаваћој соби. Нажалост, ово није тачно у већини друштвених истраживања. То јест, за већину друштвених истраживања, евалуација је веома дуготрајна и делимично субјективна. Дакле, већина истраживачких идеја никада није озбиљно процењена, а када се процене идеје, те процене је тешко одвојити од стваралаца идеја. Отворени пројекти позива, с друге стране, имају једноставну и правичну процјену, тако да могу открити идеје које би у супротном биле пропуштене.

На пример, у једном тренутку током Нетфлик награде, неко са екранским именом Симон Функ објавио је на свом блогу предложено решење засновано на сингуларној декомпозицији вредности, приступу линеарне алгебре који раније нису користили други учесници. Функ блог пост је био истовремено технички и чудно неформални. Да ли је овај блог описао добро решење или је то било губљење времена? Изван отвореног позива, решење можда никад није добило озбиљну процену. На крају крајева, Симон Функ није био професор на МИТ-у; он је био програмер софтвера који је у то време био у рукама око Новог Зеланда (Piatetsky 2007) . Ако је ову идеју послао инжењеру у Нетфлик-у, скоро сигурно не би био прочитан.

На срећу, пошто су критеријуми оцјењивања били јасни и једноставни за примјену, оцијењени су његови предвиђени рејтинги, а одмах је било јасно да је његов приступ био веома моћан: он је на четвртом мјесту у конкуренцији, што је огроман резултат с обзиром на то да су други тимови већ били ради месецима на проблему. На крају, његови приступи су користили практично сви озбиљни конкуренти (Bell, Koren, and Volinsky 2010) .

Чињеница да је Симон Функ изабрао да напише блог пост који објашњава његов приступ, а не покушава да га чува тајно, такође илуструје да многи учесници Нетфлик награде нису били искључиво мотивисани наградом од милион долара. Изгледа да су многи учесници уживали у интелектуалном изазову и заједници која се развила око проблема (Thompson 2008) , осећања које очекујем од многих истраживача.

Награда Нетфлик је класичан пример отвореног позива. Нетфлик је поставио питање са одређеним циљем (предвиђањем рејтинга филма) и тражених решења многих људи. Нетфлик је могао процијенити сва ова рјешења јер је лакше провјерити него направити, и на крају Нетфлик одабрао најбоље рјешење. Даље, показаћу вам како се исти приступ може користити у биологији и праву, а без награде од милион долара.