5.3.1 Netflix награда

Наградата Netflix користи отворен повик да се предвиди кои филмови луѓе ќе се допаѓа.

Најпознат проект за отворен повик е наградата Netflix. Netflix е компанија за изнајмување онлајн филмови, а во 2000 година го лансираше Cinematch, услуга за да им препорача филмови на потрошувачите. На пример, Cinematch може да забележи дека ви се допадна Star Wars и империјата штрајкови назад, а потоа препорачуваме да се види враќање на џидиите . Првично, Cinematch работеше лошо. Но, во текот на многу години, продолжи да ја подобрува својата способност да предвиди што ќе уживаат филмови. Меѓутоа, до 2006 година, напредокот на Cinematch беше зголемен. Истражувачите на Netflix се обиделе доста се што можеа да размислат, но, во исто време, се сомневаа дека има и други идеи кои би можеле да им помогнат да го подобрат нивниот систем. Така, тие излегоа со она што во тоа време беше радикално решение: отворен повик.

Критички за евентуалниот успех на наградата Netflix беше дизајнирањето на отворениот повик, а овој дизајн има важни лекции за тоа како отворените повици можат да се користат за социјални истражувања. Netflix не само што изнел неструктурирано барање за идеи, што е она што многу луѓе го замислуваат кога прво размислуваат за отворен повик. Наместо тоа, Netflix претставуваше јасен проблем со едноставна процедура за евалуација: тие ги предизвикаа луѓето да користат збир од 100 милиони рејтинзи за филмови за да предвидат 3 милиони рејтинг-рејтинг (рејтингот што го направија корисниците, но дека Netflix не го ослободи). Првиот човек кој создаде алгоритам кој предвидуваше 3 милиони одржани рејтинзи за 10 отсто подобро од Cinematch ќе освои милион долари. Оваа јасна и лесна апликација за евалуација - споредувајќи ги предвидените рејтинзи со одржаните рејтинзи - значеше дека наградата Netflix беше врамена на таков начин што решенијата беа полесно да се проверат отколку да генерираат; го претвори предизвикот да го подобри Cinematch во проблем погоден за отворен повик.

Во октомври 2006 година, Netflix објави податоци што содржат 100 милиони филмски рејтинг од околу 500.000 корисници (ние ќе ги разгледаме импликациите за приватноста на ова објавување на податоци во поглавје 6). Податоците на Netflix може да се концептуализираат како огромна матрица што е околу 500.000 корисници со 20.000 филмови. Во рамките на оваа матрица, имаше околу 100 милиони рејтинг на скала од една до пет ѕвезди (табела 5.2). Предизвикот беше да се искористат опсервираните податоци во матрицата за да се предвидат 3 милиони одржани рејтинзи.

Истражувачите и хакерите од целиот свет беа привлечени кон предизвикот, а до 2008 година работеа повеќе од 30.000 луѓе (Thompson 2008) . Во текот на натпреварот, Netflix доби повеќе од 40.000 предложени решенија од повеќе од 5.000 тимови (Netflix 2009) . Очигледно, Netflix не можеше да ги прочита и да ги разбере сите овие предложени решенија. Сепак, целата работа се одвива непречено, бидејќи решенијата беа лесни за проверка. Netflix може само да има компјутер споредувајќи ги предвидените рејтинзи со рејтингот што се одржал користејќи пресметана метрика (одредената метрика што ја користеле беше квадратниот корен на средната квадратна грешка). Токму оваа способност беше брзо да се проценат решенија кои овозможиле Netflix да прифати решенија од сите, што се покажало дека е важно бидејќи добрите идеи доаѓаат од некои изненадувачки места. Всушност, победничкото решение беше поднесено од тим што го започнаа тројца истражувачи кои немале претходни искуства за градење на филмски системи (Bell, Koren, and Volinsky 2010) .

Еден прекрасен аспект на наградата Netflix е тоа што овозможи сите предложени решенија да бидат оценети праведно. Тоа е, кога луѓето ги поставија своите предвидени рејтинзи, тие не мораа да ги испраќаат своите академски квалификации, нивната возраст, раса, пол, сексуална ориентација или нешто за себе. Предвидените рејтинзи на познатиот професор од Стенфорд беа третирани исто како и оние од тинејџер во нејзината спална соба. За жал, ова не е точно во повеќето општествени истражувања. Тоа е, за повеќето социјални истражувања, евалуацијата е многу време и делумно субјективна. Значи, повеќето истражувачки идеи никогаш не се оценуваат сериозно, и кога се оценуваат идеите, тешко е да се откријат тие оценки од креаторот на идеите. Проектите за отворен повик, од друга страна, имаат лесна и фер оцена за да можат да откријат идеи кои би биле пропуштени на друг начин.

На пример, во еден момент за наградата Netflix, некој со името на екранот, Симон Фанк, на својот блог објавил предлог-решение засновано на еднократно разградување на вредноста, пристап од линеарна алгебра која претходно не била користена од други учесници. Блогот на Фанк беше истовремено технички и чудно неформален. Дали овој блог пост опишуваше добро решение или беше губење време? Надвор од еден проект со отворен повик, решението можеби никогаш немало да добие сериозна оценка. Впрочем, Симон Фанк не беше професор во МИТ; тој беше развивач на софтвер, кој во тоа време беше (Piatetsky 2007) околу Нов Зеланд (Piatetsky 2007) . Ако тој ја испратил оваа идеја до инженер на Netflix, речиси сигурно не би бил прочитан.

За среќа, бидејќи критериумите за евалуација беа јасни и лесни за аплицирање, неговите предвидени рејтинзи беа оценети и беше веднаш јасно дека неговиот пристап е многу моќен: тој искачи на четвртото место во натпреварот, што претставува огромен резултат со оглед на тоа што другите тимови веќе биле работи со месеци за проблемот. На крајот, дел од неговиот пристап се користеа речиси сите сериозни конкуренти (Bell, Koren, and Volinsky 2010) .

Фактот што Сајмон Фанк избра да напише блог пост објаснувајќи го својот пристап, наместо да се обидува да го чува во тајност, исто така покажува дека многу учесници во наградата Netflix не биле исклучиво мотивирани од наградата од милион долари. Наместо тоа, многу учесници, исто така, се чинеше дека уживаат во интелектуалниот предизвик и заедницата која се развиваше околу проблемот (Thompson 2008) , чувствата што очекуваат многу истражувачи да ги разберат.

Наградата Netflix е класичен пример за отворен повик. Netflix поставуваше прашање со одредена цел (предвидувајќи рејтингот на филмот) и бараше решенија од многу луѓе. Netflix беше во можност да ги процени сите овие решенија, бидејќи тие беа полесно да се проверат отколку да се создаде, и на крајот Netflix го избра најдоброто решение. Потоа, јас ќе ви покажам како овој ист пристап може да се користи во биологијата и правото, и без награда од милион долари.