5.3.1 Netflix награда

Наградата Netflix използва открита покана да се предвиди кои филми хората ще харесват.

Най-добре познатият проект за отворени повиквания е наградата Netflix. Netflix е онлайн компания за отдаване под наем на кино, а през 2000 г. тя пуска Cinematch - услуга, която препоръчва филми на клиентите. Например, Cinematch може да забележите, че сте харесали Star Wars и Empire Strikes Back и след това препоръчваме да гледате Return of the Jedi . Първоначално Cinematch работи лошо. Но в течение на много години тя продължава да подобрява способността си да предсказва какво ще се радват на клиентите на филми. До 2006 г., обаче, напредъкът на Cinematch е плаващ. Изследователите в Netflix са опитвали почти всичко, за което биха могли да мислят, но в същото време те подозираха, че има други идеи, които да им помогнат да подобрят системата си. По този начин те излязоха с онова, което в момента беше радикално решение: открито обаждане.

Критичен за евентуалния успех на наградата Netflix беше как бе разработено отвореното обаждане и този дизайн има важни уроци за това как отворените разговори могат да се използват за социални изследвания. Netflix не само не изложи неструктурирана молба за идеи, което мнозина си представят, когато първо обмислят открито обаждане. По-скоро Netflix постави ясен проблем с проста процедура за оценка: те предизвикаха хората да използват набор от 100 милиона филмови рейтинги, за да предскажат 3 милиона присъдени рейтинги (рейтингите, които потребителите са направили, но Netflix не са пуснали). Първият човек, който създаде алгоритъм, който прогнозира, че 3-те милиона изнесени рейтинги са 10% по-добри от Cinematch, ще спечели милион долара. Тази ясна и лесна за прилагане процедура за оценка, сравняваща прогнозираните рейтинги с рейтинг, показва, че наградата Netflix е била оформена по такъв начин, че решенията са по-лесни за проверка, отколкото генериране; тя превърна предизвикателството да подобри Cinematch в проблем, подходящ за открито обаждане.

През октомври 2006 г. Netflix пусна набор от данни, съдържащи 100 милиона филмови оценки от около 500 000 клиенти (ще разгледаме последиците от това излизане на данни в глава 6). Данните за Netflix могат да бъдат концептуализирани като огромна матрица, която е приблизително 500 000 клиенти от 20 000 филма. В рамките на тази матрица имаше около 100 милиона рейтинги по скала от една до пет звезди (таблица 5.2). Предизвикателството беше да се използват наблюдаваните данни в матрицата, за да се предскажат 3-милионния рейтинг.

Изследователи и хакери по целия свят бяха привлечени към предизвикателството и до 2008 г. над 30 000 души работеха по него (Thompson 2008) . По време на конкурса Netflix получи повече от 40 000 предложения от повече от 5000 екипа (Netflix 2009) . Очевидно Netflix не можа да прочете и разбере всички тези предложени решения. Цялото нещо вървеше гладко, защото решенията бяха лесни за проверка. Netflix би могъл просто да има компютър, който да сравнява прогнозираните рейтинги с оценените рейтинги, като използва предварително зададен показател (конкретният показател, който са използвали, е квадратният корен на средната квадратна грешка). Това беше способността бързо да оцени решения, които позволиха на Netflix да приеме решения от всеки, което се оказа важно, защото добри идеи дойдоха от някои изненадващи места. Всъщност, печелившото решение бе представено от екип, стартиран от трима изследователи, които не са имали опит в изграждането на системи за препоръчване на филми (Bell, Koren, and Volinsky 2010) .

Един красив аспект на наградата Netflix е, че тя дава възможност всички предложени решения да бъдат оценявани справедливо. Тоест, когато хората качват своите прогнозни оценки, не е необходимо да качват своите академични данни, тяхната възраст, раса, пол, сексуална ориентация или нещо друго за себе си. Предсказаните рейтинги на известен професор от Станфорд бяха третирани точно като тези от тийнейджър в спалнята й. За съжаление, това не е вярно в повечето социални изследвания. Това означава, че за повечето социални изследвания оценката е много отнемаща време и частично субективна. Така че повечето изследователски идеи никога не се оценяват сериозно и когато се правят оценки на идеите, е трудно да се отделят тези оценки от създателя на идеите. От друга страна, отворените проекти за обаждания имат лесна и честна оценка, за да открият идеи, които иначе биха били пропуснати.

Например, в един момент по време на наградата Netflix, някой с екранното име Саймън Функ публикува в своя блог предложено решение, базирано на разлагането на единствено число - подход от линейна алгебра, който не беше използван преди това от други участници. Блогът на Funk беше едновременно технически и странно неофициално. Беше ли този блог, описващ добро решение или загуба на време? Извън отворения проект за обаждане, решението може да не е получило сериозна оценка. В края на краищата Саймън Функ не беше професор в МИТ; той беше разработчик на софтуер, който по онова време се (Piatetsky 2007) в Нова Зеландия (Piatetsky 2007) . Ако беше изпратил тази идея на инженер в Netflix, почти със сигурност нямаше да бъде прочетен.

За щастие, тъй като критериите за оценка бяха ясни и лесни за прилагане, оценените му рейтинги бяха оценени и веднага беше ясно, че подходът му е много мощен: той се нарежда на четвърто място в състезанието, огромен резултат, работейки месеци по проблема. В крайна сметка части от подхода му бяха използвани от почти всички сериозни конкуренти (Bell, Koren, and Volinsky 2010) .

Фактът, че Саймън Функ избра да напише публикация в блога, обяснявайки неговия подход, вместо да се опитва да го задържи в тайна, също илюстрира, че много от участниците в наградата Netflix не са били мотивирани изключително от наградата в размер на милиони долари. По-скоро много от участниците сякаш се радват на интелектуалното предизвикателство и на общността, която се развива около проблема (Thompson 2008) , чувства, които очакват много учени да разберат.

Наградата Netflix е класически пример за отворено обаждане. Netflix постави въпрос с конкретна цел (прогнозиране на рейтингите на филми) и искани решения от много хора. Netflix успя да оцени всички тези решения, защото те бяха по-лесни за проверка, отколкото за създаване, и в крайна сметка Netflix взе най-доброто решение. След това ще ви покажа как този подход може да се използва в биологията и правото и без награда в размер на 1 000 долара.