5.3.1 Netflix Prize

Netflix Prize использует открытый вызов , чтобы предсказать , какие фильмы люди любят.

Самый известный проект с открытым вызов является Netflix Prize. Netflix является онлайн фильм аренду компании, а в 2000 году она запустила Cinematch, услугу, чтобы рекомендовать фильмы клиентам. Например, Cinematch могли заметить , что вам понравилась Star Wars и Империя наносит ответный удар Назад , а затем рекомендуется смотреть Возвращение джедая. Первоначально Cinematch работали плохо. Но, в течение многих лет, Cinematch продолжает совершенствовать свою способность предсказывать, какие фильмы клиенты будут пользоваться. К 2006 году, однако, прогресс в Cinematch стабилизировался. Исследователи Netflix пытались почти все, что они могли бы думать, но в то же время, они подозревали, что были и другие идеи, которые могли бы помочь им улучшить свою систему. Таким образом, они придумали то, что было, в то время, радикальное решение: открытая вызова.

Решающее значение для окончательного успеха Netflix премии был как открытый вызов был разработан, и этот проект имеет важные уроки для того, как открытые призывы могут быть использованы для социальных исследований. Netflix не просто потушить неструктурированного запрос на идеи, которая является то, что многие люди думают, когда они сначала рассмотрим открытый вызов. Скорее всего, Netflix поставил четкую задачу с помощью простого критерия оценки: они бросили вызов людям использовать набор 100 миллионов оценок фильмов предсказать 3 миллиона удерживаемых из оценок (оценки, которые сделали пользователи, но что Netflix не выпускали). Любой, кто может создать алгоритм, который мог предсказать 3 миллиона удерживаемых из рейтингов 10% лучше, чем Cinematch бы выиграть 1 миллион долларов. Это ясно и легко применять критерии оценки, сравнивая предсказанные рейтинги удерживаемых из оценок, имел в виду, что Netflix Prize была оформлена таким образом, что решения легче проверить, чем генерировать; оказалось задачу улучшения Cinematch в проблему, пригодной для открытого вызова.

В октябре 2006 года, Netflix выпустила набор данных, содержащий 100 миллионов рейтинги фильмов от около около 500 000 клиентов (мы рассмотрим последствия секретности этой версии данных в главе 6). Данные Netflix можно представить в виде огромной матрицы, которая составляет примерно 500000 клиентов 20000 фильмов. В рамках этой матрицы, насчитывалось около 100 миллионов оценок по шкале от 1 до 5 звезд (таблица 5.2). Задача состояла в том, чтобы использовать наблюдаемые данные в матрице для прогнозирования 3 миллиона удерживаемых из рейтингов.

Исследователи и хакеры по всему миру были нарисованы на вызов, а к 2008 году более чем 30000 человек работали над ним (Thompson 2008) . В течение конкурса, Netflix получил более 40000 предложенных решений из более чем 5000 команд (Netflix 2009) . Очевидно, что Netflix не мог читать и понимать все эти предложенные решения. Все это прошло гладко, однако, поскольку решения было легко проверить. Netflix может просто иметь компьютер и сравнивать предсказанные рейтинги удерживаемых из рейтингов заранее оговоренном метрикой (конкретной метрики они использовали корень квадратный из среднеквадратичного ошибки). Именно эта способность быстро оценивать решения, которые позволили Netflix принимать решения от всех, что оказалось важным, потому что хорошие идеи пришли из некоторых неожиданных местах. На самом деле, выигрышное решение было представлено группой начатой ​​тремя исследователями , которые ранее не имели опыт создания рекомендательных систем кино (Bell, Koren, and Volinsky 2010) .

В один прекрасный аспект Netflix премии является то, что она позволила всем в мире, чтобы иметь их решение оценивается справедливо. Когда люди загрузили свои предсказанные рейтинги, они не должны загружать свои академические полномочия, их возраста, расы, пола, сексуальной ориентации, или что-нибудь о себе. Таким образом, предсказанные рейтинги известного профессора из Стэнфордского относились точно так же, как и те, от подростка в своей спальне. К сожалению, это не так в большинстве социальных исследований. То есть, для большинства социальных исследований, оценка очень много времени и частично субъективный характер. Так, большинство научных идей никогда не серьезно оценены, и когда идеи оцениваются, трудно отделить эти оценки от создателя идей. Поскольку решения легко проверить, открытые вызовы позволяют исследователям получить доступ ко всем потенциально прекрасные решения, которые подпадали бы через трещины, если они рассматриваются только решения от известных профессоров.

Например, в одной точке во время кто-то Netflix Prize с ником Simon Funk разместил на своем блоге предлагаемое решение на основе сингулярного разложения, подход из линейной алгебры, которые не были использованы ранее другими участниками. сообщение в блоге Функа был одновременно техническим и удачливый неформальным. Был ли этот пост в блоге, описывающая хорошее решение или это пустая трата времени? Вне проекта с открытым вызова, решение никогда бы не получили серьезной оценки. Ведь Саймон Funk не был профессором в Калифорнийском технологическом институте или MIT; он был разработчиком программного обеспечения , который, в то время, был альпинизмом вокруг Новой Зеландии (Piatetsky 2007) . Если бы он послал по электронной почте эту идею инженером в Netflix, это почти наверняка не были бы приняты всерьез.

К счастью, так как критерии оценки были ясны и просты в применении, его предсказанные рейтинги были оценены, и это было сразу понятно, что его подход был очень мощным: он взлетел на четвертое место в конкурсе, огромный результат, учитывая, что другие команды уже были работать в течение нескольких месяцев по этой проблеме. В конце концов, части подхода Саймона Функа были использованы практически во всех серьезных конкурентов (Bell, Koren, and Volinsky 2010) .

Тот факт, что Саймон Funk решил написать сообщение в блоге объясняя свой подход, а не пытаться держать его в секрете, также показывает, что многие участники Netflix премии не были исключительно мотивировано приз за миллион долларов. Скорее всего , многие участники также , казалось, наслаждался интеллектуальный вызов и сообщество , которое сложилась вокруг проблемы (Thompson 2008) , чувства , которые я ожидаю многие исследователи могут понять.

Netflix Prize представляет собой классический пример открытого вызова. Netflix задал вопрос с конкретной целью (прогнозирования рейтинги фильмов) и ходатайствовал решения от многих людей. Netflix был в состоянии оценить все эти решения, потому что они были легче проверить, чем создать, и в конечном счете Netflix выбрал лучшее решение. Далее я покажу вам, как тот же самый подход может быть использован в биологии и права.