5.3.1 Netflix Prize

Netflix Prize використовує відкритий виклик , щоб передбачити , які фільми люди люблять.

Найвідоміший проект з відкритим виклик є Netflix Prize. Netflix є онлайн фільм оренду компанії, а у 2000 році вона запустила Cinematch, послугу, щоб рекомендувати фільми клієнтам. Наприклад, Cinematch могли помітити , що вам сподобалася Star Wars і Імперія завдає удару у відповідь Назад , а потім рекомендується дивитися Повернення джедая. Спочатку Cinematch працювали погано. Але, протягом багатьох років, Cinematch продовжує удосконалювати свою здатність передбачати, які фільми клієнти будуть користуватися. До 2006 року, проте, прогрес в Cinematch стабілізувався. Дослідники Netflix намагалися майже всі, що вони могли б думати, але в той же час, вони підозрювали, що були й інші ідеї, які могли б допомогти їм поліпшити свою систему. Таким чином, вони придумали те, що було, в той час, радикальне рішення: відкрита виклику.

Вирішальне значення для остаточного успіху Netflix премії був як відкритий виклик був розроблений, і цей проект має важливі уроки для того, як відкриті заклики можуть бути використані для соціальних досліджень. Netflix не просто згасити неструктурованого запит на ідеї, яка є те, що багато людей думають, коли вони спочатку розглянемо відкритий виклик. Швидше за все, Netflix поставив чітке завдання за допомогою простого критерію оцінки: вони кинули виклик людям використовувати набір 100 мільйонів оцінок фільмів передбачити 3 мільйони утримуваних з оцінок (оцінки, які зробили користувачі, але що Netflix не випускали). Той, хто може створити алгоритм, який міг передбачити 3 мільйони утримуваних з рейтингів 10% краще, ніж Cinematch б виграти 1 мільйон доларів. Це ясно і легко застосовувати критерії оцінки, порівнюючи передбачені рейтинги утримуваних з оцінок, мав на увазі, що Netflix Prize була оформлена таким чином, що рішення легше перевірити, ніж генерувати; виявилося завдання поліпшення Cinematch в проблему, придатної для відкритого виклику.

У жовтні 2006 року, Netflix випустила набір даних, що містить 100 мільйонів рейтинги фільмів від близько близько 500 000 клієнтів (ми розглянемо наслідки секретності цієї версії даних в главі 6). Дані Netflix можна представити у вигляді величезної матриці, яка складає приблизно 500000 клієнтів 20000 фільмів. В рамках цієї матриці, налічувалося близько 100 мільйонів оцінок за шкалою від 1 до 5 зірок (таблиця 5.2). Завдання полягало в тому, щоб використовувати спостерігаються дані в матриці для прогнозування 3 мільйони утримуваних з рейтингів.

Дослідники і хакери по всьому світу були намальовані на виклик, а до 2008 року більш ніж 30000 чоловік працювали над ним (Thompson 2008) . Протягом конкурсу, Netflix отримав понад 40000 запропонованих рішень з більш ніж 5000 команд (Netflix 2009) . Очевидно, що Netflix не міг читати і розуміти всі ці запропоновані рішення. Все це пройшло гладко, однак, оскільки рішення було легко перевірити. Netflix може просто мати комп'ютер і порівнювати передбачені рейтинги утримуваних з рейтингів заздалегідь обумовленому метрикою (конкретної метрики вони використовували корінь квадратний з середньоквадратичного помилки). Саме ця здатність швидко оцінювати рішення, які дозволили Netflix приймати рішення від всіх, що виявилося важливим, тому що хороші ідеї прийшли з деяких несподіваних місцях. Насправді, виграшне рішення було представлено групою розпочатої трьома дослідниками , які раніше не мали досвід створення рекомендаційних систем кіно (Bell, Koren, and Volinsky 2010) .

В один прекрасний аспект Netflix премії є те, що вона дозволила всім в світі, щоб мати їх рішення оцінюється справедливо. Коли люди завантажили свої передбачені рейтинги, вони не повинні завантажувати свої академічні повноваження, їх віку, раси, статі, сексуальної орієнтації, або що-небудь про себе. Таким чином, передбачені рейтинги відомого професора зі Стенфордського ставилися так само, як і ті, від підлітка в своїй спальні. На жаль, це не так в більшості соціальних досліджень. Тобто, для більшості соціальних досліджень, оцінка дуже багато часу і частково суб'єктивний характер. Так, більшість наукових ідей ніколи не серйозно оцінені, і коли ідеї оцінюються, важко відокремити ці оцінки від творця ідей. Оскільки рішення легко перевірити, відкриті виклики дозволяють дослідникам отримати доступ до всіх потенційно прекрасні рішення, які підпадали б через тріщини, якщо вони розглядаються тільки рішення від відомих професорів.

Наприклад, в одній точці під час хтось Netflix Prize з ніком Simon Funk розмістив на своєму блозі пропоноване рішення на основі сингулярного розкладання, підхід з лінійної алгебри, які не були використані раніше іншими учасниками. повідомлення в блозі Функа був одночасно технічним і щасливий неформальним. Чи був цей пост в блозі, що описує гарне рішення або це марна трата часу? Поза проекту з відкритим виклику, рішення ніколи б не отримали серйозної оцінки. Адже Саймон Funk ні професором в Каліфорнійському технологічному інституті або MIT; він був розробником програмного забезпечення , який, в той час, був альпінізмом навколо Нової Зеландії (Piatetsky 2007) . Якби він послав по електронній пошті цю ідею інженером в Netflix, це майже напевно не були б прийняті всерйоз.

На щастя, так як критерії оцінки були зрозумілі і прості в застосуванні, його передбачені рейтинги були оцінені, і це було відразу зрозуміло, що його підхід був дуже потужним: він злетів на четверте місце в конкурсі, величезний результат, враховуючи, що інші команди вже були працювати протягом декількох місяців по цій проблемі. Зрештою, частини підходу Саймона Функа були використані практично у всіх серйозних конкурентів (Bell, Koren, and Volinsky 2010) .

Той факт, що Саймон Funk вирішив написати повідомлення в блозі пояснюючи свій підхід, а не намагатися тримати його в секреті, також показує, що багато учасників Netflix премії не були виключно мотивовано приз за мільйон доларів. Швидше за все , багато учасників також , здавалося, насолоджувався інтелектуальний виклик і співтовариство , яке склалася навколо проблеми (Thompson 2008) , почуття , які я очікую багато дослідників можуть зрозуміти.

Netflix Prize являє собою класичний приклад відкритого виклику. Netflix задав питання з конкретною метою (прогнозування рейтинги фільмів) і клопотав рішення від багатьох людей. Netflix був в змозі оцінити всі ці рішення, тому що вони були легше перевірити, ніж створити, і в кінцевому рахунку Netflix вибрав найкраще рішення. Далі я покажу вам, як той же самий підхід може бути використаний в біології і права.