5.3.1 Netflixの賞

Netflixの賞は、人々が好きになるでしょうどの映画を予測するオープン呼び出しを使用しています。

最もよく知られているオープンコールプロジェクトは、Netflix賞です。 Netflixはオンライン映画レンタル会社であり、2000年には映画を顧客に推薦するサービスであるCinematchを発売しました。たとえば、Cinematchはスターウォーズとザ・エンパイアが逆襲したことに気付き、ジェダイの復帰を見ることをお勧めします。当初、Cinematchはうまく機能しませんでした。しかし、長年にわたって、顧客が楽しむ映画を予測する能力を向上させ続けました。しかし、2006年までに、Cinematchの進歩は高まっていました。 Netflixの研究者は、思ったほどのことを試してみましたが、同時に彼らはシステムを改善するのに役立つかもしれない他のアイディアがあると思っていました。こうして、彼らは当時、根本的な解決策であったものを思いついた。

Netflix賞の最終的な成功にとって重要なのは、オープンコールがどのように設計されたかであり、このデザインは、オープンコールがソーシャルリサーチにどのように使用できるかという重要な教訓を持っています。 Netflixは、アイデアのための構造化されていない要求を出すだけではありませんでした。これは多くの人がオープンコールを最初に考えたときに想像していたものです。むしろ、Netflixは簡単な評価手順で明確な問題を提起しました。彼らは、100万の映画レーティングを使用して3百万の保有評価（ユーザーが作成したが、Netflixはリリースしなかった）を予測するように挑戦しました。 Cinematchよりも10％優れた300万の保有評価を予測したアルゴリズムを作成した最初の人は100万ドルを獲得するでしょう。予測された格付けを保有格付けと比較するこの明確かつ容易な評価手順は、Netflix賞が、ソリューションが生成するよりも簡単にチェックできるように枠組みされていたことを意味します。 Cinematchの改善の課題をオープンコールに適した問題に変えました。

2006年10月、Netflixは約50万人の顧客から1億のムービーレーティングを含むデータセットをリリースしました（第6章のこのデータリリースのプライバシーへの影響を考慮します）。 Netflixのデータは、およそ50万人の顧客で、20,000本の映画で構成される巨大なマトリックスとして概念化できます。この行列の中には、1つから5つ星のスケールで約1億の評価があった（表5.2）。課題は、マトリックス内の観測データを使用して300万の保有評価を予測することでした。

世界各地の研究者やハッカーたちが挑戦し、2008年には3万人以上の人々がそれに取り組んでいました(Thompson 2008) 。コンテストの期間中、Netflixは5,000以上のチームから4万以上の提案されたソリューションを受け取りました(Netflix 2009) 。明らかに、Netflixはこれらの提案されたすべてのソリューションを読み理解できませんでした。しかし、ソリューションは簡単にチェックできたので、すべてがスムーズに実行されました。 Netflixは、コンピュータに、あらかじめ指定されたメトリック（使用された特定のメトリックは平均二乗誤差の平方根）を使用して、予測されたレーティングと保留されたレーティングとを比較させることができます。 Netflixが誰からもソリューションを受け入れることを可能にしたソリューションをすばやく評価するこの能力は、驚くべきところから良いアイディアが得られたため重要であることが判明しました。実際に、勝利の解決策は、映画推薦システムを構築した経験のない3人の研究者(Bell, Koren, and Volinsky 2010)チームによって提出されました。

Netflix賞の1つの美しい側面は、提案されたすべてのソリューションが公正に評価されることです。つまり、予測された評価をアップロードしたときに、学歴、年齢、人種、性別、性的指向、または自分自身に関するものをアップロードする必要はありませんでした。スタンフォード大学の有名な教授の予測された評価は、彼女のベッドルームのティーンエイジャーのものとまったく同じように扱われました。残念ながら、これはほとんどの社会調査では当てはまりません。つまり、ほとんどの社会調査では、評価は非常に時間がかかり、部分的に主観的です。だから、ほとんどの研究アイデアは真剣に評価されることはありませんし、アイデアが評価されるとき、アイデアの作成者から評価を外すのは難しいです。一方、オープン・コール・プロジェクトは、他の方法で見逃されるであろうアイデアを発見するために、簡単で公正な評価をしています。

たとえば、ネットフリックス賞のある時点で、スクリーン名がSimon Funkの誰かが、他の参加者がこれまで使用していなかった線形代数からのアプローチである特異値分解に基づいた提案されたソリューションをブログに掲載しました。ファンクのブログ記事は同時に技術的で奇妙な非公式でした。このブログ記事は良い解決策を記述していたのですか、それとも時間の無駄でしたか？オープン・コール・プロジェクトの外では、決して重大な評価を受けたことはありません。結局のところ、Simon FunkはMITの教授ではなかった。当時、ニュージーランド(Piatetsky 2007)バックパックしていたソフトウェア開発者でした。 Netflixのエンジニアにこのアイデアを電子メールで送っても、読んだことはほとんどないでしょう。

幸運なことに、評価基準がはっきりと簡単に適用できるので、彼の予測された評価が評価され、彼のアプローチが非常に強力であることがすぐに分かりました：彼は競技会で4位にロケートしました。問題について何ヶ月も働いている。結局のところ、彼のアプローチの一部は事実上すべての深刻な競合他社(Bell, Koren, and Volinsky 2010)によって使用されていました。

Simon Funkが秘密を隠そうとするのではなく、自分のアプローチを説明するブログ記事を書くことを選択したことも、Netflix賞の多くの参加者が100万ドルの賞金によって独占的に動機付けられたわけではないことを示しています。むしろ、多くの参加者は、知的チャレンジとその問題を巡って開発されたコミュニティ(Thompson 2008)を楽しんでいるようで、多くの研究者が理解できると思っています。

Netflix賞は、オープンコールの古典的な例です。 Netflixは、特定の目標（映画の評価を予測する）と多くの人々からの解決策を求めて質問を提起しました。 Netflixは、作成するよりも確認が容易で、最終的にはNetflixが最良のソリューションを選んだので、これらのソリューションをすべて評価することができました。次に、この同じアプローチが生物学や法律でどのように使用され、何百万ドルの賞金がないかをお見せします。