5.3.1 Netflixの賞

Netflixの賞は、人々が好きになるでしょうどの映画を予測するオープン呼び出しを使用しています。

最もよく知られている公募プロジェクトは、Netflixの賞です。 Netflixのオンライン映画レンタル会社であり、2000年にそれが顧客に映画をお勧めするCinematch、サービスを開始しました。例えば、Cinematchは、あなたが戻ると、あなたはジェダイの帰還を見ることをお勧めスターウォーズ 帝国の逆襲を気に入っていることに気づくかもしれません。当初、Cinematchが不十分に働きました。しかし、長年にわたって、Cinematchは、お客様が楽しんでいました何の映画を予測する能力を改善し続けました。 2006年に、しかし、Cinematch上の進歩は頭打ち。ネットフリックスの研究者は、彼らがについて考えることができるほとんどすべてを試みたが、同時に、彼らは彼らのシステムの改善に役立つかもしれない他のアイデアがあったことが疑われます。オープンコール：したがって、彼らは、一度に、何であったかとラジカル溶液を思いつきました。

Netflixの賞の最終的な成功に不可欠ではオープン呼び出しがデザインされた方法であり、この設計は、社会調査のために使用することができる方法を開いて通話のための重要な教訓を持っています。 Netflixがちょうど彼らが最初のオープン呼び出しを考えると、多くの人が想像するものである、アイデアのための構造化されていない要求を出していませんでした。むしろ、ネットフリックスは、単純な評価基準との明確な問題を提起した：彼らは300万開催アウト評価を予測するために億映画の評価のセットを使用する人々に挑戦（ユーザーが作った評価をするがネットフリックスが放出しなかったこと）。 Cinematch 1万ドルを獲得するよりも10％優れた300万開催アウト評価を予測できるアルゴリズムを作成することができます誰でも。これは明確で開催されたアウト評価-意味Netflixの賞は、ソリューションが生成するよりも確認が容易になるように囲まれたことに評価基準-比較予測評価を適用するのは簡単。それはオープン呼び出しに適した問題にCinematchを向上させるという課題になりました。

2006年の10月には、ネットフリックスは、（我々は第6章でこのデータリリースのプライバシーへの影響を検討する）は約約500,000顧客から億映画の評価を含むデータセットをリリースしました。 Netflixのデータ20,000映画によって約50万顧客である巨大な行列として概念化することができます。この行列の中で、1から5つ星（表5.2）のスケールで約億評価がありました。課題は、300万開催アウト評価を予測するために、マトリクス状に観測されたデータを使用することでした。

世界中の研究者やハッカーがチャレンジに描かれた、そして2008年までに30,000人以上の人々がそれに作業していた(Thompson 2008)コンテストのコースで、Netflixが5,000人以上のチームから40,000人以上のソリューション提案を受けた(Netflix 2009) 。明らかに、ネットフリックスは、これらすべての提案されたソリューションを読んで、理解できませんでした。ソリューションはチェックするのは簡単だったので全部は、しかし、スムーズに走りました。 Netflixがちょうどコンピュータが事前に指定したメトリック（彼らは平均二乗誤差の平方根だった使用される特定のメトリック）が保持しているアウト評価に予測評価を比較する可能性があります。すぐに良いアイデアはいくつかの驚くべき場所から来たので重要であることが判明皆、から解決策を受け入れるようにネットフリックスを有効にソリューションを評価するには、この能力はありました。実際には、勝利の溶液は全く経験の建物の映画推薦システム有していなかった3研究者によって開始されたチームによって提出された(Bell, Koren, and Volinsky 2010)

Netflixの賞の一つの美しい側面は、それが彼らのソリューションはかなり評価持つように世界の誰もが有効になっていることです。人々が彼らの予測評価をアップロードしたとき、彼らは自分自身についての彼らの学歴、年齢、人種、性別、性的指向、または何かをアップロードする必要はありませんでした。このように、スタンフォード大学からの有名な教授の予測評価は、彼女の寝室でティーンエイジャーからのものと全く同じに処理しました。残念ながら、これはほとんどの社会調査で真実ではありません。それはほとんどの社会調査のために、評価は非常に時間がかかり、部分的に主観的である、です。だから、ほとんどの研究のアイデアは真剣に評価されることはありません、とアイデアが評価されるとき、アイデアの作成者からそれらの評価を切り離すことは困難です。ソリューションはチェックするのは簡単ですので、オープンコールは、研究者は、彼らが唯一の有名な教授から解決策を考えた場合、クラックを介して下落するだろう、すべての潜在的に素晴らしいソリューションにアクセスすることを可能にします。

例えば、一点でスクリーンネームサイモン・ファンクとNetflixの賞誰かの間に、彼のブログ上で、他の参加者が以前に使用されていなかった線形代数からのアプローチを特異値分解に基づいて提案された解決策を掲載しました。ファンクのブログ記事は、同時に技術的、不気味非公式でした。このブログ記事は、良い解決策を記述したり、それは時間の無駄だったのですか？公募プロジェクトの外では、解決策は、深刻な評価を受けたことがないかもしれません。すべてのサイモン・ファンク後カリフォルニア工科大学やMITの教授ではありませんでした。彼は一度、ニュージーランドの周りにバックパックを背負った、ソフトウェア開発者だった(Piatetsky 2007)彼はネットフリックスのエンジニアにこのアイデアを電子メールで送信していた場合、それはほぼ確実に真剣に取られなかったであろう。

評価基準が明確で適用が容易であったため幸いにも、彼の予測評価を評価し、彼のアプローチは非常に強力であったことを即座に明らかだった：彼は競争の中で4位に急上昇、驚異的な結果は、他のチームはすでにされていたことを考えると問題に数ヶ月のために働いて。最後に、サイモン・ファンクのアプローチの部分は、事実上すべての深刻な競合他社が使用された(Bell, Koren, and Volinsky 2010)

サイモン・ファンクがむしろ秘密それを維持しようとするよりも、彼のアプローチを説明するブログ記事を書くことを選んだという事実は、また、Netflixの賞には多くの参加者が排他的に数百万ドルの賞金によって動機づけされていなかったことを示しています。むしろ、多くの参加者はまた、知的な挑戦と問題を回避開発コミュニティを楽しむように見えた(Thompson 2008) 、私は多くの研究者が理解できる期待の気持ちを。

Netflixの賞は、オープンコールの典型的な例です。ネットフリックスは、（映画の評価を予測する）具体的な目標で質問を提起し、多くの人からの解決策を求め。ネットフリックスは、彼らが作成するよりも、検証することが容易であった、そして最終的にネットフリックスは、最適なソリューションを選んだので、すべてのこれらのソリューションを評価することができました。次に、私はこれと同じアプローチが生物学と法律で使用することができる方法を紹介します。