5.3.1 Netflix的獎

Netflix的獎採用公開徵集來預測人們會喜歡這電影。

最廣為人知的公開徵集項目是Netflix的獎。 Netflix公司是一個在線電影租賃公司，並於2000年它推出Cinematch，服務推薦電影給客戶。例如，Cinematch可能會注意到，你喜歡星球大戰 帝國反擊 ，然後推薦你看絕地歸來 。最初，Cinematch不好的工作。但是，經過多年的歷程，Cinematch繼續提高其預測客戶喜歡什麼樣的電影的能力。到2006年，但是，在Cinematch進度趨於穩定。 Netflix的研究人員曾嘗試他們能想到的幾乎一切，但在同一時間，他們懷疑還有其他的想法來幫助他們提高他們的系統。於是，他們想出了什麼，在那個時候，根本的解決辦法：公開徵集。

關鍵Netflix的獎的最終成功是公開徵集是如何設計的，這種設計有如何打開調用可用於社會研究重要的教訓。 Netflix的不只是放出來的想法非結構化的請求，這是很多人的想像時，他們首先考慮公開徵集。相反，Netflix公司提出了一個簡單的評價標準明確的問題：他們挑戰的人是使用一套億電影等級的預測3000000持有評級出來（用戶取得了收視率，但認為Netflix公司沒有公佈）。任何人誰可以創建一種算法，可以預測300萬的持有評級從10％優於Cinematch將贏得1萬塊錢。這個清晰的，易於使用的評估標準，對比預測評級持有評級出來，意味著Netflix的獎是在這樣一種方式，解決方案易於檢查不是生成框架;原來提高Cinematch成適合公開徵集問題的挑戰。

在2006年10月，Netflix公司公佈的含億的電影收視率從大約50萬左右的客戶（我們會考慮這個數據發布的第6章中的隱私問題）的數據集。 Netflix的數據可以被概括為這是大約500,000客戶20000電影的巨大的矩陣。在這個矩陣中，有從1到5星（見表5.2）規模約100萬的收視。面臨的挑戰是要使用的觀測到的數據中的矩陣來預測300萬持有出的評分。

世界各地的研究人員和黑客被吸引到這一挑戰，並於2008年超過3萬人的工作就可以了(Thompson 2008) 。在比賽的過程中，Netflix公司收到4萬多提出的解決方案，從5000多的球隊(Netflix 2009) 。顯然，Netflix公司無法閱讀和理解所有這些提出的解決方案。整個事情順利運行，但是，因為解決方案很容易檢​​查。 Netflix的可能只是有一台電腦通過預先指定的度量標準（具體他們使用是均方誤差的平方根指標）比較預測評級至持有評級出來。正是這種能力，快速評估的啟用Netflix的接受大家，這竟然是重要的，因為好的創意一些令人驚訝的地方就解決方案。事實上，成功的解決方案提交由三名研究人員說有沒有現成的經驗建設電影推薦系統開始一隊(Bell, Koren, and Volinsky 2010)

Netflix的獎的一個美麗的方面是，它使世界上每個人都有自己的解決方案進行評估比較。當人們上傳自己的預測收視率，他們並不需要上傳自己的學歷，年齡，種族，性別，性取向，或對自己的東西。因此，從斯坦福大學著名教授的預測評級被視為完全一樣，那些在她的臥室一個少年。不幸的是，這是不是在大多數社會研究真。也就是說，對於大多數的社會研究，評估是非常耗時和部分主觀的。所以，大多數研究的想法是從來沒有認真評估，而當想法進行評估，這是很難從思想的創造者分離這些評估。由於解決方案易於檢查，請打開調用允許研究人員訪問所有的潛在精彩的解決方案，會漏掉，如果他們只考慮從知名教授的解決方案。

例如，在Netflix的獎有人用網名在一個點西門芬克在他的博客中提議的解決方案發布基於奇異值分解，線性代數是沒有被其他參與者以前使用的方法。芬克的博客文章是同時技術和古怪非正式的。在這個博客帖子描述了一個好的解決方案，抑或是在浪費時間？公開徵集的項目之外，該解決方案可能永遠不會收到認真的評估。畢竟西蒙芬克是不是在加州理工學院或者麻省理工學院的教授;他是一名軟件開發人員是誰，在當時，圍繞新西蘭背包(Piatetsky 2007)如果他通過電子郵件發送這個想法在Netflix公司的工程師，它幾乎肯定不會被重視。

幸運的是，由於評價標準清晰，容易申請，他的預測收視率進行了評價，這是瞬間清晰，他的做法是非常強大的，他以火箭般的在競爭第四名，一個巨大的結果給其他球隊早已經被工作的問題月。最終，西蒙芬克的做法部分是由幾乎所有的嚴重競爭對手使用的(Bell, Koren, and Volinsky 2010)

西蒙芬克選擇寫博客文章，解釋他的做法，而不是試圖保持它的秘密，這一事實也說明，在Netflix的獎很多參與者並沒有被百萬美元的獎金完全激發。相反，許多與會者似乎也享受智力挑戰和解決該問題制定的社會(Thompson 2008) ，我想到許多研究人員能夠理解的心情。

Netflix的獎是一個開放調用的一個典型的例子。 Netflix公司提出了一個問題與特定的目標（預測電影等級），並從許多人徵求解決方案。 Netflix公司能夠評估所有這些解決方案，因為他們更容易驗證，而不是創造，最終Netflix的選擇了最佳的解決方案。接下來，我將告訴你如何同樣的方法可以在生物學和法的規定使用。