5.3.1 Prix Netflix

Le Prix Netflix utilise appel ouvert pour prédire quels films les gens aimeront.

Le projet d'appel ouvert le plus connu est le prix Netflix. Netflix est une société de location de films en ligne, et en 2000, elle a lancé Cinematch, un service de recommander des films aux clients. Par exemple, Cinematch remarquerez peut - être que vous avez aimé Star Wars et Empire Strikes Back et puis vous recommandons de regarder le retour du Jedi. Dans un premier temps, Cinematch travaillait mal. Mais, au cours de nombreuses années, Cinematch a continué d'améliorer sa capacité à prédire ce que les films clients apprécieraient. En 2006, cependant, les progrès sur Cinematch atteint un plateau. Les chercheurs de Netflix ont essayé à peu près tout ce qu'ils pouvaient penser, mais en même temps, ils ont présumé qu'il y avait d'autres idées qui pourraient les aider à améliorer leur système. Ainsi, ils sont venus avec ce qui était, à l'époque, une solution radicale: un appel ouvert.

Critique pour la réussite du Prix Netflix était de savoir comment l'appel ouvert a été conçu, et cette conception a des leçons importantes sur la façon dont les appels ouverts peuvent être utilisés pour la recherche sociale. Netflix n'a pas seulement mis sur une demande non structurée pour des idées, qui est ce que beaucoup de gens imaginent quand ils considèrent d'abord un appel ouvert. Au contraire, Netflix a posé un problème clair avec un critère d'évaluation simple: ils ont contesté les gens à utiliser un ensemble de 100 millions d'évaluations de films pour prédire 3 millions de votes détenus sur (notes que les utilisateurs avaient fait, mais que Netflix n'a pas communiqué). Toute personne qui pourrait créer un algorithme qui pourrait prédire les 3 millions de notes détenus à 10% de mieux que Cinematch gagnerait 1 million de dollars. Cette claire et facile à appliquer les critères d'évaluation, on compare les évaluations prévues à détenus sur notations signifiait que le prix Netflix a été formulée de manière à ce que les solutions sont plus faciles à vérifier que générer; il se le défi d'améliorer Cinematch un problème approprié pour un appel ouvert.

En Octobre 2006, Netflix a publié un ensemble de données contenant 100 millions d'évaluations de films d'environ 500.000 clients (nous allons examiner les implications de la vie privée de cette version de données dans le chapitre 6). Les données de Netflix peuvent être conceptualisés comme une matrice énorme qui est d'environ 500.000 clients par 20.000 films. Dans cette matrice, il y avait environ 100 millions de notes sur une échelle de 1 à 5 étoiles (tableau 5.2). Le défi était d'utiliser les données observées dans la matrice pour prédire les 3 millions de notes tenues-out.

Les chercheurs et les pirates du monde entier ont été attirés par le défi, et en 2008 , plus de 30.000 personnes travaillaient sur ​​elle (Thompson 2008) . Au cours du concours, Netflix a reçu plus de 40.000 solutions proposées à partir de plus de 5000 équipes (Netflix 2009) , (Netflix 2009) . De toute évidence, Netflix n'a pas pu lire et comprendre toutes ces solutions proposées. Cependant Le tout se déroule bien, parce que les solutions étaient faciles à vérifier. Netflix pourrait simplement avoir un ordinateur comparer les évaluations prévues aux évaluations détenus par une métrique (la métrique particulière utilisée était la racine carrée de l'erreur quadratique moyenne) pré-spécifié. Il était cette capacité à évaluer rapidement les solutions qui ont permis à Netflix à accepter des solutions de tout le monde, ce qui est avéré être important parce que de bonnes idées provenaient des endroits surprenants. En fait, la solution gagnante a été présentée par une équipe a commencé par trois chercheurs qui ne disposaient pas de systèmes de cinéma recommandation de construction de l' expérience antérieure (Bell, Koren, and Volinsky 2010) , (Bell, Koren, and Volinsky 2010) .

Un bel aspect du Prix Netflix est qu'il a permis tout le monde d'avoir leur solution évaluée équitablement. Quand les gens chargés de leurs notes prédites, ils ne doivent télécharger leurs diplômes, leur âge, la race, le sexe, l'orientation sexuelle, ou quoi que ce soit sur eux-mêmes. Ainsi, les évaluations prévues d'un célèbre professeur de Stanford ont été traités exactement les mêmes que ceux d'un adolescent dans sa chambre. Malheureusement, ce n'est pas vrai dans la plupart des recherches sociales. Autrement dit, pour la plupart de la recherche sociale, l'évaluation est très coûteuse en temps et en partie subjective. Ainsi, la plupart des idées de recherche ne sont jamais sérieusement évalués, et quand les idées sont évaluées, il est difficile de détacher ces évaluations du créateur des idées. Parce que les solutions sont faciles à vérifier, des appels ouverts permettent aux chercheurs d'accéder à toutes les solutions potentiellement merveilleuses qui tomberaient à travers les fissures si elles ne considérés comme des solutions de professeurs célèbres.

Par exemple, à un moment donné au cours de la personne Prix Netflix avec le nom d'écran Simon Funk publié sur son blog une proposition de solution basée sur une décomposition de valeur singulière, une approche de l'algèbre linéaire qui n'a pas été utilisé précédemment par d'autres participants. blogue de Funk était à la fois technique et étrangement informelle. ce blog décrivait une bonne solution ou était-ce une perte de temps? En dehors d'un projet d'appel ouvert, la solution pourrait ne jamais avoir reçu une évaluation sérieuse. Après tout Simon Funk était pas un professeur à Cal Tech ou MIT; il était un développeur de logiciels qui, à l'époque, a été la randonnée autour de la Nouvelle - Zélande (Piatetsky 2007) . S'il avait envoyé cette idée à un ingénieur à Netflix, presque certainement aurait pas été pris au sérieux.

Heureusement, parce que les critères d'évaluation étaient clairs et faciles à appliquer, ses évaluations prévues ont été évalués, et il a été immédiatement clair que son approche était très puissant: il a monté en flèche à la quatrième place dans la compétition, un résultat extraordinaire étant donné que d'autres équipes avaient déjà été travailler pendant des mois sur le problème. En fin de compte , les parties de l'approche de Simon Funk ont été utilisés par la quasi - totalité des concurrents sérieux (Bell, Koren, and Volinsky 2010) .

Le fait que Simon Funk a choisi d'écrire un billet de blog expliquant son approche, plutôt que d'essayer de garder le secret, montre également que de nombreux participants au prix Netflix ne sont pas exclusivement motivés par le prix d'un million de dollars. Au contraire, de nombreux participants ont également semblé apprécier le défi intellectuel et la communauté qui a développé autour du problème (Thompson 2008) , les sentiments que je prévois de nombreux chercheurs peuvent comprendre.

Le Prix Netflix est un exemple classique d'un appel ouvert. Netflix a posé une question dans un but précis (prédire le classement des films) et a sollicité des solutions de nombreuses personnes. Netflix a pu évaluer toutes ces solutions, car ils étaient plus faciles à vérifier que de créer, et, finalement, Netflix a choisi la meilleure solution. Ensuite, je vais vous montrer comment cette même approche peut être utilisée en biologie et en droit.