5.3.1 Premio Netflix

El Premio Netflix utiliza convocatoria abierta para predecir qué películas la gente le gusta.

El proyecto llamado abierto más conocido es el Premio Netflix. Netflix es una empresa de alquiler de películas en línea, y en 2000 se puso en marcha Cinematch, un servicio para recomendar películas a los clientes. Por ejemplo, podría darse cuenta de que Cinematch te gustó Star Wars y huelgas Empire Recomendamos detrás y después de que usted mira retorno del Jedi. Inicialmente, Cinematch funcionaba mal. Pero, a lo largo de muchos años, Cinematch continuó mejorando su capacidad de predecir qué películas clientes disfrutarían. Para el año 2006, sin embargo, el progreso en Cinematch se estabilizó. Los investigadores de Netflix habían intentado casi todo lo que se les ocurrió, pero al mismo tiempo, se sospecha que hay otras ideas que podrían ayudar a mejorar su sistema. Por lo tanto, se les ocurrió lo que era, en ese momento, una solución radical: una convocatoria abierta.

Crítico para el éxito final del Premio Netflix era cómo se diseñó la convocatoria abierta, y este diseño tiene lecciones importantes para cómo las llamadas abierta puede ser utilizado para la investigación social. Netflix no sólo hay que poner a cabo una solicitud estructurado de ideas, que es lo que mucha gente se imagina cuando se consideran en primer lugar una convocatoria abierta. Más bien, Netflix planteaba un problema claro con un simple criterios de evaluación: desafiaron a la gente a utilizar un conjunto de 100 millones de clasificaciones de películas para predecir 3 millones de calificaciones en poder de salida (puntuaciones que los usuarios habían hecho pero que Netflix no liberaban). Cualquiera que pudiera crear un algoritmo que podría predecir los 3 millones de calificaciones en poder de salida 10% mejor que Cinematch ganaría 1 millón de dólares. Esta clara y fácil de aplicar criterios de evaluación comparando-clasificaciones prevé que en poder de salida clasificaciones-significado que el Premio Netflix estaba enmarcado de tal manera que las soluciones son más fáciles de comprobar que generan; resultó el reto de mejorar Cinematch en un problema adecuado para una convocatoria abierta.

En octubre de 2006, Netflix dio a conocer un conjunto de datos que contiene 100 millones de clasificaciones de películas de alrededor de alrededor de 500.000 clientes (vamos a considerar las implicaciones de privacidad de este comunicado datos del capítulo 6). Los datos de Netflix pueden ser conceptualizados como una matriz grande que es de aproximadamente 500.000 clientes en 20.000 películas. Dentro de esta matriz, había alrededor de 100 millones de calificaciones en una escala de 1 a 5 estrellas (Tabla 5.2). El reto consistía en utilizar los datos observados en la matriz para predecir los 3 millones de calificaciones en poder de salida.

Los investigadores y los piratas informáticos de todo el mundo se sienten atraídos por el desafío, y en 2008 más de 30.000 personas estaban trabajando en ello (Thompson 2008) . En el transcurso de la contienda, Netflix ha recibido más de 40.000 propuestas de solución a partir de más de 5.000 equipos (Netflix 2009) . Obviamente, Netflix no podía leer y entender todas estas soluciones propuestas. Todo esto transcurrió sin problemas, sin embargo, debido a que las soluciones eran fáciles de comprobar. Netflix solo podría tener un ordenador comparar las puntuaciones predichas a las votaciones mantenidas por una métrica (la métrica particular, que utilizaron fue la raíz cuadrada del error cuadrático medio) pre-especificado. Fue esta capacidad de evaluar rápidamente soluciones que permitieron a Netflix a aceptar las soluciones de todos, lo que resultó ser importante porque las buenas ideas provienen de algunos lugares sorprendentes. De hecho, la solución ganador fue presentado por un equipo iniciado por tres investigadores que no tenían sistemas de recomendación de películas anteriores experiencia en la construcción (Bell, Koren, and Volinsky 2010) .

Un aspecto hermoso del Premio Netflix es que permitió que cada uno en el mundo en tener su solución evaluado de manera justa. Cuando las personas cargan sus calificaciones previstas, no necesitan cargar sus credenciales académicas, su edad, raza, género, orientación sexual, o cualquier cosa sobre sí mismos. Por lo tanto, las calificaciones previstos de un famoso profesor de Stanford fueron tratados exactamente los mismos que los de un adolescente en su habitación. Por desgracia, esto no es cierto en la mayor parte de la investigación social. Esto es, para la mayor parte de la investigación social, la evaluación es muy lento y parcialmente subjetiva. Por lo tanto, la mayoría de las ideas de investigación no se evalúan en serio, y cuando se evalúan las ideas, es difícil separar esas evaluaciones del creador de las ideas. Dado que las soluciones son fáciles de comprobar, llamadas abiertas permiten a los investigadores acceder a todas las soluciones potencialmente maravillosos que caerían en el olvido si sólo se consideran las soluciones de famosos profesores.

Por ejemplo, en un momento dado durante el Premio Netflix a alguien con el nombre de pantalla Simon Funk publicó en su blog una propuesta de solución basado en una descomposición en valores singulares, un enfoque desde el álgebra lineal que no había sido utilizado anteriormente por otros participantes. entrada en el blog de Funk era a la vez técnica y extrañamente informal. Se esta entrada del blog describiendo una buena solución o era una pérdida de tiempo? Fuera de un proyecto de convocatoria abierta, la solución podría no haber recibido una evaluación seria. Después de todo Simon Funk no era un profesor de Cal Tech o el MIT; él era un desarrollador de software que, en ese momento, estaba acampada alrededor de Nueva Zelanda (Piatetsky 2007) . Si se hubiera enviado por correo electrónico esta idea a un ingeniero de Netflix, es casi seguro que no se habría tomado en serio.

Afortunadamente, debido a que los criterios de evaluación fueron claras y fáciles de aplicar, sus índices predichos fueron evaluados, y fue inmediatamente claro que su enfoque era muy poderoso: que saltó a la cuarta posición en la competición, una tremenda resultado teniendo en cuenta que otros equipos ya habían sido trabajando durante meses en el problema. Al final, las partes del método de Simon Funk fueron utilizados por casi todos los competidores serios (Bell, Koren, and Volinsky 2010) .

El hecho de que Simon Funk decidió escribir un post explicando su enfoque, en lugar de tratar de mantenerlo en secreto, también pone de manifiesto que muchos de los participantes en el Premio Netflix no estaban motivados exclusivamente por el premio de un millón de dólares. Por el contrario, muchos de los participantes también parecía disfrutar el desafío intelectual y la comunidad que se desarrolló en torno al problema (Thompson 2008) , sentimientos que espero muchos investigadores pueden entender.

El Premio Netflix es un ejemplo clásico de una convocatoria abierta. Netflix hizo una pregunta con una meta específica (la predicción de clasificación de las películas) y solicitó soluciones de muchas personas. Netflix pudo evaluar todas estas soluciones, ya que eran más fáciles de verificar que crear, y en última instancia Netflix eligió la mejor solución. A continuación, te voy a mostrar cómo este mismo enfoque se puede utilizar en la biología y la ley.