5.3.1 Netflix Prize

O Premio Netflix usa a chamada aberta para prever cales películas a xente gusta.

O proxecto de chamada aberta máis coñecido é o Premio Netflix. Netflix é unha empresa de aluguer de películas en liña e, en 2000, lanzou Cinematch, un servizo para recomendar películas a clientes. Por exemplo, Cinematch pode notar que lle gustou Star Wars e The Empire Strikes Back e logo recoméndase que vexa Return of the Jedi . Inicialmente, Cinematch funcionou mal. Pero, ao longo de moitos anos, continuou a mellorar a súa capacidade de predecir que películas os clientes poderían gozar. Para 2006, con todo, o progreso en Cinematch tiña planchado. Os investigadores de Netflix intentaron case todo o que puidesen pensar, pero, ao mesmo tempo, sospeitaban que había outras ideas que puidesen axudalos a mellorar o seu sistema. Así, xurdiron o que era, no seu momento, unha solución radical: unha convocatoria aberta.

Crítica ao éxito eventual do Premio Netflix foi como se deseñou a convocatoria aberta, e este proxecto ten importantes leccións para o uso das chamadas abertas para a investigación social. Netflix non só lanzou unha solicitude non estruturada de ideas, que é o que moitas persoas imaxinan cando consideran por primeira vez unha chamada aberta. En vez diso, Netflix planteou un problema claro cun simple proceso de avaliación: desafiaron ás persoas a usar un conxunto de 100 millóns de calificaciones de películas para predecir 3 millóns de clasificacións de clasificación (calificacións que os usuarios fixeran pero que Netflix non lanzou). A primeira persoa a crear un algoritmo que predijo que as clasificacións de 3 millóns de participacións un 10% mellor que Cinematch gañaría un millón de dólares. Este procedemento de avaliación claro e sinxelo de aplicar, que compara as cualificacións previstas con clasificacións pendentes, fixo que o Premio Netflix estivese enmarcado de tal xeito que as solucións fosen máis fáciles de comprobar que xerar; converteu o reto de mellorar Cinematch nun problema adecuado para unha chamada aberta.

En outubro de 2006, Netflix lanzou un conxunto de datos que contén 100 millóns de calificacións de películas de aproximadamente 500.000 clientes (consideraremos as implicacións de privacidade desta versión de datos no capítulo 6). Os datos de Netflix pódense conceptualizar como unha enorme matriz que ten aproximadamente 500.000 clientes en 20.000 películas. Dentro desta matriz, houbo uns 100 millóns de cualificacións nunha escala de 1 a 5 estrelas (táboa 5.2). O desafío era utilizar os datos observados na matriz para predecir os 3 millóns de clasificacións de clasificación reducida.

Investigadores e hackers de todo o mundo foron atraídos ao desafío e, en 2008, máis de 30.000 persoas estaban traballando nel (Thompson 2008) . Ao longo do concurso, Netflix recibiu máis de 40.000 propostas de máis de 5.000 equipos (Netflix 2009) . Obviamente, Netflix non puido ler e comprender todas estas solucións propostas. Todo o asunto funcionou sen problemas, porén, porque as solucións eran fáciles de comprobar. Netflix só podería ter unha computadora comparando as clasificacións previstas coas clasificacións retiradas usando unha métrica preespecificada (a métrica particular que empregaban era a raíz cadrada do erro cuadrático medio). Foi esta a capacidade de avaliar rapidamente as solucións que permitiron a Netflix aceptar solucións de todos, o que resultou ser importante porque as boas ideas proviñan de lugares sorprendentes. De feito, a solución gañadora foi presentada por un equipo iniciado por tres investigadores que non tiveron experiencia previa na construción de sistemas de recomendación de películas (Bell, Koren, and Volinsky 2010) .

Un fermoso aspecto do Premio Netflix é que permitía que todas as solucións propostas sexan avaliadas de forma xusta. É dicir, cando a xente cargou as súas habilidades previstas, non necesitaban subir as súas credenciais académicas, a súa idade, raza, sexo, orientación sexual ou calquera cousa sobre si mesmos. As cualificacións previstas dun famoso profesor de Stanford tratáronse exactamente o mesmo que os dun adolescente no seu cuarto. Por desgraza, isto non é verdade na maioría das investigacións sociais. É dicir, para a maioría das investigacións sociais, a avaliación é moi lenta e parcialmente subjetiva. Así, a maioría das ideas de investigación nunca son evaluadas seriamente e, cando se evalúan as ideas, é difícil separar esas valoracións do creador das ideas. Os proxectos de chamadas abertas, por outra banda, teñen avaliación fácil e xusta para que poidan descubrir ideas que se perderían doutra forma.

Por exemplo, nun momento durante o Premio Netflix, alguén co nome de pantalla Simon Funk publicou no seu blog unha solución proposta baseada nunha descomposición de valor singular, un enfoque de álxebra lineal que non fora utilizado anteriormente por outros participantes. O blog de Funk foi simultaneamente técnico e extrañamente informal. Foi esta publicación do blog describindo unha boa solución ou foi unha perda de tempo? Fóra dun proxecto de chamada aberta, a solución podería nunca ter recibido unha avaliación seria. Despois de todo, Simon Funk non era profesor no MIT; el era un desenvolvedor de software que, no seu momento, estaba mochilando en Nova Zelanda (Piatetsky 2007) . Se enviei por correo electrónico esta idea a un enxeñeiro de Netflix, case seguro que non sería lido.

Afortunadamente, porque os criterios de avaliación eran claros e fáciles de aplicar, evaluáronse as súas habilidades previstas, e quedou claro que o seu enfoque era moi poderoso: ascendeu a cuarto lugar na competición, un tremendo resultado tendo en conta que outros equipos xa foron traballando durante meses sobre o problema. Ao final, parte do seu enfoque foron utilizados por practicamente todos os competidores serios (Bell, Koren, and Volinsky 2010) .

O feito de que Simon Funk elixise escribir unha publicación de blog explicando o seu enfoque, en lugar de tratar de mantelo en segredo, tamén ilustra que moitos participantes no Premio Netflix non estaban motivados exclusivamente polo premio de millonetas. Por outra banda, moitos participantes tamén parecían gozar do desafío intelectual e da comunidade que se desenvolveu ao redor do problema (Thompson 2008) , sentimentos que espero que moitos investigadores poidan entender.

O Premio Netflix é un exemplo clásico dunha convocatoria aberta. Netflix plantexou unha pregunta cun obxectivo específico (predicir clasificacións de películas) e solicitou solucións de moitas persoas. Netflix puido evaluar todas estas solucións porque eran máis fáciles de comprobar que crear e, finalmente, Netflix elixiu a mellor solución. A continuación, mostrarémosche como se pode usar esta mesma aproximación en bioloxía e lei e sen premio de millón de dólares.