5.3.1 Premi Netflix

El Premi Netflix utilitza convocatòria oberta per predir quines pel·lícules la gent li agrada.

El projecte de trucada oberta més conegut és el Premi Netflix. Netflix és una empresa de lloguer de pel·lícules en línia, i el 2000 va llançar Cinematch, un servei per recomanar pel·lícules als clients. Per exemple, Cinematch pot notar que li agradava Star Wars i The Empire Strikes Back i després recomanem que vegi Return of the Jedi . Inicialment, Cinematch va funcionar malament. Però, al llarg de molts anys, va continuar millorant la seva capacitat de predir el que els clients de les pel·lícules podrien gaudir. El 2006, però, el progrés en Cinematch s'havia estancat. Els investigadors de Netflix havien intentat gairebé tot el que podien pensar, però, al mateix temps, sospitaven que hi havia altres idees que podrien ajudar-los a millorar el seu sistema. D'aquesta manera, es va plantejar el que va ser, aleshores, una solució radical: una convocatòria oberta.

Una crítica a l'eventual èxit del Premi Netflix va ser com es va dissenyar la convocatòria oberta i aquest disseny té lliçons importants de com es poden utilitzar les convocatòries obertes per a la recerca social. Netflix no només va exposar una sol · licitud no estructurada d'idees, que és el que molta gent imagina quan consideri una trucada oberta. Per contra, Netflix va plantejar un problema clar amb un senzill procediment d'avaluació: van desafiar a les persones a utilitzar un conjunt de 100 milions de qualificacions de pel·lícules per predir 3 milions de classificacions pendents (qualificacions que els usuaris havien fet, però que Netflix no va publicar). La primera persona a crear un algoritme que preveia que les puntuacions de 3 milions de classificacions un 10% millor que Cinematch guanyaria un milió de dòlars. Aquest procediment d'avaluació clar i fàcil d'aplicar, que compara les qualificacions previstes amb les qualificacions pendents, va fer que el Premi Netflix estigués emmarcat de manera que les solucions fossin més fàcils de comprovar que generar; va convertir el repte de millorar Cinematch en un problema adequat per a una convocatòria oberta.

A l'octubre de 2006, Netflix va llançar un conjunt de dades amb 100 milions d'avaluacions de pel·lícules d'aproximadament 500.000 clients (considerarem les implicacions de privadesa d'aquest llançament de dades al capítol 6). Les dades de Netflix es poden conceptualitzar com una gran matriu que representa aproximadament 500.000 clients en 20.000 pel·lícules. Dins d'aquesta matriu, hi havia uns 100 milions de qualificacions en una escala d'una a cinc estrelles (taula 5.2). El repte era utilitzar les dades observades a la matriu per predir els 3 milions de qualificacions pendents.

Investigadors i pirates informàtics de tot el món es van enfrontar al repte, i el 2008 ja treballaven més de 30.000 persones (Thompson 2008) . Durant el transcurs del concurs, Netflix ha rebut més de 40.000 solucions proposades de més de 5.000 equips (Netflix 2009) . Òbviament, Netflix no va poder llegir i comprendre totes aquestes solucions proposades. Tanmateix, tot va funcionar sense problemes perquè les solucions eren fàcils de comprovar. Netflix només podria tenir una computadora comparar les classificacions previstes amb les classificacions retingudes utilitzant una mètrica predeterminada (la mètrica particular que utilitzaven era l'arrel quadrada de l'error quadrat mitjà). Va ser aquesta capacitat per avaluar ràpidament solucions que permetien a Netflix acceptar solucions de tothom, que van resultar ser importants perquè van sortir bones idees d'alguns llocs sorprenents. De fet, la solució guanyadora va ser presentada per un equip de tres investigadors que no tenien experiència prèvia en la creació de sistemes de recomanació de pel·lícules (Bell, Koren, and Volinsky 2010) .

Un aspecte bonic del Premi Netflix és que va permetre avaluar de manera justa totes les solucions proposades. És a dir, quan les persones van carregar les qualificacions previstes, no necessitaven carregar les seves credencials acadèmiques, la seva edat, raça, sexe, orientació sexual o res sobre si mateixos. Les qualificacions previstes d'un famós professor de Stanford van ser tractats exactament igual que els d'un adolescent a la seva habitació. Lamentablement, això no és cert en la majoria de la investigació social. És a dir, per a la majoria de les investigacions socials, l'avaluació és molt consumista i parcialment subjectiu. Així, la majoria de les idees de recerca mai no s'avaluen seriosament, i quan s'avaluen les idees, és difícil separar aquestes avaluacions del creador de les idees. Els projectes de convocatòries obertes, d'altra banda, tenen una avaluació fàcil i justa perquè puguin descobrir idees que es podrien perdre d'una altra manera.

Per exemple, en un moment durant el Premi Netflix, algú amb el nom de la pantalla, Simon Funk, va publicar al seu blog una proposta de solució basada en una descomposició singular del valor, un enfocament d'àlgebra lineal que anteriorment no havia estat utilitzat per altres participants. La publicació del blog de Funk va ser alhora tècnica i estranya informal. Va ser aquesta entrada del blog que descriu una bona solució o va ser una pèrdua de temps? Fora d'un projecte de convocatòria oberta, la solució podria no haver rebut cap avaluació seriosa. Després de tot, Simon Funk no era professor al MIT; ell era un desenvolupador de programari que, en aquell moment, es trobava a Nova Zelanda (Piatetsky 2007) . Si hagués enviat per correu electrònic aquesta idea a un enginyer a Netflix, gairebé no s'hauria llegit.

Afortunadament, perquè els criteris d'avaluació eren clars i fàcils d'aplicar, es van avaluar les classificacions previstes, i es va deixar clar que el seu enfocament era molt poderós: es va disparar a la quarta posició de la competició, un resultat tremend ja que altres equips ja havien estat treballant durant mesos sobre el problema. Al final, pràcticament tots els competidors seriosos (Bell, Koren, and Volinsky 2010) van utilitzar parts del seu enfocament.

El fet que Simon Funk escollís escriure una publicació en un blog explicant el seu enfocament, en comptes d'intentar mantenir-la en secret, també il·lustra que molts dels participants del Premi Netflix no estaven motivats exclusivament pel premi de mil milions de dòlars. Al contrari, molts participants també semblaven gaudir del repte intel·lectual i de la comunitat que es desenvolupava al voltant del problema (Thompson 2008) , sentiments que espero que molts investigadors puguin entendre.

El Premi Netflix és un exemple clàssic d'una convocatòria oberta. Netflix va plantejar una pregunta amb un objectiu específic (preveure classificacions de pel·lícules) i va sol·licitar solucions de moltes persones. Netflix va poder avaluar totes aquestes solucions perquè eren més fàcils de comprovar que crear, i finalment Netflix va triar la millor solució. A continuació, us mostraré com aquest mateix enfocament pot ser utilitzat en biologia i dret, i sense un premi de milers de dòlars.