5.3.1 Premi Netflix

El Premi Netflix utilitza convocatòria oberta per predir quines pel·lícules la gent li agrada.

El projecte anomenat obert més conegut és el Premi Netflix. Netflix és una empresa de lloguer de pel·lícules en línia, i en 2000 es va posar en marxa Cinematch, un servei per recomanar pel·lícules als clients. Per exemple, podria adonar-se que Cinematch et va agradar Star Wars i vagues Empire Recomanem darrere i després que vostè mira retorn del Jedi. Inicialment, Cinematch funcionava malament. Però, al llarg de molts anys, Cinematch continuar millorant la seva capacitat de predir quines pel·lícules clients gaudirien. Per a l'any 2006, però, el progrés en Cinematch es va estabilitzar. Els investigadors de Netflix havien intentat gairebé tot el que se'ls va ocórrer, però al mateix temps, se sospita que hi ha altres idees que podrien ajudar a millorar el seu sistema. Per tant, se'ls va ocórrer el que era, en aquell moment, una solució radical: una convocatòria oberta.

Crític per a l'èxit final del Premi Netflix era com es va dissenyar la convocatòria oberta, i aquest disseny té lliçons importants per com les trucades oberta pot ser utilitzat per a la investigació social. Netflix no només cal posar a terme una sol·licitud estructurat d'idees, que és el que molta gent s'imagina quan es consideren en primer lloc una convocatòria oberta. Més aviat, Netflix plantejava un problema clar amb un simple criteris d'avaluació: desafiar a la gent a utilitzar un conjunt de 100 milions d'classificacions de pel·lícules per predir 3 milions de qualificacions en poder de sortida (puntuacions que els usuaris havien fet però que Netflix no alliberaven). Qualsevol que pogués crear un algoritme que podria predir els 3 milions de qualificacions en poder de sortida 10% millor que Cinematch guanyaria 1 milió de dòlars. Aquesta clara i fàcil d'aplicar criteris d'avaluació comparant-classificacions preveu que en poder de sortida classificacions-significat que el Premi Netflix estava emmarcat de manera que les solucions són més fàcils de comprovar que generen; resultar el repte de millorar Cinematch en un problema adequat per a una convocatòria oberta.

A l'octubre de 2006, Netflix va donar a conèixer un conjunt de dades que conté 100 milions de classificacions de pel·lícules al voltant d'al voltant de 500.000 clients (considerarem les implicacions de privacitat d'aquest comunicat dades del capítol 6). Les dades de Netflix poden ser conceptualitzats com una matriu gran que és d'aproximadament 500.000 clients a 20.000 pel·lícules. Dins d'aquesta matriu, hi havia al voltant de 100 milions de qualificacions en una escala d'1 a 5 estrelles (Taula 5.2). El repte consistia a utilitzar les dades observades en la matriu per predir els 3 milions de qualificacions en poder de sortida.

Els investigadors i els pirates informàtics de tot el món se senten atrets pel desafiament, i el 2008 més de 30.000 persones estaven treballant en això (Thompson 2008) . En el transcurs de la contesa, Netflix ha rebut més de 40.000 propostes de solució a partir de més de 5.000 equips (Netflix 2009) . Òbviament, Netflix no podia llegir i entendre totes aquestes solucions proposades. Tot això va transcórrer sense problemes, però, a causa de que les solucions eren fàcils de comprovar. Netflix només podria tenir un ordinador comparar les puntuacions predites a les votacions mantingudes per una mètrica (la mètrica particular, que van utilitzar va ser l'arrel quadrada de l'error quadràtic mitjà) pre-especificat. Va ser aquesta capacitat d'avaluar ràpidament solucions que van permetre a Netflix a acceptar les solucions de tots, el que va resultar ser important perquè les bones idees provenen d'alguns llocs sorprenents. De fet, la solució guanyador va ser presentat per un equip iniciat per tres investigadors que no tenien sistemes de recomanació de pel·lícules anteriors experiència en la construcció (Bell, Koren, and Volinsky 2010) .

Un aspecte bonic del Premi Netflix és que va permetre que cada un en el món a tenir la seva solució avaluat de manera justa. Quan les persones carreguen les seves qualificacions previstes, no necessiten carregar les seves credencials acadèmiques, la seva edat, raça, gènere, orientació sexual, o qualsevol cosa sobre si mateixos. Per tant, les qualificacions previstos d'un famós professor de Stanford van ser tractats exactament els mateixos que els d'un adolescent en la seva habitació. Per desgràcia, això no és cert en la major part de la investigació social. Això és, per a la major part de la investigació social, l'avaluació és molt lent i parcialment subjectiva. Per tant, la majoria de les idees de recerca no s'avaluen de debò, i quan s'avaluen les idees, és difícil separar aquestes avaluacions del creador de les idees. Atès que les solucions són fàcils de comprovar, trucades obertes permeten als investigadors accedir a totes les solucions potencialment meravellosos que caurien en l'oblit si només es consideren les solucions de famosos professors.

Per exemple, en un moment donat durant el Premi Netflix a algú amb el nom de pantalla Simon Funk va publicar al seu bloc una proposta de solució basat en una descomposició en valors singulars, un enfocament des de l'àlgebra lineal que no havia estat utilitzat anteriorment per altres participants. entrada al bloc de Funk era alhora tècnica i estranyament informal. Es aquesta entrada del bloc descrivint una bona solució o era una pèrdua de temps? Fora d'un projecte de convocatòria oberta, la solució podria no haver rebut una avaluació seriosa. Després de tot Simon Funk no era un professor de Cal Tech o el MIT; ell era un desenvolupador de programari que, en aquest moment, estava acampada al voltant de Nova Zelanda (Piatetsky 2007) . Si s'hagués enviat per correu electrònic aquesta idea a un enginyer de Netflix, és gairebé segur que no s'hauria pres seriosament.

Afortunadament, a causa que els criteris d'avaluació van ser clares i fàcils d'aplicar, els seus índexs predits van ser avaluats, i va ser immediatament clar que el seu enfocament era molt poderós: que va saltar a la quarta posició en la competició, una tremenda resultat tenint en compte que altres equips ja havien estat treballant durant mesos en el problema. Al final, les parts del mètode de Simon Funk van ser utilitzats per gairebé tots els competidors seriosos (Bell, Koren, and Volinsky 2010) .

El fet que Simon Funk va decidir escriure un post explicant el seu enfocament, en lloc de tractar de mantenir-lo en secret, també posa de manifest que molts dels participants en el Premi Netflix no estaven motivats exclusivament pel premi d'un milió de dòlars. Per contra, molts dels participants també semblava gaudir el desafiament intel·lectual i la comunitat que es va desenvolupar al voltant del problema (Thompson 2008) , sentiments que espero molts investigadors poden entendre.

El Premi Netflix és un exemple clàssic d'una convocatòria oberta. Netflix va fer una pregunta amb una meta específica (la predicció de classificació de les pel·lícules) i va sol·licitar solucions de moltes persones. Netflix va poder avaluar totes aquestes solucions, ja que eren més fàcils de verificar que crear, i en última instància Netflix va triar la millor solució. A continuació, et vaig a mostrar com aquest mateix enfocament es pot utilitzar en la biologia i la llei.