5.3.1 Netflix Prize

O Prêmio Netflix usa a chamada aberta para prever quais filmes as pessoas vão gostar.

O projeto convite aberto mais conhecido é o Prêmio Netflix. Netflix é uma empresa de aluguel de filmes on-line, e em 2000 lançou Cinematch, um serviço para recomendar filmes para clientes. Por exemplo, Cinematch pode notar que você gostou Star Wars e greves Império Voltar e, em seguida, recomendamos que você assistir O Retorno de Jedi. Inicialmente, Cinematch trabalhou mal. Mas, ao longo de muitos anos, Cinematch continuou a melhorar a sua capacidade de prever o que os filmes clientes gostariam de receber. Em 2006, no entanto, o progresso na Cinematch estabilizou. Os pesquisadores da Netflix tinha tentado praticamente tudo o que poderia pensar, mas, ao mesmo tempo, eles suspeitaram que havia outras idéias que podem ajudá-los a melhorar o seu sistema. Assim, eles vieram para cima com o que era, na época, uma solução radical: um convite aberto.

Fundamentais para o eventual sucesso da Netflix Prize foi como a chamada aberta foi projetado, e este projeto tem lições importantes para como as chamadas aberto pode ser usado para a pesquisa social. Netflix não apenas colocar para fora um pedido de não-estruturados de ideias, que é o que muitas pessoas imaginam quando considerar em primeiro lugar uma chamada aberta. Em vez disso, Netflix apresentou um problema claro com um critério de avaliação simples: eles desafiaram as pessoas a utilizar um conjunto de 100 milhões de classificações de filmes de prever 3 milhões de avaliações realizadas-out (avaliações que os usuários tinham feito, mas que a Netflix não divulgou). Qualquer um que poderia criar um algoritmo que poderia prever os 3 milhões de avaliações realizadas-out de 10% melhor do que Cinematch iria ganhar 1 milhão de dólares. Esta clara e fácil de aplicar critérios de avaliação, comparando classificações previstas para mantidos fora classificações de-significava que o Netflix Prize foi enquadrado de tal forma que as soluções são mais fáceis de verificar que geram; descobriu-se o desafio de melhorar Cinematch em um problema adequado para uma chamada aberta.

Em outubro de 2006, a Netflix lançou um conjunto de dados contendo 100 milhões de classificações de filmes de cerca de cerca de 500.000 clientes (vamos considerar as implicações de privacidade desta versão dados no Capítulo 6). Os dados da Netflix pode ser conceituada como uma enorme matriz que é de aproximadamente 500.000 clientes por 20.000 filmes. Dentro desta matriz, havia aproximadamente 100 milhões de avaliações numa escala de 1 a 5 estrelas (Tabela 5.2). O desafio foi a utilização dos dados observados na matriz para prever os 3 milhões de classificações mantidos fora.

Pesquisadores e hackers de todo o mundo foram atraídos para o desafio, e até 2008 mais de 30.000 pessoas estavam a trabalhar (Thompson 2008) . Ao longo da competição, Netflix recebeu mais de 40.000 soluções propostas a partir de mais de 5.000 equipes (Netflix 2009) . Obviamente, a Netflix não poderia ler e entender todas essas soluções propostas. A coisa toda correu sem problemas, no entanto, porque as soluções eram fáceis de verificar. Netflix poderia apenas ter um computador comparar as avaliações previstas para os ratings mantidos por uma métrica (a métrica particular, que eles usaram foi a raiz quadrada do erro quadrático médio) pré-especificado. Foi essa capacidade de avaliar rapidamente soluções que permitiram Netflix para aceitar soluções de todos, o que acabou por ser importante porque boas idéias vieram de alguns lugares surpreendentes. Na verdade, a solução vencedora foi apresentado por uma equipa começou por três pesquisadores que não tinham sistemas de recomendação de filmes anteriores experiência de construção (Bell, Koren, and Volinsky 2010) .

Um aspecto bonito do Prêmio Netflix é que ele permitiu que todos no mundo a ter a sua solução avaliado de forma justa. Quando as pessoas carregado suas classificações previstas, eles não precisam fazer o upload de suas credenciais acadêmicas, sua idade, raça, sexo, orientação sexual, ou qualquer coisa sobre si mesmos. Assim, as avaliações previstas de um famoso professor de Stanford foram tratados exatamente o mesmo que os de um adolescente em seu quarto. Infelizmente, isso não é verdade na maioria das pesquisas social. Isto é, para a maioria investigação social, a avaliação é muito demorado e parcialmente subjectiva. Assim, a maioria das idéias de pesquisa nunca são avaliadas a sério, e quando as ideias são avaliados, é difícil separar essas avaliações do criador das idéias. Como as soluções são fáceis de verificar, as chamadas abertas permitem aos investigadores aceder a todas as soluções potencialmente maravilhosas que caem através das rachaduras se eles só considerou soluções de professores famosos.

Por exemplo, em um ponto durante a alguém Netflix Prize com o nome de tela Simon Funk postou em seu blog uma proposta de solução baseada em uma decomposição em valores singulares, uma abordagem de álgebra linear que não tinha sido utilizado anteriormente por outros participantes. post do Funk era ao mesmo tempo técnico e estranhamente informal. Foi este post descrevendo uma boa solução ou foi uma perda de tempo? Do lado de fora de um projeto de chamada aberta, a solução poderia nunca ter recebido uma avaliação séria. Afinal Simon Funk não era um professor da Cal Tech ou MIT; ele era um desenvolvedor de software que, na época, foi caminhadas em torno de Nova Zelândia (Piatetsky 2007) . Se ele tinha enviado essa idéia para um engenheiro da Netflix, que quase certamente não teria sido levado a sério.

Felizmente, porque os critérios de avaliação eram claras e fáceis de aplicar, seus índices previstos foram avaliadas, e foi imediatamente claro que sua abordagem era muito poderoso: ele disparou para o quarto lugar na competição, um tremendo resultado, dado que outras equipes já tinham sido trabalhando há meses sobre o problema. No final, partes da abordagem de Simon Funk foram usados ​​por praticamente todos os concorrentes sérios (Bell, Koren, and Volinsky 2010) .

O fato de que Simon Funk escolheu para escrever um post explicando sua abordagem, ao invés de tentar manter isso em segredo, também ilustra que muitos participantes do Prêmio Netflix não foram exclusivamente motivada pelo prêmio de um milhão de dólares. Em vez disso, muitos participantes também parecia desfrutar do desafio intelectual e da comunidade que se desenvolveu em torno do problema (Thompson 2008) , sentimentos que eu esperar muitos pesquisadores podem entender.

A Netflix Prize é um exemplo clássico de um convite aberto. Netflix fez uma pergunta com um objetivo específico (previsão de classificações de filmes) e solicitou soluções de muitas pessoas. Netflix foi capaz de avaliar todas essas soluções, porque eles eram mais fáceis de verificar do que criar, e, finalmente, Netflix escolheu a melhor solução. Em seguida, eu vou lhe mostrar como essa mesma abordagem pode ser usada em biologia e direito.