5.3.1 넷플 릭스 수상

넷플 릭스 수상은 사람들이 좋아 할 영화 예측하기 위해 공모를 사용합니다.

가장 잘 알려진 공개 프로젝트는 넷플릭스 상입니다. Netflix는 온라인 영화 대여 회사이며, 2000 년에는 영화를 고객에게 추천하는 Cinematch 서비스를 시작했습니다. 예를 들어 Cinematch는 Star Wars 와 The Empire Strikes Back이 마음에 들었고 Return of the Jedi 를 볼 것을 권장합니다. 처음에는 Cinematch가 제대로 작동하지 않았습니다. 그러나 수년 동안 계속해서, 고객이 좋아할만한 영화를 예측하는 능력을 지속적으로 향상 시켰습니다. 그러나 2006 년까지 Cinematch의 진보는 고조되었습니다. Netflix의 연구원들은 생각할 수있는 모든 것을 시도했지만, 동시에 자신의 시스템을 개선하는 데 도움이되는 다른 아이디어가 있다고 의심했습니다. 따라서 그들은 당시에 급진적 인 해결책 인 열린 전화를 생각해 냈습니다.

Netflix Prize의 궁극적 인 성공에 결정적인 역할을 한 것은 공개 통화가 어떻게 디자인 되었는가였습니다.이 디자인은 공개 통화가 사회 연구에 어떻게 사용될 수 있는지에 대한 중요한 교훈을 제공합니다. Netflix는 아이디어에 대한 구조화되지 않은 요청을 내놓지 않았습니다. 이는 많은 사람들이 처음 열린 전화를 할 때 상상하는 것입니다. 오히려 넷플릭스는 단순한 평가 절차에서 명백한 문제를 제기했다. 사람들은 100 만개의 영화 등급을 사용하여 3 백만 개의 유보 등급 (사용자가 만든 등급이지만 Netflix는 공개하지 않았다)을 예측하는 것에 도전했다. Cinematch보다 10 % 우수한 3 백만 시청률을 예상 한 알고리즘을 만드는 첫 번째 사람은 백만 달러를 얻습니다. 예측 평가와 유급 평가를 비교하는 명확하고 쉬운 평가 절차는 Netflix 상을 솔루션이 생성하는 것보다 쉽게 ​​확인하는 방식으로 구성되어 있음을 의미합니다. 그것은 Cinematch의 개선 과제를 공개 호출에 적합한 문제로 바꾸어 놓았습니다.

2006 년 10 월, Netflix는 약 50 만 명의 고객으로부터 1 억 개의 영화 등급을 포함한 데이터 세트를 출시했습니다 (6 장에서이 데이터 릴리스의 개인 정보 보호 의미를 고려할 것입니다). Netflix 데이터는 20,000 개의 영화로 약 500,000 명의 고객 인 거대한 매트릭스로 개념화 될 수 있습니다. 이 행렬에는 1 ~ 5 개의 등급으로 약 1 억 개의 등급이있었습니다 (표 5.2). 과제는 행렬에서 관측 된 데이터를 사용하여 3 백만 홀딩 아웃 등급을 예측하는 것이 었습니다.

전 세계의 연구원과 해커가이 도전에 끌려 갔고 2008 년까지 3 만 명이 넘는 사람들이 작업을 진행했습니다 (Thompson 2008) . 대회 기간 동안 Netflix는 5,000 개 이상의 팀 (Netflix 2009) 에서 4 만 개 이상의 제안 솔루션을 받았습니다. 분명히 넷플 릭스는 제안 된 모든 솔루션을 읽고 이해하지 못했습니다. 그러나 솔루션을 확인하기가 쉽기 때문에 모든 것이 원활하게 진행되었습니다. 넷플 릭스는 컴퓨터가 사전 지정된 메트릭 (사용 된 특정 메트릭은 평균 제곱 오류의 제곱근)을 사용하여 예측 된 등급과 보류 된 등급을 비교하게 할 수 있습니다. Netflix가 모든 사람들의 솔루션을 수용 할 수있게 해 준 솔루션을 신속하게 평가할 수 있었던이 능력은 좋은 아이디어가 놀라운 곳에서 나왔기 때문에 중요하다고 판명되었습니다. 사실, 우승의 해결책은 영화 추천 시스템 (Bell, Koren, and Volinsky 2010) 구축 한 경험이없는 세 연구자가 시작한 팀에서 제출했습니다.

넷플 릭스 상 (Netflix Prize)의 한 가지 아름다운 측면은 제안 된 모든 솔루션을 공정하게 평가할 수 있다는 것입니다. 즉, 사람들이 예상 등급을 업로드 할 때 학력, 나이, 인종, 성별, 성적 취향 등을 업로드 할 필요가 없었습니다. 스탠포드 (Stanford)의 유명한 교수의 예측 된 평가는 침실에있는 십대의 것과 똑같이 취급되었습니다. 불행하게도 이것은 대부분의 사회 연구에서 사실이 아닙니다. 즉, 대부분의 사회 연구에서 평가는 시간이 많이 걸리고 부분적으로 주관적입니다. 따라서 대부분의 연구 아이디어는 심각하게 평가되지 않으며 아이디어가 평가 될 때 아이디어의 작성자로부터 평가를 분리하는 것은 어렵습니다. 반면 공개 프로젝트는 쉽고 공정한 평가를 통해 다르게 놓칠 수있는 아이디어를 발견 할 수 있습니다.

예를 들어 넷플 릭스 상 (Netflix Prize) 중 한 시점에서 Simon Funk라는 화면 이름을 가진 사람은 블로그에 다른 참가자가 이전에 사용하지 않은 선형 대수 (linear algebra)의 접근 방식 인 singular value decomposition을 기반으로 제안 된 솔루션을 게시했습니다. Funk의 블로그 게시물은 동시에 기술적이며 이상하게 비공식적이었습니다. 이 블로그 게시물은 좋은 해결책을 설명 했습니까 아니면 시간 낭비였습니까? 공개 통화 프로젝트 외에도이 솔루션은 절대로 심각한 평가를받지 못했을 수 있습니다. 결국 Simon Funk는 MIT의 교수가 아니 었습니다. 당시 그는 뉴질랜드 전역에서 배낭 여행을하던 소프트웨어 개발자였습니다 (Piatetsky 2007) . Netflix의 엔지니어에게이 아이디어를 이메일로 보내면 거의 읽히지 않았을 것입니다.

다행히 평가 기준이 명확하고 적용하기 쉽기 때문에 그의 예상 등급이 평가되었으며 그의 접근 방식이 매우 강력하다는 것이 즉각적으로 분명했습니다. 그는 경쟁에서 4 위를 차지했습니다. 다른 팀이 이미 있었기 때문에 엄청난 결과였습니다. 문제에 대해 몇 달 동안 노력하고 있습니다. 결국, 그의 접근법의 일부는 사실상 모든 심각한 경쟁자들에 의해 사용되었습니다 (Bell, Koren, and Volinsky 2010) .

Simon Funk가 자신의 접근 방식을 설명하는 블로그 게시물을 작성하기로 결정했다는 사실은 비밀리에두기보다는 Netflix Prize의 많은 참가자가 백만 달러짜리 상품으로 독점적으로 동기 부여를받은 것이 아니라는 것을 보여줍니다. 오히려 많은 참가자들이 지적 탐구와 문제 해결을위한 공동체 (Thompson 2008) 를 즐기는 것처럼 보였습니다. 많은 연구자들이 이해할 수 있기를 기대합니다.

넷플 릭스상은 공개 통화의 전형적인 예입니다. Netflix는 특정 목표 (영화 등급 예측)와 많은 사람들의 해결책을 구하는 질문을 제기했습니다. 넷플릭스는 작성하기보다 확인하기가 쉽기 때문에 이러한 모든 솔루션을 평가할 수 있었고 궁극적으로 넷플릭스가 최상의 솔루션을 선택했습니다. 다음으로, 생물학과 법에서 동일한 접근 방식을 사용하는 방법과 백만 달러짜리 상금을 사용하지 않는 방법을 보여 드리겠습니다.