5.3.1 Netflix - Preis

Die Netflix - Preis verwendet offene Aufruf zur Vorhersage , welche Filme die Menschen mögen.

Das bekannteste Open-Call-Projekt ist der Netflix-Preis. Netflix ist ein Online-Filmverleih, und im Jahr 2000 startete Cinematch, ein Service, um Kunden Filme zu empfehlen. Zum Beispiel könnte Cinematch bemerken, dass Sie Star Wars und The Empire Strikes Back gefallen haben und dann empfehlen, dass Sie Return of the Jedi ansehen. Anfangs arbeitete Cinematch schlecht. Aber im Laufe vieler Jahre verbesserte es seine Fähigkeit, vorherzusagen, welche Filme Kunden genießen würden. Bis zum Jahr 2006 hatten sich die Fortschritte bei Cinematch jedoch verbessert. Die Forscher bei Netflix hatten so ziemlich alles versucht, was ihnen einfiel, aber gleichzeitig vermuteten sie, dass es andere Ideen gab, die ihnen helfen könnten, ihr System zu verbessern. So haben sie eine radikale Lösung gefunden: einen offenen Ruf.

Entscheidend für den Erfolg des Netflix-Preises war, wie der offene Aufruf gestaltet wurde, und dieses Design hat wichtige Erkenntnisse darüber, wie offene Aufrufe für die Sozialforschung genutzt werden können. Netflix hat nicht nur eine unstrukturierte Anfrage nach Ideen gemacht, was viele Leute sich vorstellen, wenn sie zuerst einen offenen Anruf betrachten. Vielmehr stellte Netflix ein klares Problem mit einem einfachen Bewertungsverfahren dar: Sie forderten Leute auf, 100 Millionen Filmbewertungen zu verwenden, um 3 Millionen hochgehaltene Bewertungen vorherzusagen (Bewertungen, die Nutzer gemacht hatten, die Netflix jedoch nicht veröffentlichte). Die erste Person, die einen Algorithmus entwickelte, der die 3 Millionen Ausreißerbewertungen um 10% besser vorhersagte als Cinematch, würde eine Million Dollar gewinnen. Dieses klare und leicht anzuwendende Evaluierungsverfahren - der Vergleich vorhergesagter Ratings mit ausgehaltenen Ratings - bedeutete, dass der Netflix Prize so gestaltet wurde, dass Lösungen einfacher zu überprüfen als zu generieren waren. Es stellte sich die Herausforderung, Cinematch zu einem Problem zu machen, das für einen offenen Anruf geeignet ist.

Im Oktober 2006 veröffentlichte Netflix einen Datensatz mit 100 Millionen Filmbewertungen von etwa 500.000 Kunden (wir werden die Auswirkungen dieser Datenveröffentlichung auf die Privatsphäre in Kapitel 6 untersuchen). Die Netflix-Daten können als eine riesige Matrix konzipiert werden, die ungefähr 500.000 Kunden bei 20.000 Filmen darstellt. Innerhalb dieser Matrix gab es etwa 100 Millionen Bewertungen auf einer Skala von einem bis fünf Sternen (Tabelle 5.2). Die Herausforderung bestand darin, die beobachteten Daten in der Matrix zu verwenden, um die 3 Millionen ausgeschlossenen Bewertungen vorherzusagen.

Forscher und Hacker auf der ganzen Welt wurden von der Herausforderung angezogen, und bis 2008 arbeiteten mehr als 30.000 Menschen daran (Thompson 2008) . Im Laufe des Wettbewerbs erhielt Netflix mehr als 40.000 Lösungsvorschläge von mehr als 5.000 Teams (Netflix 2009) . Offensichtlich konnte Netflix all diese vorgeschlagenen Lösungen nicht lesen und verstehen. Das Ganze lief jedoch reibungslos, da die Lösungen einfach zu überprüfen waren. Netflix könnte einfach einen Computer haben, der die vorhergesagten Bewertungen mit den vorgehaltenen Bewertungen unter Verwendung einer vorgegebenen Metrik vergleicht (die jeweilige Metrik, die sie verwendeten, war die Quadratwurzel des mittleren quadratischen Fehlers). Diese Fähigkeit, Lösungen schnell zu evaluieren, ermöglichte es Netflix, Lösungen von allen zu akzeptieren, was sich als wichtig erwies, weil gute Ideen von einigen überraschenden Orten kamen. In der Tat wurde die Gewinnerlösung von einem Team eingereicht, das von drei Forschern gegründet wurde, die keine Erfahrung beim Aufbau von Filmempfehlungssystemen hatten (Bell, Koren, and Volinsky 2010) .

Ein schöner Aspekt des Netflix-Preises ist, dass alle vorgeschlagenen Lösungen fair bewertet werden konnten. Das heißt, wenn Leute ihre vorhergesagten Bewertungen hochgeladen haben, mussten sie ihre akademischen Referenzen, ihr Alter, Rasse, Geschlecht, sexuelle Orientierung oder irgendetwas über sich selbst nicht hochladen. Die vorhergesagten Bewertungen eines berühmten Professors aus Stanford wurden genauso behandelt wie die eines Teenagers in ihrem Schlafzimmer. Leider trifft dies in den meisten Sozialwissenschaften nicht zu. Das heißt, dass die Bewertung für die meisten Sozialforschungen sehr zeitraubend und teilweise subjektiv ist. Daher werden die meisten Forschungsideen niemals ernsthaft bewertet, und wenn Ideen bewertet werden, ist es schwierig, diese Bewertungen vom Schöpfer der Ideen zu trennen. Offene Call-Projekte hingegen lassen sich einfach und fair bewerten, um Ideen zu entdecken, die sonst übersehen würden.

An einem Punkt während des Netflix-Preises hat beispielsweise jemand mit dem Namen Simon Funk in seinem Blog eine Lösungsvorstellung veröffentlicht, die auf einer singulären Wertzerlegung basiert, einem Ansatz der linearen Algebra, der zuvor von anderen Teilnehmern nicht verwendet wurde. Funks Blogpost war gleichzeitig technisch und seltsam informell. Wurde in diesem Blogbeitrag eine gute Lösung beschrieben oder war es Zeitverschwendung? Außerhalb eines offenen Aufrufprojekts hat die Lösung möglicherweise nie eine ernsthafte Bewertung erhalten. Schließlich war Simon Funk kein Professor am MIT; Er war ein Softwareentwickler, der zu dieser Zeit in Neuseeland (Piatetsky 2007) . Wenn er diese Idee einem Techniker bei Netflix geschickt hätte, wäre es fast sicher nicht gelesen worden.

Glücklicherweise, weil die Bewertungskriterien klar und einfach anzuwenden waren, wurden seine vorhergesagten Bewertungen bewertet, und es war sofort klar, dass seine Herangehensweise sehr kraftvoll war: Er schoss auf den vierten Platz im Wettbewerb, ein enormes Ergebnis, da andere Teams bereits bestanden hatten Monate lang am Problem arbeiten. Am Ende wurden Teile seines Ansatzes von nahezu allen ernstzunehmenden Konkurrenten genutzt (Bell, Koren, and Volinsky 2010) .

Die Tatsache, dass Simon Funk entschied, einen Blogbeitrag zu schreiben, in dem er seinen Ansatz erklärte, anstatt zu versuchen, es geheim zu halten, zeigt auch, dass viele Teilnehmer des Netflix-Preises nicht ausschließlich durch den Millionenpreis motiviert waren. Vielmehr schienen viele Teilnehmer auch die intellektuelle Herausforderung und die Gemeinschaft zu mögen, die sich um das Problem entwickelt haben (Thompson 2008) , Gefühle, die viele Forscher erwarten.

Der Netflix-Preis ist ein klassisches Beispiel für einen offenen Anruf. Netflix stellte eine Frage mit einem bestimmten Ziel (Vorhersage von Filmbewertungen) und ersuchte Lösungen von vielen Leuten. Netflix war in der Lage, all diese Lösungen zu bewerten, da sie einfacher zu überprüfen als zu erstellen waren. Netflix entschied sich letztendlich für die beste Lösung. Als nächstes werde ich Ihnen zeigen, wie dieser Ansatz in Biologie und Recht verwendet werden kann und ohne einen Preis in Millionenhöhe.