D'Netflix Prix benotzt Opruff ze soe wat Filmer Leit wéi gëtt.
Am bekanntesten Open Call Projete ass de Netflix Präis. Netflix ass eng Online Filmkonscht, an am Joer 2000 huet hien e Cinematch gestart, e Service fir Filmer fir Clienten ze recommandéieren. Zum Beispill, Cinematch kënnt bemierkbar datt Dir Star Wars a The Empire Strikes Back gitt an dann recommandéiert datt Dir Retour vum Jedi kuckt. Am Ufank huet Cinematch e schlecht gemaach. Mä, am Laaf vun ville Joeren, huet et weiderhin seng Fäegkeet ze verbesseren fir virzebereeden wat Filmer Client'en genéissen. Zënter 2006 huet awer de Fortschrëtt op Cinematch placéiert. D'Fuerscher bei Netflix hu ganz vill probéiert, alles wat se an denken hunn, awer, an der selwechter Zäit, hunn se festgestallt datt et aner Iddien hunn, déi hëllefe kënne hëllefen, hire System ze verbesseren. Dofir si mat deem komm, wat war zu där Zäit eng radikal Léisung: en oppene Ruffe.
Kritesch fir den eventuellen Erfolleg vum Netflix-Präis war wéi de Rendez-vous gouf entwéckelt, an dësen Design huet wichteg Lektioune fir wéi d'Ouverture vu sozialer Fuerschung benotzt kënne ginn. Netflix huet net nëmmen eng onstrukturéierter Ufro fir Iddien ausgedréckt, wat vill Leit sech virstellen wann se als éischt e richtege Ruff berücksichtegt. Netflix huet e klore Problem mat enger einfacher Evaluatiounsprozedur gesat: Si hunn d'Leit erausgefuerdert, eng Serie vu 100 Millioune Filmreserven ze benotzen fir 3 Milliounen Heldentaten ze prognostizéieren (Bewäertungen, déi Benotzer gemaach hunn, awer datt Netflix net verëffentlecht huet). Déi éischt Persoun, fir e Algorithmus ze kreéieren, deen d'3 Milliounen Héichentwäerte-Ratingprévisiounen 10% besser wéi Cinematch virgestallt géif kréien eng Millioun Dollar. Dëst ass kloer an einfach Evaluatiounsprozedur anzeleeden - andeems d'préviséiert Bewäertungen mat ausgezeechentene Bewäertungen vergläicht - bedeit datt de Netflix Präis matgestalt war datt d'Léisungen méi einfach waren ze kontrolléieren wéi se produzéieren; Et huet d'Erausfuerderung fir de Cinematch ze verbesseren an e Problem, deen e gesonde Ruffeel ass.
Am Oktober 2006 huet Netflix e Dataset verëffentlecht deen 100 Milliounen Filmresultat vun ongeféier 500.000 Clienten (mir behalen d'Dateschutzfolger vun dëser Datenerfassung am Kapitel 6). D'Netflix Daten kënne konzeptualiséiert ginn als eng grouss Matrix, déi ongeféier 500.000 Clienten ëm 20.000 Filmer sinn. Bannen an dëser Matrix hu sech ongeféier 100 Millioune Ratings op enger Skala vun 1 bis 5 Stären (Tabelle 5.2). D'Erausfuerderung war d'Benotzung vun den beobachteten Donnéeën an der Matrix ze benotzen fir d'3 Milliounen Héichentzündungen ze prognostéieren.
Film 1 | Movie 2 | Movie 3 | ... | Film 20.000 | |
---|---|---|---|---|---|
Client 1 | 2 | 5 | ... | ? | |
Client 2 | 2 | ? | ... | 3 | |
Client 3 | ? | 2 | ... | ||
\(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) | |
Client 500.000 | ? | 2 | ... | 1 |
D'Fuerscher an d'Hacker ronderëm d'Welt goufe fir d'Erausfuerderung gezunn, an 2008 sinn ett méi wéi 30.000 Leit do (Thompson 2008) . Am Laf vum Concours hat Netflix méi wéi 40.000 proposéiert Léisungen aus méi wéi 5.000 Équipen (Netflix 2009) . Netflix konnt net all déi Propositioune lancéieren. D'ganz Saach lief glécklech, well d'Léisungen einfach waren ze kontrolléieren. Netflix konnt nëmmen e Computer vergläichen d'préviséiert Bewäertungen mat den ausgezeechentene Bewäertunge mat enger prespexifizéierter Metrik (déi speziell Metrographie, déi se benotzt hunn, war d'Quadratwurzel vum mëttelmësche Quadratzfehler). Et war dës Fähig fir séier Léisungen ze evaluéieren déi Netflix fir all Léisungen akzeptéiert hunn, wat sech als wichteg ass, well Gutt Ideeën aus e puer iwwerraschend Plazen sinn. Tatsächlech ass d'Gewënnsléisung vun engem Team ugefaang vun dräi Fuerscher, déi keng Virdeeler erliewt hunn, fir Filmempfehlungssystemer (Bell, Koren, and Volinsky 2010) .
Ee schéine Aspekt vum Netflix Präis ass datt et all méiglecher Léisunge praktesch evaluéiert ginn. Dat heescht, wann Leit hir Virausbezuelter eropgeluede gi sinn, mussten se hir akademesch Qualifikatiounen, hirem Alter, Rass, Geschlecht, enger sexueller Orientéierung oder iwwer hir selwer net eropgeluede ginn. D'Prévisiounsvuancen vun engem berühmten Professor aus Stanford goufen genau d'selwecht behandelt wéi déi vun engem Teenager an hirem Schlofkummer. Leider ass dat net an den meisten sozialen Fuerschungen. Dat ass fir déi meescht sozialer Fuerschung d'Evaluatioun ass ze laang Zäit an deelweis subjektiv. Also déi meescht Fuerschungsideehungen gi niens eescht evaluéiert, a wann d'Iddien evaluéiert ginn, ass et schwéier datt dës Evaluatioune vum Schëpfer vun de Ideen ofgeschloss ginn. Open-Call-Projeten, op der anerer Säit, hunn eng einfach an fair Evaluatioun, fir datt si Ideen entdecken, déi soss näischt géifen gesinn.
Zum Beispill, an engem Punkt während dem Netflix-Präis, deen een am Bildschirmnam Simon Simon huet op sengem Blog eng proposéiert Léisung op Basis vun enger eenzegaarteg Decomposition, op enger Approche vun der Linearalgebra, déi bis elo net vun aneren Participanten benotzt gouf. Funk Blog Post war gläichzäiteg technesch a weird informell. War dës Blog Post eng gutt Léisung beschreift oder war et eng Verschwendung vun Zäit? Ausser engem Open Call Projet kéint d'Léisung ni eng schlëmm Auswertung kréien. Allerdéngs war Simon Funk kee Professer am MIT; Hie war e Software-Entwéckler deen zu deem Zäit Rucksack ronderëm Neuseeland (Piatetsky 2007) . Wann hien dës Iddi un engem Ingenieur bei Netflix geschéckt gi wier, ass et nawell sécher net geliest.
Glécklech, well d'Evaluatiounskriterien kloer a liicht anzewäerfen waren, goufen d'Prognosen mam Resultat evaluéiert an et war séier kloer datt säi Konzept e wéineg staark war. Hie war op véier Plaz am Concours gestoppt, enorme Resultat, datt aner Veräiner scho schonn Dir schreift fir Méint op de Problem. En Deel vun senger Approche goufen vun alle schwéiere Konkurrenten (Bell, Koren, and Volinsky 2010) .
D'Tatsaach, datt Simon Funk en Blog Post schreift, deen seng Approche erklärt huet anstatt säi Versuch ze verstoppen, illustréiert och datt vill Participanten am Netflix-Präis net ausschliesslech vun dem Milliard-Präis motivéiert goufen. Vill Leit hunn schons fir d'intellektuell Erausfuerderung an d'Gemeinschaft ze genéissen, déi ëm den Problem entwéckelt gouf (Thompson 2008) , d'Gefill, déi ech erwaart vill Wëssenschaftler kennen ze verstoen.
Den Netflix Präis ass e klassescht Beispill vun engem offene Call. Netflix stellt eng Fro mat engem spezifesche Zil (Prognosen fir Filmbevëlkerunge) an huet Solicidë geléist vu villen Leit. Netflix konnt all dës Léisungen evaluéieren, well se méi einfach waren ze kontrolléieren wéi fir ze schafen, a schliesslech huet Netflix déi bescht Léisung ausgeworf. Nees, ech weisen Iech wéi dësen selwechte Wee ass an der Biologie a vum Gesetz benotzt ginn an ouni Millioune Dollar Präis.