5.3.1 Netflix-prys

Die Netflix-prys gebruik oop oproep om te voorspel watter flieks mense sal wil hê.

Die bekendste oproepprojek is die Netflix-prys. Netflix is ​​'n aanlynfilmverhuurder, en in 2000 het Cinematch, 'n diens geloods om flieks aan kliënte aan te beveel. Byvoorbeeld, Cinematch kan sien dat jy van Star Wars en The Empire Strikes Back gehou het en dan aanbeveel dat jy die Terugkeer van die Jedi kyk . Aanvanklik het Cinematch swak gewerk. Maar in die loop van baie jare het dit voortgegaan om sy vermoë om te voorspel wat flieks kliënte sal geniet, te verbeter. Teen 2006 het vordering op Cinematch egter platop geloop. Die navorsers van Netflix het byna alles probeer waarna hulle kon dink, maar terselfdertyd het hulle vermoed dat daar ander idees was wat hulle kon help om hul stelsel te verbeter. So het hulle vorendag gekom met wat destyds 'n radikale oplossing was: 'n oproep.

Kritiek op die uiteindelike sukses van die Netflix-prys was hoe die oproep ontwerp is, en hierdie ontwerp het belangrike lesse vir hoe oop oproepe vir sosiale navorsing gebruik kan word. Netflix het nie net 'n ongestruktureerde versoek vir idees uitgewys nie, wat is wat baie mense dink wanneer hulle eers 'n oproep in die openbaar oorweeg. Netflix het 'n duidelike probleem met 'n eenvoudige evalueringsprosedure gestel: hulle het mense uitgedaag om 'n stel van 100 miljoen filmgraderings te gebruik om 3 miljoen uitverkore graderings te evalueer (graderings wat gebruikers gemaak het, maar dat Netflix nie vrygestel is nie). Die eerste persoon om 'n algoritme te skep wat die 3 miljoen uitverkore graderings voorspel het, is 10% beter as Cinematch, wat 'n miljoen dollar sal wen. Hierdie duidelike en maklike evalueringsprosedure-vergelyking van voorspelde graderings met uitklop-graderings - het beteken dat die Netflix-prys so opgestel is dat oplossings makliker was om te kontroleer as om te genereer; Dit het die uitdaging geword om Cinematch te verbeter in 'n probleem wat geskik is vir 'n oproep.

In Oktober 2006 het Netflix 'n datastel vrygestel wat 100 miljoen filmgraderings van ongeveer 500 000 kliënte bevat (ons sal die privaatheid implikasies van hierdie data-vrystelling in hoofstuk 6 oorweeg). Die Netflix-data kan gekontekstualiseer word as 'n groot matriks wat ongeveer 20,000 klante teen 20,000 films bevat. Binne hierdie matriks was daar ongeveer 100 miljoen graderings op 'n skaal van een tot vyf sterre (tabel 5.2). Die uitdaging was om die waargeneemde data in die matriks te gebruik om die 3 miljoen uitverkore graderings te voorspel.

Navorsers en hackers regoor die wêreld is getrek op die uitdaging, en teen 2008 het meer as 30 000 mense daaraan gewerk (Thompson 2008) . In die loop van die wedstryd het Netflix meer as 40,000 voorgestelde oplossings van meer as 5000 spanne ontvang (Netflix 2009) . Dit is duidelik dat Netflix nie al hierdie voorgestelde oplossings kon lees en verstaan ​​nie. Die hele ding het egter glad verloop, want die oplossings was maklik om te kyk. Netflix kan net 'n rekenaar vergelyk met die voorspelde graderings met die uitklopgraderings met 'n voorafbepaalde metrieke (die spesifieke metrieke wat hulle gebruik het, was die vierkantswortel van die gemiddelde kwadraatfout). Dit was die vermoë om vinnig oplossings te evalueer wat Netflix in staat gestel het om oplossings van almal te aanvaar. Dit was belangrik omdat goeie idees uit sommige verrassende plekke gekom het. Trouens, die wen-oplossing is ingedien deur 'n span wat begin is deur drie navorsers wat geen vorige ervaring gehad het om filmaanvalsestelsels (Bell, Koren, and Volinsky 2010) .

Een pragtige aspek van die Netflix-prys is dat al die voorgestelde oplossings regverdig geëvalueer kan word. Dit is wanneer mense hul voorspelde graderings opgelaai het, hoef hulle nie hul akademiese kwalifikasies, hul ouderdom, ras, geslag, seksuele oriëntasie of iets oor hulself op te laai nie. Die voorspelde graderings van 'n bekende professor van Stanford is presies dieselfde behandel as dié van 'n tiener in haar slaapkamer. Ongelukkig is dit nie waar in die meeste sosiale navorsing nie. Dit is, vir die meeste sosiale navorsing, evaluering is baie tydrowend en gedeeltelik subjektief. So, die meeste navorsingsidees word nooit ernstig geëvalueer nie, en wanneer idees geëvalueer word, is dit moeilik om die evaluasies van die skepper van die idees af te los. Oop oproep projekte, aan die ander kant, het 'n maklike en regverdige evaluering, sodat hulle idees kan ontdek wat anders gemis sou word.

Byvoorbeeld, op een punt tydens die Netflix-prys het iemand met die skermnaam Simon Funk op sy blog 'n voorgestelde oplossing gebasseer op 'n enkelvoudige waarde-ontbinding, 'n benadering van lineêre algebra wat voorheen nie deur ander deelnemers gebruik is nie. Funk se blogpos is gelyktydig tegnies en vreemd informeel. Was hierdie blogpos beskryf 'n goeie oplossing of was dit 'n mors van tyd? Buite 'n oproepprojek kan die oplossing nooit ernstige evaluering ontvang het nie. Na alles, Simon Funk was nie 'n professor by MIT nie; Hy was 'n sagteware-ontwikkelaar wat destyds in Nieu-Seeland (Piatetsky 2007) . As hy hierdie idee aan 'n ingenieur by Netflix gestuur het, sou dit beslis nie gelees word nie.

Gelukkig, omdat die evalueringskriteria duidelik en maklik was om aansoek te doen, is sy voorspelde graderings geëvalueer, en dit was dadelik duidelik dat sy benadering baie kragtig was: hy het vierde plek in die kompetisie gehaal, 'n geweldige resultaat, aangesien ander spanne reeds was werk vir maande op die probleem. Op die ou end is dele van sy benadering gebruik deur feitlik alle ernstige mededingers (Bell, Koren, and Volinsky 2010) .

Die feit dat Simon Funk verkies het om 'n blogpos te skryf wat sy benadering verduidelik, eerder as om dit geheim te hou, illustreer ook dat baie deelnemers aan die Netflix-prys nie uitsluitlik gemotiveer is deur die miljoen dollarprys nie. Inteendeel, baie deelnemers ook gelyk of geniet die intellektuele uitdaging en die gemeenskap wat ontwikkel rondom die probleem (Thompson 2008) , gevoelens wat ek verwag baie navorsers kan verstaan.

Die Netflix-prys is 'n klassieke voorbeeld van 'n oproep. Netflix het 'n vraag gestel met 'n spesifieke doelwit (voorspel filmgraderings) en oplossings van baie mense gevra. Netflix kon al hierdie oplossings evalueer omdat dit makliker was om te kontroleer as om te skep, en uiteindelik het Netflix die beste oplossing gekies. Volgende sal ek jou wys hoe hierdie dieselfde benadering in biologie en wet gebruik kan word, en sonder 'n miljoen dollar prys.