5.3.1 Netflix Prize

De Netflix priis brûkt iepen oprop om te foarsizzen hokker films minsken sille graach.

De meast bekend iepen oprop projekt is de Netflix priis. Netflix is ​​in online film ferhier bedriuw, en yn 2000 it lansearre Cinematch, in tsjinst te riede films oan klanten. Bygelyks, Cinematch miskien wol opfolle dat jo liked Star Wars en Ryk Strikes Back en dan riede, dat jo watch Return fan de Jedi. Yn it earstoan, Cinematch wurke min. Mar, oer de rin fan in soad jierren, Cinematch fierder te ferbetterjen syn fermogen om te foarsizzen hokker films klanten soe genietsje. By 2006, lykwols, foarútgong op Cinematch plateaued. De ûndersikers by Netflix hie besocht sa'n bytsje alles wat se koe tinke oan, mar op 'e selde tiid, se tocht dat der wiene oare ideeën dy't miskien helpe harren ferbetterjen harren systeem. Sa, hja kamen op mei wat wie, op 'e tiid, in radikale oplossing: in iepen oprop.

Kritysk nei it úteinlike sukses fan de Netflix priis wie hoe't de iepen oprop waard ûntwurpen, en dit ûntwerp hat wichtige lessen foar hoe iepen petearen kinne brûkt wurde foar sosjale ûndersyk. Netflix net krekt sette út in unstructured fersyk foar ideeën, dat is wat in protte minsken tinke as se earst beskôgje in iepen oprop. Leaver, Netflix posearre in dúdlike probleem mei in ienfâldige evaluaasje kritearia: hja útdage minsken mei in set fan 100 miljoen film wurdearrings te foarsizzen 3 miljoen holden-out wurdearrings (wurdearrings dat brûkers hie makke, mar dat Netflix net frij). Elkenien dy't koe skeppe in algoritme dat koe foarsizze de 3 miljoen holden-out wurdearrings 10% better as Cinematch soe winne 1 miljoen dollar. Dit dúdlik en maklik te passen evaluaasje kritearia-fergelykjen foarsein wurdearrings te hâlden-út wurdearrings-betsjutte dat de Netflix priis waard framed op sa'n wize dat de oplossings binne makliker te kontrolearjen as wekken; dat kearde de útdaging fan ferbetterjen Cinematch yn in probleem geskikt foar in iepen oprop.

Yn oktober fan 2006, Netflix útbrocht in dataset mei 100 miljoen film wurdearrings út oer likernôch 500.000 klanten (wy sille beskôgje de privacy gefolgen fan dizze gegevens frijlitting yn haadstik 6). De Netflix gegevens kinne wurde conceptualized as in grutte matriks dat is likernôch 500.000 klanten troch 20.000 films. Binnen dizze matriks, der wienen sa'n 100 miljoen wurdearrings op in skaal fan 1 oant 5 stjerren (Tabel 5.2). De útdaging wie te brûke de waarnommen gegevens yn de matriks te foarsizze de 3 miljoen holden-out ratings.

Ûndersikers en hackers om de wrâld waarden lutsen foar de útdaging, en troch 2008 mear as 30.000 minsken wienen dwaande op it (Thompson 2008) . Oer de rin fan de wedstriid, Netflix krige mear as 40.000 foarnommen oplossings út mear as 5.000 ploegen (Netflix 2009) . Fansels, Netflix koe net lêze en begripe al dy foarnommen oplossings. De hiele saak rûn soepel, lykwols, omdat de oplossings wienen maklik te kontrolearje. Netflix koe krekt hawwe in kompjûter ferlykje de foarseine wurdearrings nei it holden-out wurdearrings troch in pre-spesifisearre Metric (de bysûndere metryske se brûkt wie it plein woartel fan it mean-Squared flater). It wie dizze mooglikheid om fluch evaluearje oplossings dy't ynskeakele Netflix te akseptearje oplossingen fan elkenien, dat blykte te wêzen fan belang omdat goede ideeën kamen út wat ferrassende plakken. Yn feite, de winnende oplossing waard yntsjinne troch in ploech begûn troch trije ûndersikers dat hie gjin foarôfgeande ûnderfining gebou movie oanbefelling systemen (Bell, Koren, and Volinsky 2010) .

Ien prachtige aspekt fan de Netflix priis is dat it ynskeakele elkenien yn 'e wrâld om harren oplossing evaluearre frij. As minsken uploaded harren foarsein wurdearrings, se net nedich te laden harren wittenskiplike bewiisbrieven, harren leeftyd, ras, geslacht, seksuele oriïntaasje, of wat oer harsels. Sa, de foarseine wurdearrings fan in ferneamde heechlearaar fan Stanford waarden behannele krekt deselde as dy fan in tsiener yn har sliepkeamer. Spitigernôch, dat is net wier yn de measte sosjale ûndersyk. Dat is, foar de measte sosjale ûndersyk, evaluaasje is tige tiid tiidslinend en in part subjektive. Sa, de measte ûndersyk ideeën wurde nea serieus evaluearre, en doe't ideeën binne evaluearre, is it dreech en meitsje jin los dy evaluaasjes fan de skepper fan 'e ideeën. Omdat oplossings binne maklik te kontrolearjen, iepen petearen tastean ûndersikers om tagong ta al it potinsjeel prachtige oplossings dy't soe falle troch de scheuren as se allinne beskôge oplossings út ferneamde heechleararen.

Bygelyks, op ien punt yn de Netflix Priis immen mei it skerm namme Simon Funk posted op syn blogberjocht in foarnommen oplossing basearre op in inkelfâld wearde ûntleden, in oanpak fan lineêre algebra, dat hie net brûkt earder troch oare dielnimmers. Funk fan blog post wie tagelyk technysk en weirdly ynformeel. Wie dizze blog post beskriuwen fan in goede oplossing of wie it in fergriemen fan tiid? Bûten fan in iepen oprop projekt, de oplossing soe nea hawwe krige serieuze evaluaasje. Nei alle Simon Funk wie net in heechlearaar oan Cal Tech of MIT; Hy wie in software ûntwikkeler dy't, op 'e tiid, wie Backpacking om Nij-Seelân (Piatetsky 2007) . As er hie Emailed dit idee nei in yngenieur by Netflix, it hast wis soe net nommen serieus.

Gelokkich, want de evaluaasje kritearia wiene dúdlik en maklik te passen, syn foarsein wurdearrings waarden beoardiele, en it wie direkt dúdlik dat syn oanpak wie tige sterk: hy rocketed nei fjirde plak yn de kompetysje, in ûnhuere resultaat jûn dat oare ploegen hie al west wurke foar moannen op it probleem. Yn 'e ein, dielen fan Simon Funk syn oanpak waarden brûkt troch frijwol alle serieuze konkurrinten (Bell, Koren, and Volinsky 2010) .

It feit dat Simon Funk hat te skriuwen in blog post ferklearje syn oanpak, ynstee besocht te hâlden it geheim, ek yllustrearret dat in soad dielnimmers yn it Netflix priis waarden net allinne motivearre troch de miljoen dollar priis. Leaver, in protte dielnimmers ek like te genietsje de yntellektuele útdaging en de mienskip dy't ûntwikkele om it probleem (Thompson 2008) , gefoelens, dat ik ferwachtsje in soad ûndersikers kinne begripe.

De Netflix priis is in klassyk foarbyld fan in iepen oprop. Netflix posearre in fraach mei in spesifyk doel (it foarsizzen fan movie ratings) en frege oplossings fan in soad minsken. Netflix koe evaluearje al dy oplossings want se wienen makliker om te kontrolearjen as te meitsjen, en úteinlik Netflix útsocht de bêste oplossing. Folgjende, ik lit jim hoe't dit deselde oanpak kin brûkt wurde yn biology en wet.