5.3.1 Netflix Prize

De Netflix priis brûkt iepen oprop om te foarsizzen hokker films minsken sille graach.

It bekendste iepen projekt is de Netflix-priis. Netflix is ​​in online filmferhierbedriuw, en yn 2000 hat it Cinematch opstarten, in tsjinst om filio's oan te jaan oan klanten. Sa kin Cinematch bygelyks fine dat jo Star Wars en The Empire Strikes Back mochten en dan oanbefellje dat jo werom sjen fan de Jedi . Yn it earstoan wurke Cinematch min. Mar, oer de rin fan in protte jierren hat it bliuwend ferbettere syn fermogen om te praten wat sinne klanten genietsje. Oant 2006 wie lykwols de foarútgong op Cinematch opboud. De ûndersikers yn Netflix hiene in protte alles besocht, dat se tinke koe, mar tagelyk wiene se derfan ferteld dat der oare ideeën binne dy't har helpe kinne om har systeem te ferbetterjen. Sa kaam se mei wat wat wie, op it stuit, in radikale oplossing: in iepen oprop.

Kritysk foar it úteinlik súkses fan 'e Netflixpriis wie hoe't it iepen dialooch ûntwurpen is, en dit ûntwerp hat wichtige lessen foar hoe't iepen petearen brûkt wurde kinne foar sosjale ûndersyk. Netflix makket net gewoan in unstruktuerearre fersyk foar ideeën út, dat is wat in protte minsken foarkomme as se earst in iepen oprop beskôgje. Netflix stelde in dúdlike probleem mei in ienfâldige evaluaasjeproseduere: hja besochten minsken om in set fan 100 miljoen filmferzjes te brûken om 3 miljoen hanthavenes te praten (ratings dy't brûkers makke makke mar Netflix net frijlitten). De earste persoan om in algoritme te meitsjen dy't de 3 miljoen hanthavenige beoardielings prefearde 10% better as Cinematch winne in miljoen dollar. Dit dúdlik en maklik om de evaluaasjeproseduere te ferlykjen - fergelike foarbylden fan fertsjintwurdigers mei held-out-ratings - betsjutte dat de Netflix-priis soarge wie dat solide lêzers makliker te kontrolearjen wiene as generearje; It feroaret de útdaging foar it ferbetterjen fan Cinematch yn in probleem, passend foar in iepen oprop.

Yn oktober 2006 hat Netflix in dataset publisearre, dat 100 miljoen films is fanwegen sa'n 500.000 klanten (wy sille de privacy-implikings fan dizze data release yn haadstik 6 beskôgje). De gegevens fan Netflix kinne konseptualisearre wurde as in grutte matrix dy't sa'n 500.000 klanten by 20.000 films is. Binnen dizze matrix wiene der sa'n 100 miljoen punten op in skaal fan ien oant fiif stjerren (tabel 5.2). De útdaging wie om de beoardielde gegevens yn 'e matrix te brûken om de 3 miljoen hanthavenen foar te foaren te praten.

Undersikers en hackers om 'e wrâld waarden tekene foar de útdaging, en yn 2008 waarden mear as 30.000 minsken har wurke (Thompson 2008) . Oer de rin fan 'e wedstryd krige Netflix mear as 40.000 presintearjende oplossingen fan mear as 5.000 ploegen (Netflix 2009) . Netflix koe net lêze en begripe allegear útstelde oplossingen. It hiele ding rûn lykwols flot, om't de oplossingen maklik te kontrolearjen. Netflix koe krekt in kompjûter hawwe de foarferkiezing fan 'e útferwizings mei de held-out-ratings te brûken mei in prespeifere metriko (de bepaalde metriko dy't se brûkten wiene de fjouwerkantwurker fan' e gemiddelde squared flater). It wie dizze mooglikheid om fluggens oplossings te beoardieljen dat Netflix mooglik makke hie om oplossingen fan elkenien te akseptearjen, wêrtroch't it wichtich wie om't guon ideeën fan in oantal ferrassende plakken kamen. Yn 't feit waard de winnende oplossing yntsjinne troch in ploech útfierd troch trije ûndersikers dy't gjin foarôfgeande ûnderfining bouden fan (Bell, Koren, and Volinsky 2010) .

Ien prachtige aspekt fan 'e Netflixpriis is dat it allinich de foarnommene oplossingen bepaalde wurde evaluearre. Dat is, doe't minsken harren foarstellings fan 'e presidinten oplaadden, se net nedich hawwe om har akademyske credentials, har leeftyd, ras, geslacht, seksuele oriïntaasje, of wat oer himsels te laden. De presidearre beoardielingen fan in ferneamde professor fan Stanford waarden krekt deselde behannele as dy fan in tún yn har sliepkeamer. Spitigernôch is dit net it measte sosjale ûndersyk. Dat is, foar it measte maatskiplike ûndersyk, is de evaluaasje tige tiid-konsumint en diels subjektyf. Sa wurde de measte ûndersyksideeën nea serieus evaluearre, en as d'ideeën evaluearre wurde, is it dreech om dizze evaluaasjes te ûntliende fan 'e skepper fan' e ideeën. Iepen opropprojekten, oan 'e oare kant, binne maklike en faire evaluaasje, sadat se ideeën ûntdekke kinne dy't oars net misse.

Bygelyks op ien stuit yn 'e Netflixpriis, ien fan' e skermnamme Simon Funk hat op syn bloed in opnommen oplossing basearre op basis fan in singulêre wearde ûntbou, in oanpak fan lineêre algebra dy't earder noch net troch oare dielnimmers brûkt waarden. Funk's blog post wie tagelyk technysk en wierskynlik ynformele. Wêr't dit blogpost beskriuwt in goede oplossing of wie it in ferfal fan tiid? Bûten in iepen projektprojekt soe de oplossing nea earder evaluaasje krigen hawwe. Eftergrûn wie Simon Funk gjin professor by MIT; Hy wie in software-ûntwikkeler, dy't op it stuit rûnom New Zealand (Piatetsky 2007) . As hy dizze idee ynsteld hat oan in yngenieur by Netflix, sil it hast wis net lêzen wurde.

Gelokkich, omdat de evaluaasjekritearia dúdlik en maklik oanwêzich wiene, waarden de foarnommen evaluaasjes evaluearre, en it wie fuortendaliks dúdlik dat syn oanpak krêftich wie: hy stie op it fjirde plak yn 'e konkurrinsje, in geweldich resultaat dat oantoand dat oare ploegen al dien binne wurkje moannen oer it probleem. Oan 'e ein waarden dielen fan syn oanpak troch praktyske allegear konkurrinten (Bell, Koren, and Volinsky 2010) .

It feit dat Simon Funk keazen hat om in blogpost te skriuwen, dy't syn oanpak útsette, en net as it besykjen om it geheim te hâlden, ferjit ek dat in protte dielnimmers yn 'e Netflix-priis net allinich motivearre waarden troch de miljard dollarpriis. In protte dielnimmers wiene ek genietsje fan 'e yntellektuele útdaging en de gemeente dy't om it probleem ûntwikkele (Thompson 2008) , gefoelens dat ik fan in protte ûndersikers ferstean kin.

De Netflixpriis is in klassike foarbyld fan in iepen ruf. Netflix stelde in fraach mei in spesifike doel (prognizearje filmferhalen) en opfrege lokaasjes fan in soad minsken. Netflix koe al dizze oplossingen evaluearje, om't se makliker binne te kontrolearjen as oan te meitsjen, en úteinlik keas Netflix de bêste oplossing. Dan sil ik jo sjen litte hoe't dizze deselde oanpak yn biology en wet brûkt wurde kin en sûnder in miljoen dollar priis.