5.3.1 Netflix nagrada

Netflix Nagrada koristi otvoreni poziv predvidjeti koji filmovi će ljudi vole.

Najpoznatiji projekt otvoren poziv je Netflix nagrada. Netflix je online posudbe tvrtke, te je 2000. godine pokrenula Cinematch, uslugu preporučiti filmove korisnicima. Na primjer, Cinematch moglo primijetiti da vam se svidjela Star Wars i Carstvo uzvraća udarac, a onda preporučujem da gledaju Povratak Jedija. U početku, Cinematch radio loše. No, tijekom mnogih godina, Cinematch dalje poboljšati svoju sposobnost da predvide što filmova klijenti će uživati. Do 2006. godine, međutim, napredak u Cinematch plato. Istraživači na Netflix je pokušao gotovo sve što je palo na pamet, ali u isto vrijeme, oni su sumnjali da postoje druge ideje koje bi mogle pomoći u unaprjeđivanju sustava. Dakle, oni je došao gore sa onim što je bilo, u to vrijeme, radikalno rješenje: otvoreni poziv.

Važno za eventualni uspjeh Netflix nagrada je kako je otvoren poziv je osmišljen, a ovaj dizajn ima važne lekcije o tome kako otvoreni pozivi mogu se koristiti za društvena istraživanja. Netflix nije jednostavno ugasiti nestrukturiranih zahtjev za idejama, a to je ono što mnogi ljudi misle kada su prvi put u obzir otvoreni poziv. Umjesto toga, Netflix postavio jasan problem s jednostavnim kriterijima ocjenjivanja: oni izazvali ljude da koriste set od 100 milijuna filmskih gostiju predvidjeti 3 milijuna održan-out ocjene (ocjene koje korisnici su napravljene, ali da Netflix ne objaviti). Svatko tko je mogao stvoriti algoritam koji bi mogao predvidjeti 3 milijuna održan-out ocjene 10% bolje nego što bi to Cinematch osvojiti 1 milijun dolara. To je jasno i lako se primjenjuju KRITERIJI-uspoređuju predviđene ocjene na održanim-out gostiju-značilo da je Netflix nagradu je uokvirena na takav način da se rješenja su lakše provjeriti nego roditi; ispostavilo izazov poboljšanje Cinematch u problem pogodan za otvorenu poziv.

U listopadu 2006. godine, Netflix je objavio skupa podataka koji sadrži 100 milijuna filmske ocjene od oko oko 500.000 klijenata (mi ćemo razmotriti privatnosti implikacije ovom izdanju podataka u poglavlju 6). Podaci Netflix može koncipiran kao veliki matrice koja ima približno 500.000 kupaca za 20.000 filmova. U okviru ove matrice, bilo je oko 100 milijuna ocjene na skali od 1 do 5 zvjezdica (tablica 5.2). Izazov je bio za korištenje promatrane podatke u matrici za predviđanje 3 milijuna održan-out ocjene.

Istraživači i hakeri iz cijelog svijeta su izvučeni na izazov, a do 2008. godine više od 30.000 ljudi radi na tome (Thompson 2008) . Tijekom natjecanja, Netflix je primio više od 40.000 predložena rješenja iz više od 5.000 timova (Netflix 2009) . Očito, Netflix ne može pročitati i razumjeti sve te predložena rješenja. Cijela stvar glatko, međutim, zbog rješenja bilo je lako provjeriti. Netflix samo mogao imati računalo usporediti predviđene ocjene na održanih-out gostiju po unaprijed određeno metrički (na određenoj vrijednosti koji su koristili bio je drugi korijen srednje-kvadratna greška). Bilo je to sposobnost da brzo procijeniti rješenja koje su omogućile Netflix prihvatiti rješenja iz svima, što se pokazalo da je važno, jer dobre ideje je došao iz nekih iznenađujućih mjesta. U stvari, ljubazan otopina je podnesen od strane tima započeo s tri istraživača koji nisu imali prethodnog iskustva zgrada preporuka Film sustave (Bell, Koren, and Volinsky 2010) .

Jedan lijep aspekt Netflix nagrade je da je omogućeno svima u svijetu da imaju svoje rješenje ocjenjuje pravedno. Kada ljudi prenijeli svoje predviđene ocjene, nisu trebate uploadati svoje akademske statuse, njihovu dob, rasu, spol, spolnu orijentaciju, ili ništa o sebi. Tako su predviđeni ocjene poznati profesor iz Stanforda su tretirani upravo isti kao i oni iz tinejdžer u svojoj spavaćoj sobi. Nažalost, to nije slučaj u većini društvenih istraživanja. To je, za većinu društvenih istraživanja, procjena je vrlo dugotrajan i djelomično subjektivne. Dakle, većina istraživanja ideje nikada nisu ozbiljno ocjenjuju, a kada se ocjenjuju ideje, teško je odvojiti te procjene iz tvorac ideje. Budući da su rješenja lako provjeriti, otvorene potpore omogućilo istraživačima da pristup svim potencijalno divne rješenja koja će pasti kroz pukotine, ako oni samo uzeti u obzir rješenja iz poznatih profesora.

Na primjer, u jednom trenutku tijekom Netflix nagrade nekoga s zaslonsko ime Simon Funk pisao na svom blogu predloženo rješenje koje se temelji na jedinstvenom vrijednosti razgradnje, pristup iz linearne algebre koji nije bio prethodno korišten od strane drugih sudionika. Funk blog post je bio istovremeno tehnički i neobično neformalne. Je li ovaj blog post opisuje dobro rješenje ili je to gubljenje vremena? Izvan otvorenog projekta poziva, rješenje možda nikada ne bi dobila ozbiljnu procjenu. Uostalom Simon Funk nije bio profesor na Cal Tech ili MIT-a; bio je softver razvijen, koji, u to vrijeme, bio je backpacking oko Novog Zelanda (Piatetsky 2007) . Da je poslana tu ideju da inženjer u Netflix, to je gotovo sigurno ne bi bila shvaćena ozbiljno.

Srećom, jer su kriteriji za ocjenjivanje su bili jasni i lako se nanosi, ocijenjeni su mu predvidjeli ocjene, i bilo je odmah jasno da je njegov pristup je bio vrlo moćan: on je raketirali četvrto mjesto u konkurenciji, strašan rezultat s obzirom da su drugi timovi već bio rade mjesecima o problemu. Na kraju, dijelovi Simona Funk pristupa su korišteni od strane gotovo svih ozbiljnih konkurenata (Bell, Koren, and Volinsky 2010) .

Činjenica da je Simon Funk odlučio napisati blog post objašnjavajući svoj pristup, a ne pokušavajući ga zadržati tajnu, također pokazuje da su mnogi sudionici u Netflix nagrade nisu bile motivirane milijuna dolara nagrade u. Umjesto toga, mnogi sudionici također činilo da uživaju intelektualni izazov i zajednicu koja je razvila oko problema (Thompson 2008) , osjećaja da sam očekuju mnogi istraživači mogu shvatiti.

Netflix nagrada je klasičan primjer otvorenog poziva. Netflix postavio pitanje s određenim ciljem (predviđanje filmske ocjene) i tražio rješenja od mnogih ljudi. Netflix je bio u mogućnosti procijeniti sve te rješenja jer su lakše provjeriti nego stvoriti, i na kraju Netflix odabrao najbolje rješenje. Dalje, ja ću vam pokazati kako taj isti pristup može se koristiti u biologiji i zakonom.