5.3.1 Premiul Netflix

Premiul Netflix folosește apel deschis pentru a prezice filmele care oamenii vor dori.

Cel mai bine cunoscut proiect de apel deschis este Premiul Netflix. Netflix este o companie on-line închiriere de film, iar in 2000 a lansat Cinematch, un serviciu pentru a recomanda filme clienților. De exemplu, s - ar putea observa că Cinematch ți -a plăcut Star Wars și Empire Strikes Back recomanda și apoi că te uiți Întoarcerea lui Jedi. Initial, Cinematch a lucrat prost. Dar, pe parcursul a multor ani, Cinematch a continuat să își îmbunătățească capacitatea de a prezice ce filme clienții s-ar bucura. Până în 2006, cu toate acestea, progresele înregistrate în Cinematch plafonat. Cercetatorii de la Netflix au încercat destul de mult tot ce au putut gândi, dar în același timp, au suspectat că au existat și alte idei care ar putea ajuta să-și îmbunătățească sistemul lor. Astfel, ei au venit cu ceea ce a fost, la momentul respectiv, o soluție radicală: un apel deschis.

Critice pentru eventuala succesul Premiului Netflix a fost modul în care apelul deschis a fost proiectat, iar acest design are lecții importante pentru modul în care apelurile deschise pot fi folosite pentru cercetarea socială. Netflix nu a pus doar o solicitare de nestructurate de idei, care este ceea ce ne imaginăm mulți oameni atunci când consideră că mai întâi un apel deschis. Mai degrabă, Netflix a reprezentat o problemă clară cu un criteriu de evaluare simplu: au provocat pe oameni să folosească un set de 100 de milioane de rating de film pentru a anticipa 3 milioane de rating deținute-out (rating-uri pe care utilizatorii au făcut, dar că Netflix nu a lansat). Oricine care ar putea crea un algoritm care ar putea prezice 3 milioane de rating deținute out 10% mai bună decât Cinematch ar câștiga 1 milion de dolari. Acest lucru clar și ușor de aplicat criterii de evaluare a comparat rating prezis deținute out evaluări-a însemnat că Premiul Netflix a fost încadrat în așa fel încât soluțiile sunt mai ușor de a verifica decât genera; a transformat provocarea de a îmbunătăți Cinematch într-o problemă adecvată pentru un apel deschis.

În luna octombrie 2006, Netflix a lansat un set de date care conține 100 de milioane de rating de film de la aproximativ 500.000 de clienti (vom lua în considerare implicațiile de confidențialitate ale acestui comunicat de date în capitolul 6). Datele pot fi Netflix conceptualizată ca o matrice uriașă, care este de aproximativ 500.000 de clienti de 20.000 de filme. În cadrul acestei matrice, au existat aproximativ 100 de milioane de rating pe o scală de la 1 la 5 stele (Tabelul 5.2). Provocarea a fost de a utiliza datele observate în matrice pentru a prezice 3 milioane de rating deținute-out.

Cercetători și hackeri din întreaga lume au fost atrași de provocarea, iar până în 2008 , mai mult de 30.000 de persoane au fost de lucru pe ea (Thompson 2008) . Pe parcursul a concursului, Netflix au primit mai mult de 40.000 de soluții propuse de la mai mult de 5.000 de echipe (Netflix 2009) . Evident că, Netflix nu a putut citi și să înțeleagă toate aceste soluții propuse. Totul a fugit fără probleme, cu toate acestea, pentru că soluțiile au fost ușor de verificat. Netflix ar putea avea doar un calculator compara ratingurile prezis rating păstrate de o valoare (metric particular au folosit a fost rădăcina pătrată a erorii medie la pătrat) de pre-specificate. A fost această capacitate de a evalua rapid soluții care au permis Netflix să accepte soluții de la toată lumea, care s-au dovedit a fi important, deoarece idei bune au venit de la unele locuri surprinzătoare. De fapt, soluția câștigătoare a fost depusă de către o echipă de trei cercetători a început , care nu aveau experiență în construirea sistemelor de recomandare de film anterioare (Bell, Koren, and Volinsky 2010) .

Un aspect frumos al Premiului Netflix este faptul că a permis tuturor celor din lume să aibă soluția lor evaluată în mod echitabil. Atunci când oamenii a încărcat ratingurile lor a prezis, ei nu au nevoie să încărcați acreditările academice, varsta, rasa, sex, orientare sexuală, sau ceva despre ei înșiși. Astfel, au fost tratate ratingurile prezis de un profesor renumit de la Stanford exact la fel ca și cele de la un adolescent în dormitorul ei. Din păcate, acest lucru nu este adevărat în cele mai multe cercetări sociale. Aceasta este, pentru cele mai multe cercetări sociale, evaluarea este foarte consumatoare de timp și parțial subiective. Așa că, cele mai multe idei de cercetare nu sunt evaluate în mod serios, iar atunci când sunt evaluate idei, este greu de a detașa aceste evaluări de la creatorul ideilor. Pentru că soluțiile sunt ușor de verificat, apelurile deschise permit cercetătorilor să acceseze toate potențial minunate soluții, care ar cădea prin fisuri în cazul în care consideră soluții numai de la profesori celebri.

De exemplu, la un moment dat în timpul cineva Premiul Netflix cu numele de ecran Simon Funk a postat pe blog-ul său o soluție propusă bazată pe o descompunere valoare singulară, o abordare din algebra liniara, care nu au fost utilizate anterior de alți participanți. blogul lui Funk a fost în același timp tehnic și în mod ciudat informale. A fost acest blog care descrie o soluție bună sau a fost o pierdere de timp? În afara unui proiect de apel deschis, soluția s-ar putea niciodată nu au primit evaluări serioase. La urma urmei Simon Funk nu a fost profesor la Cal Tech sau de la MIT; el a fost un dezvoltator de software care, la momentul respectiv , a fost backpacking în jurul valorii de Noua Zeelandă (Piatetsky 2007) . Dacă el ar fi trimis această idee la un inginer de la Netflix, aproape sigur nu ar fi fost luate în serios.

Din fericire, deoarece criteriile de evaluare au fost clare și ușor de aplicat, au fost evaluate ratingurile sale prezis, și a fost imediat clar că abordarea lui a fost foarte puternic: el a urcat pe locul patru în competiție, un rezultat extraordinar, dat fiind că alte echipe au fost deja de lucru de luni de zile cu privire la această problemă. În cele din urmă, părți ale abordării lui Simon Funk au fost utilizate de aproape toți concurenți serioși (Bell, Koren, and Volinsky 2010) .

Faptul că Simon Funk a ales să scrie un post pe blog care explică abordarea sa, mai degrabă decât a încerca să-l păstreze secretul, de asemenea, ilustrează faptul că mai mulți participanți la Premiul Netflix nu au fost motivate exclusiv de premiu de milioane de dolari. Mai degrabă, mulți participanți , de asemenea , părea să se bucure de provocare intelectuală și comunitatea pe care sa dezvoltat în jurul problemei (Thompson 2008) , sentimente pe care am aștepta mulți cercetători pot înțelege.

Premiul Netflix este un exemplu clasic al unui apel deschis. Netflix pus o întrebare cu un anumit scop (predicția rating de film) și a solicitat soluții de la mai multe persoane. Netflix a fost în măsură să evalueze toate aceste soluții, deoarece acestea au fost mai ușor de a verifica decât de a crea, și în cele din urmă Netflix ales cea mai bună soluție. În continuare, vă voi arăta modul în care aceeași abordare poate fi utilizată în biologie și de drept.