5.3.1 Premiul Netflix

Premiul Netflix folosește apel deschis pentru a prezice filmele care oamenii vor dori.

Cel mai cunoscut proiect de apel deschis este premiul Netflix. Netflix este o companie de film de inchiriere online, iar in 2000 a lansat Cinematch, un serviciu care recomanda filme clientilor. De exemplu, Cinematch ar putea observa că vă plac Star Wars și The Empire Strikes Back și apoi vă recomandăm să urmăriți întoarcerea Jedi . Inițial, Cinematch a lucrat prost. Dar, pe parcursul multor ani, a continuat să-și îmbunătățească capacitatea de a anticipa ce filme se vor bucura clienții. Cu toate acestea, până în 2006, progresul înregistrat de Cinematch a fost plăcut. Cercetătorii de la Netflix au încercat destul de mult tot ceea ce au putut gândi, dar, în același timp, bănuiesc că există și alte idei care le-ar putea ajuta să-și îmbunătățească sistemul. Astfel, au venit cu ceea ce a fost, în acel moment, o soluție radicală: un apel deschis.

Critic pentru succesul final al premiului Netflix a fost modul în care a fost proiectat apelul deschis, iar acest design are lecții importante pentru modul în care apelurile deschise pot fi utilizate pentru cercetarea socială. Netflix nu a făcut doar o cerere nestructurată de idei, ceea ce mulți oameni își imaginează atunci când iau în considerare în primul rând un apel deschis. Mai degrabă, Netflix a reprezentat o problemă clară cu o procedură de evaluare simplă: au provocat pe utilizatori să utilizeze un set de 100 de milioane de rating pentru a prezice 3 milioane de ratinguri (rating pe care utilizatorii l-au făcut, dar Netflix nu a lansat). Prima persoană care a creat un algoritm care a prezis 3 milioane de ratinguri cu 10% mai bune decât Cinematch ar câștiga un milion de dolari. Această procedură de evaluare clară și ușor de aplicat, comparând ratingurile prezise cu ratinguri deținute, a însemnat că premiul Netflix a fost încadrat în așa fel încât soluțiile să fie mai ușor de verificat decât să genereze; a transformat provocarea de a îmbunătăți Cinematch într-o problemă potrivită pentru un apel deschis.

În luna octombrie 2006, Netflix a lansat un set de date care conține 100 de milioane de ratinguri de film de la aproximativ 500.000 de clienți (vom lua în considerare implicațiile acestei date în capitolul 6). Datele Netflix pot fi conceptualizate ca o matrice uriașă care este de aproximativ 500.000 de clienți cu 20.000 de filme. În cadrul acestei matrice, au existat aproximativ 100 de milioane de rating pe o scară de la una la cinci stele (tabelul 5.2). Provocarea a fost de a utiliza datele observate în matrice pentru a prezice cele 3 milioane de ratinguri reținute.

Cercetătorii și hackerii din întreaga lume au fost atrași de această provocare, iar până în 2008 peste 30.000 de oameni lucrau la ea (Thompson 2008) . Pe parcursul concursului, Netflix a primit peste 40.000 de soluții propuse de la peste 5.000 de echipe (Netflix 2009) . Evident, Netflix nu a putut citi și înțelege toate aceste soluții propuse. Cu toate acestea, totul a mers bine, deoarece soluțiile au fost ușor de verificat. Netflix ar putea avea doar un calculator să compare ratingurile prezise cu ratingurile reținute folosind o valoare presetată (metrica specifică pe care au folosit-o a fost rădăcina pătrată a erorii medii pătrat). A fost această abilitate de a evalua rapid soluțiile care au permis Netflix să accepte soluții de la toți, ceea ce sa dovedit a fi important deoarece idei bune au venit din unele locuri surprinzătoare. De fapt, soluția câștigătoare a fost prezentată de o echipă inițiată de trei cercetători care nu au avut experiență anterioară de construire a sistemelor de recomandare a filmelor (Bell, Koren, and Volinsky 2010) .

Un aspect frumos al premiului Netflix este faptul că a permis ca toate soluțiile propuse să fie evaluate în mod corect. Adică, când oamenii și-au încărcat evaluările prezise, ​​nu au fost nevoiți să-și încarce acreditările academice, vârsta, rasa, sexul, orientarea sexuală sau ceva despre ei înșiși. Evaluările anticipate ale unui profesor renumit de la Stanford au fost tratate exact la fel ca cele de la un adolescent din dormitor. Din păcate, acest lucru nu este adevărat în majoritatea cercetărilor sociale. Adică, pentru majoritatea cercetărilor sociale, evaluarea este foarte consumatoare de timp și parțial subiectivă. Deci, majoritatea ideilor de cercetare nu sunt niciodată evaluate în mod serios, iar atunci când ideile sunt evaluate, este greu să desprindem acele evaluări de creatorul ideilor. Proiectele de apel deschis, pe de altă parte, au o evaluare simplă și corectă, astfel încât să poată descoperi idei care ar fi ratate altfel.

De exemplu, într-un moment în timpul premiului Netflix, cineva cu numele de ecran Simon Funk a postat pe blog-ul său o soluție propusă bazată pe o descompunere a valorii singulare, o abordare din algebra liniară care nu a fost folosită anterior de alți participanți. Postarea pe blog a lui Funk a fost simultan tehnică și ciudată informală. A fost acest post pe blog descriind o soluție bună sau a fost o pierdere de timp? În afara unui proiect de apel deschis, soluția s-ar putea să nu fi primit niciodată o evaluare serioasă. La urma urmei, Simon Funk nu era profesor la MIT; el a fost un dezvoltator de software care, la acea vreme, se (Piatetsky 2007) jurul Noua Zeelandă (Piatetsky 2007) . Dacă ar fi trimis prin e-mail această idee unui inginer la Netflix, cu siguranță nu ar fi fost citit.

Din fericire, deoarece criteriile de evaluare au fost clare și ușor de aplicat, evaluările sale au fost evaluate și era clar că abordarea sa a fost foarte puternică: el a urcat pe locul al patrulea în competiție, un rezultat extraordinar dat fiind că alte echipe au fost deja care lucrează timp de luni pe această problemă. În final, anumite părți ale abordării sale au fost folosite de aproape toți concurenții serioși (Bell, Koren, and Volinsky 2010) .

Faptul că Simon Funk a ales să scrie un post pe blog, explicând abordarea sa, mai degrabă decât încercând să-l păstreze secret, ilustrează, de asemenea, faptul că mulți participanți la premiul Netflix nu erau motivați exclusiv de premiul de un milion de dolari. Mai degrabă, mulți participanți păreau, de asemenea, să se bucure de provocările intelectuale și de comunitatea care sa dezvoltat în jurul problemei (Thompson 2008) , sentimente pe care le aștept ca mulți cercetători să le poată înțelege.

Premiul Netflix este un exemplu clasic de apel deschis. Netflix a pus o întrebare cu un anumit scop (estimarea ratingurilor de film) și a solicitat soluții de la mulți oameni. Netflix a reușit să evalueze toate aceste soluții pentru că au fost mai ușor de verificat decât să creeze și, în cele din urmă, Netflix a ales cea mai bună soluție. În continuare, vă voi arăta cum poate fi folosită aceeași abordare în biologie și drept și fără un premiu de un milion de dolari.