5.3.1 Premio Netflix

Il Premio Netflix utilizza invito aperto per predire quali film la gente piacerà.

Il progetto di open call più conosciuto è il Netflix Prize. Netflix è una società di noleggio di film online e nel 2000 ha lanciato Cinematch, un servizio per consigliare film ai clienti. Ad esempio, Cinematch potrebbe notare che ti è piaciuto Star Wars e The Empire Strikes Back e quindi consiglia di guardare Return of the Jedi . Inizialmente, Cinematch ha funzionato male. Ma, nel corso di molti anni, ha continuato a migliorare la sua capacità di prevedere quali film apprezzerebbero i clienti. Nel 2006, tuttavia, i progressi su Cinematch si erano stabilizzati. I ricercatori di Netflix avevano provato praticamente tutto ciò a cui potevano pensare, ma, allo stesso tempo, sospettavano che esistessero altre idee che potrebbero aiutarli a migliorare il loro sistema. Così, hanno escogitato quella che all'epoca era una soluzione radicale: una chiamata aperta.

Per il successo finale del Netflix Prize è stato fondamentale il modo in cui è stata progettata la chiamata aperta e questo progetto ha importanti insegnamenti su come le chiamate aperte possono essere utilizzate per la ricerca sociale. Netflix non ha fatto solo una richiesta non strutturata di idee, che è ciò che molti immaginano quando considerano per la prima volta una chiamata aperta. Piuttosto, Netflix ha posto un chiaro problema con una semplice procedura di valutazione: hanno sfidato le persone a utilizzare un set di 100 milioni di valutazioni di film per prevedere 3 milioni di rating (rating che gli utenti avevano fatto ma che Netflix non ha rilasciato). La prima persona a creare un algoritmo che predisse i 3 milioni di rating ritenuti migliori del 10% rispetto a Cinematch avrebbe vinto un milione di dollari. Questa procedura di valutazione chiara e facile da applicare, che ha confrontato i rating previsti con rating non presidiati, ha significato che il premio Netflix è stato concepito in modo tale da rendere più semplice la verifica delle soluzioni rispetto alla generazione; ha trasformato la sfida di migliorare Cinematch in un problema adatto per una chiamata aperta.

Nell'ottobre del 2006, Netflix ha pubblicato un set di dati contenente 100 milioni di valutazioni di film da circa 500.000 clienti (considereremo le implicazioni sulla privacy di questa versione di dati nel capitolo 6). I dati di Netflix possono essere concettualizzati come una grande matrice che è di circa 500.000 clienti per 20.000 film. All'interno di questa matrice, c'erano circa 100 milioni di voti su una scala da una a cinque stelle (tabella 5.2). La sfida consisteva nell'utilizzare i dati osservati nella matrice per prevedere i 3 milioni di rating esclusi.

I ricercatori e gli hacker di tutto il mondo sono stati attratti dalla sfida e nel 2008 più di 30.000 persone lavoravano su di esso (Thompson 2008) . Nel corso del concorso, Netflix ha ricevuto oltre 40.000 soluzioni proposte da oltre 5.000 team (Netflix 2009) . Ovviamente, Netflix non ha potuto leggere e comprendere tutte queste soluzioni proposte. Il tutto è andato liscio, tuttavia, perché le soluzioni erano facili da controllare. Netflix potrebbe semplicemente avere un computer confrontare le valutazioni previste con le valutazioni escluse utilizzando una metrica prespecificata (la metrica particolare che hanno usato era la radice quadrata dell'errore quadratico medio). È stata questa capacità di valutare rapidamente soluzioni che hanno consentito a Netflix di accettare soluzioni da parte di tutti, il che si è rivelato importante perché le buone idee provenivano da luoghi sorprendenti. Di fatto, la soluzione vincente è stata presentata da un team iniziato da tre ricercatori che non avevano esperienza precedente nella costruzione di sistemi di raccomandazione di film (Bell, Koren, and Volinsky 2010) .

Uno degli aspetti più belli del Premio Netflix è che ha consentito a tutte le soluzioni proposte di essere valutate correttamente. Cioè, quando le persone caricavano le loro valutazioni previste, non avevano bisogno di caricare le loro credenziali accademiche, la loro età, razza, sesso, orientamento sessuale o altro su se stessi. Le valutazioni previste di un famoso professore di Stanford sono state trattate esattamente come quelle di un adolescente nella sua camera da letto. Sfortunatamente, questo non è vero nella maggior parte delle ricerche sociali. Cioè, per la maggior parte della ricerca sociale, la valutazione è molto dispendiosa in termini di tempo e in parte soggettiva. Quindi, la maggior parte delle idee di ricerca non viene mai seriamente valutata, e quando le idee vengono valutate, è difficile staccare quelle valutazioni dal creatore delle idee. D'altro canto, i progetti di chiamata aperta hanno una valutazione facile ed equa, in modo che possano scoprire idee che altrimenti non sarebbero state rispettate.

Ad esempio, ad un certo punto durante il Netflix Prize, qualcuno con il nome di schermo Simon Funk ha pubblicato sul suo blog una soluzione proposta basata su una singolare decomposizione di valore, un approccio da algebra lineare che non era stato usato precedentemente da altri partecipanti. Il post sul blog di Funk era simultaneamente tecnico e stranamente informale. Questo post sul blog descrive una buona soluzione o è stata una perdita di tempo? Al di fuori di un progetto di chiamata aperta, la soluzione potrebbe non aver mai ricevuto una valutazione seria. Dopotutto, Simon Funk non era un professore al MIT; era uno sviluppatore di software che, al momento, stava facendo il giro della Nuova Zelanda (Piatetsky 2007) . Se avesse inviato questa idea a un ingegnere di Netflix, quasi sicuramente non sarebbe stata letta.

Fortunatamente, poiché i criteri di valutazione erano chiari e facili da applicare, i suoi rating previsti sono stati valutati, ed è stato subito chiaro che il suo approccio era molto potente: ha raggiunto il quarto posto nella competizione, un risultato tremendo dato che altre squadre erano già state lavorando per mesi sul problema. Alla fine, parti del suo approccio sono state utilizzate da praticamente tutti i concorrenti seri (Bell, Koren, and Volinsky 2010) .

Il fatto che Simon Funk abbia scelto di scrivere un post sul blog spiegando il suo approccio, piuttosto che cercare di mantenerlo segreto, dimostra anche che molti partecipanti al Premio Netflix non erano esclusivamente motivati ​​dal premio da un milione di dollari. Piuttosto, molti partecipanti sembravano anche godere della sfida intellettuale e della comunità che si era sviluppata attorno al problema (Thompson 2008) , sentimenti che mi aspetto che molti ricercatori possano capire.

Il Netflix Prize è un classico esempio di chiamata aperta. Netflix ha posto una domanda con un obiettivo specifico (prevedendo le valutazioni dei film) e ha sollecitato soluzioni da molte persone. Netflix è stata in grado di valutare tutte queste soluzioni perché erano più facili da controllare che da creare, e alla fine Netflix ha scelto la soluzione migliore. Successivamente, ti mostrerò come questo stesso approccio può essere usato in biologia e legge e senza un premio da un milione di dollari.