5.3.1 βραβείο Netflix

Το βραβείο Netflix χρησιμοποιεί ανοικτή πρόσκληση για να προβλέψει ποιες ταινίες οι άνθρωποι θα ήθελαν.

Το πιο γνωστό έργο ανοιχτής κλήσης είναι το βραβείο Netflix. Η Netflix είναι μια εταιρεία ενοικίασης ταινιών σε απευθείας σύνδεση, και το 2000 ξεκίνησε το Cinematch, μια υπηρεσία που συνιστά ταινίες στους πελάτες. Για παράδειγμα, το Cinematch ίσως παρατηρήσει ότι σας άρεσαν οι Star Wars και The Empire Strikes Back και στη συνέχεια συνιστούμε να προσέξετε την επιστροφή του Jedi . Αρχικά, ο Cinematch δούλεψε ελάχιστα. Όμως, κατά τη διάρκεια πολλών ετών, συνέχισε να βελτιώνει την ικανότητά του να προβλέψει ποιες ταινίες θα απολαμβάνουν οι πελάτες. Μέχρι το 2006, ωστόσο, η πρόοδος στο Cinematch είχε επιβραδυνθεί. Οι ερευνητές της Netflix είχαν δοκιμάσει σχεδόν όλα όσα μπορούσαν να σκεφτούν, αλλά, ταυτόχρονα, υποψιάζονταν ότι υπήρχαν και άλλες ιδέες που θα μπορούσαν να τους βοηθήσουν να βελτιώσουν το σύστημά τους. Έτσι, προέκυψαν με αυτό που ήταν, τότε, μια ριζοσπαστική λύση: μια ανοικτή κλήση.

Το κρίσιμο για την επιτυχία του βραβείου Netflix ήταν ο τρόπος με τον οποίο σχεδιάστηκε η ανοικτή πρόσκληση και αυτός ο σχεδιασμός έχει σημαντικά διδάγματα για το πώς μπορούν να χρησιμοποιηθούν ανοικτές κλήσεις για κοινωνική έρευνα. Το Netflix δεν απήλλαξε απλώς μια μη δομημένη αίτηση για ιδέες, κάτι που πολλοί άνθρωποι φαντάζονται όταν εξετάζουν πρώτα μια ανοιχτή κλήση. Αντίθετα, η Netflix έθεσε ένα σαφές πρόβλημα με μια απλή διαδικασία αξιολόγησης: αμφισβήτησαν τους ανθρώπους να χρησιμοποιήσουν ένα σύνολο 100 εκατομμυρίων αξιολογήσεων ταινιών για να προβλέψουν 3 εκατομμύρια κρατημένες αξιολογήσεις (βαθμολογίες που οι χρήστες είχαν κάνει αλλά το Netflix δεν κυκλοφόρησε). Το πρώτο άτομο που δημιούργησε έναν αλγόριθμο που προέβλεπε ότι τα 3 εκατομμύρια κάτοικοι είχαν καλύτερη βαθμολογία κατά 10% από την Cinematch θα κέρδιζαν ένα εκατομμύριο δολάρια. Αυτή η σαφής και εύκολη διαδικασία αξιολόγησης - η οποία συγκρίνει τις προβλεπόμενες βαθμολογίες με τις διαβαθμισμένες βαθμολογίες - σήμαινε ότι το βραβείο Netflix πλαισιωνόταν κατά τέτοιο τρόπο ώστε οι λύσεις να ελέγχονται ευκολότερα από ό, τι παράγουν. έστρεψε την πρόκληση της βελτίωσης του Cinematch σε ένα πρόβλημα κατάλληλο για μια ανοιχτή κλήση.

Τον Οκτώβριο του 2006, η Netflix κυκλοφόρησε ένα σύνολο δεδομένων που περιέχει 100 εκατομμύρια εκτιμήσεις ταινιών από περίπου 500.000 πελάτες (θα εξετάσουμε τις συνέπειες αυτής της έκδοσης δεδομένων στο κεφάλαιο 6). Τα δεδομένα Netflix μπορούν να θεωρηθούν ως ένας τεράστιος πίνακας που είναι περίπου 500.000 πελάτες από 20.000 ταινίες. Μέσα σε αυτή τη μήτρα, υπήρχαν περίπου 100 εκατομμύρια βαθμολογίες σε μια κλίμακα από ένα έως πέντε αστέρια (πίνακας 5.2). Η πρόκληση ήταν να χρησιμοποιήσουμε τα δεδομένα που παρατηρήσαμε στη μήτρα για να προβλέψουμε τα 3 εκατομμύρια αξιολογηθέντα ποσοστά.

Οι ερευνητές και οι χάκερ σε όλο τον κόσμο συνηγορούν υπέρ της πρόκλησης και μέχρι το 2008 πάνω από 30.000 άνθρωποι εργάστηκαν σε αυτήν (Thompson 2008) . Κατά τη διάρκεια του διαγωνισμού, η Netflix έλαβε περισσότερες από 40.000 προτεινόμενες λύσεις από περισσότερες από 5.000 ομάδες (Netflix 2009) . Προφανώς, η Netflix δεν μπόρεσε να διαβάσει και να κατανοήσει όλες αυτές τις προτεινόμενες λύσεις. Το όλο θέμα έτρεξε ομαλά, ωστόσο, επειδή οι λύσεις ήταν εύκολο να ελεγχθούν. Το Netflix θα μπορούσε απλώς να έχει έναν υπολογιστή να συγκρίνει τις προβλεπόμενες βαθμολογίες με τις εκτιμήσεις που είχαν τεθεί εκτός λειτουργίας χρησιμοποιώντας μια προκαθορισμένη μέτρηση (η συγκεκριμένη μετρική που χρησιμοποιούσαν ήταν η τετραγωνική ρίζα του μέσου τετραγωνικού σφάλματος). Ήταν αυτή η δυνατότητα να αξιολογήσει γρήγορα τις λύσεις που επέτρεψαν στο Netflix να δεχτεί λύσεις από όλους, κάτι που αποδείχθηκε σημαντικό, διότι οι καλές ιδέες προήλθαν από κάποιες εκπληκτικές θέσεις. Στην πραγματικότητα, η νικηφόρα λύση υποβλήθηκε από ομάδα που ξεκίνησε από τρεις ερευνητές οι οποίοι δεν είχαν προηγούμενη εμπειρία κατασκευής συστημάτων συστάσεων ταινιών (Bell, Koren, and Volinsky 2010) .

Μια ωραία πτυχή του Βραβείου Netflix είναι ότι επέτρεψε την ομαλή αξιολόγηση όλων των προτεινόμενων λύσεων. Δηλαδή, όταν οι χρήστες ανέβασαν τις προβλεπόμενες βαθμολογίες τους, δεν χρειάστηκε να ανεβάσουν τα ακαδημαϊκά διαπιστευτήρια τους, την ηλικία τους, τη φυλή, το φύλο, τον σεξουαλικό προσανατολισμό ή οτιδήποτε για τον εαυτό τους. Οι προβλεπόμενες βαθμολογίες ενός διάσημου καθηγητή από το Στάνφορντ αντιμετωπίστηκαν ακριβώς όπως και εκείνες από έναν έφηβο στην κρεβατοκάμαρά της. Δυστυχώς, αυτό δεν ισχύει στις περισσότερες κοινωνικές έρευνες. Δηλαδή, για την περισσότερη κοινωνική έρευνα, η αξιολόγηση είναι πολύ χρονοβόρα και εν μέρει υποκειμενική. Έτσι, οι περισσότερες ερευνητικές ιδέες δεν αξιολογούνται ποτέ σοβαρά και όταν αξιολογούνται οι ιδέες, είναι δύσκολο να αποσυνδεθούν αυτές οι αξιολογήσεις από τον δημιουργό των ιδεών. Ανοικτά έργα κλήσεων, από την άλλη πλευρά, έχουν εύκολη και δίκαιη αξιολόγηση, ώστε να μπορούν να ανακαλύψουν ιδέες που θα χάνονταν διαφορετικά.

Για παράδειγμα, σε ένα σημείο κατά τη διάρκεια του βραβείου Netflix, κάποιος με το όνομα οθόνης Simon Funk δημοσίευσε στο blog του μια προτεινόμενη λύση βασισμένη σε μια αποσύνθεση μοναδικής αξίας, μια προσέγγιση από τη γραμμική άλγεβρα που δεν είχε χρησιμοποιηθεί προηγουμένως από άλλους συμμετέχοντες. Η δημοσίευση ιστολογίου του Funk ήταν ταυτόχρονα τεχνική και παράλογη άτυπη. Ήταν αυτή η ανάρτηση ιστολογίου που περιγράφει μια καλή λύση ή ήταν χάσιμο χρόνου; Εκτός από ένα έργο ανοιχτής κλήσης, η λύση δεν θα μπορούσε ποτέ να έχει λάβει σοβαρή αξιολόγηση. Μετά από όλα, ο Simon Funk δεν ήταν καθηγητής στο MIT. ήταν προγραμματιστής λογισμικού ο οποίος, εκείνη την εποχή, ήταν backpacking γύρω από τη Νέα Ζηλανδία (Piatetsky 2007) . Εάν είχε στείλει αυτή την ιδέα με ηλεκτρονικό ταχυδρομείο σε έναν μηχανικό της Netflix, σχεδόν σίγουρα δεν θα είχε διαβάσει.

Ευτυχώς, επειδή τα κριτήρια αξιολόγησης ήταν σαφή και εύκολο να εφαρμοστούν, εκτιμήθηκαν οι προβλεπόμενες βαθμολογίες του και ήταν αμέσως σαφές ότι η προσέγγισή του ήταν πολύ ισχυρή: έπεσε στην τέταρτη θέση του διαγωνισμού, ένα τεράστιο αποτέλεσμα δεδομένου ότι άλλες ομάδες είχαν ήδη εργάζονται εδώ και μήνες για το πρόβλημα. Στο τέλος, τμήματα της προσέγγισής του χρησιμοποιήθηκαν από όλους σχεδόν τους σοβαρούς ανταγωνιστές (Bell, Koren, and Volinsky 2010) .

Το γεγονός ότι ο Simon Funk επέλεξε να γράψει μια θέση στο blog που εξηγεί την προσέγγισή του αντί να προσπαθεί να το κρατήσει μυστικό, δείχνει επίσης ότι πολλοί συμμετέχοντες στο βραβείο Netflix δεν ήταν αποκλειστικά παρακινημένοι από το βραβείο εκατομμυρίων δολαρίων. Αντίθετα, πολλοί συμμετέχοντες φάνηκαν επίσης να απολαμβάνουν την πνευματική πρόκληση και την κοινότητα που αναπτύχθηκε γύρω από το πρόβλημα (Thompson 2008) , αισθήματα που περιμένω από πολλούς ερευνητές να καταλάβουν.

Το βραβείο Netflix είναι ένα κλασικό παράδειγμα μιας ανοιχτής κλήσης. Το Netflix έθεσε μια ερώτηση με συγκεκριμένο στόχο (πρόβλεψη αξιολογήσεων ταινιών) και ζήτησε λύσεις από πολλούς ανθρώπους. Η Netflix κατάφερε να αξιολογήσει όλες αυτές τις λύσεις επειδή ήταν ευκολότερο να τις ελέγξει παρά να δημιουργήσει και τελικά η Netflix επέλεξε την καλύτερη λύση. Στη συνέχεια, θα σας δείξω πώς μπορεί να χρησιμοποιηθεί αυτή η ίδια προσέγγιση στη βιολογία και το δίκαιο και χωρίς ένα βραβείο εκατομμυρίων δολαρίων.