5.3.1 βραβείο Netflix

Το βραβείο Netflix χρησιμοποιεί ανοικτή πρόσκληση για να προβλέψει ποιες ταινίες οι άνθρωποι θα ήθελαν.

Το πιο γνωστό έργο ανοικτής πρόσκλησης είναι το βραβείο Netflix. Netflix είναι μια online εταιρεία ενοικίασης ταινιών και το 2000 ξεκίνησε Cinematch, μια υπηρεσία για να προτείνουμε ταινίες στους πελάτες. Για παράδειγμα, Cinematch μπορεί να παρατηρήσετε ότι σας άρεσε το Star Wars και απεργίες Αυτοκρατορία Επιστροφή και, στη συνέχεια, προτείνουμε να παρακολουθήσετε Επιστροφή του Jedi. Αρχικά, Cinematch λειτούργησε καλά. Όμως, κατά τη διάρκεια πολλών ετών, Cinematch συνέχισε να βελτιώνει την ικανότητά της να προβλέψει ποιες ταινίες θα απολαμβάνουν οι πελάτες. Μέχρι το 2006, ωστόσο, η πρόοδος για Cinematch σταθεροποιήθηκαν. Οι ερευνητές στο Netflix είχε δοκιμάσει σχεδόν τα πάντα που μπορούσα να σκεφτώ, αλλά την ίδια στιγμή, υπάρχουν υποψίες ότι υπήρχαν και άλλες ιδέες που θα μπορούσαν να τους βοηθήσουν να βελτιώσουν το σύστημά τους. Έτσι, ήρθαν με αυτό που ήταν, εκείνη την εποχή, μια ριζοσπαστική λύση: μια ανοικτή πρόσκληση.

Ζωτικής σημασίας για την τελική επιτυχία του Βραβείου Netflix ήταν πως η ανοικτή πρόσκληση σχεδιάστηκε, και αυτό το σχέδιο έχει σημαντικά μαθήματα για το πώς ανοικτές προσκλήσεις μπορεί να χρησιμοποιηθεί για την κοινωνική έρευνα. Netflix δεν απλώς τίθεται σε αδόμητα αίτημα για τις ιδέες, το οποίο είναι αυτό που πολλοί άνθρωποι φαντάζονται όταν πρώτα να εξετάσει μια ανοικτή πρόσκληση. Αντίθετα, Netflix θέτει ένα σαφές πρόβλημα με ένα απλό κριτήρια αξιολόγησης: να αμφισβητηθεί ανθρώπους να χρησιμοποιούν ένα σύνολο 100 εκατομμυρίων αξιολογήσεις ταινία να προβλέψει 3.000.000 πραγματοποιήθηκε-out αξιολογήσεις (βαθμολογίες που οι χρήστες είχαν κάνει, αλλά ότι Netflix δεν αποδέσμευσε). Όποιος θα μπορούσε να δημιουργήσει έναν αλγόριθμο που μπορεί να προβλέψει τα 3 εκατομμύρια που κρατούνται έξω βαθμολογίες 10% καλύτερη από Cinematch θα κερδίσει 1 εκατομμύριο δολάρια. Αυτή η σαφής και εύκολη στην εφαρμογή της αξιολόγησης των κριτηρίων, συγκρίνοντας προβλέψει αξιολογήσεις για πραγματοποιήθηκε-out αξιολογήσεις, σήμαινε ότι το βραβείο Netflix είχε διαμορφωθεί κατά τέτοιο τρόπο ώστε οι λύσεις είναι πιο εύκολο να ελεγχθεί από την παραγωγή? αποδείχθηκε η πρόκληση της βελτίωσης Cinematch σε ένα πρόβλημα κατάλληλο για μια ανοικτή πρόσκληση.

Τον Οκτώβριο του 2006, Netflix κυκλοφόρησε ένα σύνολο δεδομένων που περιέχει 100 εκατομμύρια βαθμολογίες ταινία από περίπου περίπου 500.000 πελάτες (που θα εξετάσει τις επιπτώσεις στην ιδιωτική ζωή του αυτό το δελτίο δεδομένων στο Κεφάλαιο 6). Τα δεδομένα Netflix μπορεί να γίνει αντιληπτή ως μια τεράστια μήτρα που είναι περίπου 500.000 πελάτες από 20.000 ταινίες. Μέσα σε αυτό το πλέγμα, υπήρχαν περίπου 100 εκατομμύρια βαθμολογίες σε μια κλίμακα από 1 έως 5 αστέρια (Πίνακας 5.2). Η πρόκληση ήταν να χρησιμοποιήσουν τα δεδομένα που παρατηρήθηκαν στη μήτρα για να προβλέψει τα 3 εκατομμύρια που κρατούνται έξω βαθμολογίες.

Οι ερευνητές και οι χάκερ σε όλο τον κόσμο σύρθηκαν στην πρόκληση, και μέχρι το 2008 περισσότεροι από 30.000 άνθρωποι που εργάζονται σε αυτό (Thompson 2008) . Κατά τη διάρκεια του διαγωνισμού, Netflix έλαβε περισσότερες από 40.000 λύσεις που προτείνονται από περισσότερα από 5.000 ομάδες (Netflix 2009) . Προφανώς, το Netflix δεν μπορούσε να διαβάσει και να καταλάβει όλες αυτές τις προτεινόμενες λύσεις. Το όλο πράγμα έτρεξε ομαλά, ωστόσο, επειδή οι λύσεις ήταν εύκολο να ελεγχθεί. Netflix θα μπορούσε να έχει μόνο ένας υπολογιστής συγκρίνει τις προβλεπόμενες αξιολογήσεις στα πραγματοποιήθηκε-out αξιολογήσεις από ένα προκαθορισμένο μετρικό (τη συγκεκριμένη μετρική που χρησιμοποιήθηκε ήταν η τετραγωνική ρίζα του μέσου τετραγωνικού σφάλματος). Ήταν αυτή η ικανότητα να αξιολογήσει γρήγορα λύσεις που επέτρεψε Netflix να δεχθεί λύσεις από όλους, το οποίο αποδείχθηκε ότι είναι σημαντικό, διότι οι καλές ιδέες προήλθαν από μερικά εκπληκτικά μέρη. Στην πραγματικότητα, η καλύτερη λύση που υποβλήθηκε από την ομάδα που ξεκίνησε από τρεις ερευνητές που δεν είχαν συστήματα σύστασης ταινία πριν από κτίριο εμπειρία (Bell, Koren, and Volinsky 2010) .

Μια όμορφη πτυχή του Βραβείου Netflix είναι ότι επέτρεψε ο καθένας στον κόσμο να έχουν τη λύση τους αξιολογηθούν δίκαια. Όταν οι άνθρωποι που αποστέλλονται προβλέψει τις αξιολογήσεις τους, δεν χρειάζεται να φορτώσετε ακαδημαϊκά διαπιστευτήρια τους, τους ηλικία, τη φυλή, το φύλο, τον σεξουαλικό προσανατολισμό, ή τίποτα για τον εαυτό τους. Έτσι, οι προβλεπόμενες αξιολογήσεις του διάσημου καθηγητή από το Stanford αντιμετωπίστηκαν ακριβώς τα ίδια με αυτά από έναν έφηβο στην κρεβατοκάμαρά της. Δυστυχώς, αυτό δεν είναι αλήθεια, στις περισσότερες κοινωνική έρευνα. Δηλαδή, για πιο κοινωνική έρευνα, η αξιολόγηση είναι πολύ χρονοβόρα και εν μέρει υποκειμενική. Έτσι, οι περισσότερες ερευνητικές ιδέες ποτέ δεν αξιολογούνται σοβαρά, και όταν αξιολογούνται οι ιδέες, είναι δύσκολο να αποκολληθεί αυτών των αξιολογήσεων από τον δημιουργό των ιδεών. Επειδή οι λύσεις είναι εύκολο να ελεγχθεί, ανοιχτές προσκλήσεις επιτρέπουν στους ερευνητές να έχουν πρόσβαση σε όλες τις δυνητικά υπέροχο λύσεις που θα πέσει μέσα από τις ρωγμές και αν ληφθούν υπόψη μόνο λύσεις από την περίφημη καθηγητές.

Για παράδειγμα, σε ένα σημείο κατά τη διάρκεια του κάποιος βραβείο Netflix με το όνομα οθόνης Simon Funk δημοσιεύτηκε στο blog μια προτεινόμενη λύση του βασίζεται σε αποσύνθεση μοναδικής τιμής, μια προσέγγιση από τη γραμμική άλγεβρα που δεν είχε χρησιμοποιηθεί στο παρελθόν από άλλους συμμετέχοντες. post στο blog funk ήταν ταυτόχρονα τεχνικό και αλλόκοτα άτυπη. Ήταν αυτό το blog post περιγράφει μια καλή λύση ή μήπως ήταν χάσιμο χρόνου; Έξω από ένα έργο ανοικτής πρόσκλησης, η λύση θα μπορούσε ποτέ να λάβει σοβαρή αξιολόγηση. Μετά από όλα Simon Funk δεν ήταν καθηγητής στο Cal Tech ή το MIT? ήταν ένας προγραμματιστής λογισμικού που, εκείνη την εποχή, ήταν στην πλάτη γύρω από τη Νέα Ζηλανδία (Piatetsky 2007) . Αν είχε αποσταλεί αυτή την ιδέα σε έναν μηχανικό σε Netflix, είναι σχεδόν βέβαιο ότι δεν θα ληφθεί σοβαρά υπόψη.

Ευτυχώς, γιατί τα κριτήρια αξιολόγησης ήταν σαφείς και εύκολο να εφαρμοστεί, προέβλεψε αξιολογήσεις του αξιολογήθηκαν, και ήταν αμέσως σαφές ότι η προσέγγισή του ήταν πολύ ισχυρό: ο ίδιος εκτοξεύθηκε στην τέταρτη θέση στον διαγωνισμό, ένα τεράστιο αποτέλεσμα, δεδομένου ότι οι άλλες ομάδες είχαν ήδη που εργάζονται για μήνες σχετικά με το πρόβλημα. Στο τέλος, τα μέρη της προσέγγισης Simon Funk είχαν χρησιμοποιηθεί από σχεδόν όλους σοβαροί ανταγωνιστές (Bell, Koren, and Volinsky 2010) .

Το γεγονός ότι ο Simon Funk επέλεξε να γράψει ένα post στο blog που εξηγεί την προσέγγισή του, αντί να προσπαθούν να το κρατήσει μυστικό, δείχνει επίσης ότι πολλοί από τους συμμετέχοντες στη βραβείο Netflix δεν είχαν ληφθεί αποκλειστικά από το βραβείο εκατομμύριο δολαρίων. Αντίθετα, πολλοί συμμετέχοντες φάνηκε επίσης να απολαύσετε τη διανοητική πρόκληση και την κοινότητα που αναπτύχθηκε γύρω από το πρόβλημα (Thompson 2008) , τα συναισθήματα που περιμένω πολλούς ερευνητές μπορούν να καταλάβουν.

Το βραβείο Netflix είναι ένα κλασικό παράδειγμα μιας ανοικτής πρόσκλησης. Netflix θέτει μια ερώτηση με έναν συγκεκριμένο στόχο (πρόβλεψη βαθμολογίες ταινία) και ζήτησε λύσεις από πολλούς ανθρώπους. Netflix ήταν σε θέση να αξιολογήσει όλες αυτές τις λύσεις επειδή ήταν ευκολότερο να ελεγχθεί από το να δημιουργήσουν, και τελικά Netflix πήρε την καλύτερη λύση. Στη συνέχεια, θα σας δείξω πώς αυτή η ίδια προσέγγιση μπορεί να χρησιμοποιηθεί στη βιολογία και το δίκαιο.