5.3.1 Netflix Hadiah

The Netflix Hadiah menggunakan panggilan terhadap meramalkan filem orang akan suka.

Projek panggilan terbuka yang paling terkenal ialah Hadiah Netflix. Netflix adalah syarikat sewa filem dalam talian, dan pada tahun 2000 ia melancarkan Cinematch, sebuah perkhidmatan untuk mengesyorkan filem kepada pelanggan. Contohnya, Cinematch mungkin menyedari bahawa anda menyukai Star Wars dan The Empire Strikes Back dan kemudian mengesyorkan anda menonton Pulangan Jedi . Pada mulanya, Cinematch bekerja dengan baik. Tetapi selama bertahun-tahun, ia terus meningkatkan kemampuannya untuk meramalkan apa yang pelanggan filem akan menikmati. Namun pada tahun 2006, kemajuan di Cinematch telah mendarat. Para penyelidik di Netflix telah mencuba banyak perkara yang boleh difikirkan, tetapi, pada masa yang sama, mereka mengesyaki bahawa ada idea lain yang mungkin membantu mereka memperbaiki sistem mereka. Oleh itu, mereka datang dengan apa yang, pada masa itu, penyelesaian radikal: panggilan terbuka.

Kritikal untuk kejayaan Netflix akhirnya adalah bagaimana panggilan terbuka direka, dan reka bentuk ini mempunyai pelajaran penting untuk bagaimana panggilan terbuka boleh digunakan untuk penyelidikan sosial. Netflix tidak hanya meletakkan permintaan yang tidak tersusun untuk idea-idea, yang mana banyak orang bayangkan apabila mereka pertama kali mempertimbangkan panggilan terbuka. Sebaliknya, Netflix menimbulkan masalah yang jelas dengan prosedur penilaian yang mudah: mereka mencabar orang untuk menggunakan satu set 100 juta penarafan filem untuk meramalkan 3 juta rating yang dipegang (penarafan yang dibuat oleh pengguna tetapi Netflix tidak dibebaskan). Orang pertama yang membuat algoritma yang meramalkan 3 juta penilaian yang dipegang keluar 10% lebih baik daripada Cinematch akan memenangi satu juta dolar. Ini jelas dan mudah untuk melaksanakan prosedur penilaian-membandingkan penilaian yang diramalkan dengan penarafan yang diadakan - bermaksud bahawa Hadiah Netflix dibingkai sedemikian rupa sehingga penyelesaian lebih mudah untuk diperiksa daripada menjana; ia menjadi cabaran untuk meningkatkan Cinematch menjadi masalah yang sesuai untuk panggilan terbuka.

Pada bulan Oktober 2006, Netflix mengeluarkan satu set data mengandungi 100 juta penarafan filem daripada kira-kira 500,000 pelanggan (kami akan mempertimbangkan implikasi privasi keluaran data ini dalam bab 6). Data Netflix boleh dikonseptualisasikan sebagai matriks besar yang kira-kira 500,000 pelanggan oleh 20,000 filem. Dalam matriks ini, terdapat kira-kira 100 juta penarafan pada skala dari satu hingga lima bintang (jadual 5.2). Cabarannya ialah menggunakan data yang diperhatikan dalam matriks untuk meramalkan 3 juta penarafan yang diadakan.

Penyelidik dan penggodam di seluruh dunia telah mendapat cabaran, dan pada tahun 2008 lebih daripada 30,000 orang bekerja di situ (Thompson 2008) . Sepanjang pertandingan, Netflix menerima lebih daripada 40,000 penyelesaian yang dicadangkan daripada lebih 5,000 pasukan (Netflix 2009) . Jelas, Netflix tidak dapat membaca dan memahami semua penyelesaian yang dicadangkan ini. Walau bagaimanapun, semuanya berjalan dengan lancar, kerana penyelesaiannya mudah untuk diperiksa. Netflix hanya boleh mempunyai komputer membandingkan penilaian yang diramalkan dengan penarafan yang dipegang menggunakan metrik prespecified (metrik tertentu yang mereka gunakan adalah punca kuasa kuadrat kuadrat min). Keupayaan ini untuk menilai dengan cepat penyelesaian yang membolehkan Netflix menerima penyelesaian daripada semua orang, yang ternyata penting kerana idea-idea yang baik datang dari beberapa tempat yang mengejutkan. Malah, penyelesaian pemenang telah dikemukakan oleh satu pasukan yang dimulakan oleh tiga orang penyelidik yang tidak mempunyai pengalaman sebelum membangun sistem cadangan filem (Bell, Koren, and Volinsky 2010) .

Satu aspek yang indah dari Hadiah Netflix ialah ia membolehkan semua penyelesaian yang dicadangkan dinilai dengan adil. Iaitu, apabila orang memuat naik penilaian mereka yang diramalkan, mereka tidak perlu memuatkan kelayakan akademik mereka, umur mereka, kaum, jantina, orientasi seksual, atau apa sahaja tentang diri mereka. Penarafan yang diramalkan seorang profesor terkenal dari Stanford diperlakukan dengan sama seperti yang berasal dari seorang remaja di bilik tidurnya. Malangnya, ini tidak benar dalam kebanyakan penyelidikan sosial. Iaitu, untuk penyelidikan sosial yang paling, penilaian sangat memakan masa dan sebahagian subjektif. Oleh itu, kebanyakan idea penyelidikan tidak dinilai secara serius, dan apabila idea dinilai, sukar untuk melepaskan penilaian tersebut dari pencipta idea. Projek panggilan terbuka, sebaliknya, mempunyai penilaian yang mudah dan saksama supaya mereka dapat menemui idea-idea yang akan dilepaskan sebaliknya.

Sebagai contoh, pada satu ketika semasa Hadiah Netflix, seseorang dengan nama skrin Simon Funk menyiarkan pada blognya penyelesaian yang dicadangkan berdasarkan penguraian nilai tunggal, pendekatan dari aljabar linear yang belum digunakan sebelumnya oleh peserta lain. Siaran blog Funk pada masa yang sama secara teknikal dan tidak formal. Adakah blog ini menerangkan penyelesaian yang baik atau adakah ia membuang masa? Di luar projek panggilan terbuka, penyelesaian itu mungkin tidak pernah menerima penilaian yang serius. Lagipun, Simon Funk bukan seorang profesor di MIT; dia seorang pemaju perisian yang, pada masa itu, sedang backpacking di sekitar New Zealand (Piatetsky 2007) . Sekiranya dia telah menghantar e-mel kepada seorang jurutera di Netflix, ia pasti tidak akan dibaca.

Mujurlah, kerana kriteria penilaian adalah jelas dan mudah diterapkan, penarafan yang diramalkannya telah dinilai, dan dengan jelas jelas bahawa pendekatannya sangat kuat: ia merebut ke tempat keempat dalam pertandingan, hasil yang luar biasa memandangkan pasukan lain sudah bekerja selama berbulan-bulan mengenai masalah ini. Akhirnya, sebahagian pendekatannya digunakan oleh hampir semua pesaing yang serius (Bell, Koren, and Volinsky 2010) .

Hakikat bahawa Simon Funk memilih untuk menulis catatan blog yang menerangkan pendekatannya, dan bukannya berusaha untuk menyimpan rahsia itu, juga menggambarkan bahawa banyak peserta dalam Hadiah Netflix tidak semata-mata didorong oleh hadiah juta dolar. Sebaliknya, banyak peserta juga nampak menikmati cabaran intelektual dan komuniti yang dikembangkan sekitar masalah (Thompson 2008) , perasaan yang saya harapkan ramai penyelidik dapat memahami.

Hadiah Netflix adalah contoh klasik panggilan terbuka. Netflix menimbulkan persoalan dengan tujuan tertentu (meramalkan penarafan filem) dan mendapatkan penyelesaian dari banyak orang. Netflix dapat menilai semua penyelesaian ini kerana mereka lebih mudah untuk memeriksa daripada membuat, dan akhirnya Netflix memilih penyelesaian terbaik. Seterusnya, saya akan menunjukkan kepada anda bagaimana pendekatan yang sama ini boleh digunakan dalam biologi dan undang-undang, dan tanpa hadiah juta dolar.