5.3.1 Netflix Hadiah

The Netflix Hadiah menggunakan panggilan terhadap meramalkan filem orang akan suka.

Projek panggilan terbuka yang paling terkenal ialah Hadiah Netflix. Netflix adalah sebuah syarikat sewa filem dalam talian, dan pada tahun 2000 ia melancarkan Cinematch, perkhidmatan untuk mengesyorkan filem untuk pelanggan. Sebagai contoh, Cinematch mungkin mendapati bahawa anda suka Star Wars dan mogok Empire Kembali dan kemudian mengesyorkan anda menonton Return of the Jedi. Pada mulanya, Cinematch bekerja dengan baik. Tetapi, sepanjang bertahun-tahun, Cinematch terus meningkatkan keupayaan untuk meramalkan apa filem pelanggan akan menikmati itu. Menjelang tahun 2006, bagaimanapun, kemajuan dalam Cinematch mendatar. Para penyelidik di Netflix telah mencuba hampir semua yang mereka boleh berfikir, tetapi pada masa yang sama, mereka mengesyaki terdapat idea-idea lain yang boleh membantu mereka meningkatkan sistem mereka. Oleh itu, mereka datang dengan apa yang telah, pada masa itu, satu penyelesaian radikal: panggilan terbuka.

Kritikal untuk kejayaan yang bakal dicapai Hadiah Netflix adalah bagaimana panggilan terbuka telah direka dan reka bentuk ini mempunyai pelajaran penting untuk bagaimana panggilan terbuka boleh digunakan untuk penyelidikan sosial. Netflix tidak hanya meletakkan permintaan tidak berstruktur untuk idea-idea, yang adalah apa yang ramai orang bayangkan apabila mereka mula-mula mempertimbangkan permohonan terbuka. Sebaliknya, Netflix menimbulkan masalah yang jelas dengan kriteria penilaian mudah: mereka mencabar orang ramai untuk menggunakan satu set 100 juta penilaian filem untuk meramalkan 3 juta penilaian diadakan keluar (penilaian yang dibuat pengguna tetapi yang Netflix tidak melepaskan). Sesiapa yang boleh mewujudkan satu algoritma yang dapat meramalkan 3 juta penilaian dipegang 10% lebih baik daripada Cinematch akan memenangi 1 juta dolar. Ini jelas dan mudah untuk memohon penilaian kriteria-membandingkan penilaian diramalkan akan diadakan keluar penilaian-bermakna Hadiah Netflix telah dirangka dalam apa-apa cara bahawa penyelesaian adalah lebih mudah untuk memeriksa daripada menjana; ternyata cabaran untuk meningkatkan Cinematch ke dalam masalah yang sesuai untuk panggilan terbuka.

Pada bulan Oktober 2006, Netflix dikeluarkan set data yang mengandungi 100 juta penilaian filem dari kira-kira kira-kira 500,000 pelanggan (kami akan mempertimbangkan implikasi privasi pelepasan data ini dalam Bab 6). Data yang Netflix boleh dikonsepkan sebagai matriks besar iaitu kira-kira 500,000 pelanggan dengan 20,000 filem. Dalam matriks ini, terdapat kira-kira 100 juta penilaian pada skala 1 hingga 5 bintang (Jadual 5.2). Cabarannya adalah untuk menggunakan data yang diperhatikan dalam matriks untuk meramalkan 3 juta penilaian diadakan keluar.

Penyelidik dan penggodam di seluruh dunia tertarik dengan cabaran itu, dan pada tahun 2008 lebih daripada 30,000 orang telah bekerja di atasnya (Thompson 2008) . Sepanjang pertandingan itu, Netflix menerima lebih daripada 40,000 cadangan penyelesaian dari lebih daripada 5,000 pasukan (Netflix 2009) . Jelas sekali, Netflix tidak dapat membaca dan memahami semua penyelesaian yang dicadangkan. Segala-galanya berjalan lancar, bagaimanapun, kerana penyelesaian yang mudah untuk memeriksa. Netflix hanya boleh mempunyai komputer membandingkan penilaian meramalkan kepada penilaian dipegang oleh metrik (metrik tertentu mereka digunakan adalah punca kuasa dua ralat min kuasa dua) pra-ditetapkan. Ia adalah keupayaan untuk cepat menilai penyelesaian yang membolehkan Netflix untuk menerima penyelesaian dari semua orang, yang ternyata menjadi penting kerana idea-idea yang baik datang dari beberapa tempat yang mengejutkan. Malah, penyelesaian yang menang telah dikemukakan oleh pasukan dimulakan oleh tiga penyelidik yang tidak mempunyai filem cadangan sistem bangunan pengalaman sebelumnya (Bell, Koren, and Volinsky 2010) .

Salah satu aspek yang indah Hadiah Netflix adalah bahawa ia membolehkan semua orang di dunia yang mempunyai penyelesaian mereka dinilai dengan adil. Apabila orang yang dimuat naik penilaian meramalkan mereka, mereka tidak perlu memuat naik kelayakan akademik mereka, umur, bangsa, jantina, orientasi seksual, atau apa-apa mengenai diri mereka sendiri. Oleh itu, penilaian meramalkan seorang profesor terkenal dari Stanford telah dirawat sama seperti orang-orang daripada seorang remaja di bilik tidurnya. Malangnya, ini tidak benar dalam penyelidikan sosial yang paling. Iaitu, untuk penyelidikan sosial yang paling, penilaian adalah sangat memakan masa dan sebahagiannya subjektif. Jadi, kebanyakan idea-idea penyelidikan tidak pernah dinilai serius, dan apabila idea dinilai, ia adalah sukar untuk melepaskan mereka penilaian dari pencipta idea. Oleh kerana penyelesaian yang mudah untuk memeriksa, panggilan terbuka membolehkan penyelidik untuk mengakses semua penyelesaian berpotensi indah yang akan jatuh melalui retak jika mereka hanya dianggap penyelesaian dari profesor terkenal.

Sebagai contoh, pada satu ketika semasa seseorang Netflix Hadiah dengan nama skrin Simon Funk disiarkan di blog beliau penyelesaian yang dicadangkan berdasarkan nilai penguraian tunggal, pendekatan dari algebra linear yang tidak pernah digunakan sebelum ini oleh peserta lain. post blog Funk adalah serentak teknikal dan weirdly formal. Telah post blog ini menerangkan penyelesaian yang baik atau adakah ia satu pembaziran masa? Di luar projek panggilan terbuka, penyelesaian yang mungkin tidak pernah menerima penilaian yang serius. Lagipun Simon Funk bukan seorang profesor di Cal Tech atau MIT; dia adalah seorang pembangun perisian yang, pada masa itu, telah backpacking di sekitar New Zealand (Piatetsky 2007) . Jika dia telah melalui e-mel idea ini kepada seorang jurutera di Netflix, ia hampir pasti tidak akan diambil serius.

Nasib baik, kerana kriteria penilaian adalah jelas dan mudah untuk memohon, penilaian beliau meramalkan dinilai, dan ia serta-merta jelas bahawa pendekatan beliau adalah sangat kuat: dia melonjak ke tempat keempat dalam pertandingan itu, hasil yang besar memandangkan pasukan lain telah pun bekerja untuk bulan ke atas masalah ini. Akhirnya, bahagian pendekatan Simon Funk ini telah digunakan oleh hampir semua pesaing serius (Bell, Koren, and Volinsky 2010) .

Hakikat bahawa Simon Funk memilih untuk menulis blog post menjelaskan pendekatan, dan bukannya cuba untuk menyimpan rahsia, juga menunjukkan bahawa ramai peserta dalam Hadiah Netflix tidak digerakkan secara eksklusif oleh hadiah juta dolar. Sebaliknya, ramai peserta juga seolah-olah menikmati cabaran intelektual dan masyarakat yang dibangunkan di sekitar masalah ini (Thompson 2008) , perasaan yang saya jangkakan ramai penyelidik dapat memahami.

The Netflix Hadiah adalah contoh klasik tentang panggilan terbuka. Netflix mengemukakan satu soalan dengan matlamat yang tertentu (meramalkan penilaian filem) dan meminta penyelesaian dari ramai orang. Netflix dapat menilai semua penyelesaian ini kerana mereka lebih mudah untuk mengesahkan daripada untuk membuat, dan akhirnya Netflix memilih penyelesaian terbaik. Seterusnya, saya akan menunjukkan kepada anda bagaimana pendekatan yang sama boleh digunakan dalam biologi dan undang-undang.