5.3.1 Netflix Prize

Netflix Prize menggunakan panggilan terbuka untuk memprediksi film orang akan suka.

Proyek panggilan terbuka yang paling terkenal adalah hadiah Netflix. Netflix adalah sebuah perusahaan rental film online, dan pada tahun 2000 meluncurkan Cinematch, layanan untuk merekomendasikan film untuk pelanggan. Sebagai contoh, Cinematch mungkin melihat bahwa Anda menyukai Star Wars dan Pemogokan Empire Kembali dan kemudian merekomendasikan bahwa Anda menonton Return of the Jedi. Awalnya, Cinematch bekerja buruk. Tapi, selama bertahun-tahun, Cinematch terus meningkatkan kemampuannya untuk memprediksi film apa yang pelanggan akan menikmati. Pada tahun 2006, bagaimanapun, kemajuan Cinematch plateaued. Para peneliti di Netflix telah mencoba hampir segala sesuatu yang mereka bisa memikirkan, tetapi pada saat yang sama, mereka menduga bahwa ada ide-ide lain yang mungkin membantu mereka meningkatkan sistem mereka. Dengan demikian, mereka datang dengan apa yang, pada waktu itu, solusi radikal: panggilan terbuka.

Penting untuk keberhasilan akhirnya Hadiah Netflix adalah bagaimana panggilan terbuka dirancang, dan desain ini memiliki pelajaran penting untuk bagaimana panggilan terbuka dapat digunakan untuk penelitian sosial. Netflix tidak hanya memadamkan permintaan terstruktur untuk ide-ide, yang adalah apa yang banyak orang bayangkan ketika mereka pertama mempertimbangkan panggilan terbuka. Sebaliknya, Netflix menimbulkan masalah yang jelas dengan kriteria evaluasi sederhana: mereka menantang orang untuk menggunakan satu set 100 juta penilaian film untuk memprediksi 3 juta diadakan-out penilaian (peringkat yang pengguna telah dibuat tetapi bahwa Netflix tidak melepaskan). Siapa pun yang bisa menciptakan suatu algoritma yang dapat memprediksi 3 juta diadakan-out peringkat 10% lebih baik dari Cinematch akan menang 1 juta dolar. Ini jelas dan mudah untuk menerapkan kriteria evaluasi-membandingkan peringkat diprediksi diadakan-out peringkat-berarti bahwa Prize Netflix dibingkai sedemikian rupa bahwa solusi yang lebih mudah untuk memeriksa dari menghasilkan; ternyata tantangan untuk meningkatkan Cinematch menjadi masalah yang cocok untuk panggilan terbuka.

Pada bulan Oktober 2006, Netflix merilis sebuah dataset yang berisi 100 juta penilaian film dari sekitar 500.000 pelanggan (kami akan mempertimbangkan implikasi privasi rilis data ini di Bab 6). Data Netflix dapat dikonseptualisasikan sebagai matriks besar yang kira-kira 500.000 pelanggan dengan 20.000 film. Dalam matriks ini, ada sekitar 100 juta peringkat pada skala 1 sampai 5 (Tabel 5.2). Tantangannya adalah untuk menggunakan data yang diamati dalam matriks untuk memprediksi 3 juta diadakan-out peringkat.

Peneliti dan hacker seluruh dunia tertarik untuk tantangan, dan pada tahun 2008 lebih dari 30.000 orang bekerja di atasnya (Thompson 2008) . Selama kontes, Netflix menerima lebih dari 40.000 solusi yang diusulkan dari lebih dari 5.000 tim (Netflix 2009) . Jelas, Netflix tidak bisa membaca dan memahami semua solusi tersebut diusulkan. Semuanya berjalan lancar, namun, karena solusi yang mudah untuk memeriksa. Netflix hanya bisa memiliki komputer membandingkan peringkat diprediksi peringkat dimiliki oleh metrik (metrik tertentu yang mereka gunakan adalah akar kuadrat dari kesalahan rata-squared) pra-ditentukan. Itu kemampuan untuk cepat mengevaluasi solusi yang memungkinkan Netflix untuk menerima solusi dari semua orang, yang ternyata menjadi penting karena ide-ide yang baik datang dari beberapa tempat yang mengejutkan. Bahkan, solusi menang diserahkan oleh tim dimulai oleh tiga peneliti yang tidak memiliki pengalaman membangun sistem rekomendasi film sebelumnya (Bell, Koren, and Volinsky 2010) .

Salah satu aspek yang indah dari hadiah Netflix adalah bahwa hal itu memungkinkan semua orang di dunia memiliki solusi mereka dievaluasi cukup. Ketika orang-upload peringkat mereka diprediksi, mereka tidak perlu meng-upload kemampuan akademis mereka, mereka usia, ras, jenis kelamin, orientasi seksual, atau apa pun tentang diri mereka sendiri. Dengan demikian, peringkat prediksi seorang profesor terkenal dari Stanford diperlakukan persis sama dengan orang-orang dari remaja di kamarnya. Sayangnya, hal ini tidak benar dalam penelitian sosial yang paling. Artinya, untuk penelitian sosial yang paling, evaluasi sangat memakan waktu dan sebagian subjektif. Jadi, sebagian besar ide-ide penelitian tidak pernah dievaluasi secara serius, dan ketika ide-ide dievaluasi, sulit untuk melepaskan evaluasi mereka dari pencipta ide-ide. Karena solusi mudah untuk memeriksa, panggilan terbuka memungkinkan peneliti untuk mengakses semua solusi yang berpotensi indah yang akan jatuh melalui celah-celah jika mereka hanya dianggap solusi dari profesor terkenal.

Misalnya, pada satu titik selama Netflix Prize seseorang dengan nama layar Simon Funk diposting di blog solusi yang diusulkan berdasarkan nilai dekomposisi tunggal, pendekatan dari aljabar linear yang belum digunakan sebelumnya oleh peserta lainnya. posting blog funk itu secara bersamaan teknis dan ganjil informal. Apakah posting blog ini menjelaskan solusi yang baik atau itu membuang-buang waktu? Di luar proyek panggilan terbuka, solusinya mungkin tidak pernah menerima evaluasi yang serius. Setelah semua Simon Funk tidak seorang profesor di Cal Tek atau MIT; ia adalah seorang pengembang perangkat lunak yang, pada waktu itu, backpacking sekitar Selandia Baru (Piatetsky 2007) . Jika dia telah dikirim melalui email ide ini untuk seorang insinyur di Netflix, itu hampir pasti tidak akan diambil serius.

Untungnya, karena kriteria evaluasi yang jelas dan mudah untuk menerapkan, peringkat nya diprediksi dievaluasi, dan itu langsung jelas bahwa pendekatan itu sangat kuat: ia meroket ke tempat keempat dalam kompetisi, hasil yang luar biasa mengingat bahwa tim lain sudah lebih dulu bekerja selama berbulan-bulan pada masalah. Pada akhirnya, bagian dari pendekatan Simon Funk digunakan oleh hampir semua pesaing serius (Bell, Koren, and Volinsky 2010) .

Fakta bahwa Simon Funk memilih untuk menulis posting blog yang menjelaskan pendekatannya, daripada mencoba untuk menjaga rahasia, juga menggambarkan bahwa banyak peserta dalam Prize Netflix tidak termotivasi secara eksklusif oleh hadiah juta dolar. Sebaliknya, banyak peserta juga tampak menikmati tantangan intelektual dan masyarakat yang berkembang di sekitar masalah (Thompson 2008) , perasaan yang saya harapkan banyak peneliti dapat memahami.

Netflix Prize adalah contoh klasik dari panggilan terbuka. Netflix mengajukan pertanyaan dengan tujuan tertentu (memprediksi peringkat film) dan diminta solusi dari banyak orang. Netflix mampu mengevaluasi semua solusi ini karena mereka lebih mudah untuk memverifikasi selain menciptakan, dan akhirnya Netflix memilih solusi terbaik. Selanjutnya, saya akan menunjukkan cara pendekatan yang sama dapat digunakan dalam biologi dan hukum.