5.3.1 Netflix Prize

Netflix Prize menggunakan panggilan terbuka untuk memprediksi film orang akan suka.

Proyek panggilan terbuka yang paling dikenal adalah Hadiah Netflix. Netflix adalah perusahaan rental film online, dan pada tahun 2000 diluncurkan Cinematch, layanan untuk merekomendasikan film kepada pelanggan. Misalnya, Cinematch mungkin memperhatikan bahwa Anda menyukai Star Wars dan The Empire Strikes Back dan kemudian menyarankan Anda menonton Return of the Jedi . Awalnya, Cinematch bekerja buruk. Namun, selama bertahun-tahun, ia terus meningkatkan kemampuannya untuk memprediksi apa yang akan dinikmati oleh pelanggan film. Pada 2006, bagaimanapun, kemajuan di Cinematch telah stabil. Para peneliti di Netflix telah mencoba hampir semua hal yang dapat mereka pikirkan, tetapi, pada saat yang sama, mereka menduga bahwa ada ide lain yang dapat membantu mereka memperbaiki sistem mereka. Jadi, mereka menemukan apa yang pada saat itu merupakan solusi radikal: panggilan terbuka.

Sangat penting untuk keberhasilan Hadiah Netflix adalah bagaimana panggilan terbuka dirancang, dan desain ini memiliki pelajaran penting untuk bagaimana panggilan terbuka dapat digunakan untuk penelitian sosial. Netflix tidak hanya mengeluarkan permintaan yang tidak terstruktur untuk ide, yang banyak orang bayangkan ketika mereka pertama kali mempertimbangkan panggilan terbuka. Sebaliknya, Netflix menimbulkan masalah yang jelas dengan prosedur evaluasi sederhana: mereka menantang orang-orang untuk menggunakan satu set 100 juta peringkat film untuk memprediksi 3 juta peringkat yang ditangguhkan (peringkat yang dibuat pengguna tetapi Netflix tidak dirilis). Orang pertama yang membuat algoritma yang meramalkan peringkat 3 juta yang diadakan 10% lebih baik daripada Cinematch akan memenangkan satu juta dolar. Prosedur evaluasi yang jelas dan mudah ini — membandingkan peringkat yang diprediksi dengan peringkat yang ditangguhkan — berarti bahwa Hadiah Netflix dibingkai sedemikian rupa sehingga solusi lebih mudah untuk diperiksa daripada menghasilkan; ternyata tantangan untuk memperbaiki Cinematch menjadi masalah yang cocok untuk panggilan terbuka.

Pada bulan Oktober 2006, Netflix merilis kumpulan data yang berisi 100 juta peringkat film dari sekitar 500.000 pelanggan (kami akan mempertimbangkan implikasi privasi dari rilis data ini di bab 6). Data Netflix dapat dikonseptualisasikan sebagai matriks besar yang sekitar 500.000 pelanggan dengan 20.000 film. Dalam matriks ini, ada sekitar 100 juta peringkat dalam skala dari satu hingga lima bintang (tabel 5.2). Tantangannya adalah menggunakan data yang diamati dalam matriks untuk memprediksi 3 juta peringkat yang diadakan.

Para peneliti dan peretas di seluruh dunia tertarik pada tantangan tersebut, dan pada tahun 2008 lebih dari 30.000 orang bekerja di dalamnya (Thompson 2008) . Selama kontes, Netflix menerima lebih dari 40.000 solusi yang diusulkan dari lebih dari 5.000 tim (Netflix 2009) . Jelas, Netflix tidak dapat membaca dan memahami semua solusi yang diusulkan ini. Semuanya berjalan dengan lancar, namun, karena solusinya mudah diperiksa. Netflix hanya dapat memiliki komputer yang membandingkan peringkat yang diprediksi dengan peringkat yang dipegang menggunakan metrik yang telah ditentukan (metrik tertentu yang mereka gunakan adalah akar kuadrat dari kesalahan kuadrat rata-rata). Kemampuan ini dengan cepat mengevaluasi solusi yang memungkinkan Netflix untuk menerima solusi dari semua orang, yang ternyata menjadi penting karena ide-ide bagus datang dari beberapa tempat yang mengejutkan. Faktanya, solusi pemenang disampaikan oleh tim yang dimulai oleh tiga peneliti yang tidak memiliki pengalaman sebelumnya membangun sistem rekomendasi film (Bell, Koren, and Volinsky 2010) .

Salah satu aspek indah dari Hadiah Netflix adalah memungkinkan semua solusi yang diusulkan untuk dievaluasi secara adil. Artinya, ketika orang mengunggah peringkat prediksi mereka, mereka tidak perlu mengunggah kredensial akademis mereka, usia mereka, ras, jenis kelamin, orientasi seksual, atau apa pun tentang diri mereka. Peringkat yang diprediksi dari seorang profesor terkenal dari Stanford diperlakukan persis sama dengan yang dilakukan oleh seorang remaja di kamar tidurnya. Sayangnya, ini tidak benar dalam sebagian besar penelitian sosial. Artinya, untuk sebagian besar penelitian sosial, evaluasi sangat memakan waktu dan sebagian subjektif. Jadi, kebanyakan ide penelitian tidak pernah dievaluasi secara serius, dan ketika ide dievaluasi, sulit untuk melepaskan evaluasi dari pencipta ide. Proyek panggilan terbuka, di sisi lain, memiliki evaluasi yang mudah dan adil sehingga mereka dapat menemukan ide-ide yang akan terlewatkan sebaliknya.

Misalnya, pada satu titik selama Hadiah Netflix, seseorang dengan nama layar Simon Funk memposting di blognya solusi yang diusulkan berdasarkan dekomposisi nilai singular, suatu pendekatan dari aljabar linier yang sebelumnya tidak pernah digunakan oleh peserta lain. Posting blog Funk secara bersamaan bersifat teknis dan aneh informal. Apakah postingan blog ini menggambarkan solusi yang baik atau membuang-buang waktu? Di luar proyek panggilan terbuka, solusinya mungkin tidak pernah mendapat evaluasi serius. Bagaimanapun, Simon Funk bukanlah seorang profesor di MIT; dia adalah seorang pengembang perangkat lunak yang, pada saat itu, sedang melakukan backpacking di Selandia Baru (Piatetsky 2007) . Jika dia mengirim email ide ini ke seorang insinyur di Netflix, itu hampir pasti tidak akan pernah dibaca.

Untungnya, karena kriteria evaluasi yang jelas dan mudah untuk diterapkan, peringkat yang diprediksi dievaluasi, dan itu langsung jelas bahwa pendekatannya sangat kuat: ia meroket ke tempat keempat dalam kompetisi, hasil yang luar biasa mengingat bahwa tim lain sudah bekerja selama berbulan-bulan untuk masalah ini. Pada akhirnya, bagian dari pendekatannya digunakan oleh hampir semua pesaing serius (Bell, Koren, and Volinsky 2010) .

Fakta bahwa Simon Funk memilih untuk menulis posting blog menjelaskan pendekatannya, daripada mencoba merahasiakannya, juga menggambarkan bahwa banyak peserta dalam Hadiah Netflix tidak secara eksklusif dimotivasi oleh hadiah satu juta dolar. Sebaliknya, banyak peserta juga tampaknya menikmati tantangan intelektual dan komunitas yang mengembangkan sekitar masalah (Thompson 2008) , perasaan yang saya harapkan banyak peneliti dapat pahami.

Hadiah Netflix adalah contoh klasik dari panggilan terbuka. Netflix mengajukan pertanyaan dengan sasaran tertentu (memprediksi peringkat film) dan solusi yang diminta dari banyak orang. Netflix dapat mengevaluasi semua solusi ini karena mereka lebih mudah untuk memeriksa daripada membuat, dan akhirnya Netflix memilih solusi terbaik. Selanjutnya, saya akan menunjukkan kepada Anda bagaimana pendekatan yang sama ini dapat digunakan dalam biologi dan hukum, dan tanpa hadiah satu juta dolar.