5.3.1 Netflix Ödülü

Netflix Ödülü insanlar gibi hangi filmler tahmin açık çağrısını kullanır.

En çok bilinen açık çağrı projesi Netflix Ödülüdür. Netflix bir online film kiralama şirketidir ve 2000 yılında filmleri müşterilere tavsiye edecek bir servis olan Cinematch'i başlattı. Örneğin, Cinematch sen geri dön Star Wars Empire Strikes sevdim fark ve sonra Jedi Dönüşü izle önerebilir. Başlangıçta, Cinematch zayıf çalıştı. Ancak, uzun yıllar boyunca, müşterilerin hangi filmlerden zevk alacağını tahmin etme yeteneğini geliştirmeye devam etti. Ancak 2006 yılına gelindiğinde, Cinematch'deki ilerleme platoluydu. Netflix'teki araştırmacılar düşündükleri her şeyi denediler, ama aynı zamanda, sistemlerini geliştirmelerine yardımcı olabilecek başka fikirler olduğunu düşünüyorlardı. Böylece, o zamanlar radikal bir çözümle ortaya çıktılar: açık bir çağrı.

Netflix Ödülü'nün nihai başarısının eleştirisi, açık aramanın nasıl tasarlandığıydı ve bu tasarımın, açık aramaların sosyal araştırmalar için nasıl kullanılabileceği konusunda önemli dersleri var. Netflix, fikirlerin yapılandırılmamış bir isteğini ortaya çıkarmadı; bu, birçok kişinin açık bir çağrıyı ilk düşündüklerinde hayal ettiği şeydir. Daha ziyade, Netflix basit bir değerlendirme prosedürü ile net bir problem oluşturdu: İnsanlara 3 milyondan fazla çıkış notu tahmin etmek için 100 milyon film derecelendirme kullanmaları için meydan okudular (kullanıcıların yaptığı derecelendirmelerden ancak Netflix'in yayınlamadığı). Cinematch'ten% 10 daha iyi olan 3 milyonu aşan derecelendirmeyi öngören bir algoritma yaratan ilk kişi bir milyon dolar kazanacaktı. Bu açık ve kolay bir değerlendirme prosedürü - tahmin edilen derecelendirmeleri saklı değerlerle karşılaştırmak - Netflix Ödülü'nün, çözümlerin üretmekten daha kolay kontrol edileceği şekilde çerçevelenmesi anlamına gelir; Cinematch'i açık bir çağrıya uygun bir problem haline getirme zorluğuyla karşılaştı.

2006 yılının Ekim ayında, Netflix yaklaşık 500.000 müşteriden 100 milyon film derecelendirme içeren bir veri kümesi yayınladı (bu veri açığının gizlilik sonuçlarını 6. bölümde ele alacağız). Netflix verileri, 20.000 film tarafından yaklaşık 500.000 müşteri olan devasa bir matris olarak kavramsallaştırılabilir. Bu matris içerisinde, bir ile beş yıldız arasında bir ölçekte yaklaşık 100 milyon puan vardı (tablo 5.2). Buradaki zorluk, 3 milyondan fazla çıkış notunu tahmin etmek için matriste gözlemlenen verileri kullanmaktı.

Dünyanın dört bir yanındaki araştırmacılar ve bilgisayar korsanları bu soruna çekildi ve 2008'de 30 binden fazla insan üzerinde çalışıyordu (Thompson 2008) . Yarışma boyunca, Netflix 5000'den fazla takımdan 40.000'den fazla önerilen çözüm aldı (Netflix 2009) . Açıkçası, Netflix tüm bu önerilen çözümleri okuyamadı ve anlayamadı. Bununla birlikte, her şey sorunsuzca koştu çünkü çözümlerin kontrol edilmesi kolaydı. Netflix'in önceden belirlenmiş bir metriği kullanarak tahmin edilen derecelendirmeleri, derecelendirilmiş derecelendirmelerle karşılaştıran bir bilgisayarı olabilir (kullandıkları belirli metrik, ortalama karenin hatası köküdür). Netflix'in herkesin çözümlerini kabul etmesini sağlayan çözümleri hızlı bir şekilde değerlendirmek bu yetenekti. Bu da önemli bir noktaya dönüştü çünkü iyi fikirler bazı şaşırtıcı yerlerden geliyordu. Aslına bakılırsa, kazanan çözüm, film öneri sistemleri oluşturma deneyimi olmayan üç araştırmacı tarafından başlatılan bir ekip tarafından sunuldu (Bell, Koren, and Volinsky 2010) .

Netflix Ödülü'nün güzel bir yönü, önerilen tüm çözümlerin adil bir şekilde değerlendirilmesini sağlamasıdır. Yani, insanlar tahmin ettikleri puanları yüklediklerinde, akademik bilgilerini, yaşlarını, ırklarını, cinsiyetlerini, cinsel yönelimlerini veya kendileri hakkında bir şeyler yüklemeleri gerekmiyordu. Stanford'lu ünlü bir profesörün tahmini puanları, yatak odasındaki bir gencinkiyle aynı şekilde muamele edildi. Ne yazık ki, çoğu sosyal araştırmada bu doğru değildir. Yani, çoğu sosyal araştırma için, değerlendirme çok zaman alıcı ve kısmen özneldir. Dolayısıyla, çoğu araştırma fikri hiçbir zaman ciddi olarak değerlendirilmez ve fikirler değerlendirildiğinde, bu değerlendirmeleri fikirlerin yaratıcısından ayırmak zordur. Açık çağrı projeleri ise, kolay ve adil bir değerlendirmeyle, aksi halde gözden kaçacak fikirleri keşfedebilmeleri için.

Örneğin, Netflix Ödülü'nün bir noktasında, Simon Funk ekran adı olan biri blogunda, daha önce başka katılımcılar tarafından kullanılmamış olan lineer cebirden gelen bir yaklaşım olan tekil değer ayrışmasına dayanan bir çözüm önerdi. Funk'ın blog yazısı aynı anda teknik ve garip gayri resmi olarak yapıldı. Bu blog yazısı iyi bir çözümü mi açıklıyordu yoksa zaman kaybı mıydı? Açık bir çağrı projesinin dışında, çözüm ciddi bir değerlendirme almamış olabilir. Ne de olsa, Simon Funk MIT'de profesör değildi; O zamanlar Yeni Zelanda'da (Piatetsky 2007) sırt çantalı bir yazılım geliştiriciydi. Bu fikri Netflix'te bir mühendise e-posta ile göndermiş olsaydı, neredeyse kesinlikle okunmazdı.

Neyse ki, değerlendirme kriterleri açık ve uygulanması kolay olduğu için, öngörülen puanları değerlendirildi ve yaklaşımının çok güçlü olduğu hemen anlaşıldı: yarışmada dördüncü sıraya fırladı, diğer takımların çoktan alınmış olması nedeniyle muazzam bir sonuç problem için aylarca çalışıyoruz. Sonunda, yaklaşımının parçaları neredeyse tüm ciddi rakipler tarafından kullanıldı (Bell, Koren, and Volinsky 2010) .

Simon Funk'ın sırrını sürdürmek yerine yaklaşımını açıklayan bir blog yazısı yazmayı seçmesi, Netflix Ödülü'nün pek çok katılımcının sadece milyon dolarlık ödülle motive edilmediğini gösteriyor. Daha ziyade, pek çok katılımcı, entelektüel meydan okumadan ve problemin etrafında gelişen topluluğun (Thompson 2008) , birçok araştırmacının anlayabileceğine inandığım hislerin tadını çıkarmış gibi görünüyordu.

Netflix Ödülü, açık bir çağrının klasik bir örneğidir. Netflix, belirli bir hedefle (film derecelendirmelerini tahmin ederek) ve birçok insandan istenen çözümleri içeren bir soru sordu. Netflix tüm bu çözümleri değerlendirebildi, çünkü daha kolay kontrol edilmeleri daha kolaydı ve sonuçta Netflix en iyi çözümü seçti. Daha sonra, aynı yaklaşımın biyoloji ve hukukta ve milyon dolarlık bir ödül olmadan nasıl kullanılabileceğini göstereceğim.