5.3.1 Netflix Prize

Netflix шагналт хүмүүс ямар кино шиг болно урьдчилан нээлттэй дуудлага ашигладаг.

Хамгийн алдартай нээлттэй дуудлагын төсөл бол Netflix Prize юм. Netflix нь онлайн киноны түрээсийн компани бөгөөд 2000 онд Cinematch-ыг үйлчлүүлэгчдэд зориулсан киног санал болгох үйлчилгээг эхлүүлсэн. Жишээлбэл, Cinematch Star Wars болон Empire-ийн дуртайг мэдэрч байгаагаа анзаарч магадгүй, дараа нь Jedi буцаж үзэхийг зөвлөж байна. Эхлээд Cinematch муу ажилласан. Гэсэн хэдий ч олон жилийн туршид киноны үйлчлүүлэгчид ямар кино таашаал авахыг урьдчилан таамаглах чадвараа үргэлжлүүлсээр байна. 2006 онд гэхэд Cinematch дээр гарсан ахиц дэвшил гарчээ. Netflix-ийн судлаачид өөрсдийнхөө бодож чадах бүх зүйлд хичнээн их оролдсон ч тэд өөрсдийн системийг сайжруулахад тус болох өөр санаанууд бий гэж таамаглаж байсан. Тиймээс тэд үед, радикал шийдэл нь нээлттэй дуудлага байсан юм.

Netflix-ийн шагналыг хэрхэн амжилтанд хүргэх нь нээгдсэн дуудлага нь хэрхэн зохион бүтээсэн, энэ загвар нь нийгмийн судалгаа хийхэд нээлттэй дуудлага хэрхэн ашиглаж болох талаархи загвартай. Netflix нь санаандгүй бүтээх хүсэлтийг тавиагүй бөгөөд энэ нь олон хүн нээлттэй дуудлагыг авч үзэх гэж байгаа юм. Харин Netflix нь энгийн үнэлгээний аргаар тодорхой асуудал үүсгэсэн: тэд 100 сая киноны үнэлгээний багцыг ашиглахыг 3 саяар нь зарласан үнэлгээг урьдчилан таамаглахын тулд хүмүүсийг (хэрэглэгчдийн гаргасан үнэлгээ гэхдээ Netflix гаргасангүй гэсэн үнэлгээ) урьдчилан таамаглаж байв. Cinematch-аас 10 сая доллараар үнэлэгдсэн 3 сая хувьцааны үнэлгээ өгсөн анхны алгоритм нь сая доллар хожих ажээ. Үнэлгээний журмыг хэрэгжүүлэхэд хялбар, хялбаршуулсан үнэлгээний журмыг хэрэглэх нь хялбаршуулсан үнэлгээг харьцуулсан үнэлгээтэй харьцуулснаар Netflix Prize нь шийдэл нь шалгахаас илүү хялбар эсэхийг шалгасан байсан. Энэ нь "Cinematch" -ыг нээлттэй дуудлагад тохирох асуудал болгож сайжруулахад тулгарч буй бэрхшээлийг үүсгэсэн юм.

2006 оны 10-р сард Netflix 500 сая орчим киноны 100 сая киноны рейтинг агуулсан өгөгдлийн санг гаргасан (бид энэ өгөгдлийн 6-р бүлэгт оруулсан хувь нэмрийн үр дүнг авч үзэх болно). Netflix өгөгдлийг 20,000 киноны ойролцоогоор 500,000 хэрэглэгчидтэй асар том матриц гэж үздэг. Энэ матрицын хүрээнд нэгээс таван одоос 100 сая орчим үнэлгээ авсан байна (хүснэгт 5.2). Матрицын ажиглалтын өгөгдлийг 3 сая төгрөгийн үнэлгээг урьдчилан таамаглахад бэрхшээлтэй байсан.

Дэлхийн өнцөг булан бүрт судлаачид, хакерууд сорилт бэрхшээлтэй тулгарсан бөгөөд 2008 он гэхэд 30,000 гаруй хүн ажиллаж байсан (Thompson 2008) . Энэ уралдаанд оролцсон Netflix 5000 гаруй багуудын 40.000 гаруй саналыг хүлээн авсан (Netflix 2009) . Мэдээжийн хэрэг, Netflix санал болгож буй бүх шийдлүүдийг уншиж, ойлгож чадахгүй байна. Гэсэн хэдий ч шийдэл нь хялбархан шалгагдсан учраас бүх зүйл жигдхэн явагджээ. Netflix нь урьдчилан таамагласан үнэлгээг урьдчилан тогтоосон үнэлгээнүүдтэй харьцуулсан харьцуулалтыг харьцуулж үзсэн хэмжигдэхүүнүүдтэй (харьцангуй хэмжилтийн квадрат язгуурыг ашигладаг байсан хэмжигдэхүйц хэмжигдэхүүнүүдтэй харьцуулсан). Энэ нь Netflix-г идэвхжүүлсэн шийдлүүдийг хурдан шалгаж үзэх чадвар байсан бөгөөд энэ нь чухал санаануудаас үүдэлтэй учраас маш чухал ач холбогдолтой болсон юм. Үнэндээ, яагаад гэвэл киноны зөвлөмжийн системийг бий болгох туршлагагүй гурван судлаач (Bell, Koren, and Volinsky 2010) киноны ялагчаар шалгарсан.

Netflix шагналын нэг сайхан тал нь санал болгосон бүх шийдлийг үнэлэх боломжийг олгосон явдал юм. Өөрөөр хэлбэл хүмүүс өөрсдийн таамагласан рейтингийг байршуулсны дараа тэдгээрийн аккредитив, нас, ураг төрөл, хүйс, бэлгийн чиг баримжаа эсвэл өөртөө байгаа зүйлсийг оруулах шаардлагагүй болно. Стэнфордын алдартай профессор нь таамагласан үнэлгээ нь түүний унтлагын өрөөнд өсвөр насны хүүхдийнхтэй адил юм. Харамсалтай нь энэ нь нийгмийн ихэнх судалгаанд үнэн биш юм. Энэ нь нийгмийн ихэнх судалгаанд үнэлгээ нь цаг хугацаа их шаарддаг, хэсэгчлэн субьектив юм. Тиймээс ихэнх судалгааны санааг хэзээ ч нухацтай үнэлдэггүй бөгөөд санаа бодлыг үнэлэхэд эдгээр санааг санаачлагчаас үнэлэх нь хэцүү байдаг. Нөгөө талаас нээлттэй дуудлага хийх төслүүд нь хялбар, шударга үнэлгээтэй тул өөр санах ойг олох боломжтой болно.

Жишээ нь Netflix Prize-ийн үеэр нэг удаа дэлгэцийн нэртэй Simon Funk өөрийн блог дээр өөрийн блог дээр байрлуулсан ганцхан үнэ цэнийн задрал, өөр оролцогчдын өмнө ашиглаагүй байсан шугаман алгебр дээрх аргыг санал болгосон. Funk-ийн блогийг нэгэн зэрэг техникийн болон хуучирсан албан бус байдлаар нэгтгэсэн. Энэ блог шуудангийн шийдлийг сайн шийдсэн гэж үзсэн үү эсвэл цаг хугацаа алдсан уу? Нээлттэй дуудлагын төслөөс гаднах шийдэл нь ноцтой үнэлгээг хэзээ ч хүлээн авахгүй байж магадгүй юм. Эцсийн эцэст, Симон Фаск MIT-ийн профессор биш байсан. Тэр үед Шинэ Зеланд (Piatetsky 2007) ойролцоо ажиллаж байсан програм хангамжийн хөгжүүлэгч байсан. Хэрэв тэр санаагаа Netflix-д инженерчээр илгээсэн бол энэ нь бараг мэдээж уншаагүй байх байсан.

Үнэндээ үнэлгээний шалгуур нь тодорхой, хэрэглэхэд хялбар учраас түүний таамагласан үнэлгээ үнэлэгдсэн бөгөөд түүний арга барил маш хүчтэй байсан: тэр өрсөлдөөнд 4-р байранд бууж, бусад багууд аль хэдийн асуудал дээр хэдэн сар ажиллах. Эцэст нь, түүний аргуудын зарим хэсгийг бараг бүх ноцтой өрсөлдөгчид (Bell, Koren, and Volinsky 2010) ашиглав.

Симон Флк нууцын тайлал хийхийн оронд түүний арга барилыг тайлбарлах блогт бичихийг сонгосон нь Netflix шагналын олон оролцогчид сая долларын шагналын нөлөөнд автдаггүйг харуулж байна. Харин олон оролцогчид нь оюуны сорилт, бэрхшээлийг тойрсон бүлгийг (Thompson 2008) , олон судлаач ойлгож чадна гэж боддог мэдрэмжийг таашаадаг байв.

Netflix Prize бол нээлттэй дуудлагын сонгодог жишээ юм. Netflix нь тодорхой зорилго бүхий асуулт (киноны рейтингийг урьдчилан таамаглах) асуулт тавьж, олон хүмүүсээс гаргасан шийдлийг асуусан. Netflix нь эдгээр бүх шийдлүүдийг үнэлж чаддаг байсан тул тэдгээрийг үүсгэхээсээ илүү шалгаж, Netflix эцэст нь хамгийн сайн шийдлийг сонгож авсан. Дараа нь энэ аргыг биологи, хууль тогтоомж, сая сая долларын шагналыг хэрхэн ашиглаж болохыг харуулах болно.