5.3.1 Netflix

A Netflix használ nyílt felhívás megjósolni, hogy melyik filmeket az emberek, mint.

A legismertebb nyílt hívási projekt a Netflix-díj. A Netflix egy online filmkölcsönző cég, 2000-ben pedig elindította a Cinematchot, amely a filmeket ajánlja az ügyfeleknek. Például a Cinematch észreveheti, hogy tetszett a Csillagok háborúja és a Birodalom visszaüt, és azt javasolja, hogy nézze meg a Jedi visszatérését . Kezdetben a Cinematch rosszul dolgozott. De sok év alatt tovább javította annak képességét, hogy megjósolja, hogy a filmek ügyfelei élvezhetik. 2006-ra azonban a Cinematch előrehaladása platós. A Netflix kutatói nagyjából mindent megpróbálták, amire gondolni tudtak, de ugyanakkor azt gyanították, hogy vannak olyan ötletek, amelyek segíthetnek nekik a rendszerük javításában. Így jöttek fel, ami abban az időben radikális megoldás volt: nyílt hívás.

A Netflix-díj esetleges sikere szempontjából kritikus volt, hogy a nyitott felhívást hogyan tervezték meg, és ez a terv fontos tanulságokat tartalmaz arra vonatkozóan, hogy a nyílt hívások hogyan használhatók fel a társadalomkutatásban. A Netflix nem csak egy félrevezető ötletet írt elő, ami sok ember számára elképzelhető, amikor először egy nyílt hívást tartanak. A Netflix azonban egyszerű problémát vetett fel egy egyszerű értékelési eljárással szemben: kihívást jelentett az embereknek, hogy 100 millió filmértékelést alkalmazzanak, hogy megjósolhassák a 3 millió kiosztott értékelést (a felhasználók által készített értékelések, de a Netflix nem engedte el). Az első olyan személy, aki egy olyan algoritmust hozna létre, amely megjósolta, hogy a Cinematch 10% -kal jobbra becsülte a 3 millió kiosztott értéket, több millió dollárt nyert. Ez a világos és könnyen alkalmazható értékelési eljárás - összehasonlítva az előrejelzett minősítéseket a kimaradt minősítésekkel - azt jelentette, hogy a Netflix-díjat úgy alakították ki, hogy a megoldásokat könnyebb ellenőrizni, mint létrehozni; ez a kihívás jelentette a Cinematch javítását egy nyílt hívásra alkalmas problémának.

2006 októberében a Netflix kb. 500 000 ügyféllel 100 millió filmes értékelést tartalmazó adatállományt adott ki (a 6. fejezetben figyelembe fogjuk venni az adatkezelés adatvédelmi szempontjait). A Netflix adatok hatalmas mátrixként fogalmazódnak meg, amely körülbelül 20 000 filmből körülbelül 500 000 ügyféllel rendelkezik. Ebben a mátrixban körülbelül 100 millió értékelés volt 1-5 csillaggal (5.2. Táblázat). A kihívás az volt, hogy a megfigyelt adatokat a mátrixban alkalmazzuk, hogy megjósoljuk a 3 millió kimerült értékelést.

A kutatók és a hackerek világszerte felhívták a figyelmet a kihívásra, és 2008-ra több mint 30 000 ember dolgozik rajta (Thompson 2008) . A verseny során a Netflix több mint 40 000 ajánlott megoldást kapott több mint 5000 csapatból (Netflix 2009) . Nyilvánvaló, hogy a Netflix nem tudott olvasni és megérteni ezeket a javasolt megoldásokat. Az egész azonban simán futott, mert a megoldásokat könnyű ellenőrizni. A Netflixnek csak egy számítógépe tudna összehasonlítani az előre jelzett értékeket a kimaradt minősítésekkel egy előre meghatározott mutató használatával (az adott metrika, amelyet használtak, az átlagos négyzetes hiba négyzetgyöke volt). Ez volt a képesség, hogy gyorsan értékelje azokat a megoldásokat, amelyek lehetővé tették a Netflix számára, hogy mindenkinek elfogadja a megoldásokat, ami azért fontosnak bizonyult, mert jó ötletek származtak néhány meglepő helyről. Valójában a győztes megoldást három olyan kutató indította el, akinek nincs előzetes tapasztalata a film ajánlórendszerek kidolgozásában (Bell, Koren, and Volinsky 2010) .

A Netflix-díj egyik gyönyörű eleme, hogy lehetővé tette, hogy az összes javasolt megoldást tisztességesen értékeljék. Ez azt jelenti, hogy amikor az emberek feltöltötték az előrejelzett értékelésüket, nem kellett feltölteniük akadémiai felhatalmazásaikat, életkorukat, fajtjukat, nemüket, szexuális irányultságukat, vagy bármit is magukról. A híres Stanford-i professzor becsült értékelését ugyanúgy kezelték, mint a tinédzser szobájában. Sajnos ez nem igaz a legtöbb társadalmi kutatásban. Vagyis a legtöbb társadalmi kutatás esetében az értékelés nagyon időigényes és részben szubjektív. Tehát a legtöbb kutatási ötletet soha nem értékelik komolyan, és amikor az ötleteket értékelik, nehéz elkülöníteni ezeket az értékeléseket az ötletek alkotójától. A nyílt pályázati projektek viszont egyszerű és tisztességes értékelést tesznek lehetővé, így felfedezhetik az egyébként elmaradt ötleteket.

Például a Netflix-díj egyik pontján a Simon Funk nevű képernyőn megjelent egy blog egy javasolt megoldást, amely a szinguláris értékbontáson alapul, olyan lineáris algebra-megközelítés, amelyet a többi résztvevő még nem használ. Funk blogbejegyzése egyszerre volt technikai és furcsa informális. Ez a blogbejegyzés egy jó megoldást ír le, vagy az időpocsékolás? Nyitott pályázati projekten kívül a megoldás soha nem kapott komoly értékelést. Végül is Simon Funk nem volt MIT professzor; ő volt egy szoftverfejlesztő, aki akkoriban hátizsákot (Piatetsky 2007) Új-Zélandon (Piatetsky 2007) . Ha elküldte ezt az elképzelést a Netflix mérnöke számára, szinte biztosan nem lett volna olvasható.

Szerencsére, mivel az értékelési kritériumok világosak és könnyen alkalmazhatók voltak, az ő előrejelzett értékelését értékelték, és azonnal világossá vált, hogy megközelítése nagyon erős volt: a verseny negyedik helyére került, ami óriási eredmény volt, mivel más csapatok már hónapokig dolgozni a problémán. Végül megközelítésének részeit gyakorlatilag minden komoly versenytárs (Bell, Koren, and Volinsky 2010) .

Az a tény, hogy Simon Funk úgy döntött, hogy egy blogbejegyzést ír le, amely megmagyarázza a megközelítését, és nem titokban tartja azt, szintén azt illusztrálja, hogy a Netflix-díj sok résztvevőjét nem kizárólag a millió dolláros díj motiválta. A résztvevők inkább úgy érezték, hogy élvezik az intellektuális kihívást és a probléma körüli közösséget (Thompson 2008) , olyan érzéseket, amelyeket számos kutató szerint megérthet.

A Netflix-díj klasszikus példa a nyílt hívásra. A Netflix egy bizonyos célt fektett be (a filmminősítések előrejelzését), és sok embertől kérte a megoldásokat. A Netflix képes volt mindezen megoldások értékelésére, mivel könnyebb volt ellenőrizni, mint létrehozni, és végül a Netflix felvette a legjobb megoldást. Ezután megmutatom, hogyan alkalmazható ez a megközelítés a biológiában és a jogban, és egy millió dolláros díj nélkül.