5.3.1 Premju Netflix

Il-Premju Netflix użi sejħa miftuħa li wieħed ibassar liema films nies ser simili.

L-aktar proġett magħruf ta 'sejħa miftuħa huwa l-Premju Netflix. Netflix hija kumpannija ta 'kiri ta' films onlajn, u fl-2000 nediet Cinematch, servizz li jirrakkomanda films lill-klijenti. Per eżempju, Cinematch jista 'javża li intom xtaqu Star Wars u The Empire Strikes Back u mbagħad jirrakkomandaw li tara Ritorn tal-Jedi . Inizjalment, Cinematch ħadem ħażin. Iżda, matul ħafna snin, kompliet ittejjeb il-kapaċità tagħha li tipprevedi liema films jgawdu l-klijenti. Sa l-2006, madankollu, il-progress fuq iċ-ċinematografija kien ġie mgħejjun. Ir-riċerkaturi f'Netflix kienu ppruvaw kważi kollox x'jistgħu jaħsbu, iżda, fl-istess ħin, huma suspettaw li kien hemm ideat oħra li jistgħu jgħinuhom itejbu s-sistema tagħhom. Għalhekk, huma ħarġu minn dak li kien, dak iż-żmien, soluzzjoni radikali: sejħa miftuħa.

Kritika għas-suċċess eventwali tal-Premju Netflix kien kif ġiet iddisinjata s-sejħa miftuħa, u dan id-disinn għandu lezzjonijiet importanti dwar kif sejħiet miftuħa jistgħu jintużaw għar-riċerka soċjali. Netflix mhux biss ressaq talba mhux strutturata għal ideat, li huwa dak li ħafna nies jimmaġinaw meta l-ewwel jikkunsidraw sejħa miftuħa. Pjuttost, Netflix ħarġet problema ċara b'proċedura ta 'evalwazzjoni sempliċi: huma sfidaw lin-nies biex jużaw sett ta' 100 miljun klassifikazzjoni tal-films biex ibassru 3 miljun klassifikazzjoni miżmuma (klassifikazzjonijiet li l-utenti kienu għamlu iżda li Netflix ma rilaxxx). L-ewwel persuna li toħloq algoritmu li pprevediet it-3 miljun klassifikazzjoni miżmuma 'l fuq 10% aħjar minn Cinematch se tirbaħ miljun dollaru. Din il-proċedura ta 'evalwazzjoni ċara u faċli biex tiġi applikata - li tqabbel il-klassifikazzjonijiet imbassra ma' klassifikazzjonijiet miżmuma - fissret li l-Premju Netflix kien inkwadrat b'tali mod li s-soluzzjonijiet kienu iktar faċli biex jiċċekkjaw milli jiġġeneraw; hija rrikorriet l-isfida li ttejjeb iċ-ċinematografija bħala problema adattata għal sejħa miftuħa.

F'Ottubru tal-2006, Netflix ħarġet sett ta 'dejta li fih 100 miljun klassifikazzjoni tal-films minn madwar madwar 500,000 klijent (se nikkunsidraw l-implikazzjonijiet tal-privatezza ta' dan ir-rilaxx tad-dejta fil-kapitolu 6). Id-data Netflix tista 'tiġi kunċettwalizzata bħala matriċi enormi li hija ta' madwar 500,000 klijent minn 20,000 film. Fi ħdan din il-matriċi, kien hemm madwar 100 miljun klassifikazzjoni fuq skala minn wieħed sa ħames stilel (tabella 5.2). L-isfida kienet li tintuża d-dejta osservata fil-matriċi biex tbassar il-klassifikazzjonijiet ta '3 miljun miżmum.

Riċerkaturi u hackers madwar id-dinja ġew imfassla għall-isfida, u sa l-2008 aktar minn 30,000 persuna kienu qed jaħdmu fuqha (Thompson 2008) . Matul il-konkors, Netflix irċieva aktar minn 40,000 soluzzjonijiet proposti minn aktar minn 5,000 tim (Netflix 2009) . Ovvjament, Netflix ma setax jaqra u jifhem dawn is-soluzzjonijiet proposti. Il-ħaġa sħiħa dam mingħajr xkiel, madankollu, minħabba li s-soluzzjonijiet kienu faċli biex jiġu kkontrollati. Netflix jista 'biss ikollu kompjuter iqabbel il-klassifikazzjonijiet imbassra mal-klassifikazzjonijiet miżmuma bl-użu ta' metrika speċifikata minn qabel (il-metrika partikolari li użaw kienet l-għerq kwadrat tal-iżball kwadrat medju). Kienet din il-ħila li tevalwa malajr soluzzjonijiet li ppermettew lil Netflix li taċċetta soluzzjonijiet minn kulħadd, li rriżultaw li huma importanti minħabba li l-ideat tajbin ġew minn xi postijiet sorprendenti. Fil-fatt, is-soluzzjoni rebbieħa ġiet sottomessa minn tim mibdi minn tliet riċerkaturi li ma kellhomx esperjenza ta 'bini preċedenti ta' sistemi ta 'rakkomandazzjoni tal-films (Bell, Koren, and Volinsky 2010) .

Aspett wieħed sabiħ tal-Premju Netflix huwa li ppermetta li s-soluzzjonijiet proposti kollha jiġu evalwati b'mod ġust. Jiġifieri, meta n-nies ittellgħu l-klassifikazzjonijiet imbassra tagħhom, ma kellhomx għalfejn itellgħu l-kredenzjali akkademiċi tagħhom, l-età, ir-razza, is-sess, l-orjentazzjoni sesswali tagħhom jew xi ħaġa dwarhom infushom. Il-klassifikazzjonijiet imbassra ta 'professur famuż minn Stanford kienu trattati eżattament l-istess bħal dawk minn żagħżugħ fil-kamra tas-sodda tagħha. Sfortunatament, dan mhux veru fil-biċċa l-kbira tar-riċerka soċjali. Jiġifieri, għall-biċċa l-kbira tar-riċerka soċjali, l-evalwazzjoni tieħu ħafna ħin u tkun parzjalment suġġettiva. Għalhekk, ħafna mill-ideat ta 'riċerka qatt ma jiġu evalwati b'mod serju, u meta jiġu evalwati l-ideat, huwa diffiċli li jinqalgħu dawk l-evalwazzjonijiet mill-kreatur tal-ideat. Il-proġetti ta 'sejħiet miftuħa, min-naħa l-oħra, għandhom evalwazzjoni ġusta u faċli biex ikunu jistgħu jiskopru ideat li jistgħu jintilfu mod ieħor.

Per eżempju, f'xi punt matul il-Premju Netflix, xi ħadd bl-isem tal-iskrin Simon Funk staqsa fuq il-blog tiegħu soluzzjoni proposta bbażata fuq dekompożizzjoni ta 'valur singular, approċċ minn alġebra lineari li ma kinitx ġiet użata qabel minn parteċipanti oħra. Il-blog post ta 'Funk kien fl-istess ħin tekniku u weirdly informali. Kienet din il-blog post li tiddeskrivi soluzzjoni tajba jew kienet ħela ta 'ħin? Barra l-proġett ta 'sejħa miftuħa, is-soluzzjoni qatt ma rċeviet evalwazzjoni serja. Wara kollox, Simon Funk ma kienx professur fl-MIT; huwa kien żviluppatur ta 'softwer li, dak iż-żmien, kien qed (Piatetsky 2007) madwar in-New Zealand (Piatetsky 2007) . Li kieku bagħat din l-idea lil inġinier f'Netflix, kważi ċertament ma kienx jinqara.

Fortunatament, minħabba li l-kriterji ta 'evalwazzjoni kienu ċari u faċli biex jiġu applikati, il-klassifikazzjonijiet imbassra tiegħu ġew evalwati, u kien istantanjament ċar li l-approċċ tiegħu kien qawwi ħafna: huwa spara għal-raba' post fil-kompetizzjoni, riżultat tremend minħabba li timijiet oħra kienu diġà ġew xogħol għal xhur fuq il-problema. Fl-aħħar, partijiet mill-approċċ tiegħu kienu użati minn kważi l-kompetituri serji kollha (Bell, Koren, and Volinsky 2010) .

Il-fatt li Simon Funk għażel li jikteb blog post fejn spjega l-approċċ tiegħu, aktar milli jipprova jżommha sigrieta, juri wkoll li ħafna parteċipanti fil-Premju Netflix ma kinux motivati ​​esklussivament mill-premju ta 'miljun dollaru. Pjuttost, ħafna parteċipanti dehru wkoll li jgawdu l-isfida intellettwali u l-komunità li żviluppaw madwar il-problema (Thompson 2008) , sentimenti li nistenna ħafna riċerkaturi jistgħu jifhmu.

Il-Premju Netflix huwa eżempju klassiku ta 'sejħa miftuħa. Netflix qajjem mistoqsija b'għan speċifiku (tbassir ta 'klassifikazzjonijiet tal-films) u soluzzjonijiet solleċitati minn ħafna nies. Netflix kien kapaċi jevalwa dawn is-soluzzjonijiet kollha minħabba li kienu eħfef biex jiċċekkjaw milli joħolqu, u fl-aħħarnett Netflix qabad l-aħjar soluzzjoni. Sussegwentement, ser nuri kif dan l-istess approċċ jista 'jintuża fil-bijoloġija u l-liġi, u mingħajr premju ta' miljun dollaru.