5.3.1 Netflix balva

Netflix balva izmanto atklātu uzaicinājumu prognozēt, kuras filmas cilvēkiem patiks.

Vispazīstamākais atklātā konkursa projekts ir Netflix balva. Netflix ir tiešsaistes filmu nomas uzņēmums, un 2000. gadā tā uzsāka "Cinematch" - pakalpojumu, lai ieteiktu filmas klientiem. Piemēram, Cinematch varētu pamanīt, ka jums patika Star Wars un The Empire Strikes Back, un pēc tam iesakām skatīties Return of the Jedi . Sākotnēji Cinematch strādāja slikti. Bet daudzu gadu garumā tā turpināja uzlabot spēju prognozēt, kādas filmas klientiem patiks. Tomēr līdz 2006. gadam Cinematch panākumi bija strauji pieauguši. Netflix pētnieki ir izmēģinājuši gandrīz visu, ko varēja iedomāties, bet tajā pašā laikā viņiem bija aizdomas, ka pastāv arī citas idejas, kas varētu palīdzēt uzlabot viņu sistēmu. Tādējādi viņi nāca klajā ar to, kas tajā laikā bija radikāls risinājums: atklāts zvans.

Netflix balvas iespējamo panākumu kritiskums bija tas, kā tika izveidots atklāts konkurss, un šim projektam ir svarīgas mācības par to, kā atvērtus zvanus var izmantot sociālajiem pētījumiem. Netflix ne tikai izlaidis nestrukturētu ideju pieprasījumu, ko daudzi cilvēki iedomājas, kad viņi pirmo reizi apsver atklātu sarunu. Drīzāk Netflix radīja skaidru problēmu ar vienkāršu novērtēšanas procedūru: tās apstrīdēja, ka cilvēki izmanto 100 miljonu filmu reitingu kopumu, lai prognozētu 3 miljonus pārsniegto reitingu (vērtējumi, ko lietotāji bija veicinājuši, bet Netflix neizlaida). Pirmā persona, kas izveidoja algoritmu, kas paredzēja, ka 3 miljoni pārsniegto reitingu ir par 10% labāki nekā Cinematch, iegūtu miljons dolāru. Šī skaidrā un viegli pielietotā novērtēšanas procedūra - paredzamo reitingu salīdzināšana ar izteiktiem reitingiem - nozīmēja, ka Netflix balva tika veidota tā, ka risinājumus bija vieglāk pārbaudīt nekā radīt; tas pavēra problēmu, uzlabojot Cinematch par problēmu, kas piemērota atklātā sarunā.

2006. gada oktobrī Netflix izlaida datu kopumu, kurā ir 100 miljoni filmu reitingu no apmēram 500 000 klientiem (mēs aplūkosim šī datu izpaušanas konfidencialitāti 6. Nodaļā). Netflix datus var konceptualizēt kā milzīgu matricu, kas ir aptuveni 500 000 klientu ar 20 000 filmu. Šīs matricas skalas no viena līdz piecām zvaigznēm vērtējumu bija apmēram 100 miljoni (5.2. Tabula). Problēma bija izmantot novērotos datus matricā, lai prognozētu 3 miljonus izteikto reitingu.

Izaicinājumam tika pievērsta uzmanība pētniekiem un hakeriem visā pasaulē, un līdz 2008. gadam vairāk nekā 30 000 cilvēku strādāja pie tā (Thompson 2008) . Konkursa laikā Netflix saņēma vairāk nekā 40 000 piedāvātos risinājumus no vairāk nekā 5000 komandām (Netflix 2009) . Acīmredzot, Netflix nevarēja izlasīt un saprast visus šos piedāvātos risinājumus. Tomēr viss noritēja nevainojami, jo risinājumus bija viegli pārbaudīt. Netflix varētu vienkārši datorā salīdzināt paredzētos vērtējumus ar pagarinātajiem vērtējumiem, izmantojot iepriekš noteiktu metriku (konkrētā metrika, ko viņi izmantoja, bija kvadrātsakne no vidējās kvadrātiskās kļūdas). Tā bija šī iespēja ātri novērtēt risinājumus, kas ļāva Netflix pieņemt risinājumus no visiem, kas izrādījās svarīgi, jo labas idejas nāca no dažām pārsteidzošām vietām. Faktiski uzvarošo risinājumu iesniedza komanda, kuru uzsāka trīs pētnieki, kuriem nebija iepriekšējas pieredzes, veidojot filmu ieteikumu sistēmas (Bell, Koren, and Volinsky 2010) .

Viens skaists Netflix balvas aspekts ir tas, ka tas ļāva vispusīgi novērtēt visus piedāvātos risinājumus. Tas nozīmē, ka, kad lietotāji augšupielādēja savus paredzētos vērtējumus, viņiem nebija nepieciešams augšupielādēt savus akadēmiskos akreditācijas datus, viņu vecumu, rasi, dzimumu, seksuālo orientāciju vai neko citu par sevi. Slavenā Stanforda profesora vērtējumi tika pielīdzināti tiem, kas viņas guļamistabā bija pusaudzis. Diemžēl lielākajā daļā sociālo pētījumu tas nav taisnība. Tas nozīmē, ka lielākajai daļai sociālo pētījumu novērtējums ir ļoti laikietilpīgs un daļēji subjektīvs. Tātad vairums pētījumu ideju nekad netiek nopietni novērtētas, un, izvērtējot idejas, no ideju radītāja ir grūti nošķirt šos vērtējumus. No otras puses, atklāta konkursa projektiem ir viegli un taisnīgi novērtēt, lai viņi varētu atrast idejas, kas citādi tiktu izlaistas.

Piemēram, kādā brīdī Netflix balvas laikā kāds ar ekrāna vārdu Simon Funk ievietoja savā emuārā piedāvātos risinājumus, kuru pamatā bija vienskaitļa vērtības sadalīšanās - pieeja no lineārās algebras, kuru citi dalībnieki iepriekš nav izmantojuši. Funk emuāra ziņa bija vienlaikus tehniska un dīvaini neformāla. Vai šis emuāra ziņojums aprakstīja labu risinājumu vai tas bija laika tērps? Ārpus atklātā konkursa projekta risinājums nekad nebūtu varējis nopietni novērtēt. Galu galā, Simons Funk nebija MIT profesors; Viņš bija programmatūras izstrādātājs, kurš tajā laikā bija (Piatetsky 2007) pa Jaunzēlandi (Piatetsky 2007) . Ja viņš to nosūtītu e-pasta vēstulē pie Netflix inženiera, tas gandrīz noteikti nebūtu lasāms.

Par laimi, jo vērtēšanas kritēriji bija skaidri un viegli piemērojami, tika novērtēti viņa paredzētie vērtējumi, un uzreiz bija skaidrs, ka viņa pieeja bija ļoti spēcīga: viņš piecēlās uz ceturto vietu sacensībās, kas bija milzīgs rezultāts, jo citas komandas jau bija strādā mēnešus par problēmu. Galu galā viņa pieejas daļas izmantoja gandrīz visi nopietni konkurenti (Bell, Koren, and Volinsky 2010) .

Fakts, ka Simon Funk izvēlējās rakstīt emuāra ziņu, izskaidrojot savu pieeju, nevis mēģinot to noslēpties, arī parāda, ka daudzi Netflix balvas dalībnieki netika motivēti tikai ar miljonu dolāru balvu. Drīzāk daudzi dalībnieki, šķiet, izbaudīja intelektuālo izaicinājumu un sabiedrību, kas attīstījās ap problēmu (Thompson 2008) , jūtas, kuras es gaidu, ko daudzi pētnieki var saprast.

Netflix balva ir klasisks atklātā konkursa piemērs. Netflix uzdeva jautājumu ar konkrētu mērķi (paredzot filmu vērtējumus) un daudziem cilvēkiem pieprasītus risinājumus. Netflix varēja novērtēt visus šos risinājumus, jo tos bija vieglāk pārbaudīt nekā izveidot, un galu galā Netflix izvēlējās labāko risinājumu. Tālāk es parādīšu, kā šo pašu pieeju var izmantot bioloģijā un tiesībās, kā arī bez miljoniem dolāru balvas.