5.3.1 Netflix balva

Netflix balva izmanto atklātu uzaicinājumu prognozēt, kuras filmas cilvēkiem patiks.

Vispazīstamākais atklāta konkursa projekta ir Netflix balva. Netflix ir tiešsaistes filmu nomas uzņēmums, un 2000. gadā tā uzsāka Cinematch, pakalpojumu ieteikt filmas klientiem. Piemēram, Cinematch varētu paziņojums, ka jums patika Star Wars un Impērija dod atbildes triecienu, un tad iesakām noskatīties atgriešanās Jedi. Sākotnēji Cinematch strādāja slikti. Bet gaitā daudzu gadu garumā, Cinematch turpināja uzlabot savu spēju paredzēt, ko filmas klienti varētu baudīt. Līdz 2006. gadam, tomēr progress Cinematch apstājās. Pētnieki Netflix bija mēģinājis diezgan daudz visu, ko viņi varētu iedomāties, bet tajā pašā laikā, viņi ir aizdomas, ka tur bija citas idejas, kas varētu palīdzēt viņiem uzlabot savu sistēmu. Tādējādi, viņi nāca klajā ar to, kas bija tajā laikā, radikālu risinājumu: atklātu konkursu.

Kritiski iespējamo panākumu Netflix balvas bija kā atklāts aicinājums tika izstrādāta, un šis dizains ir svarīgas mācības par to, kā atklāta zvanus var izmantot sociāliem pētījumiem. Netflix nav tikai izbāzt nestrukturētām pieprasījumu idejas, kas ir tas, ko daudzi cilvēki iedomāties, kad tie pirmo reizi apsvērt atklātu konkursu. Drīzāk, Netflix rada skaidru problēmas ar vienkāršu vērtēšanas kritērijiem: tie apstrīdēti cilvēkus izmantot kopumu 100 miljonu filmu vērtējumiem prognozēt 3 miljoni turētos-out reitingi (reitingu, ka lietotājiem ir izgatavoti, bet Netflix nav atbrīvot). Ikviens, kas varētu radīt algoritmu, kas varētu prognozēt 3 miljonus turētos-out reitingu 10% labāk nekā Cinematch varētu uzvarēt 1 miljonu dolāru. Tas skaidri un viegli piemērot vērtēšanas kritērijiem, salīdzinot prognozēts reitingus turēto-out vērtējumiem-nozīmēja, ka Netflix balva tika formulēta tādā veidā, ka risinājumi ir vieglāk pārbaudīt nekā radīt; izrādījās izaicinājumu uzlabot Cinematch stājas problēmu piemērota atklāta uzaicinājuma.

Oktobrī 2006, Netflix atbrīvo datu kopu, kurā ir 100 miljoni filmu vērtējumi no apmēram par 500000 klientiem (mēs aplūkošu šo datu izplatīšanu privātuma 6. nodaļā). Netflix datus var uztvert kā milzīgs matricu, kas ir aptuveni 500,000 klienti, ar 20000 filmas. Šajā matricā, bija apmēram 100000000 vērtējumiem skalā no 1 līdz 5 zvaigznēm (5.2 tabula). Uzdevums bija izmantot novērotos datus matricā prognozēt 3 miljoni turētos-out reitingu.

Pētnieki un hakeri visā pasaulē tika vērsta uz problēmu, un līdz 2008. gadam vairāk nekā 30000 cilvēku strādāja pie tā (Thompson 2008) . Laika gaitā konkurss, Netflix saņemti vairāk nekā 40000 piedāvātos risinājumus no vairāk nekā 5000 komandas (Netflix 2009) . Acīmredzot, Netflix nespēja lasīt un saprast visus šos ierosinātos risinājumus. Viss noritēja gludi, tomēr, jo risinājumi ir viegli pārbaudīt. Netflix varētu vienkārši ir dators salīdzināt prognozēto reitingus turētajiem-out vērtējumiem ar iepriekš noteiktu metrisko (konkrētajā metrisko viņi izmanto bija kvadrātsakne no vidējā kvadrātā kļūda). Tas bija šī spēja ātri novērtēt risinājumus, kas ļāva Netflix pieņemt risinājumus no visiem, kas izrādījās svarīgi, jo labas idejas nāca no dažiem pārsteidzošiem vietām. Faktiski, uzvarot risinājums tika iesniegts ar komandu uzsāka trīs pētnieki, ka nebija nekādas iepriekšējas pieredzes ēku filma ieteikums sistēmas (Bell, Koren, and Volinsky 2010) .

Viena skaista aspekts Netflix balva ir tā, ka tas ļāva ikvienam visā pasaulē, ka viņu risinājums novērtēts godīgi. Kad cilvēki augšupielādēt to paredzamo reitingus, viņiem nav nepieciešams augšupielādēt savus akadēmiskos akreditācijas, to vecumu, rasi, dzimumu, seksuālo orientāciju, vai kaut ko par sevi. Tādējādi paredzams reitingi slavenā profesora no Stenfordas ārstēja tieši tādi paši kā tie, no pusaudzis viņas guļamistabā. Diemžēl, tas nav taisnība lielākajā daļā sociālajos pētījumos. Tas ir, lielākā daļa sociālo pētījumu, vērtēšana ir ļoti laikietilpīgs un daļēji subjektīvs. Tātad, lielākā daļa pētniecības idejas nekad nopietni izvērtēti, un tad, kad idejas tiek vērtētas, ir grūti atdalīt šos novērtējumus no radītāja idejām. Jo risinājumi ir viegli pārbaudīt, atvērt zvanus ļauj pētniekiem, lai piekļūtu visām potenciāli brīnišķīgi risinājumus, kas ietilpst caur plaisām, ja viņi tikai uzskatīts risinājumus no slavenā profesoriem.

Piemēram, vienā brīdī no Netflix balvas kāds ar segvārdu laikā Simon Funk ievietojis savā blogā ierosināto risinājumu, pamatojoties uz vienskaitļa vērtības sadalīšanās, pieeja no lineārā algebra, kas netika izmantota iepriekš ar citiem dalībniekiem. Funk blogs post bija vienlaicīgi tehnisko un weirdly neformāla. Tika šo emuāru post apraksta labu risinājumu vai tas bija laika izšķiešana? Ārpus atklāta konkursa projekta, risinājums varētu nekad nav saņēmuši nopietnu izvērtējumu. Galu galā Simon Funk nebija profesors Cal Tech vai MIT; viņš bija programmatūras izstrādātājs, kas, tajā laikā, bija ar mugursomām apkārt Jaunzēlandē (Piatetsky 2007) . Ja viņš bija sūtīts šo ideju, lai inženieri Netflix, tas gandrīz noteikti nebūtu jāuztver nopietni.

Par laimi, jo vērtēšanas kritēriji ir skaidri un viegli piemērot, tika vērtēta viņa paredzams vērtējumiem, un tas bija uzreiz skaidrs, ka viņa pieeja bija ļoti spēcīgs: viņš strauji uz ceturto vietu konkursā, milzīgs rezultāts, ņemot vērā, ka citas komandas jau bija strādājot mēnešus uz problēmu. Galu galā, daļas Simon Funk pieejas ar gandrīz visiem nopietniem konkurentiem tika izmantoti (Bell, Koren, and Volinsky 2010) .

Fakts, ka Simon Funk izvēlējās rakstīt blog post izskaidro savu pieeju, nevis cenšas to saglabāt noslēpumā, arī parāda, ka daudzi dalībnieki Netflix balvai nebija motivēti vienīgi miljonu dolāru balvu. Drīzāk, daudzi dalībnieki arī šķita baudīt intelektuālo izaicinājumu un sabiedrību, kas izveidojusies ap problēmu (Thompson 2008) , jūtas, ka es ceru, ka daudzi pētnieki var saprast.

Netflix balva ir klasisks piemērs atklāta uzaicinājuma. Netflix rada jautājumu ar konkrētu mērķi (prognozē filmu vērtējumi), un pasūtījis risinājumus no daudziem cilvēkiem. Netflix varēja novērtēt visus šos risinājumus, jo tie bija vieglāk pārbaudīt nekā veidot, un galu galā Netflix paņēma labāko risinājumu. Tālāk, es jums parādīs, kā šo pašu pieeju var izmantot bioloģijas un tiesībās.