5.3.1 "Netflix" premijos

Netflix premija naudoja atvirą kvietimą nuspėti, kurios filmus žmonės patinka.

Labiausiai žinomas atviro konkurso projektas - "Netflix" premija. "Netflix" yra internetinė filmų nuomos kompanija, o 2000 m. Ji pradėjo "Cinematch" - klientams rekomenduoti filmus. Pavyzdžiui, "Cinematch" gali pastebėti, kad jums patiko " Žvaigždžių karai" ir " The Empire Strikes Back", o tada rekomenduoju žiūrėti "Jedi" sugrįžti . Iš pradžių "Cinematch" dirbo blogai. Tačiau per daugelį metų ji toliau gerino savo sugebėjimą nuspėti, kokius filmus patirs klientai. Tačiau iki 2006 m. "Cinematch" pasiekta pažanga. "Netflix" tyrėjai išbandė beveik viską, ką galėjo galvoti, tačiau tuo pačiu metu jie įtarė, kad yra ir kitų idėjų, kurios galėtų padėti jiems tobulinti savo sistemą. Taigi jie sugalvojo tai, kas tuo metu buvo radikalus sprendimas: atviras pokalbis.

Svarbus galimas "Netflix" premijos sėkmė buvo tai, kaip buvo sukurtas atviras pokalbis, ir šis dizainas turi svarbių pamokų, kaip atvirus skambučius galima naudoti socialiniams tyrimams. "Netflix" ne tik išleido nestruktūruotą idėjų užklausą, tai yra tai, ką daugelis žmonių įsivaizduoja, kai pirmą kartą svarsto atvirą pokalbį. Vietoj to, "Netflix" susidūrė su aiškia problema dėl paprasto įvertinimo procedūros: jie skundėsi žmonėms naudoti 100 milijonų filmų reitingų rinkinį, kad prognozuotų 3 milijonus pratęstų reitingų (naudotojų atliktų reitingų, bet Netflix nepaskelbė). Pirmasis asmuo, kuris sukūrė algoritmą, kuris prognozavo, kad 3 milijonai išdalintų reitingų 10% geresni už Cinematch, laimėtų milijoną dolerių. Ši aiški ir lengvai pritaikoma vertinimo procedūra, lyginant numatytus reitingus su pratęstu reitingais, reiškia, kad "Netflix" premija buvo suprojektuota taip, kad sprendimus būtų lengviau patikrinti nei generuoti; tai pavyko pagerinti "Cinematch" problemą, tinkamą atviram kvietimui.

2006 m. Spalio mėn. "Netflix" išleido duomenų rinkinį, kuriame yra 100 milijonų filmų reitingų iš maždaug 500 000 klientų (šio skirsnio 6 skyriuje aptariami šio duomenų išleidimo privatumo aspektai). "Netflix" duomenys gali būti suprantami kaip didžiulė matrica, kurioje yra maždaug 500 000 klientų, per 20 000 filmų. Pagal šią matricą skalėje nuo vieno iki penkių žvaigždučių buvo vertinama apie 100 milijonų (5.2 lentelė). Uždavinys buvo panaudoti stebimus duomenis matricoje, kad būtų galima numatyti 3 mln. Išreikštų reitingų.

Tyrėjai ir įsilaužėliai visame pasaulyje atkreipė dėmesį į šį iššūkį, o iki 2008 m. Joje dirbo daugiau nei 30 000 žmonių (Thompson 2008) . Per konkursą "Netflix" gavo daugiau nei 40 000 siūlomų sprendimų iš daugiau nei 5000 komandų (Netflix 2009) . Akivaizdu, kad "Netflix" negalėjo perskaityti ir suprasti visų šių siūlomų sprendimų. Tačiau viskas vyko sklandžiai, nes sprendimus lengva patikrinti. "Netflix" gali tik kompiuterį palyginti numatytus reitingus su iš anksto nustatytais reitingais, naudodamas iš anksto nustatytą metriką (konkreti metrika, kurią jie naudojo, buvo kvadratinė šaknies vidurkio kvadrato klaida). Tai buvo tas gebėjimas greitai įvertinti sprendimus, leidusius "Netflix" priimti sprendimus iš visų, kurie pasirodė esą svarbūs, nes geros idėjos atsirado dėl nenuoseklių vietų. Iš tiesų laimėjantį sprendimą pateikė komanda, kurią pradėjo trys tyrinėtojai, neturėję ankstesnės patirties kuriant filmų rekomendacijų sistemas (Bell, Koren, and Volinsky 2010) .

Vienas gražus Netflix premijos aspektas yra tai, kad jis leido teisingai įvertinti visus siūlomus sprendimus. Tai reiškia, kad žmonės įkėlė numatytus įvertinimus, todėl jiems nereikėjo įkelti akademinių įgaliojimų, jų amžiaus, rasės, lyties, seksualinės orientacijos ar nieko apie save. Stenfordo garsaus profesoriaus numatytieji vertinimai buvo tokie patys, kaip ir paauglys miegamajame. Deja, tai nėra tiesa daugumoje socialinių tyrimų. Tai reiškia, kad daugumoje socialinių tyrimų vertinimas yra labai daug laiko ir iš dalies subjektyvus. Taigi dauguma mokslinių tyrimų idėjų niekada nėra rimtai įvertintos, o kai vertinamos idėjos, sunku atmesti tuos vertinimus iš idėjų kūrėjo. Kita vertus, atvirų skambučių projektai turi lengvą ir sąžiningą vertinimą, kad jie galėtų atrasti idėjas, kurių kitaip nebūtų.

Pavyzdžiui, "Netflix" premijos metu vienas asmuo, turintis ekrano pavadinimą Simon Funk, savo dienoraštyje paskelbė siūlomą sprendimą, pagrįstą ypatingo dydžio skilimu, linijinės algebros požiūriu, kurio anksčiau anksčiau nebuvo naudoję kiti dalyviai. Funk'o tinklaraščio įrašas tuo pačiu metu buvo techninis ir keistas neoficialus. Ar šis tinklaraščio įrašas apibūdino gerą sprendimą ar tai buvo laiko švaistymas? Už atviro skambučio projekto ribų sprendimas galbūt niekada nebuvo rimtai įvertinamas. Galų gale, Simonas Funkas nebuvo MIT profesorius; jis buvo programinės įrangos kūrėjas, kuris tuo metu buvo "Backpacking" aplink Naująją Zelandiją (Piatetsky 2007) . Jei jis išsiųstų šią idėją į "Netflix" inžinierių, tai beveik neabejotinai nebūtų perskaitytas.

Laimei, nes vertinimo kriterijai buvo aiškūs ir lengvai taikomi, jo prognozuojami įvertinimai buvo įvertinti, ir iš karto aiškiai matyti, kad jo požiūris buvo labai galingas: jis pakilo į ketvirtą vietą varžybose - didžiulis rezultatas, nes kitos komandos jau buvo dirbti mėnesius dėl problemos. Galų gale jo požiūris buvo naudojamas beveik visų rimtų konkurentų (Bell, Koren, and Volinsky 2010) .

Tai, kad Simonas Funk nusprendė parašyti tinklaraščio pranešimą, paaiškindamas savo požiūrį, o ne bandydamas jį slaptai laikyti, taip pat rodo, kad daugelis "Netflix" premijos dalyvių nebuvo išimtinai motyvuoti milijono dolerių premija. Atvirkščiai, daugeliui dalyvių, atrodo, buvo ir intelekto iššūkis, ir bendruomenė, kuri išsivystė apie problemą (Thompson 2008) , jausmai, kuriuos, mano manymu, daugelis mokslininkų supranta.

"Netflix" premija yra klasikinis atviro pokalbio pavyzdys. "Netflix" iškėlė klausimą su konkrečiu tikslu (prognozuojant filmų reitingus) ir daugelio žmonių reikalaujamus sprendimus. "Netflix" galėjo įvertinti visus šiuos sprendimus, nes juos lengviau patikrinti nei sukurti, o galiausiai "Netflix" pasirinko geriausią sprendimą. Tada aš jums parodysiu, kaip tas pats metodas gali būti naudojamas biologijoje ir teisėje, be milijono dolerių prizo.