5.3.1 Netflix-palkinto

Netflix-palkinto käyttää avoimen ennustaa, elokuvia ihmiset haluavat.

Tunnetuin avoin projekti on Netflix-palkinto. Netflix on online-elokuvien vuokrausyhtiö, ja vuonna 2000 se käynnisti Cinematchin, joka suosittelee elokuvia asiakkaille. Esimerkiksi Cinematch saattaa huomata, että pidit Tähtien sota ja Imperiumin hyökkäys takaisin ja suosittelette sitten katsomaan jedien paluuta . Aluksi Cinematch toimi huonosti. Mutta monien vuosien ajan se jatkoi parantamaan kykyään ennustaa, mitä elokuvat asiakkaat nauttisivat. Vuoteen 2006 mennessä Cinematchin edistyminen oli kuitenkin tasaantunut. Netflixin tutkijat olivat yrittäneet melkein kaiken, mitä he voisivat ajatella, mutta samaan aikaan he epäilivät, että oli olemassa muita ideoita, jotka voisivat auttaa heitä parantamaan järjestelmää. Niinpä he keksivät sen, mikä oli tuolloin radikaali ratkaisu: avoin puhelu.

Kriittinen Netflix-palkinnon mahdolliselle menestykselle oli avoimen puhelun suunnitteleminen ja tämä malli on tärkeä oppitunti siitä, miten avoimia puheluita voidaan käyttää sosiaaliseen tutkimukseen. Netflix ei pelkästään laittanut ideoiden äärirakenteista pyyntöä, mitä monet ihmiset kuvittelevat, kun he ensin pitävät avointa puhelua. Pikemminkin Netflix oli selkeä ongelma yksinkertaisen arviointimenettelyn avulla: he haastattelivat ihmisiä käyttämään 100 miljoonan elokuvan luokitusta ennustaakseen 3 miljoonan pätemättömän luokituksen (arviot, jotka käyttäjät olivat tehneet, mutta Netflix ei julkaissut). Ensimmäinen henkilö, joka loi algoritmia, joka ennusti 3 miljoonan positiivisen arvion 10% parempi kuin Cinematch, voitti miljoona dollaria. Tämä selkeä ja helppokäyttöinen arviointimenettely - verrataan ennustettuja luokituksia ja tasoitettuja luokituksia - tarkoitti, että Netflix-palkinto oli kehystetty siten, että ratkaisuja oli helpompi tarkistaa kuin luoda; se kääntyi haasteeksi Cinematchin parantamiseksi avoimeen puheluun sopivaksi ongelmaksi.

Lokakuussa 2006 Netflix julkaisi tietokannan, joka sisälsi 100 miljoonaa elokuvan arvostelua noin 500 000 asiakkaasta (tarkastelemme tietolähteen tietosuojaa luvussa 6). Netflix-tiedot voidaan kuvitella valtavaksi matriisiksi, joka on noin 500 000 asiakasta 20 000 elokuvassa. Tämän matriisin sisällä oli noin 100 miljoonaa arviota asteikolla 1-5 tähteä (taulukko 5.2). Haasteena oli käyttää havaittuja tietoja matriisissa ennustamaan 3 miljoonan positiivisen arvosanan.

Tutkijat ja hakkerit ympäri maailmaa kiinnostuivat haasteeseen, ja vuoteen 2008 mennessä se työskenteli yli 30 000 ihmisellä (Thompson 2008) . Kilpailun aikana Netflix sai yli 40 000 ehdotettua ratkaisua yli 5000 joukkueesta (Netflix 2009) . Ilmeisesti Netflix ei voinut lukea ja ymmärtää kaikkia näitä ehdotettuja ratkaisuja. Koko asia sujui kuitenkin sujuvasti, koska ratkaisuja oli helppo tarkistaa. Netflixillä voi olla vain tietokone, jonka avulla vertaillaan ennustettuja luokituksia luokitelluilla luokituksilla ennalta määritellyllä metrillä (tietyn metrijärjestelmän käyttäminen oli keskimääräisen neliövirheen neliöjuuri). Se kykeni arvioimaan nopeasti ratkaisuja, jotka sallivat Netflixin hyväksyä kaikkiin ratkaisuihin, mikä osoittautui tärkeäksi, koska hyviä ideoita tuli eräiltä yllättäviltä paikoilta. Itse asiassa voittajana oli kolmen tutkijan aloittanut tiimi, jolla ei ollut aiempaa kokemusta elokuvan suositusjärjestelmistä (Bell, Koren, and Volinsky 2010) .

Yksi erinomainen näkökohta Netflix-palkinnosta on se, että se mahdollisti kaikki ehdotetut ratkaisut arvioitavaksi oikeudenmukaisesti. Eli kun ihmiset lähettivät ennustetut luokituksensa, heidän ei tarvinnut lähettää akateemisia oikeuksiaan, ikäään, rotuaan, sukupuoltaan, seksuaalista suuntautumistaan ​​tai mitään itsestään. Stanfordin kuuluisan professorin ennustetut luokitukset käsiteltiin täsmälleen samoilla kuin teini-ikäiset hänen makuuhuoneessaan. Valitettavasti tämä ei ole totta useimmissa yhteiskunnallisissa tutkimuksissa. Eli useimmissa yhteiskunnallisissa tutkimuksissa arviointi on erittäin aikaa vievää ja osittain subjektiivista. Niinpä useimmat tutkimusideoita ei koskaan arvioida vakavasti, ja kun ideoita arvioidaan, näiden arvioiden on vaikea erottaa ideoiden luojasta. Avoimet puheluprojektit ovat toisaalta helppokäyttöisiä ja oikeudenmukaisia, jotta he voivat löytää ideoita, jotka jäävät muutoin.

Esimerkiksi yhdestä pisteestä Netflix-palkinnon aikana joku, jolla on näyttönimeä Simon Funk, lähetti blogissaan ehdotetun ratkaisun, joka perustuu yksikköarvon hajoamiseen, lähestymistapa lineaarisesta algebrasta, jota muut osallistujat eivät olleet aiemmin käyttäneet. Funkin blogikirjoitus oli samanaikaisesti tekninen ja outo epävirallinen. Oliko tämä blogikirjaus kuvaa hyvää ratkaisua vai onko se ajanhukkaa? Avoimen puhelun projektin ulkopuolelle ratkaisu ei olisi koskaan saanut vakavaa arviointia. Loppujen lopuksi Simon Funk ei ollut MIT: n professori; hän oli ohjelmistokehittäjä, joka tuolloin oli retkeilemässä Uuden-Seelannin ympärillä (Piatetsky 2007) . Jos hän olisi lähettänyt tämän idean Netflixin insinöörille, sitä ei varmasti olisi lukenut.

Onneksi, koska arviointikriteerit olivat selkeät ja helppokäyttöiset, hänen arvioituaan arvosanat arvioitiin ja oli heti selvää, että hänen lähestymisensä oli erittäin voimakas: hän nousi neljänneksi kilpailuun, mikä oli valtava tulos, kun muut joukkueet olivat jo olleet työskentelee kuukausia ongelmasta. Loppujen lopuksi käytettiin lähes kaikkia vakavia kilpailijoita (Bell, Koren, and Volinsky 2010) .

Se, että Simon Funk päätti kirjoittaa blogikirjoituksen selittäen hänen lähestymistapaansa sen sijaan, että yrittäisi pitää sitä salassa, osoittaa myös, että monet Netflix-palkinnon osanottajat eivät olleet yksinomaan motivoituneita miljoonan dollarin palkinnosta. Pikemminkin monet osallistujat näyttivät nauttivan myös henkisestä haasteesta ja yhteisöstä, joka kehitti ongelman (Thompson 2008) , tunteita, joita odotan, että monet tutkijat voivat ymmärtää.

Netflix-palkinto on klassinen esimerkki avoimesta puhelusta. Netflix esitti kysymyksen, jolla oli tietty tavoite (ennustamalla elokuvakilpailuja) ja haastatteli ratkaisuja monilta ihmisiltä. Netflix pystyi arvioimaan kaikkia näitä ratkaisuja, koska ne oli helpompi tarkistaa kuin luoda, ja lopulta Netflix valitsi parhaan ratkaisun. Seuraavaksi näytän, kuinka tätä samaa lähestymistapaa voidaan käyttää biologiassa ja laissa ja ilman miljoonan dollarin palkintoa.