5.3.1 Netflix-palkinto

Netflix-palkinto käyttää avoimen ennustaa, elokuvia ihmiset haluavat.

Tunnetuimpia avoimen projekti on Netflix-palkinto. Netflix on online-elokuvan vuokraus yritys, ja vuonna 2000 se käynnisti Cinematch, palvelu suositella elokuvia asiakkaille. Esimerkiksi Cinematch saattavat huomata, että pidit Star Wars ja Empire Strikes Back ja sitten suositeltavaa katsella Jedin paluu. Aluksi Cinematch toimi huonosti. Mutta aikana monta vuotta, Cinematch parani edelleen sen kyky ennustaa mitä elokuvia asiakkaat nauttivat. Vuoteen 2006 mennessä kuitenkin edistytty Cinematch tasaantui. Tutkijat Netflixillä oli yrittänyt aika paljon kaikkea he voisivat ajatella, mutta samaan aikaan he epäillään, että oli muita ajatuksia, jotka voivat auttaa heitä parantamaan järjestelmän. Niinpä he keksivät mitä oli tuolloin, radikaalin ratkaisun: avoimen.

Kriittinen lopulta menestys Netflix palkinnon oli miten avoimeen suunniteltiin, ja tämä muotoilu on tärkeä oppia kuinka avoin puhelut voidaan käyttää yhteiskunnallisen tutkimuksen. Netflix ei vain laittaa ulos jäsentymätön pyynnön ideoita, joka on mitä monet ihmiset kuvitella, kun he ensin harkittava avoimen. Pikemminkin Netflix aiheutti selvän ongelma yksinkertaisella arviointikriteerit: he haastoi ihmisiä käyttää joukko 100 miljoonan elokuvan luokitukset ennustaa 3 miljoonaa pidettävät out luokitukset (luokitukset että käyttäjät olivat tehneet mutta Netflix ei vapauta). Jokainen, joka voisi luoda algoritmi, joka voisi ennustaa 3 miljoonaa pidettävät out arviota 10% parempi kuin Cinematch voittaisi 1 miljoona dollaria. Tämä selkeä ja helppo soveltaa arviointiperusteita-verrataan ennustettu luokitukset pidettävät out luokitukset-tarkoitti sitä, että Netflix-palkinto oli kehystetty siten, että ratkaisut ovat helpompia tarkastaa kuin tuottaa; se kääntyi parantamisen haasteeseen Cinematch osaksi ongelma soveltuu avoimen.

Vuoden 2006 lokakuussa, Netflix julkaisi aineisto, joka sisältää 100 miljoonan arvostelun joukkoon noin noin 500000 asiakasta (harkitsemme yksityisyyden vaikutuksia tällä tietojen julkaisu luku 6). Netflix data voidaan käsitteellistää valtava matriisin, joka on noin 500.000 asiakasta 20000 elokuvia. Tässä matriisi oli noin 100 miljoonaa luokitukset asteikolla 1-5 tähteä (taulukko 5.2). Haasteena oli käyttää havaitun datan matriisin ennustaa 3 miljoonaa pidettävät out luokitukset.

Tutkijat ja hakkerit ympäri maailmaa vedettiin haasteeseen, ja vuoteen 2008 mennessä yli 30000 ihmistä työtä sen (Thompson 2008) . Aikana kilpailun, Netflix sai yli 40000 ehdotetut ratkaisut yli 5000 joukkuetta (Netflix 2009) . On selvää, Netflix voinut lukea ja ymmärtää nämä ehdotetut ratkaisut. Koko asia sujui hyvin, mutta koska ratkaisut oli helppo tarkistaa. Netflix voisi vain olla tietokone vertaa ennustettua luokituksia pidetään-out luokituslaitosten ennalta määritetyn metrinen (erityisesti metrinen he käyttivät oli neliöjuuri keskimääräisen-squared error). Juuri tämä kyky nopeasti arvioida ratkaisuja, jotka mahdollistivat Netflix hyväksymään ratkaisuja kaikille, joka osoittautui olevan tärkeä, koska hyviä ideoita tuli yllättäviä paikkoja. Itse asiassa voittaa liuos esittämä ryhmä aloitti kolme tutkijaa, jolla ei ollut aiempaa kokemusta rakennus elokuva suositus järjestelmien (Bell, Koren, and Volinsky 2010) .

Yksi kaunis näkökohta Netflix-palkinto on, että se mahdollisti jokainen maailmassa on niiden ratkaisu arvioida oikeudenmukaisesti. Kun ihmiset latasi ennakoiduista luokitukset, he eivät tarvitse ladata heidän akateemisista, iästä, rodusta, sukupuolesta, seksuaalisesta suuntautumisesta, tai mitään itsestään. Siten ennustettu luokitukset kuuluisan professori Stanfordin hoidettiin täsmälleen sama kuin niillä, teini hänen makuuhuoneessa. Valitettavasti tämä ei ole totta useimmissa sosiaalista tutkimusta. Eli useimmille sosiaalinen tutkimus, arviointi on hyvin aikaa vievää ja osittain subjektiivista. Joten, suurin osa tutkimus ideat eivät koskaan vakavasti arvioidaan, ja kun ideoita arvioidaan, on vaikea irrottaa nämä arviot luoja ideoita. Koska ratkaisut ovat helppo tarkistaa, avoimia puhelut mahdollistavat tutkijoilla on käytettävissään kaikki potentiaalisesti loistava ratkaisuja, jotka jäisivät huomaamatta, jos ne vain katsotaan ratkaisuja kuuluisasta professorit.

Esimerkiksi yhdessä vaiheessa Netflix-palkinto joku nimimerkillä Simon Funk lähetetty hänen blogi ehdotetun ratkaisun, joka perustuu singulaariarvohajotelma, lähestyminen lineaarialgebra joka ei ollut käytetty aikaisemmin muut osallistujat. Funk blogikirjoitus oli samanaikaisesti teknisten ja weirdly epävirallisia. Oliko tämä blogikirjoitus kuvataan hyvä ratkaisu vai oliko se ajanhukkaa? Ulkopuolella avoimen projekti, ratkaisu ehkä koskaan saanut vakavia arviointi. Loppujen Simon Funk ei ollut professorina Cal Tech tai MIT; hän oli ohjelmistokehittäjä, joka tuolloin oli backpacking noin Uusi-Seelanti (Piatetsky 2007) . Jos hän olisi lähetetään tämän ajatuksen insinööri Netflix, se lähes varmasti ei olisi otettu vakavasti.

Onneksi koska arviointikriteerit olivat selkeitä ja helppo levittää, hänen ennustettu luokitukset arvioitiin, ja se oli heti selvää, että hänen lähestymistapa oli hyvin voimakas: hän raketin neljäs sija kilpailussa, valtava tulos, koska muiden ryhmien oli jo työskentelevät kuukausia ongelmaan. Lopulta osat Simon Funk lähestymistapa käytti lähes kaikki vakavia kilpailijoita (Bell, Koren, and Volinsky 2010) .

Se, että Simon Funk päätti kirjoittaa blogikirjoitus selittää hänen lähestymistapa, eikä yrittää pitää sen salassa, osoittaa myös, että monet osallistujat Netflix-palkinto eivät yksinomaan motivoi miljoonan dollarin palkinnon. Pikemminkin monet osallistujat myös näytti nauttivan älyllinen haaste ja yhteisö jotka ympärille ongelman (Thompson 2008) , tunteet, odotan monet tutkijat voivat ymmärtää.

Netflix-palkinto on klassinen esimerkki avoimen. Netflix aiheutti kysymys, jolla on erityinen tavoite (ennustamiseen arvostelun joukkoon) ja pyytävät ratkaisuja monia ihmisiä. Netflix pystyi arvioimaan kaikkia näitä ratkaisuja, koska ne oli helpompi tarkistaa kuin luoda, ja lopulta Netflix poimitaan paras ratkaisu. Seuraavaksi näytän sinulle, miten tätä samaa lähestymistapaa voidaan käyttää biologian ja oikeudessa.