5.3.1 Netflix-prisen

Netflix Prize bruker åpen samtale for å forutse hvilke filmer folk vil like.

Den mest kjente åpen samtale prosjektet er Netflix Prize. Netflix er en online film rental selskap, og i 2000 lanserte det Cinematch, en tjeneste å anbefale filmer til kundene. For eksempel kan Cinematch merke at du likte Star Wars og Empire Strikes Back, og deretter anbefaler at du ser Return of the Jedi. I utgangspunktet Cinematch fungert dårlig. Men, i løpet av mange år, fortsatte Cinematch å forbedre sin evne til å forutse hvilke filmer kunder vil nyte. Av 2006, men fremgang på Cinematch plateaued. Forskerne ved Netflix hadde prøvd stort sett alt de kunne tenke på, men på samme tid, de mistanke om at det var andre ideer som kan hjelpe dem med å forbedre deres system. Dermed kom de opp med det som var på den tiden, en radikal løsning: en åpen samtale.

Kritisk til eventuell suksess av Netflix-prisen var hvordan den åpne samtalen ble utformet, og denne utformingen har viktige leksjoner for hvor åpne samtaler kan brukes for samfunnsforskning. Netflix ikke bare sette ut en ustrukturert forespørsel om ideer, som er det mange mennesker forestille seg når de først vurdere en åpen samtale. Snarere Netflix stilt et klart problem med en enkel evaluering kriterier: de utfordret folk til å bruke et sett av 100 millioner film karakterer til å forutsi 3 millioner holdt ut karakterer (vurderinger som brukerne hadde gjort, men at Netflix ikke slipp). Alle som kan skape en algoritme som kan forutsi 3 millioner holdt ut karakterer 10% bedre enn Cinematch ville vinne 1 million dollar. Dette tydelig og lett å bruke evalueringskriterier-sammenligne spådd karakterer til holdt ut karakterer-innebar at Netflix Prisen ble rammet på en slik måte at løsninger er lettere å kontrollere enn generere; det viste utfordringen med å forbedre Cinematch inn i et problem som passer for en åpen samtale.

I oktober 2006 lanserte Netflix et datasett som inneholder 100 millioner film rangeringer fra ca 500.000 kunder (vi vil vurdere konsekvensene for personvernet av denne data utgivelsen i kapittel 6). Netflix data kan konseptualiseres som en stor matrise som er ca 500.000 kunder med 20.000 filmer. Innenfor denne matrisen, var det om lag 100 millioner karakterer på en skala fra 1 til 5 stjerner (tabell 5.2). Utfordringen var å bruke de observerte data i matrisen å forutsi de 3 millioner holdt ut karakterer.

Forskere og hackere fra hele verden ble trukket til utfordringen, og etter 2008 mer enn 30.000 mennesker jobber på den (Thompson 2008) . I løpet av konkurransen, fikk Netflix mer enn 40.000 foreslåtte løsninger fra mer enn 5000 lag (Netflix 2009) . Selvfølgelig, Netflix kunne ikke lese og forstå alle disse foreslåtte løsningene. Det hele gikk greit, men fordi løsningene var lett å sjekke. Netflix kan bare ha en datamaskin sammenligne predikerte karakterer til de holdte ut rangeringer av en pre-spesifisert beregning (bestemt metrisk de brukte var kvadratroten av gjennomsnittet-squared error). Det var denne evnen til raskt å vurdere løsninger som gjorde at Netflix til å akseptere løsninger fra alle, som viste seg å være viktig fordi gode ideer kom fra noen overraskende steder. Faktisk var den vinnende løsning levert av et team startet av tre forskere som hadde ingen tidligere erfaring med å bygge filmen anbefalingssystemer (Bell, Koren, and Volinsky 2010) .

En vakker del av Netflix-prisen er at den er aktivert alle i verden til å ha sin løsning evaluert rettferdig. Når folk lastet opp sine spådd karakterer, gjorde de ikke trenger å laste opp sine akademiske bevis, alder, rase, kjønn, seksuell legning, eller noe om seg selv. Dermed ble de antatte rangeringer av en kjent professor fra Stanford behandlet akkurat det samme som de fra en tenåring på soverommet hennes. Dessverre, dette er ikke sant i de fleste samfunnsforskning. Det er, for de fleste samfunnsforskning, er evaluering svært tidkrevende og delvis subjektiv. Så er de fleste forskningsideer aldri seriøst vurdert, og når ideene blir evaluert, er det vanskelig å løsrive disse evalueringene fra skaperen av ideene. Fordi løsninger er lett å kontrollere, åpne samtaler tillate forskere å få tilgang til alle potensielt fantastiske løsninger som ville falle gjennom sprekker hvis de bare vurderes løsninger fra kjente professorer.

For eksempel, på et tidspunkt i løpet av Netflix-prisen noen med skjermnavnet Simon Funk postet på sin blogg et forslag til løsning basert på en singulærverdidekomposisjonen, en tilnærming fra lineær algebra som ikke hadde blitt brukt tidligere av andre deltakere. Funk blogginnlegg var samtidig teknisk og nifs uformell. Var dette blogginnlegget beskriver en god løsning eller var det bortkastet tid? Utenfor en åpen samtale prosjekt, kan løsningen aldri har fått alvorlige evaluering. Tross alt Simon Funk var ikke en professor ved Cal Tech eller MIT; han var en programvareutvikler som, på den tiden, var backpacking rundt New Zealand (Piatetsky 2007) . Hvis han hadde sendt denne ideen til en ingeniør på Netflix, det nesten helt sikkert ikke ville ha blitt tatt på alvor.

Heldigvis fordi evalueringskriteriene var klare og enkle å bruke, ble hans predikerte karakterer evaluert, og det ble umiddelbart klart at hans tilnærming var svært kraftig, han skjøt til fjerdeplass i konkurransen, gitt en enorm resultat at andre lag allerede hadde vært arbeider i flere måneder på problemet. Til slutt ble deler av Simon Funk tilnærming brukes av nesten alle seriøse konkurrenter (Bell, Koren, and Volinsky 2010) .

Det faktum at Simon Funk valgte å skrive et blogginnlegg forklarer sin tilnærming, heller enn å prøve å holde det hemmelig, illustrerer også at mange deltakere i Netflix-prisen ikke var utelukkende motivert av millioner dollar premie. Snarere mange deltakere også så ut til å nyte den intellektuelle utfordringen og samfunnet som utviklet seg rundt problemet (Thompson 2008) , følelser som jeg forventer mange forskere kan forstå.

Netflix-prisen er et klassisk eksempel på en åpen samtale. Netflix stilte et spørsmål med et bestemt mål (forutsi film karakterer) og ønsket løsninger fra mange mennesker. Netflix var i stand til å vurdere alle disse løsningene fordi de var lettere å kontrollere enn å lage, og til slutt Netflix plukket den beste løsningen. Deretter vil jeg vise deg hvordan dette samme tilnærmingen kan brukes i biologi og juss.