5.3.1 Netflix Priset

Netflix Priset använder öppen inbjudan att förutsäga vilka filmer människor kommer att gilla.

Det mest kända öppna samtalsprojektet är Netflix-priset. Netflix är ett online-filmuthyrningsföretag, och 2000 lanserades Cinematch, en tjänst för att rekommendera filmer till kunder. Till exempel kan Cinematch märka att du gillade Star Wars och The Empire Strikes Back och sedan rekommendera att du tittar på Jedi Return . Inledningsvis fungerade Cinematch dåligt. Men under många år fortsatte den att förbättra sin förmåga att förutsäga vilka filmer kunderna skulle tycka om. Vid 2006 hade framstegen på Cinematch dock varit plattad. Forskarna på Netflix hade försökt ganska mycket allt de kunde tänka på, men samtidigt misstänkte de att det fanns andra idéer som skulle kunna hjälpa dem att förbättra sitt system. Således kom de fram till vad som då var en radikal lösning: ett öppet samtal.

Kritiskt för Netflixprisets eventuella framgång var hur det öppna samtalet utformades, och denna design har viktiga lektioner för hur öppna samtal kan användas för social forskning. Netflix lade inte bara ut en ostrukturerad begäran om idéer, vilket är vad många människor tänker på när de först överväger ett öppet samtal. I stället ställde Netflix ett tydligt problem med ett enkelt utvärderingsförfarande: de utmanade människor att använda en uppsättning 100 miljoner filmbetyg för att förutsäga 3 miljoner uthyrda betyg (betyg som användarna hade gjort men Netflix släppte inte). Den första personen att skapa en algoritm som förutspådde de 3 miljoner uthyrda betygen 10% bättre än Cinematch skulle vinna en miljon dollar. Detta klara och lätta att tillämpa utvärderingsförfarande - jämför predikterade betyg med uthyrda betyg - medförde att Netflixpriset var inramat på ett sådant sätt att lösningar var enklare att kontrollera än att generera; Det blev utmaningen att förbättra Cinematch till ett problem som passar för ett öppet samtal.

I oktober 2006 släppte Netflix en dataset som innehåller 100 miljoner filmbetyg från cirka 500 000 kunder (vi kommer att överväga sekretessimplikationerna för denna datafrisättning i kapitel 6). Netflix-data kan konceptualiseras som en stor matris som är cirka 500 000 kunder med 20 000 filmer. Inom denna matris fanns det omkring 100 miljoner betyg på en skala från en till fem stjärnor (tabell 5.2). Utmaningen var att använda de observerade data i matrisen för att förutsäga 3 miljoner uthyrda betyg.

Forskare och hackare runt om i världen drabbades av utmaningen, och 2008 arbetade mer än 30 000 personer på den (Thompson 2008) . Under tävlingen fick Netflix mer än 40 000 förslag till lösningar från mer än 5000 lag (Netflix 2009) . Naturflix kunde självklart inte läsa och förstå alla dessa föreslagna lösningar. Hela saken gick emellertid smidigt, eftersom lösningarna var enkla att kontrollera. Netflix kan bara ha en dator jämför de förutspådda värdena med de uthyrda värdena med hjälp av en förutbestämd mätning (den specifika mätvärden de använde var kvadratroten av det genomsnittliga kvadratfelet). Det var denna förmåga att snabbt utvärdera lösningar som gjorde det möjligt för Netflix att acceptera lösningar från alla, vilket visade sig vara viktigt för att bra idéer kom från några överraskande platser. Faktum är att den vinnande lösningen lämnades in av ett team som startades av tre forskare som inte hade tidigare erfarenhet av att bygga filmrekommendationssystem (Bell, Koren, and Volinsky 2010) .

En vacker aspekt av Netflix-priset är att det gjorde det möjligt att utvärdera alla föreslagna lösningar rättvist. Det vill säga när folk laddade upp sina förutsagda betyg, behövde de inte ladda upp sina akademiska uppgifter, deras ålder, ras, kön, sexuell läggning eller något om sig själva. De beräknade betygen från en berömd professor från Stanford behandlades exakt samma som de från en tonåring i hennes sovrum. Tyvärr är det inte sant i de flesta sociala undersökningar. Det vill säga att för de flesta sociala undersökningar är utvärderingen mycket tidskrävande och delvis subjektiv. Så, de flesta forskningsideer utvärderas aldrig seriöst, och när idéer utvärderas är det svårt att ta bort dessa utvärderingar från idéens skapare. Öppna samtalsprojekt, å andra sidan, har enkel och rättvis utvärdering så att de kan upptäcka idéer som annars skulle missa.

Till exempel, på en tidpunkt under Netflixpriset, skrev någon med skärmnamnet Simon Funk på sin blogg en föreslagen lösning baserad på en singulär värde-sönderdelning, en metod från linjär algebra som tidigare inte använts av andra deltagare. Funks bloggpost var samtidigt tekniskt och konstigt informellt. Var det här blogginlägget som beskriver en bra lösning eller var det slöseri med tid? Utanför ett öppet samtalsprojekt kunde lösningen aldrig ha fått allvarlig utvärdering. Tillsammans var Simon Funk inte en professor vid MIT; han var en mjukvaruutvecklare som på den tiden backpackade runt Nya Zeeland (Piatetsky 2007) . Om han hade mailat den här idén till en ingenjör på Netflix, skulle det nästan inte ha blivit läst.

Lyckligtvis, eftersom utvärderingskriterierna var tydliga och lätta att tillämpa, utvärderades hans förutsägda betyg, och det var omedelbart klart att hans tillvägagångssätt var mycket kraftfullt: han raket till fjärde plats i tävlingen, ett enormt resultat med tanke på att andra lag redan hade varit jobbar i flera månader på problemet. Till slut användes delar av hans inställning av nästan alla allvarliga konkurrenter (Bell, Koren, and Volinsky 2010) .

Det faktum att Simon Funk valde att skriva ett blogginlägg som förklarade hans tillvägagångssätt, istället för att försöka hålla det hemligt, visar också att många deltagare i Netflix-priset inte uteslutande motiverades av miljon dollarpriset. Snarare tycktes många deltagare också njuta av den intellektuella utmaningen och det samhälle som utvecklade sig kring problemet (Thompson 2008) , känslor som jag förväntar mig att många forskare kan förstå.

Netflix-priset är ett klassiskt exempel på ett öppet samtal. Netflix ställde en fråga med ett specifikt mål (förutsäga filmbetyg) och efterfrågade lösningar från många människor. Netflix kunde utvärdera alla dessa lösningar eftersom de var enklare att kontrollera än att skapa, och till sist valde Netflix den bästa lösningen. Därefter ska jag visa dig hur samma tillvägagångssätt kan användas i biologi och lag, och utan ett miljon dollar pris.