5.3.1 Netflix Priset

Netflix Priset använder öppen inbjudan att förutsäga vilka filmer människor kommer att gilla.

Den mest kända öppna samtal projektet är Netflix priset. Netflix är en online film biluthyraren, och år 2000 lanserade Cinematch, en tjänst för att rekommendera filmer till kunder. Till exempel kan Cinematch märker att du gillade Star Wars och Empire Strikes Back och sedan rekommendera att du tittar på Return of the Jedi. Inledningsvis arbetade Cinematch dåligt. Men under loppet av många år, Cinematch fortsatte att förbättra sin förmåga att förutse vilka filmer kunder skulle njuta. År 2006, dock framsteg på Cinematch planade. Forskarna vid Netflix hade försökt ganska mycket allt de kunde tänka på, men samtidigt misstänkte de att det fanns andra idéer som kan hjälpa dem att förbättra sina system. Således kom de upp med vad som var på den tiden en radikal lösning: ett öppet samtal.

Avgörande för en eventuell framgång Netflix Priset var hur öppna samtalet utformat, och denna design har viktiga lärdomar för hur öppna samtal kan användas för social forskning. Netflix inte bara släcka en ostrukturerad begäran om idéer, vilket är vad många tror när de först överväga ett öppet samtal. Snarare Netflix utgjorde ett tydligt problem med en enkel utvärdering kriterier: de utmanade människor att använda en uppsättning av 100 miljoner film betyg för att förutsäga 3 miljoner hålls ut betyg (betyg som användarna hade gjort men att Netflix inte släppa). Den som skulle kunna skapa en algoritm som kan förutsäga 3 miljoner hålls ut betyg 10% bättre än Cinematch skulle vinna 1 miljon dollar. Denna tydliga och lätta att tillämpa bedömningskriterier-jämföra förutsagda betyg till hålls ut klassificering menas att Netflix Priset utformas på ett sådant sätt att lösningarna är lättare att kontrollera än generera; Det visade utmaningen att förbättra Cinematch till ett problem som lämpar sig för ett öppet samtal.

I oktober 2006 släppte Netflix en datamängd som innehåller 100 miljoner film betyg från cirka cirka 500.000 kunder (vi kommer att överväga sekretess konsekvenserna av dessa data frisättning i kapitel 6). Netflix data kan konceptualiseras som en enorm matris som är cirka 500.000 kunder med 20.000 filmer. Inom denna matris fanns det cirka 100 miljoner betyg på en skala från 1 till 5 stjärnor (tabell 5.2). Utmaningen var att använda de observerade data i matrisen för att förutsäga 3 miljoner hålls ut betyg.

Forskare och hackare runt om i världen drogs till utmaningen, och 2008 mer än 30.000 personer som arbetar på det (Thompson 2008) . Under tävlingen, Netflix fick mer än 40.000 föreslagna lösningar från mer än 5000 lag (Netflix 2009) . Självklart, Netflix kunde inte läsa och förstå alla de föreslagna lösningarna. Det hela gick smidigt, men eftersom lösningarna var lätta att kontrollera. Netflix kunde bara ha en dator jämföra de förutsagda betyg till hålls ut betyg av en förutbestämd metriska (den särskilda metriska de använde var kvadratroten av medelvärdet-kvadratfelet). Det var denna förmåga att snabbt utvärdera lösningar som möjlig Netflix att acceptera lösningar från alla, som visade sig vara viktigt eftersom goda idéer kom från några överraskande platser. I själva verket var den vinnande lösning som lagts fram av en grupp startades av tre forskare som hade ingen tidigare erfarenhet av att bygga filmrekommendationssystem (Bell, Koren, and Volinsky 2010) .

En vacker del av Netflix priset är att det aktiverade alla i världen att få sin lösning utvärderas rättvist. När människor laddat deras förväntade betyg, har de inte behöver ladda upp sina akademiska meriter, deras ålder, ras, kön, sexuell läggning, eller något om sig själva. Således var de förväntade betyg av en känd professor från Stanford behandlas exakt på samma sätt som de från en tonåring i hennes sovrum. Tyvärr är detta inte sant i de flesta samhällsforskningen. Det är, för de flesta social forskning, är utvärderingen mycket tidskrävande och delvis subjektiv. Så, de flesta forskningsidéer aldrig på allvar utvärderas, och när idéer utvärderas, är det svårt att lösgöra dessa utvärderingar från skaparen av idéerna. Eftersom lösningar är lätta att kontrollera, öppna samtal låta forskare att få tillgång till alla de potentiellt underbara lösningar som skulle falla mellan stolarna om de bara betraktas lösningar från kända professorer.

Till exempel vid ett tillfälle under Netflix Priset någon med det namn Simon Funk skrivit på sin blogg en föreslagen lösning baserad på en singulärvärdesfaktorisering, ett tillvägagångssätt från linjär algebra som inte hade använts tidigare av andra deltagare. Funk blogginlägg var samtidigt tekniskt och metallbit informell. Var det här blogginlägget beskriver en bra lösning eller var det ett slöseri med tid? Utanför ett öppet samtal projekt, kan lösningen aldrig fått seriös utvärdering. När allt kommer omkring Simon Funk var inte en professor vid Cal Tech eller MIT; han var en mjukvaruutvecklare som vid den tiden var vandring runt Nya Zeeland (Piatetsky 2007) . Om han hade mailade denna idé till en ingenjör på Netflix, det nästan säkert inte skulle ha tagits på allvar.

Lyckligtvis, eftersom bedömningskriterierna var tydlig och lätt att applicera, var hans förutspådda betyg utvärderas och det blev genast klart att hans inställning var mycket kraftfull: han höjden till fjärde plats i tävlingen, ett fantastiskt resultat med tanke på att andra lag redan hade varit arbeta för månader på problemet. I slutändan var delar av Simon Funk strategi som används av nästan alla allvarliga konkurrenter (Bell, Koren, and Volinsky 2010) .

Det faktum att Simon Funk valde att skriva ett blogginlägg förklarar sin strategi, snarare än att försöka hålla det hemligt, visar också att många deltagare i Netflix priset inte enbart motiverades av miljoner dollar pris. Snarare många deltagare verkade också att njuta av den intellektuella utmaningen och samhället som utvecklats kring problemet (Thompson 2008) , känslor som jag förväntar många forskare kan förstå.

Netflix Priset är ett klassiskt exempel på en öppen inbjudan. Netflix ställde en fråga med ett specifikt mål (förutsäga film betyg) och beställt lösningar från många människor. Netflix kunde utvärdera alla dessa lösningar eftersom de var lättare att kontrollera än att skapa, och i slutändan Netflix plockas den bästa lösningen. Nu ska jag visa dig hur kan användas samma tillvägagångssätt i biologi och lag.