5.3.1 Netflix-prisen

Den Netflix Prize bruger åben opfordring til at forudsige, hvilke film folk vil kunne lide.

Den mest kendte åben indkaldelse projekt er Netflix-prisen. Netflix er en online filmudlejning selskab, og i 2000 lancerede Cinematch, en tjeneste at anbefale film til kunderne. For eksempel kan Cinematch bemærke, at du kunne lide Star Wars og Empire Strikes Back og derefter anbefale, at du ser Return of the Jedi. Oprindeligt Cinematch arbejdede dårligt. Men i løbet af mange år, Cinematch fortsatte med at forbedre sin evne til at forudsige, hvad film kunder ville nyde. I 2006, dog fremskridt Cinematch toppet. Forskerne på Netflix havde prøvet stort set alt, hvad de kunne tænke på, men på samme tid, de mistanke om, at der var andre idéer, der kan hjælpe dem med at forbedre deres system. Således kom de op med, hvad der var på det tidspunkt, en radikal løsning: en åben indkaldelse.

Kritisk for et vellykket resultat af Netflix-prisen var, hvordan den åbne indkaldelse er designet, og dette design har vigtige erfaringer for, hvordan åbne opkald kan bruges til social forskning. Netflix har ikke bare sat ud en ustruktureret anmodning om ideer, hvilket er, hvad mange mennesker forestille sig, når de først overveje en åben indkaldelse. Snarere, Netflix udgjorde en klar problem med en simpel evaluering kriterier: de udfordrede folk til at bruge et sæt af 100 millioner film ratings til at forudsige 3 millioner afholdt-out ratings (bedømmelser, som brugerne havde gjort, men at Netflix ikke frigive). Enhver, der kunne skabe en algoritme, der kunne forudsige de 3 millioner afholdt-out ratings 10% bedre end Cinematch ville vinde 1 million dollars. Denne klare og lette at anvende evalueringskriterier-sammenligne forudsagte ratings til hold-out ratings-betydet, at Netflix prisen blev udformet på en sådan måde, at løsninger er lettere at kontrollere end generere; Det viste den udfordring at forbedre Cinematch ind i et problem egnet til en åben indkaldelse.

I oktober 2006, Netflix udgivet et datasæt indeholdende 100 millioner film ratings fra omkring omkring 500.000 kunder (vi vil overveje konsekvenserne af disse data release privatlivets fred i kapitel 6). Netflix data kan begrebsliggøres som en kæmpe matrix, der er cirka 500.000 kunder ved 20.000 film. Inden for denne matrix, var der omkring 100 millioner ratings på en skala fra 1 til 5 stjerner (tabel 5.2). Udfordringen var at bruge de observerede data i matricen til at forudsige de 3 millioner afholdt-out ratings.

Forskere og hackere i hele verden blev trukket til udfordringen, og i 2008 mere end 30.000 mennesker arbejdede på det (Thompson 2008) . I løbet af konkurrencen, Netflix modtaget mere end 40.000 løsningsforslag fra mere end 5.000 hold (Netflix 2009) . Det er klart, Netflix kunne ikke læse og forstå alle disse foreslåede løsninger. Det hele kørte glat, men fordi opløsningerne var let at kontrollere. Netflix kunne bare have en computer sammenligne de forudsagte ratings på de holdt ud ratings af en på forhånd fastsat metriske (den særlige metriske de brugte var kvadratroden af ​​middelværdien-squared fejl). Det var denne evne til hurtigt at vurdere løsninger, der gjorde det muligt Netflix til at acceptere løsninger fra alle, der viste sig at være vigtigt, fordi gode ideer kom fra nogle overraskende steder. Faktisk blev den vindende løsning indsendt af et hold startet af tre forskere, at havde ingen forudgående erfaring bygning film anbefalingssystemer (Bell, Koren, and Volinsky 2010) .

Et smukt aspekt af Netflix-prisen er, at det aktiveret alle i verden at få deres løsning vurderes retfærdigt. Når folk uploadet deres forudsagte ratings, de ikke behøver at uploade deres akademiske akkreditiver, deres alder, race, køn, seksuel orientering, eller noget om sig selv. Således blev de forudsagte ratings af en berømt professor fra Stanford behandlet nøjagtig de samme som dem fra en teenager i hendes soveværelse. Desværre er dette ikke sandt i de fleste sociale forskning. Det er, for de fleste sociale forskning, evaluering er meget tidskrævende og delvist subjektive. Så er de fleste forskningsidéer aldrig for alvor vurderes, og når ideer evalueres, er det svært at frigøre disse evalueringer fra skaberen af ​​ideerne. Fordi løsninger er nemme at kontrollere, åbne indkaldelser tillader forskerne at få adgang til alle de potentielt vidunderlige løsninger, der ville falde gennem revner, hvis de kun betragtes som løsninger fra berømte professorer.

For eksempel, på et tidspunkt i løbet af Netflix Prize person med navnet skærmen Simon Funk lagt ud på sin blog en foreslået løsning baseret på en enestående værdi dekomposition, en tilgang fra lineær algebra, som ikke tidligere var blevet brugt af andre deltagere. Funk blog indlæg var samtidig teknisk og weirdly uformel. Var dette blog-indlæg, der beskriver en god løsning eller var det spild af tid? Uden for en åben indkaldelse projekt, kan løsningen aldrig have fået alvorlige evaluering. Efter alle Simon Funk var ikke professor ved Cal Tech eller MIT; han var en softwareudvikler, som på det tidspunkt var backpacking omkring New Zealand (Piatetsky 2007) . Hvis han havde sendt denne idé til en ingeniør på Netflix, det næsten helt sikkert ikke ville være blevet taget alvorligt.

Heldigvis fordi evalueringskriterierne var klare og lette at anvende, blev hans forudsagte ratings evalueret, og det var det samme klart, at hans tilgang var meget magtfulde: han steget til fjerde plads i konkurrencen, en enorm resultat i betragtning af at andre hold allerede havde været arbejder i månedsvis problemet. I sidste ende blev dele af Simon Funk tilgang bruges af stort set alle seriøse konkurrenter (Bell, Koren, and Volinsky 2010) .

Det faktum, at Simon Funk valgte at skrive et blogindlæg forklarer hans tilgang, snarere end at forsøge at holde det hemmeligt, illustrerer også, at mange deltagere i Netflix-prisen ikke var udelukkende motiveret af million dollar præmie. Snarere mange deltagere syntes også at nyde den intellektuelle udfordring og det samfund, der udviklede sig omkring problemet (Thompson 2008) , følelser, som jeg forventer mange forskere kan forstå.

Den Netflix-prisen er et klassisk eksempel på en åben indkaldelse. Netflix stillede et spørgsmål med et bestemt mål (forudsige film ratings) og indhentet løsninger fra mange mennesker. Netflix kunne evaluere alle disse løsninger, fordi de var lettere at kontrollere end at skabe, og i sidste ende Netflix plukket bedste løsning. Dernæst vil jeg vise dig, hvordan kan bruges samme fremgangsmåde i biologi og jura.