5.3.1 Netflix Prize

De Netflix Prize maakt gebruik van open oproep om te voorspellen welke films zullen de mensen willen.

De meest bekende open oproep project is de Netflix Prize. Netflix is ​​een online film verhuur bedrijf, en in 2000 lanceerde Cinematch, een dienst om films te bevelen aan klanten. Het is bijvoorbeeld mogelijk Cinematch merken dat je graag Star Wars en Empire Strikes Back en dan raden u kijken naar Return of the Jedi. Aanvankelijk Cinematch werkte slecht. Maar in de loop van vele jaren, Cinematch bleef zijn vermogen om te voorspellen welke films klanten zouden genieten te verbeteren. In 2006, echter, de vooruitgang op Cinematch plateaued. De onderzoekers van Netflix had geprobeerd vrijwel alles wat ze kon bedenken, maar op hetzelfde moment, ze vermoedden dat er andere ideeën die kunnen helpen hen hun systeem te verbeteren. Zo kwamen ze met wat was op het moment, een radicale oplossing: een open gesprek.

Van cruciaal belang voor het uiteindelijke succes van de Netflix Prize was hoe de open oproep werd ontworpen, en dit ontwerp heeft belangrijke lessen voor hoe open gesprekken kunnen worden gebruikt voor sociaal-wetenschappelijk onderzoek. Netflix niet zomaar uit een ongestructureerde verzoek om ideeën, dat is wat veel mensen denken, wanneer ze voor het eerst een open oproep te overwegen. Integendeel, Netflix stelde een duidelijk probleem met een eenvoudige evaluatie criteria: ze mensen uitgedaagd om een ​​set van 100 miljoen film ratings gebruiken om 3.000.000 aangehouden out ratings te voorspellen (ratings die gebruikers had gemaakt, maar dat Netflix niet loslaat). Iedereen die een algoritme dat de 3 miljoen aangehouden out ratings 10% beter dan Cinematch 1.000.000 dollar zou winnen zou kunnen voorspellen zou kunnen leiden. Deze duidelijke en gemakkelijk toe te passen evaluatiecriteria-vergelijking voorspelde ratings aangehouden out ratings-betekende dat de Netflix Prize werd ontworpen op een zodanige wijze dat er oplossingen zijn makkelijker te controleren dan te genereren; het bleek de uitdaging van het verbeteren van Cinematch een probleem geschikt is voor een open gesprek.

In oktober 2006, Netflix bracht een dataset met 100 miljoen film ratings van ongeveer 500.000 klanten (zullen we de privacy implicaties van deze gegevens release in hoofdstuk 6 beschouwen). De Netflix gegevens kunnen worden opgevat als een enorme matrix die ongeveer 500.000 klanten met 20.000 films. Binnen deze matrix, waren er ongeveer 100 miljoen ratings op een schaal van 1 tot 5 sterren (tabel 5.2). De uitdaging was om de waargenomen gegevens te gebruiken in de matrix van de 3 miljoen aangehouden out ratings te voorspellen.

Onderzoekers en hackers over de hele wereld werden getrokken om de uitdaging, en in 2008 meer dan 30.000 mensen aan het werken waren (Thompson 2008) . In de loop van de wedstrijd, Netflix ontving meer dan 40.000 voorgestelde oplossingen uit meer dan 5000 teams (Netflix 2009) . Uiteraard Netflix kon niet lezen en al deze voorgestelde oplossingen te begrijpen. Het geheel verliep vlot, echter, omdat de oplossingen waren gemakkelijk te controleren. Netflix zou gewoon een computer de voorspelde ratings van de aangehouden out ratings vergelijken met een van tevoren vastgestelde metric (de specifieke metric zij gebruikten was de vierkantswortel van het gemiddelde-squared error). Het was deze mogelijkheid om snel oplossingen die Netflix nodig om oplossingen van iedereen, die bleek van belang te zijn, omdat goede ideeën kwam van een aantal verrassende plaatsen accepteren evalueren. In feite werd de winnende oplossing ingediend door een team gestart zijn door drie onderzoekers dat er geen ervaring met het bouwen film aanbeveling systemen ouder had (Bell, Koren, and Volinsky 2010) .

Een mooi aspect van de Netflix Prize is dat het in staat iedereen in de wereld om hun oplossing vrij geëvalueerd. Als mensen hun voorspelde ratings geüpload, hebben ze niet nodig hebben om hun academische kwalificaties, hun leeftijd, ras, geslacht, seksuele geaardheid, of iets over zichzelf te uploaden. Zo werden de voorspelde ratings van een bekende professor uit Stanford exact hetzelfde behandeld als die van een tiener in haar slaapkamer. Helaas is dit niet het geval in de meeste sociale onderzoek. Dat is voor de meeste sociale onderzoek evaluatie is zeer tijdrovend en gedeeltelijk subjectief. Dus worden de meeste ideeën voor onderzoek nooit serieus onderzocht, en wanneer ideeën worden geëvalueerd, is het moeilijk om die evaluaties los te maken van de maker van de ideeën. Omdat de oplossingen zijn eenvoudig te controleren, open oproepen kunnen onderzoekers toegang tot alle potentieel prachtige oplossingen die tussen wal en schip zouden vallen als ze alleen maar doordachte oplossingen van de beroemde professoren.

Bijvoorbeeld, op een gegeven moment tijdens de Netflix Prize iemand met de schermnaam Simon Funk geplaatst op zijn blog een voorgestelde oplossing op basis van een singuliere waarden ontbinding, een aanpak uit lineaire algebra dat nog niet eerder gebruikt door andere deelnemers. Funk blog post was tegelijkertijd technisch en vreemd informeel. Was dit blog post beschrijven van een goede oplossing of was het een verspilling van tijd? Buiten een open oproep project, de oplossing misschien nooit serieuze evaluatie ontvangen. Immers Simon Funk was niet een professor aan Cal Tech en MIT; hij was een software ontwikkelaar die, op het moment, werd backpacken in Nieuw-Zeeland (Piatetsky 2007) . Als hij dit idee had gemaild om een ​​ingenieur bij Netflix, is het vrijwel zeker niet zou zijn serieus genomen.

Gelukkig maar, want de evaluatiecriteria duidelijk en makkelijk aan te brengen waren, werden zijn voorspeld ratings geëvalueerd, en het was meteen duidelijk dat zijn aanpak was zeer krachtig: hij schoot naar de vierde plaats in de competitie, een fantastische resultaat gezien het feit dat andere teams al was geweest werken maandenlang het probleem. Op het einde, delen van de aanpak van Simon Funk's werden gebruikt door vrijwel alle serieuze concurrenten (Bell, Koren, and Volinsky 2010) .

Het feit dat Simon Funk gekozen voor een blog post te schrijven waarin hij zijn aanpak, in plaats van te proberen om het geheim te houden, illustreert ook dat veel deelnemers aan de Netflix Prize niet uitsluitend waren ingegeven door het miljoen dollar prijzengeld. Integendeel, veel deelnemers leek ook te genieten van de intellectuele uitdaging en de gemeenschap die ontwikkeld rond het probleem (Thompson 2008) , gevoelens die ik verwacht dat veel onderzoekers kan begrijpen.

De Netflix Prize is een klassiek voorbeeld van een open gesprek. Netflix stelde een vraag met een specifiek doel (het voorspellen van de film ratings) en gevraagd oplossingen van veel mensen. Netflix was in staat om al deze oplossingen te evalueren, omdat ze makkelijker te controleren dan het maken waren, en uiteindelijk Netflix pakte de beste oplossing. Vervolgens zal ik je laten zien hoe deze zelfde benadering kan worden gebruikt in de biologie en de wet.