5.3.1 Netflix Prize

Ang Netflix Prize gumagamit ng mga bukas na tawag sa mahuhulaan kung aling pelikula ang mga tao ay gusto.

Ang pinakatanyag na bukas na proyekto ng tawag ay ang Netflix Prize. Ang Netflix ay isang online movie rental company, at noong 2000 ay naglunsad ito ng Cinematch, isang serbisyo upang magrekomenda ng mga pelikula sa mga customer. Halimbawa, maaaring mapansin ng Cinematch na nagustuhan mo ang Star Wars at Ang Imperyo ng Mga Bumalik at pagkatapos ay inirerekomenda na panoorin mo ang Pagbabalik ng Jedi . Sa simula, ang Cinematch ay walang trabaho. Subalit, sa loob ng maraming taon, patuloy itong nagpapabuti ng kakayahan nito upang mahulaan kung anong mga pelikula ang gusto ng mga customer. Gayunpaman, noong 2006, umunlad ang pag-unlad sa Cinematch. Ang mga mananaliksik sa Netflix ay sinubukan halos lahat ng bagay na maaari nilang isipin, ngunit, sa parehong oras, pinaghihinalaang nila na mayroong iba pang mga ideya na maaaring makatulong sa kanila na mapabuti ang kanilang sistema. Kaya, sila ay dumating sa kung ano ang, sa oras, isang radikal na solusyon: isang bukas na tawag.

Ang kritikal sa matagumpay na tagumpay ng Netflix Prize ay kung paano ang open call ay dinisenyo, at ang disenyo na ito ay may mahalagang mga aralin para sa kung paano maaaring gamitin ang bukas na mga tawag para sa panlipunang pananaliksik. Hindi lamang inilagay ng Netflix ang isang unstructured na kahilingan para sa mga ideya, na kung ano ang naiisip ng maraming tao kapag una nilang isinasaalang-alang ang bukas na tawag. Sa halip, ang Netflix ay nagpakita ng isang malinaw na problema sa isang simpleng pamamaraan ng pagsusuri: hinamon nila ang mga tao na gumamit ng isang hanay ng 100 milyong mga rating ng pelikula upang mahulaan ang 3 milyong mga rating ng pag-iwas (mga rating na ginawa ng mga gumagamit ngunit hindi nailabas ng Netflix). Ang unang tao na lumikha ng isang algorithm na hinulaang ang 3 milyong hawak na rating na 10% na mas mahusay kaysa sa Cinematch ay mananalo ng isang milyong dolyar. Ang malinaw at madaling ilapat ang pamamaraan ng pagsusuri-paghahambing ng mga hinulaang rating sa mga rating na pinalabas-ay nangangahulugan na ang Netflix Prize ay naka-frame sa isang paraan na ang mga solusyon ay mas madaling suriin kaysa makabuo; ito ay naging ang hamon ng pagpapabuti ng Cinematch sa isang problema na angkop para sa isang bukas na tawag.

Noong Oktubre ng 2006, ang Netflix ay naglabas ng isang dataset na naglalaman ng 100 milyong rating ng pelikula mula sa mga tungkol sa 500,000 na mga customer (isasaalang-alang namin ang mga implikasyon sa pagkapribado ng paglabas ng data na ito sa kabanata 6). Ang data ng Netflix ay maaaring konseptualisado bilang isang malaking matris na tinatayang 500,000 mga mamimili sa pamamagitan ng 20,000 na mga pelikula. Sa loob ng matris na ito, may mga 100 milyong rating sa isang scale mula sa isa hanggang limang bituin (table 5.2). Ang hamon ay gamitin ang naobserbahang data sa matris upang mahulaan ang 3 milyon na hawak na mga rating.

Ang mga mananaliksik at mga hacker sa buong mundo ay nakuha sa hamon, at noong 2008 higit sa 30,000 mga tao ang nagtatrabaho dito (Thompson 2008) . Sa kabuuan ng paligsahan, natanggap ng Netflix ang higit sa 40,000 mga iminungkahing solusyon mula sa higit sa 5,000 mga koponan (Netflix 2009) . Malinaw, ang Netflix ay hindi maaaring basahin at maunawaan ang lahat ng mga iminungkahing solusyon. Gayunpaman, ang buong bagay ay tumakbo nang maayos, dahil ang mga solusyon ay madaling suriin. Ang Netflix ay maaari lamang magkaroon ng isang computer na ihambing ang hinulaang mga rating sa mga hawak na mga rating gamit ang isang prespecified na sukatan (ang partikular na panukat na ginamit nila ay ang parisukat na ugat ng ibig sabihin ng minaliang error). Ang kakayahan nitong mabilis na pag-aralan ang mga solusyon na pinagana ang Netflix upang tanggapin ang mga solusyon mula sa lahat, na naging mahalaga dahil ang magagandang ideya ay nagmula sa ilang nakakagulat na lugar. Sa katunayan, ang panalong solusyon ay isinumite ng isang pangkat na sinimulan ng tatlong mga mananaliksik na walang naunang karanasan sa pagtatayo ng mga rekomendasyon ng pelikula (Bell, Koren, and Volinsky 2010) .

Ang isang magandang aspeto ng Netflix Prize ay na pinagana nito ang lahat ng ipinanukalang mga solusyon upang masuri nang pantay. Iyon ay, kapag na-upload ng mga tao ang kanilang mga hinulaang rating, hindi nila kailangang i-upload ang kanilang mga kredensyal sa akademya, kanilang edad, lahi, kasarian, oryentasyong sekswal, o anumang bagay tungkol sa kanilang sarili. Ang hinulaang rating ng isang sikat na propesor mula sa Stanford ay itinuturing eksakto katulad ng mga mula sa isang tinedyer sa kanyang silid. Sa kasamaang palad, hindi ito totoo sa karamihan sa panlipunang pananaliksik. Iyon ay, para sa karamihan sa panlipunan pananaliksik, ang pagsusuri ay napaka-time-ubos at bahagyang subjective. Kaya, ang karamihan sa mga ideya sa pananaliksik ay hindi kailanman sineseryoso na nasuri, at kapag sinusuri ang mga ideya, mahirap alisin ang mga pagsusuri mula sa tagalikha ng mga ideya. Ang mga proyektong buksan ang tawag, sa kabilang banda, ay may madali at patas na pagsusuri upang matutuklasan nila ang mga ideya na hindi na napalampas.

Halimbawa, sa isang punto sa panahon ng Netflix Prize, isang tao na may pangalan ng screen na si Simon Funk ang nag-post sa kanyang blog ng iminungkahing solusyon batay sa isang pang-agos na agnas ng halaga, isang diskarte mula sa linear algebra na hindi pa nagamit ng dati ng iba pang mga kalahok. Ang post ng blog ng Funk ay sabay-sabay na teknikal at weirdly impormal. Ang post na ito ng blog ay naglalarawan ng isang mahusay na solusyon o ito ay isang pag-aaksaya ng oras? Sa labas ng proyektong bukas na tawag, ang solusyon ay hindi maaaring tumanggap ng malubhang pagsusuri. Pagkatapos ng lahat, si Simon Funk ay hindi isang propesor sa MIT; siya ay isang software developer na, noong panahong iyon, ay nag-backpacking sa New Zealand (Piatetsky 2007) . Kung siya ay nag-email sa ideyang ito sa isang engineer sa Netflix, halos tiyak na hindi ito mabasa.

Sa kabutihang palad, dahil ang pamantayan sa pagsusuri ay malinaw at madaling mag-aplay, ang kanyang hinulaang mga rating ay sinusuri, at agad itong malinaw na ang kanyang diskarte ay napakalakas: siya rocketed sa ika-apat na lugar sa kumpetisyon, isang napakalaking resulta na ibinigay na ang iba pang mga koponan ay naging nagtatrabaho para sa mga buwan sa problema. Sa katapusan, ang mga bahagi ng kanyang diskarte ay ginamit ng halos lahat ng malubhang kakumpitensya (Bell, Koren, and Volinsky 2010) .

Ang katotohanan na pinili ni Simon Funk na magsulat ng isang post sa blog na nagpapaliwanag ng kanyang diskarte, sa halip na sikaping panatilihing lihim nito, ay naglalarawan rin na maraming mga kalahok sa Netflix Prize ay hindi eksklusibo na motivated ng milyong dolyar na premyo. Sa halip, maraming mga kalahok ay tila din natutuwa ang intelektuwal na hamon at ang komunidad na lumaki sa paligid ng problema (Thompson 2008) , mga damdamin na inaasahan ko na maunawaan ng maraming mananaliksik.

Ang Netflix Prize ay isang klasikong halimbawa ng bukas na tawag. Ang Netflix ay nagtanong sa isang tiyak na layunin (predicting rating ng pelikula) at solicited solusyon mula sa maraming mga tao. Na-evaluate ng Netflix ang lahat ng mga solusyon na ito sapagkat mas madali nilang suriin kaysa gumawa, at sa huli ay pinili ng Netflix ang pinakamahusay na solusyon. Susunod, ipapakita ko sa iyo kung paano maaaring gamitin ang parehong diskarte sa biology at batas, at walang isang milyong dolyar na premyo.