5.3.1 Gwobr Netflix

Mae Gwobr Netflix yn defnyddio galwad agored i ragweld pa ffilmiau bydd pobl yn hoffi.

Mae'r prosiect galwad agored mwyaf adnabyddus yw'r Gwobr Netflix. Netflix yn gwmni rhentu ffilm ar-lein, ac yn 2000 lansiodd Cinematch, gwasanaeth i argymell ffilmiau i gwsmeriaid. Er enghraifft, efallai y Cinematch sylwi eich bod yn hoffi Star Wars a Streiciau Ymerodraeth Back ac yna argymell eich bod yn gwylio Dychweliad y Jedi. I ddechrau, gweithiodd Cinematch wael. Ond, dros gyfnod o flynyddoedd lawer, parhaodd Cinematch i wella ei gallu i ragfynegi pa ffilmiau byddai cwsmeriaid yn mwynhau. Erbyn 2006, fodd bynnag, cynnydd ar Cinematch lefelu. Mae'r ymchwilwyr yn Netflix wedi rhoi cynnig 'n bert lawer bopeth y gallent ei feddwl, ond ar yr un pryd, maent yn amau ​​bod yna syniadau eraill a allai eu helpu i wella eu system. Felly, maent yn dod o hyd i hyn a oedd, ar y pryd, yn ateb radical: galwad agored.

Hanfodol i lwyddiant yn y pen draw y Wobr Netflix oedd sut yr alwad agored ei gynllunio, ac mae cynllun hwn gwersi pwysig i sut mae galwadau agored y gellir ei ddefnyddio ar gyfer ymchwil gymdeithasol. Nid oedd Netflix dim ond rhoi allan cais anstrwythuredig am syniadau, sef yr hyn y mae llawer o bobl yn dychmygu pan fyddant ystyried yn gyntaf galwad agored. Yn hytrach, berir Netflix problem clir gyda meini prawf gwerthuso syml: maent yn herio pobl i ddefnyddio set o 100 miliwn o ratings ffilm i ragweld 3 miliwn a ddelir allan ratings (ratings fod defnyddwyr wedi gwneud ond nad oedd Netflix rhyddhau). Unrhyw un a allai greu algorithm a allai ragweld y 3 miliwn a ddelir allan sgoriau o 10% yn well nag y byddai Cinematch ennill 1 filiwn o ddoleri. Mae hyn yn glir ac yn hawdd i wneud cais gwerthusiad meini prawf-cymharu sgoriau ragwelir i ddelir allan graddau-golygu bod y Wobr Netflix ei llunio yn y fath fodd fel bod atebion yn haws i wirio na chynhyrchu; mae'n troi her o wella Cinematch i mewn i broblem sy'n addas ar gyfer galwad agored.

Ym mis Hydref 2006, a ryddhawyd Netflix set o ddata sy'n cynnwys 100 miliwn o ratings ffilm o tua tua 500,000 o gwsmeriaid (byddwn yn ystyried y goblygiadau preifatrwydd y datganiad hwn i'r data ym Mhennod 6). Gall y data yn Netflix yn cael ei gysyniadu fel matrics anferth sydd oddeutu 500,000 o gwsmeriaid drwy 20,000 o ffilmiau. O fewn y matrics hwn, roedd tua 100 miliwn o sgoriau ar rhwng 1 a 5 seren (Tabl 5.2). Yr her oedd i ddefnyddio'r data a arsylwyd yn y matrics i ragweld y 3 miliwn a ddelir allan ratings.

Ymchwilwyr a hacwyr o gwmpas y byd yn cael eu denu i'r her, ac erbyn 2008 yn fwy na 30,000 o bobl yn gweithio arno (Thompson 2008) . Yn ystod y gystadleuaeth, derbyniodd Netflix mwy na 40,000 o atebion arfaethedig o fwy na 5,000 o dimau (Netflix 2009) . Yn amlwg, ni allai Netflix yn darllen ac yn deall yr holl atebion arfaethedig hyn. Mae'r holl beth yn rhedeg yn esmwyth, fodd bynnag, oherwydd bod y datrysiadau yn hawdd i wirio. Gallai Netflix yn unig wedi cyfrifiadur cymharu'r graddau a ragwelir i'r graddau a ddelir allan gan fetrig (metrig penodol a ddefnyddiwyd ganddynt yn ail isradd y gwall cymedrig-sgwâr) cyn-penodedig. Roedd y gallu hwn i werthuso datrysiadau a alluogodd Netflix i dderbyn atebion gan bawb, a drodd allan i fod yn bwysig oherwydd y daeth y syniadau da gan rai mannau annisgwyl yn gyflym. Yn wir, yr ateb buddugol ei gyflwyno gan dîm a ddechreuwyd gan tri ymchwilydd nad oedd unrhyw systemau argymhelliad ffilm profiad adeilad cyn (Bell, Koren, and Volinsky 2010) .

Un agwedd hardd Gwobr Netflix yw ei fod yn galluogi pawb yn y byd i gael eu datrysiad gwerthuso'n deg. Pan fydd pobl yn llwytho eu graddau a ragwelir, nid oedd angen iddynt lwytho eu cymwysterau academaidd, eu hoedran, hil, rhyw, cyfeiriadedd rhywiol, neu unrhyw beth am eu hunain. Felly, y graddau a ragwelir o athro enwog o Stanford yn cael eu trin yn union yr un fath â'r rhai o arddegau yn ei hystafell wely. Yn anffodus, nid yw hyn yn wir yn y rhan fwyaf o ymchwil gymdeithasol. Hynny yw, ar gyfer y mwyafrif ymchwil gymdeithasol, arfarnu yn cymryd llawer o amser ac yn rhannol oddrychol. Felly, byth yn y rhan fwyaf o syniadau ymchwil yn cael eu gwerthuso o ddifrif, a phan syniadau yn cael eu gwerthuso, mae'n anodd datgysylltu gwerthusiadau hynny o creawdwr y syniadau. Oherwydd bod atebion yn hawdd i wirio, galwadau agored yn caniatáu i ymchwilwyr i gael mynediad at yr holl atebion a allai fod yn rhyfeddol a fyddai'n dod drwy'r craciau os ydynt yn unig yn ystyried atebion o athrawon enwog.

Er enghraifft, ar un adeg yn ystod y Wobr Netflix rhywun gydag enw sgrîn Simon Funk postio ar ei blog ateb arfaethedig yn seiliedig ar dadelfeniad werth unigol, dull o algebra llinol nad oedd wedi ei ddefnyddio o'r blaen gan gyfranogwyr eraill. blog post Funk oedd ar yr un pryd ac yn dechnegol weirdly anffurfiol. A gafodd y swydd hon blog disgrifio yn ateb da neu a oedd yn wastraff amser? Y tu allan o brosiect galwad agored, efallai yr ateb erioed wedi derbyn gwerthusiad difrifol. Ar ôl Nid oedd y cyfan Simon Funk athro yn Cal Tech neu MIT; yr oedd yn ddatblygwr meddalwedd a oedd, ar y pryd, oedd yn bacpacio o amgylch Seland Newydd (Piatetsky 2007) . Pe bai wedi e-bostio syniad hwn at beiriannydd yn Netflix, mae bron yn sicr na fyddai wedi cael eu cymryd o ddifrif.

Yn ffodus, gan fod y meini prawf gwerthuso yn glir ac yn hawdd i wneud cais, ei ratings rhagwelir eu gwerthuso, ac roedd yn syth yn amlwg bod ei ymagwedd yn bwerus iawn: efe cynyddu'n aruthrol i pedwerydd safle yn y gystadleuaeth, o ganlyniad aruthrol o gofio bod timau eraill eisoes wedi bod gweithio am fisoedd ar y broblem. Yn y diwedd, rhannau o ymagwedd Simon Funk yn cael eu defnyddio gan bron pob gystadleuwyr difrifol (Bell, Koren, and Volinsky 2010) .

Mae'r ffaith bod Simon Funk dewis i ysgrifennu swydd blog egluro ei dull, yn hytrach na cheisio ei gadw'n gyfrinach, hefyd yn dangos nad yw llawer o gyfranogwyr yn y Wobr Netflix wedi'u hysgogi gyfan gwbl gan y wobr miliwn doler. Yn hytrach, hefyd yn ymddangos yn llawer o'r cyfranogwyr i fwynhau her ddeallusol a'r gymuned sy'n datblygu o amgylch y broblem (Thompson 2008) , teimladau fy mod yn disgwyl y gall llawer o ymchwilwyr yn deall.

Gwobr Netflix yn enghraifft glasurol o galwad agored. a ofynnwyd Netflix gwestiwn gyda nod penodol (rhagfynegi graddau ffilm) ac solicited atebion gan lawer o bobl. Netflix yn gallu gwerthuso holl atebion hyn oherwydd eu bod yn haws i'w wirio nag i greu, ac yn y pen draw, Netflix dewis yr ateb gorau. Nesaf, 'n annhymerus' yn dangos i chi sut y gall un dull hwn yn cael ei ddefnyddio mewn bioleg a chyfraith.