5.3.1 Gwobr Netflix

Mae Gwobr Netflix yn defnyddio galwad agored i ragweld pa ffilmiau bydd pobl yn hoffi.

Y prosiect galwadau agored mwyaf adnabyddus yw Gwobr Netflix. Cwmni rhentu ffilm ar-lein yw Netflix, ac yn 2000 fe lansiodd Cinematch, gwasanaeth i argymell ffilmiau i gwsmeriaid. Er enghraifft, efallai y bydd Cinematch yn sylwi eich bod yn hoffi Star Wars ac The Empire Strikes Back ac yna'n argymell eich bod yn gwylio Dychwelyd y Jedi . I ddechrau, roedd Cinematch yn gweithio'n wael. Ond, dros nifer o flynyddoedd, parhaodd i wella ei allu i ragfynegi pa ffilmiau y byddai cwsmeriaid yn eu mwynhau. Erbyn 2006, fodd bynnag, roedd cynnydd ar Cinematch wedi ei gymedroli. Roedd yr ymchwilwyr yn Netflix wedi ceisio'n eithaf popeth y gallent feddwl amdano, ond, ar yr un pryd, roeddent yn amau ​​bod syniadau eraill a allai eu helpu i wella eu system. Felly, daethpwyd o hyd i'r hyn a oedd, ar y pryd, yn ateb radical: galwad agored.

Yn allweddol i lwyddiant Gwobr Netflix yn y pen draw, dyluniwyd y galwad agored, ac mae gan y dyluniad hwn wersi pwysig ar gyfer sut y gellir defnyddio galwadau agored ar gyfer ymchwil gymdeithasol. Nid oedd Netflix yn unig yn cyflwyno cais heb ei strwythur ar gyfer syniadau, sef yr hyn y mae llawer o bobl yn ei ddychmygu pan fyddant yn ystyried galwad agored yn gyntaf. Yn hytrach, roedd Netflix yn broblem glir gyda gweithdrefn werthuso syml: roeddent yn herio pobl i ddefnyddio set o 100 miliwn o sgoriau ffilm i ragfynegi 3 miliwn o gyfraddau a gynhaliwyd (graddfeydd y gwnaeth defnyddwyr eu gwneud ond nad oedd Netflix yn rhyddhau). Byddai'r person cyntaf i greu algorithm oedd yn rhagweld y bydd y raddfeydd 3 miliwn a gynhaliwyd 10% yn well na Cinematch yn ennill miliwn o ddoleri. Roedd y weithdrefn werthuso hon yn glir ac yn hawdd ei gymhwyso - gan gymharu'r graddau a ragwelir gyda graddfeydd a ddisgwylir - yn golygu bod Gwobr Netflix wedi'i fframio mewn modd a oedd yn haws i'w datrys yn hytrach na'i gynhyrchu; troiodd yr her o wella Cinematch i broblem sy'n addas ar gyfer galwad agored.

Ym mis Hydref 2006, rhyddhaodd Netflix set ddata sy'n cynnwys 100 miliwn o gyfraddau ffilm o tua 500,000 o gwsmeriaid (byddwn yn ystyried goblygiadau preifatrwydd y datganiad hwn ym mhennod 6). Gellir cysyngu data Netflix fel matrics enfawr sy'n oddeutu 500,000 o gwsmeriaid gan 20,000 o ffilmiau. O fewn y matrics hwn, roedd tua 100 miliwn o raddfeydd ar raddfa o un i bum seren (tabl 5.2). Yr her oedd defnyddio'r data a welwyd yn y matrics i ragweld y 3 miliwn o raddfeydd a ddelir allan.

Tynnwyd yr her i ymchwilwyr a hacwyr ledled y byd, ac erbyn 2008 roedd mwy na 30,000 o bobl yn gweithio arno (Thompson 2008) . Yn ystod y gystadleuaeth, derbyniodd Netflix fwy na 40,000 o atebion arfaethedig gan fwy na 5,000 o dimau (Netflix 2009) . Yn amlwg, ni allai Netflix ddarllen a deall yr holl atebion arfaethedig hyn. Roedd y cyfan yn rhedeg yn esmwyth, fodd bynnag, gan fod yr atebion yn hawdd i'w gwirio. Gallai Netflix gael cyfrifiadur yn cymharu'r graddau a ragwelir gyda'r graddau a ddelir allan gan ddefnyddio metrig prespecified (y metrig penodol a ddefnyddiwyd oedd gwraidd sgwâr y gwall sgwâr cymedrig). Y gallu hwn oedd gwerthuso atebion yn gyflym a oedd yn galluogi Netflix i dderbyn atebion gan bawb, a daeth yn bwysig oherwydd bod syniadau da wedi dod o rai mannau rhyfeddol. Mewn gwirionedd, cyflwynwyd yr ateb buddugol gan dîm a ddechreuwyd gan dri ymchwilydd nad oedd ganddynt unrhyw brofiad blaenorol o adeiladu systemau argymell ffilmiau (Bell, Koren, and Volinsky 2010) .

Un agwedd brydferth o Wobr Netflix yw ei bod yn galluogi i'r holl atebion arfaethedig gael eu gwerthuso'n deg. Hynny yw, pan oedd pobl yn llwytho i fyny eu graddfeydd a ragfynegwyd, nid oedd angen iddynt lwytho eu cymwysterau academaidd, eu hoedran, eu hil, eu rhyw, eu cyfeiriadedd rhywiol, neu unrhyw beth amdanynt eu hunain. Cafodd y cyfraddau a ragwelwyd gan athro enwog o Stanford eu trin yn union yr un fath â'r rheiny sy'n eu harddegau yn ei hystafell wely. Yn anffodus, nid yw hyn yn wir yn y rhan fwyaf o ymchwil gymdeithasol. Hynny yw, ar gyfer y rhan fwyaf o ymchwil gymdeithasol, mae gwerthuso'n cymryd llawer o amser ac yn rhannol oddrychol. Felly, ni chaiff y rhan fwyaf o syniadau ymchwil eu gwerthuso'n ddifrifol, a phan fydd syniadau'n cael eu gwerthuso, mae'n anodd dadansoddi'r gwerthusiadau hynny gan greadur y syniadau. Ar y llaw arall, mae gan brosiectau galwadau agored werthusiad hawdd a theg fel y gallant ddarganfod syniadau a fyddai'n cael eu colli fel arall.

Er enghraifft, ar un adeg yn ystod Gwobr Netflix, rhoddodd rhywun gyda'r enw sgrîn, Simon Funk, ateb arfaethedig ar ei flog ar sail dadelfennu gwerth unigol, agwedd o algebra llinellol na chafodd ei ddefnyddio yn flaenorol gan gyfranogwyr eraill. Roedd swydd blog Funk ar yr un pryd yn dechnegol ac yn rhyfedd anffurfiol. A oedd y post blog hwn yn disgrifio ateb da neu a oedd yn wastraff amser? Y tu allan i brosiect galw agored, efallai na fyddai'r ateb erioed wedi cael gwerthusiad difrifol. Wedi'r cyfan, nid oedd Simon Funk yn athro yn MIT; roedd yn ddatblygwr meddalwedd a oedd, ar y pryd, yn bagio o gwmpas Seland Newydd (Piatetsky 2007) . Pe bai wedi anfon y syniad hwn at e-bost at beiriannydd yn Netflix, mae'n sicr na fyddai wedi ei ddarllen.

Yn ffodus, oherwydd bod y meini prawf gwerthuso yn glir ac yn hawdd eu cymhwyso, fe werthuswyd y cyfraddau a ragfynegwyd, ac roedd yn glir yn syth bod ei ddull yn bwerus iawn: roedd yn crwydro i'r pedwerydd lle yn y gystadleuaeth, canlyniad aruthrol o ystyried bod timau eraill wedi bod eisoes gan weithio am fisoedd ar y broblem. Yn y diwedd, roedd bron pob un o'r cystadleuwyr difrifol (Bell, Koren, and Volinsky 2010) yn defnyddio rhannau o'i ymagwedd.

Mae'r ffaith bod Simon Funk wedi dewis ysgrifennu post blog yn esbonio ei ddull, yn hytrach na cheisio ei chadw'n gyfrinachol, hefyd yn dangos nad oedd llawer o gyfranogwyr yn y Wobr Netflix yn cael eu cymell yn unig gan y wobr miliwn-ddoler. Yn hytrach, roedd nifer o gyfranogwyr hefyd yn mwynhau'r her ddeallusol a'r gymuned a ddatblygodd o gwmpas y broblem (Thompson 2008) , y teimladau yr wyf yn disgwyl i lawer o ymchwilwyr eu deall.

Mae Gwobr Netflix yn enghraifft glasurol o alwad agored. Rhoddodd Netflix gwestiwn gyda nod penodol (rhagweld graddfeydd ffilm) ac atebion anghyfreithlon gan lawer o bobl. Roedd Netflix yn gallu gwerthuso'r holl atebion hyn oherwydd eu bod yn haws eu gwirio na'u creu, ac yn y pen draw, dewisodd Netflix yr ateb gorau. Nesaf, byddaf yn dangos i chi sut y gellir defnyddio'r un dull hwn mewn bioleg a chyfraith, a heb wobr miliwn o ddoler.