5.3.1 Netflix รางวัล

รางวัล Netflix ใช้การเรียกเปิดให้คาดการณ์ที่ภาพยนตร์คนจะชอบ

ที่เป็นที่รู้จักกันดีที่สุดโครงการเปิดสายเป็น Netflix รางวัล Netflix เป็น บริษัท เช่าภาพยนตร์ออนไลน์และในปี 2000 จะเปิด Cinematch, บริการให้คำแนะนำภาพยนตร์ให้กับลูกค้า ยกตัวอย่างเช่น Cinematch อาจสังเกตเห็นว่าคุณชอบ Star Wars และจักรวรรดิโต้กลับแล้วขอแนะนำให้คุณดูการกลับมาของเจได ในขั้นต้น Cinematch ทำงานได้ไม่ดี แต่ในช่วงหลายปีที่ผ่านมา Cinematch ต่อเนื่องเพื่อปรับปรุงความสามารถในการคาดการณ์สิ่งที่ภาพยนตร์จะสนุกกับลูกค้า โดย 2006 อย่างไรก็ตามความคืบหน้าใน Cinematch plateaued นักวิจัยที่ Netflix ได้พยายามทุกอย่างสวยมากที่พวกเขาจะคิด แต่ในเวลาเดียวกันพวกเขาสงสัยว่ามีความคิดอื่น ๆ ที่อาจจะช่วยให้พวกเขาในการปรับปรุงระบบของพวกเขา ดังนั้นพวกเขามากับสิ่งที่อยู่ในเวลานั้นเป็นทางออกที่รุนแรง: การโทรเปิด

ที่สำคัญในการประสบความสำเร็จที่สุดของ Netflix รางวัลได้รับวิธีการเปิดสายได้รับการออกแบบและการออกแบบนี้มีบทเรียนที่สำคัญสำหรับวิธีการเปิดสายสามารถนำมาใช้สำหรับการวิจัยทางสังคม Netflix ไม่ได้เพียงแค่ใส่คำขอที่ไม่มีโครงสร้างสำหรับความคิดซึ่งเป็นสิ่งที่หลาย ๆ คนคิดว่าเมื่อพวกเขาก่อนพิจารณาเปิดสาย แต่ Netflix นับเป็นปัญหาที่ชัดเจนกับเกณฑ์การประเมินง่าย: พวกเขาท้าทายคนที่จะใช้ชุดของ 100 ล้านจัดอันดับภาพยนตร์ที่จะคาดการณ์ 3 ล้านการให้คะแนนจะถือออก (คะแนนที่ผู้ใช้เคยทำ แต่ที่ Netflix ไม่ปล่อย) ทุกคนที่สามารถสร้างอัลกอริทึมที่สามารถคาดการณ์ 3 ล้านการให้คะแนนจะถือออก 10% ดีกว่าจะชนะ Cinematch 1,000,000 ดอลลาร์ นี้มีความชัดเจนและง่ายต่อการใช้การประเมินผลเกณฑ์การเปรียบเทียบการให้คะแนนคาดว่าจะจัดขึ้นออก Ratings-หมายความว่า Netflix รางวัลเป็นกรอบในลักษณะดังกล่าวว่าการแก้ปัญหาจะง่ายต่อการตรวจสอบกว่าสร้าง; มันจะกลายเป็นความท้าทายของการปรับปรุง Cinematch เข้าไปในปัญหาที่เหมาะสมสำหรับการโทรเปิด

ในเดือนตุลาคมของปี 2006 ได้รับการปล่อยตัว Netflix ชุดข้อมูลที่มีการจัดอันดับ 100 ล้านจากภาพยนตร์เกี่ยวกับเกี่ยวกับ 500,000 ลูกค้า (เราจะพิจารณาผลกระทบความเป็นส่วนตัวของการปล่อยข้อมูลนี้ในบทที่ 6) ข้อมูล Netflix สามารถแนวความคิดเป็นเมทริกซ์ขนาดใหญ่ที่จะอยู่ที่ประมาณ 500,000 ลูกค้าโดย 20,000 ภาพยนตร์ ภายในเมทริกซ์นี้มีอยู่ประมาณ 100 ล้านจัดอันดับในระดับ 1-5 ดาว (ตารางที่ 5.2) ความท้าทายคือการใช้ข้อมูลที่สังเกตในเมทริกซ์ที่จะคาดการณ์ 3 ล้านการให้คะแนนจะถือออก

นักวิจัยและแฮกเกอร์ทั่วโลกถูกดึงไปท้าทายและในปี 2008 กว่า 30,000 คนได้ทำงานกับมัน (Thompson 2008) ในช่วงเวลาของการประกวด, Netflix ได้รับมากกว่า 40,000 โซลูชั่นที่นำเสนอจากกว่า 5,000 ทีม (Netflix 2009) เห็นได้ชัดว่า Netflix ไม่สามารถอ่านและทำความเข้าใจการแก้ปัญหาทั้งหมดเสนอเหล่านี้ สิ่งที่ทั้งวิ่งได้อย่างราบรื่น แต่เนื่องจากการแก้ปัญหาได้ง่ายในการตรวจสอบ Netflix ก็สามารถมีคอมพิวเตอร์เปรียบเทียบการจัดอันดับคาดว่าจะจัดขึ้นการจัดอันดับออกจากตัวชี้วัดที่กำหนดไว้ล่วงหน้า (ตัวชี้วัดโดยเฉพาะอย่างยิ่งที่พวกเขาใช้เป็นรากที่สองของข้อผิดพลาดเฉลี่ยยืด) มันเป็นความสามารถนี้ได้อย่างรวดเร็วประเมินผลการแก้ปัญหาที่เปิดใช้งาน Netflix ที่จะยอมรับการแก้ปัญหาจากทุกคนที่เปิดออกมาเป็นสิ่งสำคัญเพราะความคิดที่ดีมาจากสถานที่ที่น่าแปลกใจบางอย่าง ในความเป็นจริงการแก้ปัญหาที่ชนะถูกส่งโดยทีมงานที่ตั้งขึ้นโดยสามนักวิจัยที่มีประสบการณ์ก่อนไม่มีระบบคำแนะนำภาพยนตร์อาคาร (Bell, Koren, and Volinsky 2010)

แง่มุมหนึ่งที่สวยงามของ Netflix รางวัลก็คือว่ามันเปิดการใช้งานทุกคนในโลกที่จะมีวิธีการแก้ปัญหาของพวกเขาได้รับการประเมินอย่างเป็นธรรม เมื่อคนที่อัปโหลดการจัดอันดับการคาดการณ์ของพวกเขาพวกเขาไม่จำเป็นต้องอัปโหลดข้อมูลประจำตัวของพวกเขาวิชาการอายุของพวกเขาเชื้อชาติเพศรสนิยมทางเพศหรืออะไรที่เกี่ยวกับตัวเอง ดังนั้นการจัดอันดับคำทำนายของอาจารย์ที่มีชื่อเสียงจาก Stanford ได้รับการรักษาตรงเช่นเดียวกับผู้ที่มาจากวัยรุ่นในห้องนอนของเธอ แต่น่าเสียดายที่ไม่เป็นความจริงในการวิจัยทางสังคมมากที่สุด นั่นคือสำหรับการวิจัยทางสังคมมากที่สุดและการประเมินผลเป็นเวลานานมากและอัตนัยบางส่วน ดังนั้นความคิดการวิจัยส่วนใหญ่จะไม่เคยได้รับการประเมินอย่างจริงจังและเมื่อคิดจะมีการประเมินมันเป็นเรื่องยากที่จะแยกการประเมินผลผู้ที่มาจากผู้สร้างความคิดที่ เพราะการแก้ปัญหาที่ง่ายต่อการตรวจสอบสายเปิดอนุญาตให้นักวิจัยที่จะเข้าถึงทุกการแก้ปัญหาที่อาจเกิดขึ้นที่ยอดเยี่ยมที่จะตกผ่านรอยแตกถ้าพวกเขาพิจารณาเฉพาะการแก้ปัญหาจากอาจารย์ที่มีชื่อเสียง

ยกตัวอย่างเช่นที่จุดหนึ่งในช่วงที่คน Netflix รางวัลที่มีชื่อหน้าจอไซมอนฉุนโพสต์ในบล็อกของเขาวิธีการแก้ปัญหาที่นำเสนออยู่บนพื้นฐานของการสลายตัวมูลค่าเอกพจน์วิธีการจากพีชคณิตเชิงเส้นที่ไม่ได้ถูกนำมาใช้ก่อนหน้านี้โดยผู้เข้าร่วมอื่น ๆ โพสต์บล็อกฉุนเป็นพร้อมกันทางด้านเทคนิคและทางการวิจิตรพิสดาร ถูกโพสต์บล็อกนี้อธิบายเป็นทางออกที่ดีหรือถูกมันเสียเวลาหรือไม่? ด้านนอกของโครงการเปิดสายการแก้ปัญหาอาจไม่เคยได้รับการประเมินผลอย่างจริงจัง หลังจากที่ทุกไซมอนฉุนไม่ได้เป็นอาจารย์ที่แคลเทคหรือเอ็มไอที; เขาเป็นนักพัฒนาซอฟแวร์ที่ในเวลาที่ถูกแบกเป้ทั่วนิวซีแลนด์ (Piatetsky 2007) ถ้าเขาได้ส่งอีเมลไปยังความคิดนี้วิศวกรที่ Netflix, มันเกือบจะแน่นอนจะไม่ได้รับการดำเนินการอย่างจริงจัง

โชคดีเพราะเกณฑ์การประเมินได้ชัดเจนและง่ายต่อการใช้การจัดอันดับการคาดการณ์ของเขาได้รับการประเมินและมันก็ทันทีที่ชัดเจนว่าวิธีการของเขามีพลังมาก: เขาพุ่งไปยังสถานที่ที่สี่ในการแข่งขันผลอย่างมากที่ได้รับว่าทีมอื่น ๆ ที่ได้รับแล้ว การทำงานเป็นเวลาหลายเดือนในการแก้ปัญหา ในท้ายที่สุดส่วนของวิธีการที่ไซมอนปอดถูกนำมาใช้โดยคู่แข่งแทบร้ายแรงทั้งหมด (Bell, Koren, and Volinsky 2010)

ความจริงที่ว่าไซมอนฉุนเลือกที่จะเขียนบล็อกโพสต์อธิบายวิธีการของเขามากกว่าการพยายามที่จะให้มันเป็นความลับนอกจากนี้ยังแสดงให้เห็นว่าผู้เข้าร่วมจำนวนมากใน Netflix รางวัลไม่ได้แรงบันดาลใจโดยเฉพาะรางวัลเงินล้าน แต่ผู้เข้าร่วมจำนวนมากยังดูเหมือนจะสนุกกับความท้าทายทางปัญญาและชุมชนที่ได้รับการพัฒนาแก้ไขปัญหา (Thompson 2008) , ความรู้สึกที่ผมคาดหวังว่านักวิจัยหลายคนสามารถเข้าใจ

รางวัล Netflix เป็นตัวอย่างคลาสสิกของการโทรเปิด Netflix ตั้งคำถามที่มีเป้าหมายที่เฉพาะเจาะจง (คาดการณ์การจัดอันดับภาพยนตร์) และการแก้ปัญหาการร้องขอจากหลาย ๆ คน Netflix ก็สามารถที่จะประเมินผลการแก้ปัญหาเหล​​่านี้เพราะพวกเขาง่ายต่อการตรวจสอบมากกว่าที่จะสร้างและในที่สุด Netflix เลือกทางออกที่ดีที่สุด ต่อไปผมจะแสดงให้คุณเห็นว่าวิธีการเดียวกันนี้สามารถนำมาใช้ในทางชีววิทยาและกฎหมาย