MLCommons เผยผลทดสอบ MLPerf Training v6.1 จำนวน 250 รายการ จาก 153 ระบบ โดยเพิ่มการทดสอบการฝึกระบบแนะนำและการฝึกต่อโมเดลภาษาขนาดใหญ่สำหรับงานพัฒนาซอฟต์แวร์เป็นเกณฑ์ใหม่
MLCommons ระบุในประกาศเมื่อวันที่ 17 พ.ย. เวลา 01:00 น. ตามเวลาเกาหลีว่า มี 24 องค์กรเข้าร่วมการทดสอบครั้งนี้ ในบรรดาระบบทั้งหมด 57 ระบบ หรือ 37% ใช้โครงสร้างพื้นฐานบนคลาวด์
สัดส่วนระบบคลาวด์เพิ่มขึ้นจาก 29% ในเวอร์ชันก่อนหน้า v6.0 ผลรอบนี้ยังมีข้อมูลจากระบบที่ใช้ตัวเร่งประมวลผลจำนวนมากและโจทย์ฝึกแบบใหม่ด้วย
MLPerf Training วัดเวลาที่ใช้ฝึกโมเดลและชุดข้อมูลที่กำหนดให้ได้คุณภาพตามเป้าหมาย เนื่องจากโมเดล ชุดข้อมูล และระดับคุณภาพเป้าหมายแตกต่างกันในแต่ละการทดสอบ จึงไม่ควรนำผลทั้ง 250 รายการมาเรียงเป็นอันดับประสิทธิภาพชุดเดียว
กติกาเบนช์มาร์กแยกการทดสอบเป็น Closed และ Open division รวมทั้งแบ่งประเภทตามว่าสามารถซื้อหรือเช่าระบบได้หรือไม่ MLCommons ระบุว่าเวลาฝึกอาจผันผวน โดยการทดสอบที่ไม่ใช่ภาพมีความผันผวนราว ±5% คำอธิบาย MLPerf Training ระบุเงื่อนไขที่ใช้เปรียบเทียบของแต่ละการทดสอบไว้ด้วย
การทดสอบระบบแนะนำ DLRMv4-HSTU เข้ามาแทนเบนช์มาร์ก DLRM-dcnv2 เดิม โดยใช้โครงสร้าง HSTU ที่ประมวลผลประวัติพฤติกรรมของผู้ใช้ตามลำดับ เพื่อวัดเวลาฝึกโมเดลแนะนำ คำอธิบาย DLRMv4 ให้รายละเอียดเกี่ยวกับชุดข้อมูลและโครงสร้างที่ใช้ทดสอบ
การทดสอบนี้ใช้ Yambda-5B ซึ่งเป็นข้อมูลประวัติการใช้งานบริการเพลง มีบันทึกปฏิสัมพันธ์ประมาณ 4,790 ล้านรายการ
การทดสอบฝึกต่อรูปแบบใหม่วัดเวลาที่ใช้ฝึก Qwen3.5-397B-A17B ให้ทำโจทย์พัฒนาซอฟต์แวร์ โมเดลจะลองทำโจทย์ในสภาพแวดล้อมการทำงานแบบแยกส่วน แล้วนำผลที่ได้ไปฝึกเพิ่มเติม คำอธิบายเบนช์มาร์กฝึกต่อ ระบุคุณภาพเป้าหมายไว้ที่ ‘0.69 pass @ 4’
การทดสอบใช้วิธี GRPO (Group Relative Policy Optimization) ซึ่งปรับปรุงโมเดลโดยเปรียบเทียบรางวัลสัมพัทธ์จากการทดลองหลายครั้ง ขอบเขตการทดสอบนี้แตกต่างจากการประเมินคุณภาพของทุกงานที่เอเจนต์ทำในบริการจริง
ก่อนหน้านี้ MLCommons เผยรายงานเกี่ยวกับปริมาณงานและเวลาตอบสนองในขั้นตอน inference ส่วน v6.1 วัดเวลาที่ใช้ไปถึงเป้าหมายการฝึก ไม่ได้วัดความเร็วในการ inference
ในบรรดาระบบที่ส่งผลทดสอบครั้งนี้ มี 12 ระบบใช้ตัวเร่งประมวลผลตั้งแต่ 1,000 ตัวขึ้นไป ระบบที่ใหญ่ที่สุดใช้ 10,240 ตัว นอกจากนี้ GPU รุ่น Rubin ของเอ็นวิเดีย ($NVDA) และ TPUv7 Ironwood ของ Google ยังปรากฏในผล MLPerf Training เป็นครั้งแรก
Google Cloud ระบุในประกาศของบริษัทว่า การใช้ Ironwood TPU 8,192 ตัวทำให้โจทย์ฝึกล่วงหน้า DeepSeek-V3 ไปถึงคุณภาพเป้าหมายใน 1.70 นาที ส่วนการทดสอบฝึกต่อ Qwen ที่ใช้ Ironwood 640 ตัวใช้เวลา 18.02 นาที ทั้งสองผลทดสอบใช้โจทย์และจำนวนตัวเร่งประมวลผลต่างกัน
เอเอ็มดี ($AMD) ระบุในเอกสารเสริมของผู้ส่งผลทดสอบว่า ประสิทธิภาพการฝึก Llama โดยใช้ MI350X และ MI355X รวม 8 ตัวดีขึ้นเฉลี่ย 19% จาก v6.0 ด้านเอ็นวิเดียระบุว่า เมื่อใช้ GPU จำนวนเท่ากัน Vera Rubin NVL72 เร็วกว่า GB300 NVL72 สูงสุด 2 เท่าในบางการทดสอบ
ตัวเลขเหล่านี้เป็นประเด็นที่แต่ละบริษัทเน้นจากผลที่ตนส่งเข้าทดสอบ MLCommons ระบุชัดว่าคำอธิบายของบริษัทในเอกสารเสริมไม่ได้สะท้อนมุมมองของสมาคม เอกสารเสริมจากผู้ส่งผลทดสอบ รวบรวมผลและคำอธิบายของแต่ละบริษัทไว้
แดชบอร์ดผลทดสอบอย่างเป็นทางการ แสดงข้อมูลแยกตามโมเดล องค์กรที่ส่งผล จำนวนตัวเร่งประมวลผล และการจัดวางระบบ ผู้ที่ต้องการเปรียบเทียบผลจึงควรเลือกโจทย์ฝึกและเงื่อนไขของระบบให้ตรงกัน
Comment 0