Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

MLPerf Training v6.1 เผยผลทดสอบ AI 250 รายการ เพิ่มเกณฑ์ระบบแนะนำและการฝึกต่อ LLM

มือของนักวิจัยกำลังตรวจสอบบอร์ดตัวเร่งประมวลผลบนแท่นทดสอบ / TokenPost.ai

MLCommons เผยผลทดสอบ MLPerf Training v6.1 จำนวน 250 รายการ จาก 153 ระบบ โดยเพิ่มการทดสอบการฝึกระบบแนะนำและการฝึกต่อโมเดลภาษาขนาดใหญ่สำหรับงานพัฒนาซอฟต์แวร์เป็นเกณฑ์ใหม่

MLCommons ระบุในประกาศเมื่อวันที่ 17 พ.ย. เวลา 01:00 น. ตามเวลาเกาหลีว่า มี 24 องค์กรเข้าร่วมการทดสอบครั้งนี้ ในบรรดาระบบทั้งหมด 57 ระบบ หรือ 37% ใช้โครงสร้างพื้นฐานบนคลาวด์

สัดส่วนระบบคลาวด์เพิ่มขึ้นจาก 29% ในเวอร์ชันก่อนหน้า v6.0 ผลรอบนี้ยังมีข้อมูลจากระบบที่ใช้ตัวเร่งประมวลผลจำนวนมากและโจทย์ฝึกแบบใหม่ด้วย

MLPerf Training วัดเวลาที่ใช้ฝึกโมเดลและชุดข้อมูลที่กำหนดให้ได้คุณภาพตามเป้าหมาย เนื่องจากโมเดล ชุดข้อมูล และระดับคุณภาพเป้าหมายแตกต่างกันในแต่ละการทดสอบ จึงไม่ควรนำผลทั้ง 250 รายการมาเรียงเป็นอันดับประสิทธิภาพชุดเดียว

กติกาเบนช์มาร์กแยกการทดสอบเป็น Closed และ Open division รวมทั้งแบ่งประเภทตามว่าสามารถซื้อหรือเช่าระบบได้หรือไม่ MLCommons ระบุว่าเวลาฝึกอาจผันผวน โดยการทดสอบที่ไม่ใช่ภาพมีความผันผวนราว ±5% คำอธิบาย MLPerf Training ระบุเงื่อนไขที่ใช้เปรียบเทียบของแต่ละการทดสอบไว้ด้วย

การทดสอบระบบแนะนำ DLRMv4-HSTU เข้ามาแทนเบนช์มาร์ก DLRM-dcnv2 เดิม โดยใช้โครงสร้าง HSTU ที่ประมวลผลประวัติพฤติกรรมของผู้ใช้ตามลำดับ เพื่อวัดเวลาฝึกโมเดลแนะนำ คำอธิบาย DLRMv4 ให้รายละเอียดเกี่ยวกับชุดข้อมูลและโครงสร้างที่ใช้ทดสอบ

การทดสอบนี้ใช้ Yambda-5B ซึ่งเป็นข้อมูลประวัติการใช้งานบริการเพลง มีบันทึกปฏิสัมพันธ์ประมาณ 4,790 ล้านรายการ

การทดสอบฝึกต่อรูปแบบใหม่วัดเวลาที่ใช้ฝึก Qwen3.5-397B-A17B ให้ทำโจทย์พัฒนาซอฟต์แวร์ โมเดลจะลองทำโจทย์ในสภาพแวดล้อมการทำงานแบบแยกส่วน แล้วนำผลที่ได้ไปฝึกเพิ่มเติม คำอธิบายเบนช์มาร์กฝึกต่อ ระบุคุณภาพเป้าหมายไว้ที่ ‘0.69 pass @ 4’

การทดสอบใช้วิธี GRPO (Group Relative Policy Optimization) ซึ่งปรับปรุงโมเดลโดยเปรียบเทียบรางวัลสัมพัทธ์จากการทดลองหลายครั้ง ขอบเขตการทดสอบนี้แตกต่างจากการประเมินคุณภาพของทุกงานที่เอเจนต์ทำในบริการจริง

ก่อนหน้านี้ MLCommons เผยรายงานเกี่ยวกับปริมาณงานและเวลาตอบสนองในขั้นตอน inference ส่วน v6.1 วัดเวลาที่ใช้ไปถึงเป้าหมายการฝึก ไม่ได้วัดความเร็วในการ inference

ในบรรดาระบบที่ส่งผลทดสอบครั้งนี้ มี 12 ระบบใช้ตัวเร่งประมวลผลตั้งแต่ 1,000 ตัวขึ้นไป ระบบที่ใหญ่ที่สุดใช้ 10,240 ตัว นอกจากนี้ GPU รุ่น Rubin ของเอ็นวิเดีย ($NVDA) และ TPUv7 Ironwood ของ Google ยังปรากฏในผล MLPerf Training เป็นครั้งแรก

Google Cloud ระบุในประกาศของบริษัทว่า การใช้ Ironwood TPU 8,192 ตัวทำให้โจทย์ฝึกล่วงหน้า DeepSeek-V3 ไปถึงคุณภาพเป้าหมายใน 1.70 นาที ส่วนการทดสอบฝึกต่อ Qwen ที่ใช้ Ironwood 640 ตัวใช้เวลา 18.02 นาที ทั้งสองผลทดสอบใช้โจทย์และจำนวนตัวเร่งประมวลผลต่างกัน

เอเอ็มดี ($AMD) ระบุในเอกสารเสริมของผู้ส่งผลทดสอบว่า ประสิทธิภาพการฝึก Llama โดยใช้ MI350X และ MI355X รวม 8 ตัวดีขึ้นเฉลี่ย 19% จาก v6.0 ด้านเอ็นวิเดียระบุว่า เมื่อใช้ GPU จำนวนเท่ากัน Vera Rubin NVL72 เร็วกว่า GB300 NVL72 สูงสุด 2 เท่าในบางการทดสอบ

ตัวเลขเหล่านี้เป็นประเด็นที่แต่ละบริษัทเน้นจากผลที่ตนส่งเข้าทดสอบ MLCommons ระบุชัดว่าคำอธิบายของบริษัทในเอกสารเสริมไม่ได้สะท้อนมุมมองของสมาคม เอกสารเสริมจากผู้ส่งผลทดสอบ รวบรวมผลและคำอธิบายของแต่ละบริษัทไว้

แดชบอร์ดผลทดสอบอย่างเป็นทางการ แสดงข้อมูลแยกตามโมเดล องค์กรที่ส่งผล จำนวนตัวเร่งประมวลผล และการจัดวางระบบ ผู้ที่ต้องการเปรียบเทียบผลจึงควรเลือกโจทย์ฝึกและเงื่อนไขของระบบให้ตรงกัน

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Leading article

Kava Lend เสียหาย 3.8 ล้านดอลลาร์จากแฮ็ก รายงานชี้คาวา (KAVA) ลดเกือบ 40% ใน 24 ชั่วโมง

ประเมินขาดทุน 9.7 พันล้านดอลลาร์จากการถือครองอีเธอเรียม (ETH) ของบิตไมน์ ($BMNR)

บิตเทนเซอร์(TAO) ร่วง 7.11% ใน 4 ชั่วโมง อยู่ที่ 180 ดอลลาร์

โซลานา (SOL) ร่วง 4.48% ใน 4 ชั่วโมง แตะ 69.11 ดอลลาร์

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1