ดัชนี AI inference ใหม่รวมหน่วยความจำและการสื่อสารระหว่างชิป

ดัชนีใหม่สำหรับประเมินจำนวนคำขอ AI inference ที่ตัวเร่งประมวลผลหนึ่งตัวรองรับพร้อมกัน คำนวณทั้งภาระด้านหน่วยความจำและการสื่อสารระหว่างชิป นอกเหนือจากปริมาณการคำนวณ

Epoch AI ระบุในบันทึกการเปลี่ยนแปลงว่าได้เพิ่มดัชนีประสิทธิภาพ inference (Inference Performance Index) เวอร์ชัน 1 เมื่อวันที่ 19 ต.ค. ดัชนีนี้เปรียบเทียบจำนวนคำขอถอดรหัสที่ตัวเร่งประมวลผลรองรับพร้อมกัน โดยกำหนดคะแนนของ GB300 จากเอ็นวิเดีย(NVIDIA, $NVDA) เป็น 1

การคำนวณนำความจุในการประมวลผลของโมเดล 4 รุ่นมาเทียบกับ GB300 แล้วหาค่าเฉลี่ย โดยให้น้ำหนักแต่ละโมเดลเท่ากัน ผลลัพธ์อาจแตกต่างกันไปตามโมเดลและความเร็วในการสร้างคำตอบ ตามวิธีการของ Epoch AI

การเปรียบเทียบใช้โมเดลที่จำลองโครงสร้างของ GLM-5.2, Kimi-K3, Qwen3-Coder 480B และ MAI-Base-2 แต่ละคำขอใช้บริบทที่แคชไว้ 262,144 โทเคน และทดสอบความเร็วเอาต์พุตตั้งแต่ 50 ถึง 400 โทเคนต่อวินาที

Epoch AI สมมติให้การประมวลผล prefill และ decoding เกิดขึ้นบนชุดชิปแยกกัน พร้อมคำนวณความจุ prefill แยกต่างหาก โดยกำหนดให้มีโทเคนอินพุตใหม่ 1.51 โทเคนต่อโทเคนเอาต์พุตหนึ่งโทเคน

Epoch AI ประเมินเวลาประมวลผลด้วย AISimulate ของเอ็นวิเดีย โดยใช้การคำนวณของโมเดลและข้อมูลจำเพาะฮาร์ดแวร์เพื่อค้นหาขนาดแบตช์ที่ใส่ในหน่วยความจำได้และรูปแบบการประมวลผลแบบขนาน จากนั้นเลือกการตั้งค่าที่รองรับคำขอพร้อมกันต่อชิปได้มากที่สุดในแต่ละระดับความเร็วเอาต์พุต

การคำนวณยังตั้งสมมติฐานว่าแต่ละรอบของ speculative decoding ยอมรับโทเคนได้เฉลี่ย 3 โทเคน และใช้ค่าน้ำหนักผู้เชี่ยวชาญความละเอียดต่ำ Epoch AI ระบุว่าอัตราการยอมรับโทเคนและคุณภาพผลลัพธ์ที่เท่ากันในแต่ละระดับความละเอียดเป็นสมมติฐานของแบบจำลอง

ดัชนีนี้ไม่ได้วัดจำนวนผู้ใช้พร้อมกันหรือเวลาตอบสนองจากบริการจริง และไม่รวมคิวรอหรือช่วงหยุดระหว่างเรียกใช้เครื่องมือ คะแนนยังไม่คำนึงถึงคุณภาพโมเดล การใช้พลังงาน หรือราคา

ข้อมูลผลิตภัณฑ์ของเอ็นวิเดียระบุว่า GB300 NVL72 เชื่อมต่อ GPU Blackwell Ultra 72 ตัวไว้ในระบบแร็กเดียว โดย GPU แต่ละตัวมีหน่วยความจำ HBM3e ขนาด 288GB ส่วน H100 SXM มี HBM3 ขนาด 80GB ต่อ GPU และแบนด์วิดท์หน่วยความจำ 3.35TB ต่อวินาที

การทำ inference ด้วยบริบทยาวต้องอาศัยทั้งแบนด์วิดท์หน่วยความจำสำหรับอ่านข้อมูลที่จัดเก็บไว้ และการสื่อสารระหว่างชิป ซึ่งส่งผลต่อเวลาประมวลผล Epoch AI จึงใช้ทั้งปริมาณการคำนวณ แบนด์วิดท์หน่วยความจำ และข้อมูลการเชื่อมต่อระหว่างชิปในการประเมินเวลา

เอ็นวิเดียระบุว่า GB300 NVL72 ให้การตอบสนองต่อผู้ใช้สูงสุด 10 เท่าเมื่อเทียบกับแพลตฟอร์ม Hopper ตัวเลขของบริษัทนี้ทดสอบกับ DeepSeek-R1 โดยใช้ FP4 และการกำหนดค่า Dynamo บน GB300 เทียบกับ FP8 และการทำ in-flight batching บน H100 ผลดังกล่าวใช้วิธีจำลองและเกณฑ์วัดต่างจากดัชนีของ Epoch AI จึงไม่ควรถือว่าเป็นผลการวัดแบบเดียวกัน

ในอีกกรณีหนึ่ง เอ็นวิเดียเคยระบุว่า Qwen3.8-Flash-Next ทำปริมาณประมวลผลบน GPU GB300 ตัวเดียวได้มากกว่า 16,000 โทเคนต่อวินาที ตามรายงานก่อนหน้าของ TokenPost ตัวเลขนี้มาจากโมเดลและการจัดระบบเฉพาะชุดหนึ่ง

รายงาน MLPerf Endpoints v1.0 ที่ MLCommons เผยแพร่เมื่อวันที่ 4 พ.ย. แสดงผลการทดสอบ DeepSeek-V4.1-Flash บนระบบ GB300 NVL72 ที่ใช้ GPU 4 ตัว เมื่อมีคำขอพร้อมกัน 512 รายการ ระบบประมวลผลได้ 35,185.2 โทเคนต่อวินาที และค่าเปอร์เซ็นไทล์ที่ 90 ของเวลาตอบสนองจนถึงโทเคนแรกอยู่ที่ 310.8 มิลลิวินาที โดยผลการทดสอบระบุว่าผ่านการตรวจสอบแล้ว

รายงานดังกล่าวไม่มีผลทดสอบ H100 ภายใต้เงื่อนไขเดียวกัน จึงใช้แสดงอัตราความได้เปรียบระหว่างผลิตภัณฑ์ หรือยืนยันตัวเลขสูงสุด 10 เท่าที่เอ็นวิเดียระบุไม่ได้

ดัชนีของ Epoch AI เป็นการจำลองความจุต่ออุปกรณ์เร่งประมวลผล โดยเฉลี่ยผลจากโมเดล 4 รุ่นและช่วงความเร็วเอาต์พุตหลายระดับ ส่วนรายงาน MLPerf เป็นผลทดสอบโมเดลและระบบที่กำหนดไว้โดยเฉพาะ ทั้งสองตัวเลขจึงมีเงื่อนไขและสิ่งที่วัดต่างกัน และไม่ควรนำมาเปรียบเทียบโดยตรง