GLM-5.3 ได้ 607.8 โทเคนต่อวินาที บน DGX Station 2 เครื่องที่ 16 คำขอพร้อมกัน

เอ็นวิเดีย (NVIDIA·$NVDA) รัน GLM-5.3 แบบกระจายงานบน GB300 DGX Station 2 เครื่อง และทำ throughput รวมได้ 607.8 โทเคนต่อวินาที เมื่อประมวลผลคำขอพร้อมกัน 16 รายการ

เอ็นวิเดียเปิดเผยวิธีติดตั้งโมเดลและผลทดสอบประสิทธิภาพของบริษัทในบล็อกเทคนิคเมื่อวันที่ 13 โดย Station A เปิด API ที่เข้ากันได้กับ OpenAI ส่วน Station B เชื่อมต่อเป็นเครื่องทำงาน ทำให้ผู้ใช้เรียกใช้งานผ่าน API เดียว

GLM-5.3 เป็นโมเดล Mixture of Experts (MoE) ที่พัฒนาโดย Z.ai มีพารามิเตอร์ทั้งหมด 753,000 ล้านตัว โดยมีพารามิเตอร์ 40,000 ล้านตัวที่ทำงานขณะประมวลผลแต่ละโทเคน

การสาธิตนี้ใช้โมเดลต้นฉบับที่ควอนไทซ์ด้วยวิธี NVFP4 โดย checkpoint ที่ผ่านการควอนไทซ์มีขนาดประมาณ 464 GB ซึ่งใหญ่กว่าหน่วยความจำแบนด์วิดท์สูง HBM3e ขนาด 252 GB ของ GPU GB300 หนึ่งตัว

ระบบคัดลอก checkpoint ทั้งชุดไปยังอุปกรณ์จัดเก็บข้อมูลของแต่ละเครื่อง แต่ระหว่างทำงาน GPU ทั้งสองตัวจะแบ่งกันจัดการน้ำหนักโมเดลและการคำนวณ หน่วยความจำของ GPU ทั้งสองไม่ได้ถูกรวมเป็นก้อนเดียว และระบบทำงานโดยไม่ย้ายค่าน้ำหนักไปยังหน่วยความจำ CPU

ทุกครั้งที่สร้างโทเคน อุปกรณ์ทั้งสองจะแลกเปลี่ยนผลลัพธ์ระหว่างทางผ่านการเชื่อมต่อ RoCE การแบ่งโมเดลเพื่อประมวลผลจึงต้องรวมการสื่อสารระหว่าง GPU ไว้ในกระบวนการด้วย

การสาธิตใช้ vLLM เวอร์ชัน v0.30.0-aarch64 และกำหนดขนาด tensor parallelism ไว้ที่ 2 ส่วนความยาวบริบทสูงสุดตั้งไว้ที่ 98,304 โทเคน โดยนับรวมทั้งอินพุตและเอาต์พุต

ระบบยังใช้แคช KV แบบ FP8 และการแคชคำนำหน้า ส่วนการคาดการณ์หลายโทเคน (MTP) ตั้งให้สร้างโทเคนร่าง 4 ตัวในแต่ละขั้น

คู่มือครอบคลุมตั้งแต่การตรวจสอบการเชื่อมต่อ การคัดลอก checkpoint การตรวจสอบการตอบกลับของ API ไปจนถึงการทดสอบการสื่อสารระหว่างอุปกรณ์ พร้อมแสดงวิธีติดตั้งโมเดลบนอุปกรณ์ทั้งสองและการตั้งค่าที่ใช้ในการทดสอบโหลดของบริษัท

การทดสอบ AIPerf ของเอ็นวิเดียใช้บทสนทนา 80 รายการ รวม 89 เทิร์นจาก SPEED-Bench Coding โดยกำหนดความเข้มข้นของการอนุมานเป็น ‘max’ ซึ่งเป็นค่าเริ่มต้น และจำกัดเอาต์พุตไว้ที่ 8,192 โทเคน คำขอช่วงวอร์มอัปไม่รวมอยู่ในการวัดผล

throughput รวมอยู่ที่ 107.4 โทเคนต่อวินาทีเมื่อมีคำขอพร้อมกัน 1 รายการ, 386.0 โทเคนต่อวินาทีที่ 8 รายการ และ 607.8 โทเคนต่อวินาทีที่ 16 รายการ เมื่อเพิ่มเป็น 32 รายการ throughput ลดลงเหลือ 385.0 โทเคนต่อวินาที โดยการคำนวณ throughput รวมโทเคนสำหรับการอนุมานด้วย

เวลาแฝงเฉลี่ยต่อคำขออยู่ที่ 49.84 วินาทีเมื่อมีคำขอพร้อมกัน 1 รายการ, 114.17 วินาทีที่ 8 รายการ และ 136.46 วินาทีที่ 16 รายการ ส่วนที่ 32 รายการเพิ่มขึ้นเป็น 453.54 วินาที

ดังนั้น ตัวเลข 607.8 โทเคนต่อวินาทีเป็น throughput รวมภายใต้เงื่อนไขที่มีคำขอพร้อมกัน 16 รายการ ไม่ใช่ความเร็วในการตอบกลับที่ผู้ใช้รายเดียวได้รับ ผลนี้วัดจากชุดข้อมูลสำหรับงานเขียนโค้ดและการตั้งค่าแคชกับ MTP ที่เอ็นวิเดียกำหนด

ก่อนหน้านี้ เมื่อวันที่ 5 ตุลาคม StorageReview ทดสอบโมเดลเดียวกันบน GB300 DGX Station 2 เครื่อง โดยใช้คำขอที่มีอินพุตและเอาต์พุตอย่างละ 512 โทเคน ผล throughput เอาต์พุตอยู่ที่ 5,018 โทเคนต่อวินาทีเมื่อมีคำขอพร้อมกัน 256 รายการ การทดสอบครั้งนั้นใช้ vLLM 0.27.1 และโทเคนร่าง MTP 5 ตัว จึงมีเงื่อนไขและการตั้งค่าต่างจากครั้งนี้

ก่อนหน้านี้ TokenPost รายงานผลทดสอบประสิทธิภาพ MTP ของ Nemotron 3.5 Lightning บน DGX Spark โดยการวัดครั้งนั้นนับโทเคนที่ผ่านการยอมรับบนอุปกรณ์และโมเดลคนละชุด ส่วนการทดสอบครั้งนี้วัด throughput รวมขณะประมวลผลคำขอเขียนโค้ดพร้อมกัน

เอ็นวิเดียเตือนในตัวอย่างการสาธิตว่า การเชื่อมต่อแบบไม่ต้องยืนยันตัวตนอาจเปิดให้เข้าถึงได้ผ่านทุกอินเทอร์เฟซ รวมถึงอินเทอร์เฟซสำหรับจัดการของ Station A ซึ่งเปิด API บริษัทแนะนำให้ตั้งค่าไฟร์วอลล์และใช้การยืนยันตัวตนกับ TLS เมื่อต่อเข้ากับบริการภายนอก