3,400 โทเคน/วินาที เอ็นวิเดีย(NVDA) เริ่มผลิตแร็ก Groq 3 LPX เต็มรูปแบบ

เอ็นวิเดีย(NVDA) เริ่มผลิตแร็กระบบ Groq 3 LPX ซึ่งเป็นชิปเร่งความเร็วสำหรับการอนุมาน AI แบบหน่วงเวลาต่ำ ในระดับเต็มรูปแบบแล้ว โดยเนบิอุส(NBIS) เป็นรายแรกที่นำระบบนี้ไปใช้งาน และมีแผนเปิดให้นักพัฒนาใช้งานในศูนย์ข้อมูลของบริษัทได้ภายในปลายปีนี้

เมื่อวันที่ 24 (เวลาท้องถิ่น) เอ็นวิเดียระบุผ่านบล็อกทางการว่า Groq 3 LPX เป็นระบบระดับแร็กที่ช่วยขยายประสิทธิภาพการอนุมานของแพลตฟอร์มเวรา รูบิน(Vera Rubin) พร้อมอธิบายว่าในการทดสอบเบนช์มาร์กด้วยโมเดล Gemma 4 31B ระบบดังกล่าวประมวลผลโทเคนเอาต์พุตได้ 3,400 โทเคนต่อวินาที ในงานที่ใช้บริบทยาวถึง 100,000 โทเคน

Groq 3 LPX มีโครงสร้างเชื่อมต่อชิปเร่งความเร็ว LPU จำนวน 256 ตัวต่อหนึ่งแร็ก โดยเมื่อเดือนมีนาคมที่ผ่านมา เอ็นวิเดียเคยเปิดเผยผ่านบล็อกเทคนิคว่าระบบนี้มีหน่วยความจำ SRAM บนชิปรวม 128 กิกะไบต์ และมีประสิทธิภาพการประมวลผลแบบ FP8 สำหรับงานอนุมานสูงถึง 315 เพตาฟลอปส์(PFLOPS)

เอ็นวิเดียระบุว่า Groq 3 LPX จะถูกใช้งานร่วมกับเวรา รูบิน NVL72(Vera Rubin NVL72) โดยมุ่งเน้นการเพิ่มความเร็วในการสร้างโทเคนสำหรับบริการ AI ที่ไวต่อความหน่วงในการตอบสนอง เช่น ระบบเอเจนต์สนทนาและระบบช่วยเขียนโค้ด