AI เกาหลีใต้ 4 โมเดลเปิดสูตรติดตั้ง Dynamo พร้อมการจัดสรร GPU B200

มีการเปิดเผยสูตรติดตั้ง Dynamo สำหรับโมเดล AI เกาหลีใต้ 4 รุ่น โดยระบุจำนวน GPU B200 และรูปแบบการทำงานแบบรวมกับแบบแยกตามโมเดล

เอ็นวิเดีย(NVIDIA, $NVDA) ระบุในบล็อกทางการเมื่อวันที่ 8 ว่าได้เผยแพร่สูตรสำหรับ A.X K2 ของเอสเค เทเลคอม(SK Telecom, $017670), K-EXAONE 2.0 ของ LG AI Research, Solar Open 2 ของ Upstage และ Motif-3 ของ Motif Technologies

Dynamo เป็นเฟรมเวิร์กโอเพนซอร์สสำหรับให้บริการโมเดลขนาดใหญ่บนหลายโหนด โดยช่วยจัดการการส่งต่อคำขอและการสื่อสารระหว่าง GPU เพื่อให้โมเดลทำงานบนทรัพยากรประมวลผลแบบกระจายได้

เอ็นวิเดียระบุว่าสูตรเหล่านี้เพิ่มประสิทธิภาพได้สูงสุด 2 เท่าเมื่อเทียบกับการตั้งค่าพื้นฐาน อย่างไรก็ตาม บล็อกไม่ได้ระบุการตั้งค่าที่ใช้เปรียบเทียบหรือเวิร์กโหลดที่วัดผล จึงยังสรุปไม่ได้ว่าตัวเลขนี้ใช้กับการปรับปรุงประสิทธิภาพของทั้ง 4 โมเดลได้

สูตรสำหรับ A.X K2 กำหนด B200 จำนวน 8 ตัวสำหรับการทำงานแบบรวม และ 12 ตัวสำหรับแบบแยก โดยรูปแบบทั้งสองใช้เวิร์กเกอร์แบบรวม หรือแยกเวิร์กเกอร์สำหรับประมวลผลอินพุตกับสร้างเอาต์พุต

รายการสูตร Dynamo และเอกสารรายโมเดลระบุการจัดสรร B200 จำนวน 4 หรือ 8 ตัวสำหรับ K-EXAONE 2.0 และ Solar Open 2 ส่วนสูตรสำหรับ Motif-3 ระบุ B200 จำนวน 2 ตัวสำหรับแบบรวม และ 8 ตัวสำหรับแบบแยก

รูปแบบรวมประมวลผลอินพุตและสร้างเอาต์พุตในชุดการทำงานเดียวกัน ส่วนรูปแบบแยกจัดสองงานไว้บนทรัพยากร GPU คนละชุด

เอกสาร K-EXAONE 2.0 เผยผลการทดสอบจากข้อมูลติดตามการสนทนา 1,805 รายการ โดยรูปแบบรวมที่ใช้ B200 4 ตัวมีค่ามัธยฐานความเร็วการสร้างเอาต์พุตต่อผู้ใช้ 51.4 โทเคนต่อวินาที และค่ามัธยฐานเวลาหน่วงก่อนโทเคนแรก 291 มิลลิวินาที

รูปแบบแยกที่ใช้ B200 8 ตัวมีค่ามัธยฐานความเร็วการสร้างเอาต์พุตต่อผู้ใช้ 54.9 โทเคนต่อวินาที และค่ามัธยฐานเวลาหน่วงก่อนโทเคนแรก 2,230 มิลลิวินาที ทั้งสองรูปแบบใช้การตั้งค่าจำนวนคำขอพร้อมกันต่างกัน คือ 7 และ 14 ตามลำดับ

เอกสารไม่นับคำขอ 38 รายการที่เกินความยาวบริบทสูงสุด 262,144 โทเคน อีกทั้งจำนวน GPU และการตั้งค่าคำขอพร้อมกันของสองรูปแบบยังต่างกัน จึงไม่ควรมองผลลัพธ์เป็นการเปรียบเทียบภายใต้เงื่อนไขเดียวกัน

เอกสาร Solar Open 2 ระบุว่ารันไทม์ vLLM ของ Dynamo 1.4.1 ที่ใช้เป็นค่าเริ่มต้นไม่รองรับโมเดลนี้ จึงต้องเตรียมอิมเมจรันไทม์แยกต่างหาก สูตรดังกล่าวจึงรวมเงื่อนไขการเตรียมรันไทม์ไว้ด้วย

สูตร Motif-3 ถูกระบุในเอกสารว่าอยู่ในขั้นทดลอง ส่วนตารางประสิทธิภาพใช้ความยาวการยอมรับโทเคนสังเคราะห์ในการวัดผล ไม่ใช่ผลจากการถอดรหัสแบบเก็งล่วงหน้าที่เกิดขึ้นจริง

ข้อกำหนดก่อนติดตั้งที่เอกสาร A.X K2 ระบุไว้ประกอบด้วยคลัสเตอร์ Kubernetes ที่ติดตั้งแพลตฟอร์ม Dynamo และพื้นที่จัดเก็บข้อมูลร่วมกัน ส่วนรูปแบบแยกยังต้องมีทรัพยากร InfiniBand สำหรับรับส่งข้อมูลผ่าน NIXL และ UCX

กระทรวงวิทยาศาสตร์และเทคโนโลยีสารสนเทศและการสื่อสารของเกาหลีใต้ระบุว่าโมเดลทั้ง 4 รุ่นเป็นของบริษัทที่เข้าร่วมโครงการโมเดล AI พื้นฐานอิสระ ขณะที่เอกสารของเอ็นวิเดียครั้งนี้อธิบายการตั้งค่าสำหรับนำโมเดลดังกล่าวไปใช้งานด้วย Dynamo

การประกาศครั้งนี้ครอบคลุมการเผยแพร่สูตรติดตั้งรายโมเดล ไม่ได้รายงานขนาดการใช้งานจริงในระบบของลูกค้า และควรพิจารณาตัวเลขประสิทธิภาพควบคู่กับฮาร์ดแวร์และเงื่อนไขการวัดของแต่ละโมเดล

ก่อนหน้านี้ TokenPost รายงานขั้นตอน AICR สำหรับติดตั้งและตรวจสอบ Dynamo บนคลัสเตอร์ Kubernetes ที่มีอยู่ โดยข่าวก่อนหน้ากล่าวถึงการจัดโครงสร้างพื้นฐานและขั้นตอนตรวจสอบ ส่วนการประกาศครั้งนี้เสนอการจัดสรร GPU และการตั้งค่าการประมวลผลสำหรับโมเดล AI เกาหลีใต้ 4 รุ่น