SK hynix($SKHY) เปิดตัวแร็ก AI ใช้ CXL แชร์หน่วยความจำ พร้อมเก็บ KV cache บน SSD

SK hynix($SKHY) เปิดตัวระบบแร็ก AI ที่ใช้หน่วยความจำภายนอกเพิ่มเติมจากหน่วยความจำแบนด์วิดท์สูง (HBM) ขณะที่ Solidigm กับ Metrum AI สาธิตการจัดเก็บข้อมูลประมวลผล AI บน SSD และ Nallasway เสนอแนวทางเชื่อม DRAM ภายนอกเข้ากับโปรเซสเซอร์ AI

งาน Open Compute Project (OCP) Global Summit จัดขึ้นระหว่างวันที่ 12-15 ตุลาคม ที่เมืองซานโฮเซ รัฐแคลิฟอร์เนีย สหรัฐฯ มีผู้เข้าร่วมประมาณ 15,000 คน ตามตัวเลขที่ OCP เปิดเผย

ระบบแร็ก AI ที่เน้นหน่วยความจำ (Memory-centric AI Rack System: MARS) ของ SK hynix รวมอุปกรณ์และโซลูชันจากหลายบริษัทไว้ในแร็กเดียว โดยวางหน่วยความจำเป็นศูนย์กลาง บริษัทอธิบายว่าเซิร์ฟเวอร์หลายเครื่องสามารถดึงหน่วยความจำจากพูลมาใช้ได้ตามต้องการ ตามประกาศของ SK hynix

บริษัทยังเปิดตัวโมดูล CMM-DDR5 รุ่นที่ 2 ซึ่งใช้มาตรฐาน CXL 3.2 มีความจุ 256GB และแบนด์วิดท์ 80GB ต่อวินาที SK hynix ระบุว่าแบนด์วิดท์มากกว่ารุ่นก่อนหน้ากว่าสองเท่า และประสิทธิภาพพลังงานสูงขึ้นประมาณ 30% โดยตัวเลขประสิทธิภาพพลังงานนี้เป็นการเปรียบเทียบระหว่างโมดูล

CXL เป็นมาตรฐานเชื่อมต่อส่วนประกอบต่าง ๆ ในเซิร์ฟเวอร์ เช่น CPU, GPU และหน่วยความจำภายนอก ส่วนการรวมหน่วยความจำเป็นพูล คือการรวมหน่วยความจำที่เชื่อมต่อกันไว้เป็นแหล่งเดียว เพื่อให้เซิร์ฟเวอร์หรือโปรเซสเซอร์หลายตัวแบ่งกันใช้งาน

SK hynix ยังนำเสนอผลการทดสอบแนวคิดที่ทำร่วมกับ Naver Cloud โดยทดสอบการแชร์ KV cache ในสภาพแวดล้อม AI agent และการแชร์ embedding ในบริการมัลติโมดัล OmniServe

KV cache คือข้อมูลที่เก็บผลการคำนวณชั่วคราวระหว่างโมเดลภาษาขนาดใหญ่ประมวลผลข้อมูลก่อนหน้า เมื่อบทสนทนายาวขึ้นหรือมีงานหลายขั้นตอน ข้อมูลที่ต้องจัดเก็บก็เพิ่มขึ้น ทำให้ความจุหน่วยความจำและวิธีจัดการมีความสำคัญ

การสาธิต MARS หนึ่งชุดทำร่วมกับ Arcee, Liqid และ Marvell โดยเชื่อมเซิร์ฟเวอร์หลายเครื่องและ GPU เข้ากับพูลหน่วยความจำ SK hynix ระบุว่าการส่งต่อหรือนำ KV cache กลับมาใช้ผ่านพูล CXL แสดงให้เห็นถึงประสิทธิภาพระบบที่ดีขึ้นเมื่อเทียบกับวิธีเดิมที่พึ่งพาการสื่อสารผ่านเครือข่าย

SK hynix ยังสาธิตแร็กหน่วยความจำร่วมกับ AMD, Penguin, Xcena และ Arcee โดยผสานหน่วยความจำ CXL เข้ากับ DRAM และ SSD ระบบใช้ประวัติการทำงานคาดการณ์ KV cache ที่จำเป็น แล้วโหลดข้อมูลไว้ใน DRAM ล่วงหน้า ส่วนแคชทั้งหมดเก็บบน SSD เพื่อเรียกกลับมาใช้เมื่อต้องการ

บริษัทยังสาธิตการใช้พูลหน่วยความจำร่วมกับ Pickle ผู้ให้บริการ AI agent ส่วนบุคคล เพื่อช่วยลดความหน่วงในการตอบสนอง SK hynix อธิบายว่าแนวทางนี้ใช้การสตรีมผ่านพูลหน่วยความจำเพื่อเร่งการส่งข้อมูลระหว่างโมเดล AI หลายตัว การนำเสนอ MARS ปรากฏอยู่ในรายการบันทึกการประชุมอย่างเป็นทางการของ OCP

Solidigm และ Metrum AI สาธิตการใช้พูล SSD ร่วมกันเป็นพื้นที่จัดเก็บ KV cache แทนการเก็บข้อมูลทั้งหมดไว้ในหน่วยความจำราคาแพงที่อยู่ใกล้โปรเซสเซอร์ โดยย้ายข้อมูลที่ประมวลผลแล้วไปยังชั้น SSD และเรียกกลับมาเมื่อต้องใช้

เวลาในการสร้างโทเคนแรกหมายถึงเวลาตั้งแต่ส่งคำถามจน AI ตอบกลับครั้งแรก ในการสาธิตร่วมนี้ เวลาดังกล่าวลดลงสูงสุด 64.8 เท่า ปริมาณงานเพิ่มขึ้น 40.7 เท่า และการใช้พลังงานต่อคำขอ GPU ต่ำกว่าวิธีเดิม 26.5 เท่า ตามรายงานของ CryptoBriefing

รายงานเดียวกันระบุว่า Nallasway เสนอให้เชื่อมโมดูล DRAM ภายนอกเข้ากับ XPU ซึ่งครอบคลุมโปรเซสเซอร์ AI โดยตรง แนวทางนี้ใช้ LPDDR5X และขยายหน่วยความจำได้สูงสุด 3.2TB

SK hynix ยังจัดแสดง CMM-Ax โซลูชันรุ่นถัดไปที่ประมวลผลข้อมูลภายในหน่วยความจำ บริษัทระบุว่าการคำนวณโดยไม่ต้องย้ายข้อมูลอาจช่วยลดภาระด้านพลังงานและต้นทุน พร้อมสาธิตการเร่งการอนุมานที่ประมวลผลบริบทระยะยาว

ต่างจากรายงานก่อนหน้าที่กล่าวถึงส่วนแบ่งตลาด HBM ของ SK hynix การนำเสนอครั้งนี้เน้นโครงสร้างการจัดสรรหน่วยความจำร่วมกันในเซิร์ฟเวอร์ การใช้พูลหน่วยความจำ CXL ร่วมกับ DRAM และ SSD ยังต้องอาศัยซอฟต์แวร์ที่ตัดสินใจว่าจะวางข้อมูลแต่ละชนิดไว้ที่ใดและย้ายเมื่อใด

ข้อมูลที่เปิดเผยในงานเป็นข้อเสนอผลิตภัณฑ์และการสาธิต การใช้งานจริงยังต้องมีซอฟต์แวร์สำหรับจัดวางข้อมูลในหน่วยความจำแต่ละชั้นและจัดการการเคลื่อนย้ายข้อมูล