ข่าว 
ข้อมูลเหรียญ 
แนะนำสื่อ 
AMD($AMD) ประกาศวิธีรัน Muse Spark Open ของ Meta($META) ด้วย GPU Instinct MI350X หรือ MI355X จำนวน 8 ตัวในโหนดเดียว โดยใช้ ROCm 7.2 และ vLLM ในวันที่ 15 ตุลาคม ซึ่งเป็นวันเปิดตัวโมเดล
เอกสารทางเทคนิคของ AMD ระบุว่ารองรับทั้งเช็กพอยต์ต้นฉบับ BF16 และเช็กพอยต์ MXFP4 กับ FP8 ที่แปลงด้วย AMD Quark การประมวลผลแบบเทนเซอร์พารัลเลลใช้ GPU 8 ตัว และสภาพแวดล้อมการรันมีไลบรารีเคอร์เนล AMD AITER รวมอยู่ด้วย
เอกสารฮาร์ดแวร์ของ Meta ก็ระบุชุด AMD ที่ใช้ MI350X หรือ MI355X จำนวน 8 ตัวร่วมกับ vLLM โดยแนะนำการประมวลผลแบบ TP8 สำหรับ BF16 และ TP8+EP8 สำหรับ MXFP4 กับ FP8 เอกสารฉบับเดียวกันยังกล่าวถึงชุดฮาร์ดแวร์ของ NVIDIA($NVDA), Intel และ Apple แยกต่างหาก
อย่างไรก็ตาม เอกสาร AMD ระบุชื่อเช็กพอยต์ FP8 แต่ในคำอธิบายกลับบอกว่าน้ำหนักของผู้เชี่ยวชาญที่ผ่านการกำหนดเส้นทางถูกควอนไทซ์เป็น OCP MXFP4 เนื่องจากชื่อเช็กพอยต์กับคำอธิบายไม่ตรงกัน จึงยังสรุปรายละเอียดของการตั้งค่า FP8 ไม่ได้
Muse Spark Open ที่ Meta เปิดตัวมีพารามิเตอร์รวม 816,000 ล้านตัว โดยเปิดใช้งาน 42,000 ล้านตัวต่อโทเคน และรองรับบริบทสูงสุด 1 ล้านโทเคน ขนาดของโมเดลและการตั้งค่ารันบน AMD เป็นสเปกที่แต่ละบริษัทระบุไว้
AMD ระบุในเอกสารทางเทคนิคว่า การตั้งค่า BF16 รองรับคำขอขนาด 32,000 โทเคนพร้อมกัน 32 รายการต่อโหนด ตัวเลขนี้เป็นเงื่อนไขการรันที่ AMD นำเสนอ ไม่ได้หมายถึงผลเปรียบเทียบกับ GPU ของบริษัทอื่นภายใต้เงื่อนไขเดียวกัน หรือผลการตรวจสอบจากหน่วยงานอิสระ
การตั้งค่านี้กำหนดให้ใช้ GPU 8 ตัว ดังนั้นการที่โมเดลเปิดเผยน้ำหนักไม่ได้หมายความว่าจะรันได้บนคอมพิวเตอร์ทั่วไปหรือ GPU เพียงตัวเดียว
เช่นเดียวกับกรณีก่อนหน้านี้ที่ AMD รองรับการรัน Qwen 27B ในเครื่องได้ตั้งแต่วันเปิดตัว การประกาศครั้งนี้นำเสนอช่องทางรันโมเดลให้พร้อมในช่วงที่เปิดตัว โดยคราวนี้ AMD แนะนำการใช้ GPU Instinct ร่วมกับ ROCm และ vLLM สำหรับโมเดลของ Meta
ความคิดเห็น 0