Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

FastFlowLM v1.0.13 รันโมเดล 13 ตัวบน GPU ของ AMD ได้แล้ว แต่ยังต้องมี NPU

หน้าต่างรันโมเดล AI ในเครื่องที่แสดงบนจอโน้ตบุ๊ก (ภาพประกอบ) / TokenPost.ai

FastFlowLM v1.0.13 เพิ่มแบ็กเอนด์ ‘oga-hipep’ ที่ช่วยให้รันโมเดล AI บน GPU ของเอเอ็มดี(AMD)($AMD) ได้ บน Windows รองรับโมเดลบน GPU รวม 13 ตัว แต่ผู้ใช้ยังต้องมี NPU อยู่ในเครื่องด้วย แม้จะรันบน GPU ก็ตาม

ทีมพัฒนา FastFlowLM ระบุในบันทึกการออกรุ่น (release notes) v1.0.13 บน GitHub ว่า ตอนนี้นอกจาก NPU แล้ว ยังรันโมเดลบน GPU ของ AMD ได้ด้วย แบ็กเอนด์ใหม่ใช้ ONNX Runtime GenAI ร่วมกับรันไทม์ hip-ep ของ AMD และรวมอยู่ในไฟล์ ZIP และ MSI มาตรฐานของ Windows

โมเดลฝั่ง GPU จะมีแท็กลงท้ายด้วย ‘-oga-hipep’ ผู้ใช้สั่งรันโมเดลหรือเปิดเซิร์ฟเวอร์ภายในเครื่องได้ด้วยคำสั่ง flm run และ flm serve เมื่อใช้สองคำสั่งนี้เป็นครั้งแรก ระบบจะติดตั้งรันไทม์ hip-ep ขนาดราว 137MiB ลงในโปรไฟล์ผู้ใช้

โมเดลที่รองรับมี 13 ตัว ตั้งแต่ gemma3-oga-hipep:4b ไปจนถึง qwen3.8-flash-next-oga-hipep:125b-a6b ขนาดดาวน์โหลดต่างกันมาก ตั้งแต่ 4.4GB ไปถึง 124.0GB ส่วนโมเดล 125B ต้องใช้หน่วยความจำ GPU ราว 78GiB

ข้อจำกัดก็มีไม่น้อย ได้แก่ △รองรับเฉพาะ Windows ไม่รองรับ Linux และบิลด์ HRX △เครื่องต้องมี NPU ดังนั้นเครื่องที่มีแค่ GPU จะใช้งานไม่ได้ △โมเดล Gemma และ GPT-OSS บน GPU รองรับเฉพาะข้อความ โดยบันทึกการออกรุ่นอธิบายว่า หากส่งภาพหรือเสียงให้ Gemma จะได้รับรหัส HTTP 400 กลับมา △gemma4-it-oga-hipep:12b อาจทำงานล้มเหลวในขั้นตอนตอบกลับ หลังได้รับผลลัพธ์จากการเรียกใช้เครื่องมือ

ตัวเลขจากการวัดผลของบันทึกการออกรุ่นเอง บนชิป Ryzen AI MAX+ 395 โมเดล qwen3.5-oga-hipep:9b ถอดรหัสได้ราว 36 โทเค็นต่อวินาที และประมวลผลพรีฟิลได้ราว 1,150 โทเค็นต่อวินาที ส่วน qwen3.8-flash-next-oga-hipep:125b-a6b มีความเร็วถอดรหัสราว 34.5 โทเค็นต่อวินาที

ที่ผ่านมา FastFlowLM เน้นรันโมเดลบน NPU ของ AMD Ryzen AI เป็นหลัก ทีมพัฒนา FastFlowLM เข้าร่วมกับ AMD เมื่อวันที่ 17 กรกฎาคม ที่เก็บโค้ดบน GitHub อยู่ในเส้นทาง ROCm/FastFlowLM จึงดูเหมือนว่าพัฒนาอยู่ภายใต้โครงการ AMD ROCm ก่อนหน้านี้ AMD ยังเปิดตัวการตั้งค่าที่รวม GPU 8 ตัวในโหนดเดียวเพื่อรันโมเดลด้วย

ด้าน remio.ai ประเมินว่า การที่ AMD ดึงทีม FastFlowLM เข้ามา ไม่ได้พิสูจน์ว่าเร็วกว่ารันไทม์คู่แข่งทุกราย และชี้ด้วยว่าตัวเลขประสิทธิภาพส่วนใหญ่ที่โครงการเผยแพร่เป็นการวัดผลเอง ฟีเจอร์ GPU นี้ยังอยู่ในขั้นพรีวิว ทีมพัฒนาแจ้งว่าแท็กโมเดล ตัวเลือก และพฤติกรรมการทำงานอาจเปลี่ยนในรุ่นถัดไป

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1