Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

DeepSeek เปิดซอร์สเฟรมเวิร์กอนุมาน DeepInfer เต็มรูปแบบ รองรับชิป NVIDIA และ Huawei

แผงวงจรที่มีชิปประมวลผล AI ติดตั้งฮีตซิงก์ / TokenPost.ai

DeepSeek(ดีปซีก) เปิดซอร์สเฟรมเวิร์กอนุมาน (inference) ภายในที่ชื่อ DeepInfer ให้ใช้งานได้เต็มรูปแบบแล้ว พร้อมปล่อยคอมโพเนนต์เข้ารหัสและถอดรหัสโทเคนสำหรับใช้งานจริงอย่าง ‘deepseek-recipe’ ออกมาด้วย ตามรายงานของ ChainCatcher

ChainCatcher รายงานว่า DeepInfer เป็นเฟรมเวิร์กที่รวมตัวดำเนินการประสิทธิภาพสูงเข้ากับเอนจินอนุมานที่ผ่านการปรับแต่งมาแล้ว รองรับการอนุมานแบบกระจาย (distributed inference) การถอดรหัสเชิงคาดเดา (speculative decoding) SWA Bounded Replay และเอาต์พุตแบบมีโครงสร้าง สามารถใช้งานได้ทั้งบนแพลตฟอร์มของ NVIDIA(เอ็นวิเดีย) และ Huawei Ascend(หัวเว่ย แอสเซนด์)

DeepSeek ระบุว่าได้ใช้ DeepInfer เป็นฐานในการให้บริการอนุมานขนาดใหญ่ของ DeepSeek V4.1 Flash ที่ให้ทั้งปริมาณงานสูงและความหน่วงต่ำ โดยโค้ดอนุมานและรายละเอียดการปรับแต่งสำหรับโมเดลใหม่ ๆ จะถูกอัปเดตต่อเนื่องในที่เดียวกันนี้

ส่วน deepseek-recipe ChainCatcher ระบุเพิ่มเติมว่า ถูกสร้างขึ้นให้ตรงกับตรรกะการประมวลผลของ API ทางการของ DeepSeek ทุกประการ

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1