DeepSeek(ดีปซีก) เปิดซอร์สเฟรมเวิร์กอนุมาน (inference) ภายในที่ชื่อ DeepInfer ให้ใช้งานได้เต็มรูปแบบแล้ว พร้อมปล่อยคอมโพเนนต์เข้ารหัสและถอดรหัสโทเคนสำหรับใช้งานจริงอย่าง ‘deepseek-recipe’ ออกมาด้วย ตามรายงานของ ChainCatcher
ChainCatcher รายงานว่า DeepInfer เป็นเฟรมเวิร์กที่รวมตัวดำเนินการประสิทธิภาพสูงเข้ากับเอนจินอนุมานที่ผ่านการปรับแต่งมาแล้ว รองรับการอนุมานแบบกระจาย (distributed inference) การถอดรหัสเชิงคาดเดา (speculative decoding) SWA Bounded Replay และเอาต์พุตแบบมีโครงสร้าง สามารถใช้งานได้ทั้งบนแพลตฟอร์มของ NVIDIA(เอ็นวิเดีย) และ Huawei Ascend(หัวเว่ย แอสเซนด์)
DeepSeek ระบุว่าได้ใช้ DeepInfer เป็นฐานในการให้บริการอนุมานขนาดใหญ่ของ DeepSeek V4.1 Flash ที่ให้ทั้งปริมาณงานสูงและความหน่วงต่ำ โดยโค้ดอนุมานและรายละเอียดการปรับแต่งสำหรับโมเดลใหม่ ๆ จะถูกอัปเดตต่อเนื่องในที่เดียวกันนี้
ส่วน deepseek-recipe ChainCatcher ระบุเพิ่มเติมว่า ถูกสร้างขึ้นให้ตรงกับตรรกะการประมวลผลของ API ทางการของ DeepSeek ทุกประการ
ความคิดเห็น 0