Back to top
  • 공유 แชร์
  • 인쇄 พิมพ์
  • 글자크기 ขนาดตัวอักษร
ลิงก์ถูกคัดลอกแล้ว

DeepSeek เปิดซอร์สเฟรมเวิร์กอนุมาน DeepInfer เต็มรูปแบบ รองรับชิป NVIDIA และ Huawei

แผงวงจรที่มีชิปประมวลผล AI ติดตั้งฮีตซิงก์ / TokenPost.ai

DeepSeek(ดีปซีก) เปิดซอร์สเฟรมเวิร์กอนุมาน (inference) ภายในที่ชื่อ DeepInfer ให้ใช้งานได้เต็มรูปแบบแล้ว พร้อมปล่อยคอมโพเนนต์เข้ารหัสและถอดรหัสโทเคนสำหรับใช้งานจริงอย่าง ‘deepseek-recipe’ ออกมาด้วย ตามรายงานของ ChainCatcher

ChainCatcher รายงานว่า DeepInfer เป็นเฟรมเวิร์กที่รวมตัวดำเนินการประสิทธิภาพสูงเข้ากับเอนจินอนุมานที่ผ่านการปรับแต่งมาแล้ว รองรับการอนุมานแบบกระจาย (distributed inference) การถอดรหัสเชิงคาดเดา (speculative decoding) SWA Bounded Replay และเอาต์พุตแบบมีโครงสร้าง สามารถใช้งานได้ทั้งบนแพลตฟอร์มของ NVIDIA(เอ็นวิเดีย) และ Huawei Ascend(หัวเว่ย แอสเซนด์)

DeepSeek ระบุว่าได้ใช้ DeepInfer เป็นฐานในการให้บริการอนุมานขนาดใหญ่ของ DeepSeek V4.1 Flash ที่ให้ทั้งปริมาณงานสูงและความหน่วงต่ำ โดยโค้ดอนุมานและรายละเอียดการปรับแต่งสำหรับโมเดลใหม่ ๆ จะถูกอัปเดตต่อเนื่องในที่เดียวกันนี้

ส่วน deepseek-recipe ChainCatcher ระบุเพิ่มเติมว่า ถูกสร้างขึ้นให้ตรงกับตรรกะการประมวลผลของ API ทางการของ DeepSeek ทุกประการ

<ลิขสิทธิ์ ⓒ TokenPost ห้ามเผยแพร่หรือแจกจ่ายซ้ำโดยไม่ได้รับอนุญาต>

บทความที่มีคนดูมากที่สุด

บทความที่เกี่ยวข้อง

ความคิดเห็น 0

ข้อแนะนำสำหรับความคิดเห็น

ขอบคุณสำหรับบทความดี ๆ ต้องการบทความติดตามเพิ่มเติม เป็นการวิเคราะห์ที่ยอดเยี่ยม

0/1000

ข้อแนะนำสำหรับความคิดเห็น

ขอบคุณสำหรับบทความดี ๆ ต้องการบทความติดตามเพิ่มเติม เป็นการวิเคราะห์ที่ยอดเยี่ยม
1