Back to top
  • 공유 แชร์
  • 인쇄 พิมพ์
  • 글자크기 ขนาดตัวอักษร
ลิงก์ถูกคัดลอกแล้ว

Kimi เร่งความเร็วอนุมานเกือบ 3 เท่าหลัง AI เขียนเคอร์เนล Attention ใหม่

ตรวจสอบบอร์ดเร่งความเร็ว GPU ประสิทธิภาพสูง / TokenPost.ai

มีรายงานว่าเคอร์เนล Attention ของ Kimi ที่ AI เขียนใหม่ให้เหมาะกับ GPU ของ NVIDIA ทำความเร็วในการอนุมานได้เกือบ 3 เท่าเมื่อเทียบกับการใช้งานเวอร์ชันทางการ

BlockBeats รายงานว่า AI ได้ปรับแต่งเคอร์เนล GPU ที่ใช้ในการคำนวณ Attention ของ Kimi โดยการใช้งานที่เขียนใหม่ทำความเร็วได้เกือบ 3 เท่าของเวอร์ชันทางการ เคอร์เนลคือโค้ดระดับล่างที่ใช้ประมวลผล Attention ของโมเดล AI บน GPU

Moonshot AI เปิดเผย FlashKDA สำหรับ Kimi Delta Attention ซึ่งพัฒนาบนพื้นฐาน CUTLASS ของ NVIDIA ขณะที่ vLLM ระบุว่าได้นำเคอร์เนล CUDA แบบผสานการทำงานและเคอร์เนลที่พัฒนาร่วมกับ NVIDIA มาใช้กับ Kimi K3

<ลิขสิทธิ์ ⓒ TokenPost ห้ามเผยแพร่หรือแจกจ่ายซ้ำโดยไม่ได้รับอนุญาต>

บทความที่มีคนดูมากที่สุด

บทความที่เกี่ยวข้อง

ความคิดเห็น 0

ข้อแนะนำสำหรับความคิดเห็น

ขอบคุณสำหรับบทความดี ๆ ต้องการบทความติดตามเพิ่มเติม เป็นการวิเคราะห์ที่ยอดเยี่ยม

0/1000

ข้อแนะนำสำหรับความคิดเห็น

ขอบคุณสำหรับบทความดี ๆ ต้องการบทความติดตามเพิ่มเติม เป็นการวิเคราะห์ที่ยอดเยี่ยม
1