ข่าว 
ข้อมูลเหรียญ 
แนะนำสื่อ 
DDN ผนวกแพลตฟอร์มสตอเรจ Infinia เข้ากับระบบส่งข้อมูลสำหรับงาน inference ของเอ็นวิเดีย(NVDA) โดยเป้าหมายหลักของความร่วมมือครั้งนี้คือการลดเวลาที่ GPU ต้องรอข้อมูลระหว่างให้บริการโมเดลภาษาขนาดใหญ่ (LLM)
DDN ระบุในบล็อกเทคนิคเมื่อวันที่ 23 กรกฎาคม ว่าปลั๊กอิน Infinia NIXL ได้ถูกรวมเข้าไว้ในชุดเผยแพร่ NIXL 1.3 ของเอ็นวิเดีย และในคอนเทนเนอร์สำหรับ inference อย่าง Dynamo แล้ว NIXL ย่อมาจาก 'NVIDIA Inference Transfer Library' เป็นไลบรารีที่ทำหน้าที่ย้ายข้อมูลระหว่าง GPU, CPU, SSD และสตอเรจแบบอ็อบเจ็กต์ในสภาพแวดล้อม inference แบบกระจาย
การผนวกรวมครั้งนี้เน้นไปที่การเคลื่อนย้าย 'KV cache' ซึ่งเกิดขึ้นระหว่างกระบวนการ inference ของ AI โดย KV cache คือข้อมูลกลางที่ LLM เก็บไว้เพื่อนำบริบทก่อนหน้ามาใช้ซ้ำ เมื่อบทสนทนายืดยาวขึ้นหรือมีคำขอเข้ามาพร้อมกันจำนวนมาก KV cache จะกดดันหน่วยความจำของ GPU อย่างรวดเร็ว เอกสารของ Dynamo จากเอ็นวิเดียระบุว่า การย้าย KV cache ไปยังหน่วยความจำ GPU หน่วยความจำ CPU SSD หรือสตอเรจที่เชื่อมต่อผ่านเครือข่าย ช่วยลดการคำนวณซ้ำและลดความหน่วงในการตอบสนองได้
ก่อนหน้านี้ ผู้ใช้งานต้องจัดหาปลั๊กอินสตอเรจแยกต่างหาก ตรวจสอบความเข้ากันได้กับเวอร์ชัน NIXL ที่ติดตั้งไว้ และดูแลรักษาแยกตามแต่ละสภาพแวดล้อม แต่ตั้งแต่ NIXL 1.3 เป็นต้นไป ปลั๊กอิน Infinia ถูกรวมอยู่ในแพ็กเกจมาตรฐาน ผู้ใช้เพียงติดตั้ง NIXL หรือใช้คอนเทนเนอร์ Dynamo แล้วเพิ่มแพ็กเกจไคลเอนต์ของ DDN เข้าไปก็เพียงพอ โดย DDN ระบุว่าสามารถเปิดใช้ฟีเจอร์เร่งความเร็ว KV cache ได้ด้วยการตั้งค่า โดยไม่ต้องแก้ไขโค้ดแอปพลิเคชัน
สเวน เออห์เม(Sven Oehme) ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยี(CTO) ของ DDN ระบุในบล็อกเทคนิคว่า “DDN Infinia now feeds context to the GPUs directly” คำอธิบายนี้หมายความว่า Infinia ส่งข้อมูลบริบทให้ GPU โดยตรง เพื่อให้ GPU นำทรัพยากรประมวลผลไปใช้กับการสร้างโทเคนได้มากขึ้น อย่างไรก็ตาม ปริมาณการประหยัดต้นทุนที่แท้จริงจะแตกต่างกันไปตามสภาพแวดล้อมและปริมาณงานของลูกค้าแต่ละราย
ที่เก็บโค้ด ai-dynamo/nixl บน GitHub อธิบายว่า NIXL เป็นไลบรารีที่ช่วยเร่งการสื่อสารแบบจุดต่อจุดในเฟรมเวิร์ก inference ของ AI อย่าง Dynamo ของเอ็นวิเดีย โดยออกแบบให้เป็นโครงสร้างปลั๊กอินที่ครอบคลุมทั้งหน่วยความจำ CPU/GPU และสตอเรจแบบไฟล์ บล็อก และอ็อบเจ็กต์ เพื่อจัดการการเคลื่อนย้ายข้อมูลข้ามชั้นสตอเรจต่าง ๆ
ความร่วมมือครั้งนี้เชื่อมโยงกับแนวโน้มการรับมือปัญหาคอขวดด้านการจัดเก็บและส่งข้อมูลของศูนย์ข้อมูล AI ที่ทางเราเคยนำเสนอ หากไมครอน(Micron) และไมโครชิป(Microchip) มุ่งเน้นไปที่การเพิ่มประสิทธิภาพการประมวลผลของอุปกรณ์จัดเก็บข้อมูลและโครงสร้างการเชื่อมต่อ DDN และเอ็นวิเดียก็มุ่งปรับปรุงเส้นทางการย้ายข้อมูลบริบทที่จัดเก็บไว้ไปยัง GPU ในกระบวนการ inference แทน
การประกาศครั้งนี้ยังไม่พบความเชื่อมโยงโดยตรงกับคริปโตหรือบล็อกเชน แม้ว่าสำหรับบริษัทโครงสร้างพื้นฐานคริปโตที่ใช้การประมวลผลด้าน AI อัตราการใช้งาน GPU และต้นทุนศูนย์ข้อมูลอาจเป็นปัจจัยด้านการดำเนินงานทางอ้อมได้ แต่ยังไม่มีการระบุผลกระทบที่ชัดเจนในเรื่องนี้
ความคิดเห็น 0