คอขวด AI ย้ายจากชิปสู่แพ็กเกจจิงและหน่วยความจำ

การวิเคราะห์ระบุว่า คอขวดของโครงสร้างพื้นฐานการประมวลผล AI กำลังย้ายจากการแข่งขันด้านประสิทธิภาพของเซมิคอนดักเตอร์ไปสู่แพ็กเกจจิงขั้นสูง การเชื่อมต่อระบบ และการจัดการหน่วยความจำ

มิสเตอร์ บับเบิล(Mr. Bubble) นักออกแบบชิปอาวุโสและนักวิเคราะห์ฮาร์ดแวร์ กล่าวถึงมุมมองดังกล่าวในการสัมภาษณ์รายการ Frictionless Podcast เมื่อวันที่ 22 ตามรายงานของบล็อกบีตส์(BlockBeats)

ปัจจัยเบื้องหลังการเปลี่ยนแปลงนี้ ได้แก่ ต้นทุนกระบวนการผลิตขั้นสูงที่เพิ่มขึ้นและการชะลอตัวของการเพิ่มความหนาแน่นของทรานซิสเตอร์ การยกระดับประสิทธิภาพด้วยการลดขนาดกระบวนการผลิตเพียงอย่างเดียวกำลังสร้างภาระด้านความคุ้มค่าทางเศรษฐกิจมากขึ้น

ด้วยเหตุนี้ อุตสาหกรรมจึงให้น้ำหนักกับแพ็กเกจจิงขั้นสูงมากขึ้น โดยเชื่อมต่อชิปหลายตัวเข้ากับระบบคำนวณเดียว แพ็กเกจจิงขั้นสูงเป็นเทคโนโลยีที่รวมชิปหลายตัวไว้ในระบบเดียว เพื่อรองรับการประมวลผลและการเคลื่อนย้ายข้อมูล

มิสเตอร์ บับเบิลคาดว่า หน่วยพื้นฐานของการประมวลผล AI ในอนาคตอาจไม่ใช่ชิปเดี่ยวหรือเซิร์ฟเวอร์ แต่เป็นแร็กทั้งหมด และอาจขยายไปถึงหลายแร็ก แร็กเป็นหน่วยที่ประกอบด้วยเซิร์ฟเวอร์ เครือข่าย รวมถึงอุปกรณ์จ่ายไฟและระบบระบายความร้อน

ในกรณีดังกล่าว PCB แพ็กเกจจิง และเทคโนโลยีการเชื่อมต่อระหว่างชิปจะกลายเป็นปัจจัยจำกัดประสิทธิภาพของระบบโดยรวม แม้ประสิทธิภาพการประมวลผลของชิปจะเพิ่มขึ้น แต่หากการเคลื่อนย้ายข้อมูลระหว่างส่วนประกอบล่าช้า ปริมาณงานของทั้งระบบก็อาจถูกจำกัด

โครงสร้างหน่วยความจำอาจเปลี่ยนแปลงเช่นกัน เนื่องจากเมื่อบริบทที่ต้องประมวลผลในการอนุมาน AI ยาวขึ้น การจัดเก็บข้อมูลในอดีตทั้งหมดไว้ในหน่วยความจำแบนด์วิดท์สูง(HBM)ที่มีต้นทุนสูงก็ทำได้ยาก

มิสเตอร์ บับเบิลเสนอให้เก็บข้อมูลที่มีการใช้งานบ่อยไว้ใน HBM และย้ายบริบทที่ใช้งานน้อยไปยังหน่วยความจำแฟลชที่มีความจุมากกว่าและต้นทุนต่ำกว่า แนวทางนี้แบ่งหน่วยความจำออกเป็นหลายระดับตามความถี่ในการใช้งานและต้นทุน แทนการจัดการหน่วยความจำเป็นพื้นที่เดียว

การจัดลำดับชั้นของหน่วยความจำดังกล่าวสะท้อนว่า กระบวนการอนุมาน AI จำเป็นต้องบริหารทั้งตำแหน่งและเส้นทางการเคลื่อนย้ายข้อมูล แทนการเพิ่มความจุของหน่วยความเร็วสูงโดยไม่จำกัด ระบบจะเลือกตำแหน่งจัดเก็บให้สอดคล้องกับลักษณะของข้อมูล

3D DRAM ถูกกล่าวถึงในฐานะทิศทางหนึ่งของเทคโนโลยีหน่วยความจำยุคถัดไป อย่างไรก็ตาม จากข้อมูลที่นำเสนอ ยังไม่สามารถยืนยันได้ว่าเทคโนโลยีดังกล่าวจะถูกนำไปใช้ในผลิตภัณฑ์เชิงพาณิชย์เมื่อใดและในรูปแบบใด

การเปลี่ยนแปลงโครงสร้างของกระบวนการฝึกและการอนุมานยังถูกมองว่าเป็นตัวแปรในการออกแบบระบบ AI หากขั้นตอนการประมวลผลข้อมูลนำเข้าล่วงหน้าและการถอดรหัสแยกออกจากกันมากขึ้น ความสามารถในการออกแบบและเชื่อมต่อทั้งระบบอาจมีความสำคัญไม่แพ้ประสิทธิภาพของชิปแต่ละตัว

การประมวลผลข้อมูลนำเข้าล่วงหน้าเป็นขั้นตอนที่โมเดลอ่านบริบทของข้อมูลเข้าและคำนวณก่อน ส่วนการถอดรหัสเป็นขั้นตอนสร้างคำตอบตามลำดับโดยอาศัยผลลัพธ์ดังกล่าว การแยกสองกระบวนการนี้ทำให้สามารถออกแบบการประมวลผล หน่วยความจำ และเครือข่ายให้เหมาะกับแต่ละขั้นตอนได้

มิสเตอร์ บับเบิลกล่าวในการสัมภาษณ์รายการ Frictionless Podcast เมื่อวันที่ 22 ว่า บริษัทที่มีความสามารถด้านฮาร์ดแวร์ แพ็กเกจจิง หน่วยความจำ และโครงสร้างพื้นฐานอื่น ๆ อาจมีบทบาทระยะยาวในอุตสาหกรรม AI มากกว่าบริษัทโมเดลภาษาขนาดใหญ่ อย่างไรก็ตาม ยังต้องตรวจสอบแยกต่างหากว่าบริษัทหรือเทคโนโลยีใดจะเป็นผู้นำการใช้งานเชิงพาณิชย์และการขยายตัวของอุปสงค์ได้จริง

การวิเคราะห์ครั้งนี้ชี้ให้เห็นว่า การแข่งขันด้านการประมวลผล AI ไม่ได้จำกัดอยู่เพียง GPU และผู้พัฒนาโมเดล แต่กำลังขยายไปสู่เทคโนโลยีที่รวมส่วนประกอบหลายประเภทและหน่วยความจำหลายระดับเข้าเป็นระบบเดียว การออกแบบระบบที่บริหารแพ็กเกจจิง ความล่าช้าในการเชื่อมต่อ และความจุหน่วยความจำไปพร้อมกันจึงเป็นโจทย์สำคัญของโครงสร้างพื้นฐาน AI