Nvidia เพิ่มระบบค้นหาเส้นทางสร้างเอนจินอนุมานอัตโนมัติใน TensorRT 11.1

Nvidia($NVDA) เพิ่มฟังก์ชันค้นหาเส้นทางสร้างเอนจิน AI สำหรับการอนุมานโดยอัตโนมัติใน TensorRT 11.1 ผลเปรียบเทียบ 10 เวิร์กโหลดที่ Nvidia เผยแพร่ระบุว่า หลังปรับแต่งแล้ว ประสิทธิภาพอยู่ที่ 1.14–1.63 เท่าเมื่อเทียบกับเส้นทางพื้นฐานของแต่ละเวิร์กโหลด ผลดังกล่าวเป็นผลเฉพาะเวิร์กโหลดที่นำมาทดสอบ และไม่ได้หมายความว่าทุกรุ่นจะทำงานเร็วขึ้นในระดับเดียวกัน

Nvidia อธิบายการออกแบบและผลการวัดของ Global Performance Tuner ในบล็อกด้านเทคนิคเมื่อวันที่ 23 ฟังก์ชันนี้สร้างเอนจินด้วยการตั้งค่าหลายรูปแบบ แล้วเปรียบเทียบประสิทธิภาพการอนุมานของเอนจินที่สร้างเสร็จ หากเปิดใช้การตรวจสอบความแม่นยำ ระบบจะเลือกเอนจินที่เร็วที่สุดจากตัวเลือกที่ผ่านเกณฑ์ที่กำหนด

เส้นทางสร้างเอนจินคือชุดค่าผสมของการตั้งค่าคอมไพเลอร์ แต่ละค่าควบคุมการเลือกของคอมไพเลอร์ เช่น ฮิวริสติก การหลอมรวมการคำนวณ และวิธีสร้างโค้ด หากไม่ได้ระบุเส้นทางแยก ระบบจะใช้ค่าเริ่มต้นของการตั้งค่าเหล่านั้น TensorRT 11.1 ปรับค่าได้มากกว่า 200 รายการ

การค้นหาอัตโนมัติทำงานผ่าน trtexec ซึ่งเป็นเครื่องมือบรรทัดคำสั่ง เครื่องมือจะแปลงเงื่อนไขการค้นหาเป็นเส้นทางสร้างเอนจินแต่ละแบบ จากนั้นสร้างและวัดความเร็วของเอนจินตามแต่ละเส้นทาง ระบบจะตัดตัวเลือกที่สร้างไม่สำเร็จหรือมีความคลาดเคลื่อนด้านความแม่นยำเกินเกณฑ์ที่อนุญาตออก แล้วเลือกเอนจินที่เหลือซึ่งมีผลการวัดดีที่สุด

การเปรียบเทียบเอนจินที่สร้างเสร็จแล้วมีความสำคัญ เพราะความเร็วของการคำนวณแต่ละรายการเพียงอย่างเดียวไม่เพียงพอสำหรับประเมินประสิทธิภาพการอนุมานโดยรวม ตัวเลือกที่เร็วกว่าในการคำนวณหนึ่งรายการอาจเสียเปรียบเมื่อนำไปรวมกับการคำนวณอื่นหรือระหว่างการเคลื่อนย้ายข้อมูล การวัดเอนจินทั้งชุดจึงช่วยค้นหาเส้นทางสร้างที่เหมาะกับโมเดลและสภาพแวดล้อมการทำงาน

การตรวจสอบความแม่นยำต้องใช้ข้อมูลอินพุต ผลลัพธ์อ้างอิงสำหรับเปรียบเทียบ และค่าความคลาดเคลื่อนที่ยอมรับได้ ดังนั้นผลตรวจสอบจึงควรตีความภายใต้ขอบเขตของอินพุต เกณฑ์เปรียบเทียบ และค่าขีดจำกัดที่กำหนด หากข้อมูลทดสอบไม่เป็นตัวแทนของเงื่อนไขการใช้งานจริง ก็ไม่อาจรับประกันความแม่นยำเมื่อใช้กับอินพุตอื่นได้

วิธีค้นหาแบ่งตามเวลาและขอบเขตการสร้างเอนจิน วิธี fast เปลี่ยนค่าการตั้งค่าทีละรายการจากเส้นทางพื้นฐาน ส่วนวิธี full ตรวจสอบทุกชุดค่าผสมที่กำหนด และวิธี mixed ใช้ผลจาก fast เพื่อต่อยอดค้นหาชุดค่าผสมเพิ่มเติม ยิ่งมีค่าการตั้งค่ามาก ภาระในการตรวจสอบทุกชุดค่าผสมก็ยิ่งสูง

เส้นทางที่เหมาะสมอาจแตกต่างกันตามโมเดล รูปแบบอินพุต GPU สภาพแวดล้อมซอฟต์แวร์ และเวอร์ชันของ TensorRT กับ Tuner Nvidia แนะนำว่าเมื่อเงื่อนไขเหล่านี้เปลี่ยนไป ควรวัดเอนจินใหม่แทนการนำผลเดิมมาใช้โดยตรง