GLM-5.3 เอเจนต์เพิ่มปริมาณประมวลผลการอนุมาน 3.2 เท่า

โครงสร้างพื้นฐานที่ใช้ GLM-5.3 เพิ่มปริมาณการประมวลผลแบบครบวงจรได้ 3.2 เท่าจากช่วงเริ่มต้น หลังเอเจนต์เข้าร่วมปรับระบบการอนุมานของ GLM-5.3-Flash โดยใช้เวลาไม่ถึง 2 สัปดาห์ตั้งแต่การทำงานครั้งแรกจนรับผิดชอบทราฟฟิกการใช้งานทั้งหมด

Zhipu (จือผู่) ระบุว่าเอเจนต์โครงสร้างพื้นฐานที่พัฒนาบน GLM-5.3 มีส่วนร่วมในการปรับปรุงระบบการอนุมานของ GLM-5.3-Flash เอเจนต์ทำซ้ำกระบวนการแก้โค้ด ตรวจสอบประสิทธิภาพ และวิเคราะห์สาเหตุของปัญหา

กรณีนี้ได้รับความสนใจเพราะเอเจนต์ AI ไม่ได้หยุดอยู่ที่การเขียนโค้ด แต่ยังวัดผลลัพธ์ กำหนดทิศทางการแก้ไขครั้งถัดไป และนำโครงสร้างการทำงานที่ทำให้บางส่วนของการปรับปรุงประสิทธิภาพเป็นระบบอัตโนมัติไปใช้ในสภาพแวดล้อมการทำงานจริง

ถัง เจี๋ย(Tang Jie) ผู้ร่วมก่อตั้งและหัวหน้านักวิทยาศาสตร์ของ Zhipu กล่าวว่า จุดที่เอเจนต์ติดขัดได้ง่ายที่สุดไม่ใช่การเขียนโค้ด แต่เป็นการค้นหาสาเหตุของปัญหา หากการแก้ไขครั้งหนึ่งทำให้ปริมาณการประมวลผลลดลง 20% ก็ยังต้องวิเคราะห์เพิ่มเติมว่าปัญหาเกิดขึ้นในชั้นใดและควรตรวจสอบอะไรต่อ

Zhipu เปลี่ยนแนวทางการติดตามปัญหาด้านประสิทธิภาพของวิศวกรที่มีประสบการณ์ให้เป็นเครื่องมือสำหรับเอเจนต์ เอเจนต์จะเปลี่ยนโค้ด ตรวจสอบว่าผลลัพธ์ทำงานตามปกติหรือไม่ และวิเคราะห์ว่าเวลาในการทำงานเกิดขึ้นในส่วนใด

จากนั้นเอเจนต์จะเปรียบเทียบทางเลือกหลายรูปแบบเพื่อค้นหาวิธีที่เร็วกว่า แล้วแก้โค้ดอีกครั้ง กระบวนการนี้ไม่ได้ดูเพียงผลลัพธ์จากการแก้ไขครั้งเดียว แต่เป็นวงจรที่เริ่มจากการตั้งสมมติฐาน ทดลอง และนำผลลัพธ์ไปใช้กับงานถัดไป

เอเจนต์ตรวจพบความคลาดเคลื่อนในการคำนวณระหว่างการประมวลผลบริบทขนาดยาว คอขวดในการส่งข้อมูล KV และการคำนวณซ้ำในเคอร์เนลสำหรับการถอดรหัส โดยหลังเขียนเคอร์เนลหนึ่งรายการใหม่ ความเร็วการประมวลผลเพิ่มขึ้น 1.71 เท่า

เคอร์เนลคือหน่วยโค้ดระดับล่างที่ใช้ดำเนินการคำนวณของโมเดล AI แม้เป็นโมเดลเดียวกัน ความเร็วการอนุมานและปริมาณทรัพยากรที่ใช้ก็อาจแตกต่างกันตามวิธีทำงานของเคอร์เนลและโครงสร้างการเคลื่อนย้ายข้อมูล

การส่งข้อมูล KV คือการส่งข้อมูลสถานะระหว่างกลางที่สร้างขึ้นระหว่างการอนุมานไปยังขั้นตอนการคำนวณหรืออุปกรณ์อื่น หากเกิดคอขวดในกระบวนการนี้ ปริมาณการตอบสนองโดยรวมอาจลดลงแยกจากประสิทธิภาพของตัวโมเดล

Zhipu เคยเปิดเผยข้อมูลประสิทธิภาพการอนุมานและต้นทุนของ GLM-5.3-Flash ผ่าน รายงานก่อนหน้านี้ โดยครั้งนี้ประเด็นสำคัญอยู่ที่การที่เอเจนต์เข้ามาปรับระบบการอนุมานที่ให้บริการโมเดล มากกว่าตัวเลขประสิทธิภาพของโมเดลโดยตรง

ในการทำงานลักษณะนี้ มนุษย์จะกำหนดเป้าหมายและขอบเขต พร้อมตรวจสอบการแก้ไขที่มีความเสี่ยงสูง ขณะที่เอเจนต์ติดตามสาเหตุของประสิทธิภาพที่ลดลง เปลี่ยนโค้ดตามสมมติฐาน และดำเนินการทดลอง

ถัง เจี๋ยมองว่าบทบาทของวิศวกรจะเข้าใกล้การเป็น 'ผู้ออกแบบฟีดแบ็ก' มากขึ้น การผสานการตรวจสอบของมนุษย์เข้ากับการทดลองซ้ำของเอเจนต์อาจช่วยลดระยะเวลาการปรับปรุงประสิทธิภาพ

อย่างไรก็ตาม ยังไม่ควรเรียกกรณีนี้ว่าเป็นการปรับปรุงตัวเองแบบวนซ้ำอย่างสมบูรณ์ หรือ RSI ถัง เจี๋ยอธิบายว่าเกิด 'วงจรปิดขั้นต่ำ' ซึ่งโมเดลปรับระบบ และระบบดังกล่าวกลับมาให้บริการโมเดลอีกครั้ง แต่ยังมีระยะห่างจาก RSI อย่างสมบูรณ์