QwenGyre ลดเวลาฝึกโมเดล 2.4T ลง 44%

ทีมนักวิจัยของอาลีบาบา(Alibaba) ระบุว่า เฟรมเวิร์กการเรียนรู้แบบเสริมกำลัง QwenGyre ช่วยลดเวลาฝึกโมเดล Qwen3.8 2.4T จำนวน 48 ขั้นตอนได้ราว 44% เมื่อเทียบกับวิธีอะซิงโครนัสแบบเดิม โดยการทดลองที่ใช้งบประมาณ GPU เท่ากันใช้เวลา 75.42 ชั่วโมง ลดลงจาก 134.55 ชั่วโมง

QwenGyre เป็นเฟรมเวิร์กสำหรับการเรียนรู้แบบเสริมกำลังของ AI agent ที่ทำงานต่อเนื่องเป็นเวลานาน โดยจัดสรร GPU ระหว่างการทำงานของ agent หรือที่เรียกว่า ‘rollout’ กับการฝึกโมเดลใหม่ตามความคืบหน้าของงาน

เมื่อ agent ทำงานเสร็จ GPU ที่เคยจัดสรรให้จะถูกนำไปใช้ฝึกโมเดล ส่วน agent ที่ยังทำงานอยู่จะใช้ GPU ที่เหลือต่อไป นักวิจัยอธิบายว่าสามารถเปลี่ยนการใช้งาน GPU ได้โดยไม่ต้องหยุดงาน และยังเพิ่ม GPU ใหม่เข้าร่วมการฝึกที่กำลังดำเนินอยู่ได้

นักวิจัยระบุว่างานหลายขั้นตอน เช่น การเขียนโค้ด เป็นกลุ่มงานเป้าหมายหลัก เนื่องจากเมื่อ agent ทำงานต่อเนื่องหลายชั่วโมงและเรียกใช้โมเดลกับเครื่องมือซ้ำหลายครั้ง ระยะเวลาที่แต่ละงานใช้ก็อาจแตกต่างกัน

การฝึกแบบซิงโครนัสเดิมจะรอให้งานของ agent ทั้งชุดเสร็จสิ้นก่อนจึงอัปเดตโมเดล ตามคำอธิบายของนักวิจัย GPU ของ agent ที่ทำงานเสร็จก่อนอาจว่างอยู่จนกว่างานอื่นจะเสร็จ

นักวิจัยชี้ว่า การฝึกแบบอะซิงโครนัสแยกการทำงานของ agent ออกจากการฝึกโมเดล แต่จัดสรร GPU ให้ทั้งสองส่วนแบบตายตัว จึงโยกย้ายทรัพยากรที่เหลือได้ยาก QwenGyre ออกแบบมาเพื่อลดปัญหานี้ โดยนำ GPU ไปใช้ฝึกโมเดลตามลำดับที่งานเสร็จ

ทีมวิจัยยังใช้วิธีลดการประมวลผลข้อมูลฝึกซ้ำ เมื่อ agent ลองทำใหม่ บีบอัดบันทึกการทำงาน หรือเรียก agent ย่อย เส้นทางการทำงานอาจแยกออกเป็นหลายทาง แต่เส้นทางที่ต่างกันอาจใช้ผลลัพธ์จากโมเดลชุดเดียวกันได้

QwenGyre บันทึกข้อมูลขาเข้าและขาออกจริงในการเรียกโมเดลแต่ละครั้ง แล้วจัดเส้นทางที่มีประวัติร่วมกันเป็นต้นไม้ของเส้นทางการทำงาน ในขั้นฝึก ระบบเลือกเส้นทางบางส่วนเพื่อหลีกเลี่ยงการคำนวณผลลัพธ์จากโมเดลเดิมซ้ำ

แม้งานจะจบลงเพราะหมดเวลา ระบบก็ยังนำผลลัพธ์บางส่วนที่เสร็จสมบูรณ์และตรวจสอบได้มาใช้ฝึกได้ นักวิจัยอธิบายว่าวิธีนี้ช่วยนำบันทึกการทำงานที่เกิดจากการลองใหม่และการหยุดชะงักของ agent มาใช้ในการฝึก

งานวิจัยระบุว่าโมเดล Qwen3.8 2.4T ประมวลผลประมาณ 700,000 โทเคนต่องาน ในการฝึกแบบเสริมกำลัง 48 ขั้นตอนภายใต้งบประมาณ GPU เท่ากัน QwenGyre ใช้เวลา 75.42 ชั่วโมง ขณะที่วิธีอะซิงโครนัสเดิมใช้เวลา 134.55 ชั่วโมง

อัตราการผ่าน NL2RepoBench ซึ่งประเมินความสามารถในการสร้างคลังเก็บโค้ด เพิ่มจาก 52.48% ก่อนฝึกเป็น 58.54% หลังฝึก อย่างไรก็ตาม งานวิจัยระบุว่าคะแนนการฝึกของ QwenGyre ใกล้เคียงกับวิธีฝึกเดิม งานวิจัย QwenGyre

ทีมนักวิจัยของอาลีบาบานำเสนอผลด้านเวลาฝึกและอัตราการผ่านเกณฑ์ทดสอบจากการทดลองที่ใช้การจัดสรร GPU ใหม่และลดเส้นทางการทำงานซ้ำ ผลลัพธ์นี้มาจากโมเดลและเงื่อนไขการทดลองดังกล่าว ก่อนหน้านี้ TokenPost รายงานว่าโมเดล Qwen3.8 2.4T ของอาลีบาบาถูกนำไปใช้งานบนซูเปอร์คอมพิวเตอร์ของจีน