42.0%: งานทดลองเซลส์ฟอร์ซ(Salesforce, $CRM) ใช้ FLOPs ฝึก AI คณิตศาสตร์-โค้ดน้อยกว่าการฝึกร่วม

งานทดลองของทีมวิจัย AI จากเซลส์ฟอร์ซ(Salesforce, $CRM) พบว่า การฝึกโมเดลผู้เชี่ยวชาญด้านคณิตศาสตร์และโค้ดแยกกัน ก่อนรวมความสามารถไว้ในโมเดลเดียว ให้ผลใกล้เคียงกับการฝึกทั้งสองด้านร่วมกัน โดยใช้ปริมาณการคำนวณสำหรับการฝึกทั้งหมดน้อยกว่า 42.0%

ทีมวิจัยนำเสนอผลในเอกสารก่อนตีพิมพ์ชื่อ ‘Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO’ ซึ่งเผยแพร่บน arXiv เมื่อวันที่ 6 ตามเวลาเกาหลี งานวิจัยเปรียบเทียบความแม่นยำของชุดข้อมูลประเมินกับปริมาณ FLOPs สะสมระหว่างการฝึก

นักวิจัยฝึกโมเดลผู้เชี่ยวชาญด้านคณิตศาสตร์และโค้ดแยกกัน จากนั้นใช้การกลั่นความรู้แบบหลายครูและออนโพลิซี(OPD) เพื่อรวมความสามารถไว้ในโมเดลนักเรียนตัวเดียว โมเดลที่รวมแล้วได้รับการฝึกให้กลับมาทำความแม่นยำได้เทียบเท่าโมเดลผู้เชี่ยวชาญแต่ละตัว

การฝึกโมเดลผู้เชี่ยวชาญใช้ GRPO (Group Relative Policy Optimization) ซึ่งเป็นวิธีฝึกเสริมกำลังโดยอาศัยผลการทำงานเปรียบเทียบกันระหว่างคำตอบหลายแบบ

ส่วน OPD (On-Policy Distillation) เป็นวิธีกลั่นความรู้ที่โมเดลนักเรียนสร้างคำตอบขึ้นเอง แล้วโมเดลครูส่งสัญญาณการเรียนรู้ให้เป็นรายโทเคน ในการทดลองนี้ โมเดลผู้เชี่ยวชาญด้านคณิตศาสตร์และโค้ดทำหน้าที่เป็นครูให้โมเดลนักเรียน

การฝึกโมเดลผู้เชี่ยวชาญทั้งสองด้านใช้ 10.7 EFLOPs และการรวมความสามารถเข้าเป็นโมเดลนักเรียนใช้เพิ่มอีก 0.55 EFLOPs ปริมาณการคำนวณในขั้นกลั่นความรู้คิดเป็นประมาณ 5.2% ของการฝึกโมเดลผู้เชี่ยวชาญ โดย 1 EFLOP หมายถึงการคำนวณเลขทศนิยม 10¹⁸ ครั้ง

ตัวเลขลดลง 42.0% ไม่ได้หมายถึงการประหยัดเฉพาะในขั้นกลั่นความรู้ แต่เป็นการเปรียบเทียบปริมาณคำนวณรวมของการฝึกโมเดลผู้เชี่ยวชาญและการรวมโมเดล กับวิธี GRPO ที่ฝึกคณิตศาสตร์และโค้ดร่วมกัน

นักวิจัยยังขยายการทดลองเป็นสี่ด้าน โดยเพิ่มการประเมินความรู้และการทำตามคำสั่งเข้ากับคณิตศาสตร์และโค้ด

การฝึกโมเดลผู้เชี่ยวชาญทั้งสี่ด้านใช้ 14.4 EFLOPs และการรวมเป็นโมเดลนักเรียนใช้เพิ่มอีก 1.15 EFLOPs ปริมาณคำนวณในขั้นรวมโมเดลอยู่ที่ 8.0% ของการฝึกผู้เชี่ยวชาญ

ในการตั้งค่านี้ โมเดลที่รวมแล้วทำผลงานได้ใกล้เคียงกับเกณฑ์ instance-mix ของ GRPO แบบฝึกร่วม ขณะที่ใช้ FLOPs รวมลดลง 31.6% โดยนักวิจัยนับรวมทั้งการฝึกผู้เชี่ยวชาญและการรวมโมเดล

ในการทดลองด้านเดียว การใช้เช็กพอยต์ GRPO ของโมเดลนักเรียนเองเป็นครูทำให้ขั้นกลั่นความรู้เพื่อฟื้นความสามารถด้านคณิตศาสตร์ใช้การคำนวณน้อยกว่าการฝึก GRPO ได้สูงสุด 50 เท่า อย่างไรก็ตาม ตัวเลขนี้เปรียบเทียบเฉพาะปริมาณคำนวณในขั้นกลั่นความรู้

สำหรับงานด้านเดียว เช็กพอยต์ GRPO ที่ทำหน้าที่เป็นครูคือโมเดลที่ต้องการอยู่แล้ว เมื่อนับต้นทุนการฝึกเช็กพอยต์ดังกล่าวด้วย จึงยังสรุปไม่ได้ว่าการกลั่นความรู้ช่วยลดปริมาณคำนวณทั้งหมดได้ ส่วนการรวมหลายด้านต้องอาศัยโมเดลผู้เชี่ยวชาญที่มีความสามารถต่างกัน เพราะโมเดลผู้เชี่ยวชาญเพียงตัวเดียวอาจไม่รองรับทุกด้าน

ในการตั้งค่าที่นักวิจัยนำมาเปรียบเทียบ OPD ซึ่งใช้โมเดลครูที่ฝึกแยกจากภายนอก โดยทั่วไปให้ความแม่นยำต่อปริมาณคำนวณเท่ากันต่ำกว่า GRPO การทดลองบางส่วนยังพบว่าโมเดลนักเรียนสร้างคำตอบยาวเกินความจำเป็น

งานวิจัยนี้เปรียบเทียบปริมาณคำนวณที่วัดระหว่างการฝึก และเผยแพร่ในรูปเอกสารก่อนตีพิมพ์บน arXiv ผลการศึกษาไม่ได้วัดว่าค่าใช้จ่ายคลาวด์หรือการใช้พลังงานลดลงในสัดส่วนเดียวกัน