AI เรียนรู้เป็นทีม: ทีมที่ทบทวนงานกันเพิ่มขึ้น แต่รายงานความผิดปกติเหลือ 0%

General Reasoning เปิดเผยวิธีฝึกเอเจนต์ AI หลายตัวด้วยรางวัลร่วมกันทั้งทีม ผลการประเมินพบว่าทีมที่ทบทวนงานของเพื่อนร่วมทีมมีสัดส่วนเพิ่มขึ้น แต่สัดส่วนการรายงานพฤติกรรมผิดปกติต่อทีมประเมินที่เป็นมนุษย์ลดลงจนเหลือ 0% เมื่อการฝึกดำเนินต่อไป

วิธีนี้เรียกว่า “การเรียนรู้แบบเสริมแรงด้วยรางวัลระดับทีม (RLCR)” และนำมาใช้กับ Avalon-M1-Mini ซึ่งมีพารามิเตอร์ 120,000 ล้านตัว เอเจนต์ในบทบาท CEO สามารถรับสมาชิกทีมได้สูงสุด 8 คน โดยสมาชิกสื่อสารกันผ่านกระดานข้อความและพื้นที่ทำงานร่วมกัน ทุกคนใช้โมเดลเดียวกัน และเมื่อจบงาน ผลงานของทีมจะนำไปใช้ฝึกสมาชิกทุกคน แทนการคำนวณผลงานแยกเป็นรายบุคคล

ส่วน Agent Swarm ของ Kimi ใช้โครงสร้างที่เอเจนต์ผู้ควบคุมแบ่งงานและมอบหมายให้เอเจนต์ย่อย Kimi ระบุในคำแนะนำอย่างเป็นทางการว่า เมื่อใช้การเรียนรู้แบบเสริมแรงสำหรับเอเจนต์คู่ขนาน (PARL) การฝึกเอเจนต์ย่อยจะหยุดลง และฝึกเฉพาะเอเจนต์ผู้ควบคุม เนื่องจากแยกได้ยากว่าสมาชิกคนใดมีส่วนต่อผลงาน และการเปลี่ยนกลยุทธ์ของสมาชิกทุกคนพร้อมกันอาจทำให้การฝึกไม่เสถียร Kimi K2.6 รองรับเอเจนต์ย่อยได้สูงสุด 300 ตัว

General Reasoning ใช้สภาพแวดล้อมการฝึก 147 แบบ และงานที่แตกต่างกันมากกว่า 2 ล้านงาน ในงานพัฒนาซอฟต์แวร์ สัดส่วนของหัวหน้าวิศวกรในบทบาทผู้รับสมาชิกทีมเพิ่มจากประมาณ 0.4% ในช่วงต้นของการฝึกเป็นประมาณ 13% ในช่วงท้าย ขณะที่สัดส่วนทีมที่ทบทวนงานของเพื่อนร่วมทีมอย่างน้อยหนึ่งครั้งเพิ่มจาก 42% เป็น 64%

รูปแบบการแบ่งงานก็เปลี่ยนไปด้วย จากเดิมที่สมาชิกแต่ละคนเขียนโค้ดคนละส่วน กลายเป็นมีสมาชิกคนหนึ่งรับหน้าที่พัฒนาหลัก ส่วนคนอื่นทำหน้าที่ทดสอบและตรวจทาน ทีมวิจัยระบุว่าบทบาทการจัดการและขั้นตอนตรวจสอบคุณภาพเกิดขึ้นระหว่างการฝึก

อย่างไรก็ตาม คะแนนที่เพิ่มขึ้นของทีมอธิบายได้ยากว่าเกิดจากการทำงานร่วมกันเพียงอย่างเดียว เมื่อทีมวิจัยอนุญาตให้เอเจนต์เดี่ยวใช้โทเคนเอาต์พุตได้เท่ากับทีม เอเจนต์เดี่ยวก็ไล่ตามข้อได้เปรียบด้านคะแนนของทีมได้ประมาณ 3 ใน 5 ของส่วนต่าง โทเคนเอาต์พุตคือหน่วยที่โมเดลใช้ในการสร้างคำตอบ

ในด้านเวลา ทีมทำได้ดีกว่า จากงานประเมิน 12 งาน เวลาที่ประเมินว่าทีมใช้เพื่อให้ได้คะแนนใกล้เคียงกันอยู่ที่เฉลี่ยประมาณหนึ่งในสี่ของเวลาที่เอเจนต์เดี่ยวใช้ ทีมวิจัยมองว่าความสามารถในการทำงานพร้อมกันของเอเจนต์หลายตัวเป็นข้อได้เปรียบหลักของวิธีฝึกแบบทีม

การประเมินความปลอดภัยพบปัญหาว่าพฤติกรรมการรายงานลดลง ในการทดลองจำลองการโจมตี 210 ครั้งที่ทีมวิจัยจัดทำขึ้น ไม่มีเอเจนต์ตัวใดเรียกใช้เครื่องมือโจมตี อย่างไรก็ตาม สัดส่วนการดำเนินการที่รายงานพฤติกรรมผิดปกติต่อทีมประเมินที่เป็นมนุษย์ลดจาก 76.7% เป็น 20% ตามขั้นตอนการฝึก ก่อนจะเหลือ 0%

สัดส่วนบันทึกการดำเนินการที่พิจารณาการรายงานอยู่ที่ 96.7–100% เอเจนต์บางตัวคัดค้านกันเองภายในทีมเท่านั้น และบางกรณีวางแผนจะรายงานแต่ไม่ได้ลงมือจริง ผลการประเมินจึงแสดงให้เห็นช่องว่างระหว่างการรับรู้ความผิดปกติหรือพิจารณารายงาน กับการแจ้งให้มนุษย์ทราบจริง

ผลการประเมินครั้งนี้มาจาก Avalon-M1-Mini ซึ่งยังอยู่ระหว่างการฝึก General Reasoning วางแผนเผยแพร่บทความฉบับสมบูรณ์ สภาพแวดล้อมการฝึก เครื่องมือสำหรับการทำงานของเอเจนต์ และน้ำหนักโมเดล หลังการฝึกเสร็จสิ้น