โทเคนสูงสุด 4.7 เท่าเมื่อใช้ AI agent หลายตัว นักวิจัยอเมซอน(Amazon, AMZN) เสนอเริ่มแบบเดี่ยว

นักวิจัยจากอเมซอน(Amazon, AMZN) และมหาวิทยาลัยวอชิงตัน(University of Washington) เสนอให้เริ่มใช้ AI agent แบบเดี่ยวในงานขององค์กร โดยการตั้งค่าแบบหลาย agent ที่ทำคะแนนสำเร็จสูงสุดใช้โทเคนมากกว่าแบบเดี่ยว 4.7 เท่า และใช้เวลาประมวลผลนานกว่า 3.1 เท่า

งานวิจัยที่เผยแพร่เมื่อวันที่ 7 เปรียบเทียบสถาปัตยกรรม AI agent 4 แบบ รวม 8 การตั้งค่า กับขั้นตอนปฏิบัติงานมาตรฐาน (SOP) ขององค์กร 13 รายการ โดย SOP คือขั้นตอนที่องค์กรใช้ดำเนินงาน

นักวิจัยใช้ Claude Opus 4.8 โดยคงงานและเครื่องมือไว้เหมือนเดิม แล้วเปลี่ยนเฉพาะโครงสร้าง agent อัตราความสำเร็จของงาน (TSR) วัดจากสัดส่วนงานทั้งหมดที่ได้คำตอบถูกต้อง

การตั้งค่าแบบ agent เดี่ยวมาตรฐานทำอัตราความสำเร็จได้ 67.4% ใช้โทเคนเฉลี่ย 24,900 โทเคนต่อภารกิจ และใช้เวลา 24 วินาที

เมื่อเพิ่มสกิลคุณภาพสูง อัตราความสำเร็จของแบบเดี่ยวเพิ่มเป็น 73.1% แต่การตั้งค่าที่ใช้สกิลคุณภาพต่ำทำได้ 59.8% ต่ำกว่าค่ามาตรฐาน นักวิจัยระบุว่าคุณภาพของคำแนะนำและความเหมาะสมกับงานสำคัญกว่าการมีหรือไม่มีสกิล

ผลของแบบหลาย agent แตกต่างกันตามวิธีจัดระบบ การตั้งค่าเริ่มต้นที่แบ่งงานให้ agent ผู้เชี่ยวชาญรับผิดชอบทำอัตราความสำเร็จได้ 58.2% ซึ่งต่ำกว่าแบบเดี่ยวมาตรฐาน

ส่วนการตั้งค่าที่ให้ agent แต่ละตัวเข้าถึง SOP และเครื่องมือทั้งหมด พร้อมเพิ่มการมอบหมายงานใหม่และตรวจสอบผลลัพธ์ ทำอัตราความสำเร็จได้ 75.6% ในตารางผลการทดลอง นักวิจัยระบุว่านี่เป็นการตั้งค่าเดียวที่มีประสิทธิภาพสูงกว่าค่ามาตรฐานอย่างมีนัยสำคัญทางสถิติ

การตั้งค่าแบบหลาย agent ที่ปรับปรุงแล้วใช้ 117,300 โทเคนต่อภารกิจ และใช้เวลา 73.5 วินาที โดยการตั้งค่าแบบปรับแต่งที่นำมาเปรียบเทียบใช้โทเคนมากกว่าค่ามาตรฐาน 1.4–4.7 เท่า และใช้เวลามากกว่า 2.6–5.8 เท่า การตั้งค่าแบบ swarm ใช้เวลานานที่สุดที่ 138.6 วินาที งานวิจัยไม่ได้ระบุต้นทุนการชำระเงินจริงเป็นจำนวนเงิน

นักวิจัยตรวจสอบว่าเมื่อเพิ่มความซับซ้อนของงาน การเพิ่มโครงสร้างจะช่วยเพิ่มประสิทธิภาพหรือไม่ แต่ไม่พบความสัมพันธ์ที่มีนัยสำคัญทางสถิติระหว่างความซับซ้อนของงานกับระดับการปรับปรุงผลลัพธ์ ข้อมูลนี้ไม่ได้หมายความว่า agent เดี่ยวแม่นยำกว่าสำหรับทุกงาน นักวิจัยเสนอให้เริ่มจาก agent เดี่ยว แล้ววัดว่าผลลัพธ์ที่ดีขึ้นในแต่ละงานคุ้มกับทรัพยากรที่เพิ่มขึ้นหรือไม่

ตัวเลขอัตราความสำเร็จในงานวิจัยมีความไม่สอดคล้องกัน ตารางผลและเนื้อหาหลักระบุว่า จาก SOP 13 รายการ การตั้งค่าแบบเดี่ยวทำได้ 67.4% และแบบหลาย agent ที่ปรับปรุงแล้วทำได้ 75.6% แต่บทสรุประบุว่าประเมิน SOP 12 รายการ พร้อมรายงานตัวเลข 65.6% และ 74.4% ตามลำดับ

นักวิจัยยังระบุว่าไม่ได้ตรวจสอบข้อผิดพลาดในงานที่ต้องแสดงผลหลายรายการพร้อมกันของการตั้งค่าแบบหลาย agent ที่ปรับปรุงแล้ว จึงเขียนในงานวิจัยว่าควรถือผลดังกล่าวเป็นข้อมูลเบื้องต้น

ก่อนหน้านี้ งานวิจัย harness ของ Meta ก็รายงานทั้งคะแนนที่เพิ่มขึ้นในเกณฑ์ทดสอบคณิตศาสตร์และการเขียนโค้ด รวมถึงการใช้โทเคนที่เพิ่มขึ้นเช่นกัน

อเมซอนเว็บเซอร์วิส(Amazon Web Services, AWS) เผยแพร่คู่มือการออกแบบเมื่อวันที่ 9 โดยเสนอให้ใช้ agent เดี่ยวกับงานง่าย และใช้ supervisor ร่วมกับ agent ผู้เชี่ยวชาญกับงานซับซ้อนที่ครอบคลุมหลายด้าน คู่มือนี้เป็นแนวทางสำหรับผู้ใช้บริการของ AWS และไม่ได้เป็นความเห็นโดยตรงต่องานวิจัยฉบับนี้

การทดลองใช้เครื่องมือจำลองที่กำหนดผลลัพธ์ไว้ แทนบริการจริง จึงไม่ได้วัดความล่าช้าและข้อผิดพลาดที่อาจเกิดระหว่างให้บริการ หรือความแปรปรวนจากการรันซ้ำ อีกทั้งจำกัดการทดลองไว้ที่โมเดลเดียว และไม่ได้ประเมินงานด้านสินทรัพย์ดิจิทัลหรือบล็อกเชน