ตรวจพบข้อบกพร่อง 219 จุดในเบนช์มาร์ก 10 รายการ ชี้โจทย์ตรวจสอบคะแนน AI Agent

นักวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ (UC Berkeley) ตรวจสอบเบนช์มาร์ก AI Agent 10 รายการ และพบข้อบกพร่อง 219 จุด ผลการศึกษาชี้ว่าคะแนนเพียงอย่างเดียวอาจไม่สะท้อนความสามารถของโมเดลในการทำงานจริง

นักวิจัยระบุในงานวิจัยที่เผยแพร่เมื่อวันที่ 12 พฤษภาคม 2026 ว่าใช้เครื่องมือตรวจสอบชื่อ ‘BenchJack’ เพื่อค้นหาช่องโหว่ที่เปิดทางให้ได้คะแนนสูงโดยไม่ต้องทำโจทย์ ในเบนช์มาร์ก 9 จาก 10 รายการ ทีมวิจัยสามารถสร้างการโจมตีที่ทำคะแนนได้เกือบเต็มโดยไม่ต้องลงมือทำงานจริง (งานวิจัยฉบับเต็ม)

ทีมวิจัยรายงานว่าได้ปรับแก้ WebArena ซึ่งใช้ประเมินการท่องเว็บ และ OSWorld ซึ่งใช้ประเมินงานบนเดสก์ท็อป รวมสามรอบ เพื่อกำจัดโจทย์ที่นำไปใช้ประโยชน์ได้ ข้อบกพร่องเกิดจากการแยก Agent ออกจากระบบประเมินที่ไม่รัดกุม การเปิดเผยข้อมูลคำตอบ และช่องโหว่ในตรรกะการให้คะแนน

นักวิจัยยังเสนอรายการตรวจสอบที่ครอบคลุมการแยกสภาพแวดล้อมประเมิน การปกป้องข้อมูลคำตอบ และการทบทวนวิธีให้คะแนน การใช้ช่องโหว่ของระบบประเมินเพื่อเพิ่มคะแนนโดยไม่แก้โจทย์จริงเรียกว่า ‘การแฮ็กผลตอบแทน’ (reward hacking)

งานวิจัยนี้ไม่ได้ทำให้คะแนนเบนช์มาร์กทั้งหมดใช้ไม่ได้ แต่ชี้ว่าข้อบกพร่องในสภาพแวดล้อมประเมินหรือวิธีให้คะแนนอาจทำให้คะแนนไม่สะท้อนความสามารถจริง จึงยากที่จะสรุปความสามารถในการใช้งานจริงของโมเดลจากอันดับหรือคะแนนเบนช์มาร์กเพียงอย่างเดียว

ราคาตลาดคาดการณ์เกี่ยวกับ ‘โมเดล AI ที่ดีที่สุดช่วงปลายเดือนตุลาคม’ ของ Anthropic ควรพิจารณาแยกจากผลการศึกษานี้ หน้าแสดงสัญญาของ Polymarket ระบุว่า ณ วันที่ 3 ตุลาคม เวลา 12:45 น. ตามเวลาเกาหลี Google อยู่ที่ 64% และ Anthropic อยู่ที่ 37% โดยสัญญามีกำหนดตัดสินผลในช่วงวันที่ 31 ตุลาคม (หน้าสัญญา Polymarket)

ราคาตลาดคาดการณ์สะท้อนการประเมินร่วมกันของผู้ซื้อขายต่อผลลัพธ์ของสัญญา แต่ไม่ได้วัดอันดับโมเดลอย่างเป็นกลางโดยตรง และไม่สามารถระบุสาเหตุของการเปลี่ยนแปลงราคาได้

จึงยังไม่มีข้อมูลยืนยันความสัมพันธ์เชิงเหตุและผลว่าผลการศึกษานี้ทำให้ราคาสัญญาของ Anthropic เปลี่ยนแปลง งานวิจัยตั้งข้อสังเกตถึงความจำเป็นในการตรวจสอบความน่าเชื่อถือของกระบวนการประเมินเบนช์มาร์ก แต่ไม่ได้ใช้ตัดสินความสามารถในการแข่งขันของโมเดล Anthropic