GPT-6.2 Astra ของ OpenAI ได้ 1,291 คะแนนและอยู่อันดับ 6 ใน Agent Arena Index ของ Arena.ai โดยทำคะแนนสูงกว่า GPT-6 Astra รุ่นก่อน 9 คะแนน
ตารางจัดอันดับอย่างเป็นทางการระบุว่า Claude Fable 5.2 อยู่อันดับ 1 และ Claude Opus 5.5 อยู่อันดับ 2 ส่วน Gemini 4 Neon และ Gemini 4 Carbon ของ Google DeepMind อยู่ที่อันดับ 3 และ 4 ตามลำดับ
Arena เปิดเผยดัชนีเอเจนต์ใหม่เมื่อวันที่ 18 หน้ารายละเอียดของ GPT-6.2 Astra แสดงคะแนนพร้อมช่วงความคลาดเคลื่อน ±35 คะแนน และการกระจายอันดับตั้งแต่อันดับ 2 ถึง 11
ข้อมูลแนะนำดัชนีของ Arena ระบุว่า การประเมินใช้ข้อมูลจากเซสชันผู้ใช้จริงมากกว่า 2.9 ล้านครั้ง และตารางจัดอันดับมีทั้งหมด 68 โมเดล
ดัชนีนี้รวมสัญญาณ 4 ด้าน ได้แก่ △การทำงานให้เสร็จ △คำชมและข้อร้องเรียนจากผู้ใช้ △การทำตามคำสั่งแก้ไข △ความเสถียรในการใช้ Bash ซึ่งเป็นเชลล์บรรทัดคำสั่ง โดยพิจารณาทั้งการทำงานของเอเจนต์และปฏิกิริยาของผู้ใช้ในสถานการณ์จริง
ตัวชี้วัดการทำงานให้เสร็จประเมินว่าโมเดลทำงานที่ผู้ใช้มอบหมายสำเร็จหรือไม่ ส่วนตัวชี้วัดปฏิกิริยาของผู้ใช้เปรียบเทียบความคิดเห็นเชิงบวกกับเชิงลบ
การทำตามคำสั่งแก้ไขประเมินว่าโมเดลปรับตามคำสั่งเมื่อผู้ใช้เปลี่ยนแนวทางได้ดีเพียงใด ส่วนความเสถียรของ Bash วัดความถี่ที่คำสั่งซึ่งโมเดลเรียกใช้ในบรรทัดคำสั่งทำงานสำเร็จ
Arena ปรับมาตรฐานสัญญาณทั้ง 4 ด้าน แล้วคำนวณคะแนนเฉลี่ยถ่วงน้ำหนักโดยให้น้ำหนักกับเซสชันล่าสุดมากกว่า ดังนั้นคะแนนรวมที่เพิ่มขึ้น 9 คะแนนไม่ได้หมายความว่าผลงานดีขึ้นในงานทุกประเภท
Arena ระบุว่า แม้จะเปลี่ยนมาตรวัดคะแนนสำหรับดัชนีใหม่ แต่อันดับโมเดลจะไม่เปลี่ยนเมื่อเทียบกับวิธีเดิม นอกจากนี้ยังเปลี่ยนชื่อสัญญาณ «ความสำเร็จที่ยืนยันแล้ว» เป็น «การทำงานให้เสร็จ» และนำสัญญาณการหลอนเครื่องมือออกจากดัชนี
อันดับรายสาขาแตกต่างจากผลรวม โดย GPT-6.2 Astra อยู่ที่อันดับ 3 ในดัชนีการเขียนโค้ด และอันดับ 11 ในดัชนีการสนทนา ส่วน GPT-6 Astra รุ่นก่อนอยู่อันดับ 8 ในทั้งสองดัชนี
ดัชนีย่อยที่เผยแพร่เมื่อวันที่ 18 รวบรวมเซสชันการเขียนโค้ด 1,031,799 ครั้ง และเซสชันการสนทนา 993,807 ครั้ง แต่ละดัชนีเปรียบเทียบโมเดลเฉพาะในงานของสาขานั้น
OpenAI ระบุในประกาศเปิดตัวว่า Astra ออกแบบมาสำหรับงานวิชาชีพและงานวิทยาศาสตร์ที่ซับซ้อน ส่วน GPT-6.2 Sol มุ่งเน้นงานประจำวัน บริษัทกล่าวว่า Astra ทำคะแนนสูงสุดครั้งใหม่ในการประเมินของบริษัทเอง ได้แก่ «Agents’ Last Exam» และ «Terminal-Bench-Science 0.1»
ราคาโทเค็นขาเข้าและขาออกของ API ต่ำกว่ารุ่นก่อน 20% ส่วนโทเค็นขาเข้าที่แคชไว้ได้รับส่วนลด 60% การแคชขาเข้าหมายถึงการนำเนื้อหาอย่างคำสั่งที่ประมวลผลไปก่อนหน้าแล้วกลับมาใช้ซ้ำ
ผลครั้งนี้เป็นดัชนีรวมงานหลายสาขาและปฏิกิริยาของผู้ใช้ ก่อนหน้านี้ TokenPost รายงานว่า Astra ได้อันดับ 1 ด้วยคะแนน 1,318 Elo ในการประเมินการสร้างฉาก 3 มิติ ซึ่งเป็นการประเมินผลงาน 3 มิติแยกต่างหาก
ก่อนหน้านี้ TokenPost ยังรายงานอันดับโมเดล OpenAI ในดัชนีการจัดแนวของ Arena.ai ด้วย ดัชนีดังกล่าววัดพฤติกรรมที่ไม่ได้รับอนุญาต การระบุแหล่งที่มาผิด และการอ้างว่าทำงานเสร็จทั้งที่ยังไม่สำเร็จ ส่วน Agent Arena Index วัดการทำงานให้เสร็จและปฏิกิริยาของผู้ใช้ จึงใช้เกณฑ์ประเมินคนละด้าน
Comment 0