ดัชนี AI เขียนโค้ดเพิ่มเป็น 322 งาน ให้น้ำหนัก 3 การทดสอบเท่ากัน

อาร์ติฟิเชียล อะนาไลซิส (Artificial Analysis) เพิ่มจำนวนงานประเมินเอเจนต์เขียนโค้ดจาก 290 เป็น 322 งาน โดยเพิ่มโจทย์ทดสอบการแก้ไขคลังโค้ดและปรับตัวตรวจให้คะแนนของการทดสอบงานผ่านบรรทัดคำสั่ง

ณ วันที่ 14 อาร์ติฟิเชียล อะนาไลซิสระบุใน ระเบียบวิธีจัดทำดัชนี Coding Agents v2.1 ว่าคะแนนจากการทดสอบทั้งสามรายการมีน้ำหนักเท่ากัน วิธีนี้ต่างจากการรวมคะแนนทุกโจทย์แล้วหาค่าเฉลี่ย เพราะการทดสอบที่มีโจทย์มากกว่าจะไม่ได้รับน้ำหนักสูงกว่า

v2.1 ประกอบด้วย FrontierCode-AA 2.0 จำนวน 132 งาน ซึ่งประเมินความสามารถในการแก้ไขคลังโอเพนซอร์ส, Terminal-Bench 4.1 จำนวน 66 งาน ซึ่งทดสอบงานหลายขั้นตอนในสภาพแวดล้อมบรรทัดคำสั่ง และ SWE-Atlas-QnA-AA จำนวน 124 งาน ซึ่งวัดความสามารถในการอ่านคลังโค้ดและตอบคำถาม รวมทั้งหมด 322 งาน

แต่ละงานประเมินจากผลการลองทำ 3 ครั้ง ดัชนีจึงสะท้อนผลงานของเอเจนต์ในงานหลายประเภท ไม่ได้วัดเพียงอัตราตอบถูกของโมเดลเดียว

จำนวนงานที่เพิ่มขึ้นมาจากการปรับชุดทดสอบ FrontierCode โดย FrontierCode v1.1 ที่ใช้ใน v2.0 มี 100 งาน ส่วน FrontierCode-AA 2.0 ใน v2.1 มี 132 งาน ขณะที่อีกสองการทดสอบยังมีจำนวนเท่าเดิม ทำให้โจทย์ที่เพิ่มขึ้นทั้ง 32 งานมาจากการทดสอบนี้

FrontierCode-AA 2.0 ประเมินว่าการเปลี่ยนแปลงที่เอเจนต์ทำกับคลังโอเพนซอร์สจริงมีคุณภาพพอที่ผู้ดูแลโครงการจะผสานเข้ากับโค้ดหรือไม่ การลองทำที่ไม่ผ่านการตรวจสอบภาคบังคับ หรือค้นหาและนำโค้ดที่เป็นคำตอบจากแหล่งภายนอกมาใช้ จะได้ 0 คะแนน

Terminal-Bench 4.1 ยังคงใช้โจทย์ 66 งานและสภาพแวดล้อมเดียวกับเวอร์ชัน 4.0 แต่ปรับตัวตรวจสอบผลใหม่ รวมถึงขั้นตอนให้คะแนนโค้ดที่เอเจนต์เขียนขึ้นสำหรับงานหลายขั้นตอนผ่านบรรทัดคำสั่ง

ระหว่างให้คะแนน โค้ดที่เอเจนต์เขียนจะทำงานในโปรเซสแยกที่มีสิทธิ์จำกัด นอกจากนี้ยังแก้เงื่อนไขการตรวจสอบที่เคยตัดคำตอบที่ถูกต้องออกอย่างผิดพลาด

ทีม Terminal-Bench ระบุในประกาศเวอร์ชัน 4.1 ว่าได้ปรับปรุงตัวตรวจสอบ และนำผลที่บันทึกไว้จากเวอร์ชัน 4.0 มาให้คะแนนใหม่ด้วยตัวตรวจสอบชุดใหม่ ดังนั้นคะแนนระหว่างเวอร์ชันจึงอาจแตกต่างกันทั้งจากจำนวนงานและวิธีให้คะแนน

SWE-Atlas-QnA-AA มี 124 งาน โดยวัดความสามารถในการอ่านโค้ดในคลังและตอบคำถาม แทนการแก้ไขโค้ดโดยตรง จำนวนงานเท่ากันใน v2.0 และ v2.1

อาร์ติฟิเชียล อะนาไลซิสยังปรับวิธีคำนวณต้นทุนต่อหนึ่งงาน โดยนำปริมาณโทเค็นที่ผู้ให้บริการโมเดลรายงานมารวมกับอัตราแคชฮิตที่วัดได้ตามปกติ เนื่องจากมีการเปลี่ยนทั้งชุดงานประเมินและสูตรคำนวณบางส่วน คะแนนของสองเวอร์ชันจึงอาจไม่ได้สะท้อนการเปลี่ยนแปลงด้านประสิทธิภาพของโมเดลเพียงอย่างเดียว

แต่ละรายการในตารางจัดอันดับสาธารณะหมายถึงการตั้งค่าเอเจนต์ที่รวมการตั้งค่าการอนุมานและเครื่องมือที่ใช้ทำงานไว้ด้วย ไม่ใช่ตัวโมเดลเพียงอย่างเดียว ดังนั้นคะแนนของโมเดลเดียวกันอาจต่างกันได้ตามเครื่องมือและการตั้งค่าที่ใช้

เอกสารระเบียบวิธีอธิบาย v2.1 ส่วนตารางจัดอันดับที่เปิดเผยต่อสาธารณะ ณ วันที่ 14 แสดง v2.1 และการตั้งค่าการประเมินทั้งสามแบบ ก่อนหน้านี้ TokenPost รายงานการปรับดัชนี ให้การลองแฮ็กระบบรางวัลได้ 0 คะแนน หลังการปรับ v1.4 ครั้งนั้น v2.1 เปลี่ยนโจทย์แก้ไขโค้ดและตัวตรวจให้คะแนนของงานผ่านบรรทัดคำสั่ง