Alma ผ่านงาน 72.7% แซง Claude Code ในผลประเมินชั่วคราว พร้อมต้นทุนต่อภารกิจสำเร็จต่ำกว่า

AI agent Alma ซึ่งพัฒนาโดยนักพัฒนาอิสระ Yetone ทำอัตราผ่านภารกิจได้ 72.7% ในภาพรวมตารางจัดอันดับระหว่างการประเมินที่ยังดำเนินอยู่ สูงกว่า Claude Code ซึ่งทำได้ 70.0%

Marsbit รายงานเมื่อวันที่ 11 ว่าตัวเลขดังกล่าวอ้างอิงตาราง FrontierHarness v1.1 โดยในตารางเดียวกัน Codex CLI ทำได้ 77.9% และ Pi ทำได้ 72.8%

ค่าใช้จ่ายเฉลี่ยต่อภารกิจที่ทำสำเร็จอยู่ที่ 0.80 ดอลลาร์ (ประมาณ 1,074 วอน) สำหรับ Alma และ 0.94 ดอลลาร์ (ประมาณ 1,261 วอน) สำหรับ Claude Code ต่างกัน 0.14 ดอลลาร์ การเปรียบเทียบต้นทุนนี้อิงจำนวนโทเคนที่ agent ใช้ทำภารกิจ

ผู้ดำเนินการประเมินคือ Runta บริษัทโครงสร้างพื้นฐานสำหรับ AI agent โดย v1.1 ครอบคลุมการตั้งค่าการทำงานของ agent 21 แบบและโมเดล AI 5 รุ่น

การประเมินใช้ภารกิจเดียวกัน 62 รายการกับแต่ละชุดการตั้งค่า โดยรันภารกิจละ 4 ครั้ง รวมแผนการรันทั้งหมด 26,040 ครั้ง ซึ่งมีขนาดใหญ่กว่าเวอร์ชันก่อน 72 เท่า

เครื่องมือทั้งหมดทำงานในสภาพแวดล้อมคลาวด์แบบเดียวกัน การประเมินเปรียบเทียบอัตราความสำเร็จของภารกิจ ต้นทุนโทเคน และความเร็วในการทำงาน

วิธีนี้นำโมเดลและภารกิจเดียวกันไปใช้กับกรอบการทำงานของ agent ที่ต่างกัน เพื่อเปรียบเทียบผลลัพธ์ ดังนั้นคะแนน 70.0% ของ Claude Code จึงไม่ใช่ตัวเลขที่บ่งชี้ประสิทธิภาพของโมเดล Claude เพียงอย่างเดียว แต่เป็นผลจากโมเดลที่ใช้ร่วมกับการตั้งค่าการทำงานของ agent ในการประเมิน

รายงานของ Marsbit ระบุว่าโมเดลที่เข้าร่วมมีโมเดลเปิด เช่น GLM, DeepSeek, Kimi และ Muse ส่วนโมเดลปิดในตระกูล GPT และ Claude ไม่ได้อยู่ในการประเมิน

การประเมินยังไม่เสร็จสิ้น และตารางจัดอันดับอาจเปลี่ยนเมื่อมีผลการรันเพิ่มเติม ตัวเลขที่รายงานในขณะนี้จึงเป็นผลสรุปชั่วคราวของการประเมินที่ยังดำเนินอยู่

Alma เป็น AI agent ที่ทำงานบนคอมพิวเตอร์ มีหน่วยความจำระยะยาว อ่านและแก้ไขโค้ด รันคำสั่งในเทอร์มินัล และค้นหาข้อมูลบนเว็บได้

ผู้ใช้สามารถเปลี่ยนโมเดลพื้นฐานและเชื่อมต่อ Skills กับ MCP ได้ การรันบนเครื่องและการเชื่อมต่อเครื่องมือเป็นความสามารถของผลิตภัณฑ์ Alma ซึ่งแยกจากอัตราผ่านภารกิจในการประเมินครั้งนี้

Alma เพิ่งเพิ่มการเชื่อมต่อกับ Herdr ทำให้ผู้ใช้ตรวจดูงานของ Claude Code, Codex และ Pi ที่กำลังทำงานผ่าน Herdr ได้จากหน้าต่างแชตของ Alma รวมถึงถามคำถามหรืออนุมัติงานได้

Alma ยังรองรับการจัดการ agent หลายตัวที่ทำงานบนคอมพิวเตอร์จากระยะไกลผ่าน iPhone การเชื่อมต่อ Herdr เป็นฟังก์ชันสำหรับจัดการ agent หลายตัวในหน้าจอเดียว และไม่เกี่ยวกับคะแนนการประเมิน