Claude Fable 5.2 ของแอนโทรปิก (Anthropic) ขึ้นอันดับ 1 ในตารางคะแนนรวมด้าน WebDev ของ Code Arena ด้วยคะแนน 1,824 คะแนน นำ Claude Opus 5.5 ซึ่งอยู่อันดับ 2 อยู่ 6 คะแนน
ตารางอันดับที่ Code Arena เผยแพร่เมื่อวันที่ 18 แสดงโมเดล 162 รายการและคะแนนโหวตประเมินรวม 1,027,059 ครั้ง โดยจัดอันดับในหมวด WebDev ซึ่งประเมินการสร้างเว็บแอปพลิเคชัน
GPT-6.2 Astra อยู่ในอันดับ 3 ด้วยคะแนน 1,797 คะแนน ส่วน Fable 5.2 ได้รับการประเมินด้วยการตั้งค่า xHigh และ Opus 5.5 ใช้การตั้งค่า Max
หน้ารายละเอียดของแต่ละโมเดลระบุว่า Fable 5.2 ได้ 1,824±17 คะแนน และ Opus 5.5 ได้ 1,818±11 คะแนน โดยช่วงอันดับที่ประเมินของทั้งคู่ทับซ้อนกันที่อันดับ 1 ถึง 3
การประเมินของ Code Arena ให้ผู้ประเมินเปรียบเทียบเว็บแอปสองรายการที่โมเดลสร้างขึ้น แล้วโหวตเลือกผลงานที่ดีกว่า โดยพิจารณาการทำงาน ความสะดวกในการใช้งาน การทำตามคำขอ และการออกแบบ
คำอธิบายวิธีประเมินของ Code Arena ระบุว่า โมเดลสร้างและแก้ไขไฟล์ในสภาพแวดล้อมที่ควบคุมไว้จนได้แอปที่สมบูรณ์ ผลงานที่ผ่านการทำงานและแก้ไขหลายรอบจะถูกนำมาประเมิน
แนวทางนี้มีจุดเน้นต่างจากการประเมินโค้ดแบบเดิมที่มุ่งดูว่าผ่านชุดทดสอบที่กำหนดไว้หรือไม่ Code Arena ระบุว่าการประเมินครอบคลุมทั้งฟังก์ชันการทำงาน ความสะดวกในการใช้ และความตรงตามรูปแบบการออกแบบที่ร้องขอ
อันดับแตกต่างกันไปตามประเภทงานย่อย โดย Fable 5.2 ได้อันดับ 1 ในงาน React ด้วยคะแนน 1,887 คะแนน อันดับ 4 ในงาน HTML ด้วยคะแนน 1,779 คะแนน และอันดับ 2 ในงานสร้างผลงานจากดีไซน์อ้างอิงด้วยคะแนน 1,844 คะแนน
ก่อนหน้านี้ TokenPost รายงานว่า Claude Fable 5.2 ได้อันดับ 1 ในการประเมินอินเทอร์แอกทีฟ 3D ของ AA-3D ด้วยคะแนน 1,271 Elo อย่างไรก็ตาม AA-3D และ WebDev ใช้โจทย์ประเมินและระบบคะแนนต่างกัน จึงไม่สามารถเปรียบเทียบคะแนนทั้งสองโดยตรงได้
แอนโทรปิกเปิดตัว Fable 5.2 ในประกาศอย่างเป็นทางการเมื่อวันที่ 9 โดยระบุว่าโมเดลนี้มุ่งรองรับงานด้านเทคนิคที่ซับซ้อนและใช้เวลานาน บริษัทกล่าวว่าความเร็วในการสร้างผลลัพธ์เร็วขึ้นสูงสุด 30% เมื่อเทียบกับรุ่นก่อน
แอนโทรปิกระบุว่าให้บริการโมเดลผ่านแพลตฟอร์มของบริษัทเอง รวมถึง Bedrock ของ Amazon Web Services, Google Cloud และ Microsoft Foundry เอกสารโมเดลระบุค่าบริการ API พื้นฐานไว้ที่ 8 ดอลลาร์ (ประมาณ 10,656 วอน) ต่อโทเคนขาเข้า 1 ล้านโทเคน และ 40 ดอลลาร์ (ประมาณ 53,280 วอน) ต่อโทเคนขาออก 1 ล้านโทเคน
ค่าบริการขาเข้าและขาออกดังกล่าวต่ำกว่า Fable 5.1 อยู่ 20% ทั้งนี้ ค่าบริการ API พื้นฐานของ Opus 5.5 อยู่ที่ 4 ดอลลาร์ต่อโทเคนขาเข้า 1 ล้านโทเคน และ 20 ดอลลาร์ต่อโทเคนขาออก 1 ล้านโทเคน หรือครึ่งหนึ่งของ Fable 5.2
ต้นทุนมัธยฐานต่อโจทย์ที่ Code Arena รวบรวมอยู่ที่ 11.58 ดอลลาร์ (ประมาณ 15,425 วอน) สำหรับ Fable 5.2 และ 9 ดอลลาร์ (ประมาณ 11,988 วอน) สำหรับ Opus 5.5 ต้นทุนต่อโจทย์คำนวณจากค่าใช้จ่ายที่เกิดขึ้นจริงในการประเมินโจทย์ และมีหน่วยต่างจากค่าบริการ API พื้นฐานต่อโทเคน 1 ล้านโทเคน
Comment 0