GPT-6 Astra ของโอเพนเอไอ(OpenAI) ทำคะแนนได้สูงกว่า Claude Fable 5.1 ของแอนโทรปิก(Anthropic) ในการทดสอบประสิทธิภาพด้านการเขียนโค้ด (coding benchmark) อย่างไรก็ตาม การใช้เพียงผลประเมินที่ทั้งสองบริษัทเปิดเผยเองยังไม่เพียงพอที่จะสรุปช่องว่างด้านประสิทธิภาพระหว่างโมเดลปิด (closed model) กับกลุ่มโมเดลโอเพนซอร์สและโอเพนเวท (open-source, open-weight) ทั้งหมด
แอนโทรปิกเปิดตัว Claude Fable 5.1 เมื่อวันที่ 1 กันยายน โดย Fable 5.1 เป็นโมเดลที่ออกแบบมาเพื่อทำงานเขียนโค้ดต่อเนื่องยาวนานและงานที่ใช้ความรู้ ชูจุดเด่นด้านการจัดการโค้ดเบสทั้งหมด เขียนชุดทดสอบ (test) และควบคุมเบราว์เซอร์ได้
ราคา API ของ Fable 5.1 อยู่ที่ 10 ดอลลาร์ (ประมาณ 13,390 วอน) ต่อโทเคนอินพุต 1 ล้านโทเคน และ 50 ดอลลาร์ (ประมาณ 66,950 วอน) ต่อโทเคนเอาต์พุต 1 ล้านโทเคน ส่วนราคาการอ่านแคชอยู่ที่ 0.25 ดอลลาร์ (ประมาณ 335 วอน) ต่อ 1 ล้านโทเคน แอนโทรปิกระบุว่าต้นทุนงานทั่วไปลดลงประมาณ 25% ส่วนต้นทุนงานแบบเอเจนต์ (agentic task) ลดลงได้สูงสุดประมาณ 45%
โอเพนเอไอเปิดตัว GPT-6 Astra เมื่อวันที่ 3 กันยายน โดยแนะนำว่า Astra เป็นโมเดลที่ทำงานด้านการเขียนโค้ด ควบคุมเบราว์เซอร์ วิจัยทางวิทยาศาสตร์ และงานเฉพาะทางได้ ซึ่งจะให้บริการแก่องค์กรที่จำกัดก่อน ก่อนจะขยายไปสู่ ChatGPT Plus, Pro, Business, Enterprise รวมถึง API, ไมโครซอฟท์(MSFT) Azure และ Amazon Web Services(AWS) Bedrock ทั้งนี้ กระบวนการเปิด API ของ GPT-6 Astra และการเปิดให้ผู้ใช้แบบเสียเงินของโอเพนเอไอ ก็ดำเนินการแบบทยอยเปิดให้ใช้งานเช่นกัน
จากตารางประเมินอย่างเป็นทางการของโอเพนเอไอ Astra ทำคะแนนได้ 57.9% ใน Terminal-Bench 4.0 และ 74.1% ใน DeepSWE v1.1 ขณะที่ในตารางเดียวกัน Fable 5.1 ทำได้ 55.8% และ 67.4% ตามลำดับ
เท่ากับว่า Astra ทำคะแนนสูงกว่า Fable 5.1 อยู่ 2.1 จุดเปอร์เซ็นต์ใน Terminal-Bench 4.0 และสูงกว่า 6.7 จุดเปอร์เซ็นต์ใน DeepSWE v1.1 แต่ยังต้องตรวจสอบเพิ่มเติมว่าสภาพแวดล้อมการประเมินและขั้นตอนการทดสอบเหมือนกันทั้งหมดหรือไม่
ในการทดสอบการใช้งานคอมพิวเตอร์ OSWorld 2.0 นั้น Astra ทำคะแนนได้ 72.6% ขณะที่ GPT-5.6 Sol ทำได้ 65.7% โอเพนเอไอระบุว่า Astra ทำคะแนนสูงกว่าในการจำลองสถานการณ์นี้ โดยใช้เวลาต่อภารกิจน้อยกว่า GPT-5.6 Sol ประมาณ 47%
ผลการทดสอบ OSWorld 2.0 เป็นการเปรียบเทียบระหว่างโมเดลของโอเพนเอไอด้วยกันเอง จึงไม่สามารถตีความตัวเลขนี้เพียงอย่างเดียวว่าแสดงถึงช่องว่างด้านประสิทธิภาพกับโมเดลโอเพนซอร์สได้
สิ่งที่ทั้งสองบริษัทให้ความสำคัญในการแข่งขันครั้งนี้ ไม่ใช่ความสามารถในการตอบคำถามแบบง่ายๆ แต่เป็นความสามารถในการ ‘ทำงานให้เสร็จสมบูรณ์’ โดยทั้งสองโมเดลถูกออกแบบให้ทำงานหลายขั้นตอนได้ ไม่ว่าจะเป็นการสร้างโค้ด ควบคุมเบราว์เซอร์ เขียนชุดทดสอบ และแก้ไขข้อผิดพลาด
ด้วยเหตุนี้ มาตรฐานการเปรียบเทียบโมเดลจึงขยายจากความแม่นยำของคำตอบเดี่ยวๆ ไปสู่การประเมินเอเจนต์เขียนโค้ดและการใช้งานคอมพิวเตอร์ แม้จะเป็นโมเดลเดียวกัน ผลลัพธ์ก็อาจแตกต่างกันไปตามวิธีเรียกใช้เครื่องมือ (tool-calling) และสภาพแวดล้อมการทำงานจริง ดังนั้นการใช้คะแนนจากการทดสอบเพียงอย่างเดียวจึงยังไม่เพียงพอที่จะฟันธงประสิทธิภาพในสภาพแวดล้อมพัฒนาจริง
ช่องว่างคะแนน 1,800 คะแนนในการทดสอบด้านการพัฒนาเว็บ และข้อกล่าวอ้างว่าล้าหลังโมเดลโอเพนเวทราว 4 เดือนตามที่ปรากฏในเอกสารต้นทาง ยังไม่พบการยืนยันในเอกสารทางการ ส่วนความต่าง 8.5 คะแนนใน Intelligence Index ก็ไม่เพียงพอที่จะใช้เป็นฐานคำนวณระยะเวลาล่าช้าเฉลี่ยของระบบนิเวศโอเพนซอร์สและโอเพนเวททั้งหมด
โมเดลโอเพนเวทหมายถึงโมเดลที่เปิดเผยค่าน้ำหนัก (weight) ที่ผ่านการฝึกฝนแล้ว แต่แนวคิดนี้ไม่เหมือนกับโอเพนซอร์สทั้งหมดในแง่ขอบเขตการเปิดเผยและเงื่อนไขลิขสิทธิ์ ดังนั้นเมื่อเปรียบเทียบโมเดลปิดกับโมเดลโอเพนเวท จึงต้องพิจารณาทั้งราคา การเปิดเผยค่าน้ำหนัก และเงื่อนไขการเผยแพร่ ไม่ใช่แค่ประสิทธิภาพเพียงอย่างเดียว
แอนโทรปิกอธิบายว่า Fable 5.1 เป็นโมเดลที่ปรับให้เหมาะกับงานเขียนโค้ดต่อเนื่องยาวนานและงานแบบเอเจนต์ ขณะที่โอเพนเอไอก็แนะนำ Astra ว่าเป็นโมเดลที่ใช้ได้ทั้งงานเขียนโค้ด การใช้งานคอมพิวเตอร์ วิจัยทางวิทยาศาสตร์ และงานเฉพาะทาง
แม้ช่วงเวลาเปิดตัวและฟีเจอร์หลักของทั้งสองโมเดลจะได้รับการยืนยันแล้ว แต่ยังไม่มีผลเปรียบเทียบภายใต้เงื่อนไขเดียวกันที่ชี้ชัดว่าเหนือกว่าโมเดลโอเพนซอร์สทั้งหมดหรือไม่ การจะประเมินประสิทธิภาพและต้นทุนในสภาพแวดล้อมพัฒนาจริง จำเป็นต้องมีการตรวจสอบเพิ่มเติมโดยใช้สภาพแวดล้อมการทำงานและขั้นตอนการประเมินแบบเดียวกัน
โอเพนเอไอและแอนโทรปิกมีแผนขยายขอบเขตการให้บริการโมเดลของตน โดยฝ่ายหนึ่งจะให้บริการแก่องค์กรที่จำกัดก่อน ส่วนอีกฝ่ายจะขยายไปสู่ผู้ใช้ทั่วไปและ API ตามลำดับ
ความคิดเห็น 0