GPT-6.2 Astra ถูกประเมินว่าขาดความสม่ำเสมอในการเขียนโค้ดต่อเนื่องและงานสร้างสรรค์ทันทีหลังเปิดตัว ขณะที่การทดสอบสร้างฉาก 3D ให้คะแนนสูงสุด 1318 Elo สะท้อนว่าผลประเมินแตกต่างกันตามประเภทงาน
เทโอ บราวน์ (Theo Browne) ผู้ก่อตั้ง T3 Code เปิดเผยจดหมายทดสอบล่วงหน้าบน X เมื่อวันที่ 17 ว่า “หากเป็นงานเขียนโค้ด ผมจะไม่เลือก Astra แทน Claude Opus 5.5” เขาประเมินว่า Astra เป็นหนึ่งในโมเดลที่แย่ที่สุดที่โอเพนเอไอ (OpenAI) เปิดตัว
บราวน์ระบุว่า Astra หยุดดำเนินการหรือทำขั้นตอนเดิมซ้ำระหว่างงานระยะยาว เมื่อให้สร้างพื้นที่ใหม่ในเกม ‘Outer Wilds’ เขากล่าวว่าหลังผ่านไปราว 2 ชั่วโมง โมเดลกลับถามว่าจะกำหนดตำแหน่งไฟล์ภายในและเส้นทางส่งออกวิดีโอไว้ที่ใด
ในงานรีแฟกเตอร์โค้ด โครงการแปลง TypeScript เป็น Rust ใช้เวลา 7 วัน แต่ไม่มีการปรับปรุง และความเร็วคอมไพเลอร์ช้าลง 56% เขากล่าวว่าแม้สั่งให้โฟกัสการเพิ่มความเร็วอีกครั้ง ก็ไม่เห็นการเปลี่ยนแปลงตลอด 4 วัน
บราวน์ยังวิจารณ์ด้านความคิดสร้างสรรค์ โดยอ้างว่าเมื่อเขาและผู้ทดสอบอีกคนขอพื้นที่ใหม่ในเกมคนละเกม ผลงานทั้งสองชิ้นใช้น้ำและเสียงระฆังเป็นองค์ประกอบร่วมกัน และใช้ชื่อ ‘Bellwether’ เหมือนกัน
แมตต์ ชูเมอร์ (Matt Shumer) นักลงทุนด้าน AI และอดีตซีอีโอ HyperWrite กล่าวเมื่อวันที่ 17 หลังทดสอบ GPT-6.2 Astra และ GPT-6.2 Sol ว่า “โมเดลทั้งสองแทบใช้งานไม่ได้ และผมไม่แนะนำให้ใช้” เขาประเมินว่า Astra ตามหลัง Claude Opus 5.5 ในการประเมินหลักหลายรายการ และยังมีช่องว่างเมื่อเทียบกับ Claude Fable 5.2
ชูเมอร์กล่าวว่าเขาใช้ Astra เป็นเอเจนต์ย่อย แต่ Claude Opus 5.5 และ Claude Fable 5.2 ที่กำกับงานต้องเขียนผลงานใหม่อีกครั้ง เอเจนต์ย่อยคือโมเดลช่วยที่รับผิดชอบงานบางส่วนจากโมเดลหลัก และหากต้องทำงานซ้ำ เวลารวมอาจยาวขึ้น
โอเพนเอไอเปิดตัว Astra เมื่อวันที่ 17 ในฐานะโมเดลสำหรับงานวิชาชีพที่ซับซ้อน รวมถึงการใช้เหตุผลและการเขียนโค้ด ส่วน Sol ใช้กับงานประจำวันและงานหลายขั้นตอน ทั้งสองโมเดลเปิดตัวพร้อมกันในตระกูล GPT-6.2 แต่ความคิดเห็นของผู้ใช้แตกต่างกันในงานระยะยาวและการทำงานแบบเอเจนต์
การประเมินภายในของโอเพนเอไอให้ Astra ได้คะแนนสูงกว่า GPT-6 Astra รุ่นก่อน และมีต้นทุนต่อภารกิจต่ำกว่า กรณีนี้ชี้ว่าคะแนนประเมินภายในกับประสบการณ์ใช้งานจริงระยะยาวอาจให้ผลต่างกัน
อาร์ทิฟิเชียล อนาไลซิส (Artificial Analysis) ซึ่งดำเนินการ AA-3D ระบุว่า Astra ครองอันดับหนึ่งด้วย 1318 Elo นำ Claude Fable 5.2 อยู่ 47 คะแนน ผู้ทดสอบบางรายยอมรับจุดแข็งของ Astra ในงาน Three.js, Blender และการแสดงผล 3D
AA-3D ให้โมเดลสร้างฉาก 3D ที่ผู้ใช้โต้ตอบได้ในรูปแบบเว็บแอปจากข้อกำหนดที่เป็นข้อความ แล้วให้มนุษย์เปรียบเทียบผลงาน ผู้ประเมินไม่รู้ว่าแต่ละฉากมาจากโมเดลใด จึงวัดทักษะต่างจากการเขียนโค้ดระยะยาว
กรณีของบราวน์แสดงให้เห็นว่าความสามารถในการสร้างคำตอบอาจแตกต่างจากความสามารถในการบริหารงานที่ต่อเนื่องหลายวันจนเสร็จสิ้น การอธิบายความคืบหน้าและเหตุผลที่หยุดให้ผู้ใช้เข้าใจก็เป็นประเด็นสำคัญเช่นกัน
ก่อนหน้านี้ TokenPost รายงานว่าความโดดเด่นของ Astra ในการทดสอบ 3D ขัดกับการเลือก Claude Opus 5.5 ในงานเขียนโค้ดระยะยาว กรณีที่ชูเมอร์และบราวน์เปิดเผยครั้งนี้ทำให้ความแตกต่างดังกล่าวชัดขึ้นผ่านการรีแฟกเตอร์ 7 วันและปัญหาการทำงานซ้ำของเอเจนต์ย่อย
นักพัฒนาและบริษัทที่กำลังนำโมเดลไปใช้ควรพิจารณาความต่อเนื่องของงาน ความชัดเจนในการอธิบายผล และความจำเป็นต้องทำงานซ้ำ ควบคู่กับคะแนนเบนช์มาร์กเพียงรายการเดียว การประเมินเบื้องต้นของ Astra จึงสะท้อนทั้งจุดแข็งในบางด้านและความไม่เสถียรของงานระยะยาว
Comment 0