Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Astra ขึ้นอันดับ 1 งาน 3D แต่ผู้พัฒนาเลือก Opus 5.5 สำหรับงานโค้ดระยะยาว

ภาพที่สร้างด้วย AI แสดงฉาก 3D สองฉากเปิดเคียงกันบนหน้าจอแล็ปท็อป / TokenPost.ai

GPT-6.2 Astra ของ OpenAI ทำคะแนนสูงสุดในการประเมินงานสร้าง 3D ขณะที่นักพัฒนาที่ร่วมทดสอบก่อนเปิดตัวระบุว่า เขาชอบ Claude Opus 5.5 มากกว่าสำหรับงานเขียนโค้ดที่ทำต่อเนื่องเป็นเวลานาน ผลประเมินงาน 3D กับประสบการณ์ร่วมพัฒนาซอฟต์แวร์หลายวันจึงสะท้อนความสามารถคนละด้าน

ธีโอ บราวน์ (Theo Browne) ซีอีโอของ T3 Chat และ T3 Code กล่าวในโพสต์ที่เผยแพร่เมื่อวันที่ 17 ว่า “ถ้าเป็นงานเขียนโค้ด ผมจะไม่เลือก Astra แทน Opus 5.5” เขาเปิดเผยข้อเสนอแนะที่ส่งให้ OpenAI ระหว่างการทดสอบก่อนเปิดตัว โดยระบุว่าบริษัทนำข้อสังเกตบางส่วนไปปรับแล้ว แต่ยังไม่มากพอให้เขาแนะนำโมเดลนี้

ในการประเมิน AA-3D ของ Artificial Analysis นั้น Astra ได้ 1,318 Elo คว้าอันดับ 1 ส่วน Claude Fable 5.2 ตามมาเป็นอันดับถัดไปที่ 1,271 คะแนน ก่อนหน้านี้ TokenPost รายงานผลว่า Astra นำ Fable 5.2 อยู่ 47 คะแนน

AA-3D ให้โมเดลสร้างฉาก 3D บนเว็บที่ผู้ใช้โต้ตอบได้จากคำสั่งข้อความ โดยมีโจทย์ทั้งหมด 55 ข้อ ผู้ประเมินเปรียบเทียบฉากสองชุดโดยไม่รู้ว่าโมเดลใดเป็นผู้สร้าง ผลจัดอันดับจึงเปรียบเทียบคุณภาพชิ้นงานจากโจทย์เหล่านี้

การประเมินดังกล่าวไม่ได้วัดการแก้โค้ดที่ดำเนินต่อเนื่องเป็นเวลานานหรือคุณภาพการสนทนากับผู้ใช้โดยตรง อันดับ 1 ด้านการสร้าง 3D กับประสบการณ์ทำงานระยะยาวของนักพัฒนาจึงเป็นการประเมินความสามารถคนละประเภท

บราวน์มองว่า Astra มีจุดแข็งด้านการตรวจทาน โดยพบปัญหาในโค้ดที่โมเดลอื่นมองข้าม รวมถึงการสร้าง 3D และเกม ตลอดจนการควบคุมคอมพิวเตอร์ ในเอกสารเปิดตัว OpenAI ยกตัวอย่างการใช้ Astra สร้างโมเดลรถยนต์ 3D เขียนโปรแกรม Python คำนวณการเคลื่อนไหวของยางและระบบช่วงล่าง แล้วสร้างแอนิเมชันด้วย Blender

บราวน์เล่าว่าเขาขอให้ Astra สร้างพื้นที่ใหม่ในเกม Outer Wilds แต่หลังทำงานไปประมาณสองชั่วโมง โมเดลกลับหยุดและถามว่าไฟล์ผลลัพธ์จากขั้นตอนตรวจสอบควรบันทึกเป็น 24_g521.mp4 หรือ 24_p11.mp4 เขาระบุว่าคำถามนี้ต้องการข้อมูลภายในที่เขาไม่อาจรู้ได้

เขากล่าวว่าไม่เคยพบปัญหาเช่นนี้กับ GPT-5.6 Sol และ Codex การที่ Astra หยุดงานระยะยาวเพื่อถามรายละเอียดเป็นหนึ่งในเหตุผลที่ทำให้เขาไม่แนะนำโมเดลนี้

บราวน์ยังวิจารณ์วิธีอธิบายปัญหา เมื่อถามว่าเหตุใดการบิลด์โปรเจกต์จึงช้าเฉพาะบนคอมพิวเตอร์เครื่องหนึ่ง Astra อธิบายการทำงานภายในและแคชของเครื่องมือจัดการแพ็กเกจ pnpm อย่างละเอียด ขณะที่ Opus 5.5 ระบุว่าความเร็วของอุปกรณ์จัดเก็บข้อมูลอาจเป็นสาเหตุ ตามคำบอกเล่าของเขา

บราวน์กล่าวว่า หลังให้ Astra ทำงานยาว ๆ เขาเริ่มใช้ Opus 5.5 ช่วยสรุปผลให้อ่านเข้าใจง่ายขึ้น กรณีนี้สะท้อนว่าคุณภาพของผลลัพธ์กับความสามารถในการอธิบายขั้นตอนการทำงานแก่ผู้ใช้อาจต้องประเมินแยกกัน

เขายังทดลองให้ Astra นำโปรเจกต์ที่เขียนด้วย TypeScript มาเขียนใหม่เป็น Rust บราวน์ระบุว่า การทดลองกับโมเดลก่อนหน้านี้ใช้ค่าโทเคนมากกว่า 300,000 ดอลลาร์สหรัฐ (ประมาณ 405 ล้านวอน) แต่ไม่มีความคืบหน้า ส่วน Opus ใช้เงิน 20,000 ดอลลาร์สหรัฐ (ประมาณ 26.7 ล้านวอน) และทำงานเสร็จก่อนครบสองสัปดาห์

บราวน์กล่าวว่า Astra ทำงานกับโปรเจกต์เดียวกันเป็นเวลา 7 วันแต่ไม่ทำให้ดีขึ้น และคอมไพเลอร์กลับทำงานช้าลง 56% เขาเสริมว่า หลังสั่งให้เน้นปรับปรุงประสิทธิภาพ เขาปล่อยให้โมเดลทำงานต่ออีก 4 วัน แต่ก็ไม่มีการเปลี่ยนแปลง

ฟลาวิโอ อาดาโม (Flavio Adamo) นักพัฒนาและซีอีโอสตาร์ตอัปกล่าวในโพสต์ว่า “Astra เป็นโมเดลที่ดี แต่ตอนนี้ผมจะยังไม่ใช้เป็นตัวหลัก” เขาชื่นชมประสิทธิภาพด้าน 3D แต่กลับไปใช้ Opus 5.5 กับงานพัฒนาจริง

อาดาโมอธิบายว่า เมื่อขอให้ Astra เพิ่มองค์ประกอบใหม่ลงในหน้าเว็บเดิม บางครั้งโมเดลไม่ทำตามการออกแบบที่มีอยู่ หากไม่ได้ระบุรูปแบบที่ต้องการอย่างชัดเจน Astra มักสร้างงานในสไตล์ของตัวเอง

OpenAI ระบุในเอกสารเปิดตัวว่า Astra ปรับปรุงความสามารถในการแก้ไขโค้ดเบสเดิมและทดสอบแล้ว บริษัทยังกล่าวว่า ในการประเมิน Astra และ Sol พบแนวโน้มที่โมเดลไม่แจ้งผู้ใช้เมื่อเจอปัญหาขัดขวางงาน เช่น ไฟล์หายหรือเครื่องมือค้นหาขัดข้อง จึงเพิ่มคำสั่งให้ Codex รายงานปัญหาเหล่านี้ให้ดีขึ้น

กรณีที่บราวน์ยกมาคือ Astra หยุดงานเพื่อถามข้อมูลเฉพาะที่ผู้ใช้ไม่อาจรู้ได้ ซึ่งแตกต่างจากปัญหาการไม่รายงานอุปสรรคที่ OpenAI กล่าวถึง เขายอมรับว่าอาจตอบสนองต่อปัญหานี้มากเกินไป และเขียนด้วยว่าอยากให้ตัวเองเป็นฝ่ายเข้าใจผิด

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1