Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

41.2% ใน Ember-0: GPT-6.2 แอสตราทำได้กว่า 2 เท่าของ GPT-6 แอสตราที่ 19.6%

หุ่นยนต์แขนกลกำลังกางเสื้อยืดบนโต๊ะทำงานในห้องทดลอง / TokenPost.ai (mono)

โมเดล GPT-6.2 แอสตรา (GPT-6.2 Astra) ของโอเพนเอไอ (OpenAI) ทำอัตราความสำเร็จ 41.2% ในการประเมินการควบคุมหุ่นยนต์จริงเอ็มเบอร์-0 (Ember-0) สูงกว่า GPT-6 แอสตรา (GPT-6 Astra) รุ่นก่อนที่ทำได้ 19.6% มากกว่า 2 เท่า

XDOF เปิดเผยผลการประเมินเอ็มเบอร์-0 เมื่อวันที่ 20 โดยแสดงตัวเลขเปรียบเทียบกับรุ่นก่อน รวมถึงผลการประเมินแขนกลอีกชุดหนึ่ง

เอ็มเบอร์-0 เป็นเบนช์มาร์กหุ่นยนต์จริงที่ดำเนินการโดย XDOF โดยให้แขนกลสองข้างทำ 16 ภารกิจ เช่น กางเสื้อยืด ผูกปมเชือก และค้นหาวัตถุที่ถูกบดบัง จากนั้นคำนวณค่าเฉลี่ยอัตราความสำเร็จของแต่ละภารกิจโดยให้น้ำหนักเท่ากัน

โมเดลจะแปลงคำสั่งภาษาธรรมชาติเป็นแผนการทำงาน แล้วสั่งการแขนกลทั้งสองข้างตามลำดับ แต่ละความพยายามนำไปสู่การจับและเคลื่อนย้ายวัตถุหรือการใช้เครื่องมือจริง

◇ วัตถุที่เปลี่ยนรูปและความเร็วที่ดีขึ้น

จุดเด่นของผลครั้งนี้คือการจัดการวัตถุที่เปลี่ยนรูปได้ เช่น เสื้อยืดและเชือก รายงานผลระบุว่า GPT-6.2 แอสตราเป็นโมเดลแรกที่แสดงความสำเร็จในภารกิจลักษณะนี้

บล็อกหรือถ้วยยังคงรูปแม้ถูกเคลื่อนย้าย แต่ผ้าและเชือกเปลี่ยนรูปตามทิศทางการดึงและจุดสัมผัส หุ่นยนต์จึงต้องอ่านฉากใหม่และปรับการเคลื่อนไหว แทนที่จะทำตามแผนเดิมทั้งหมด

เวลาแฝงเฉลี่ยในการคาดการณ์ลดจาก 15.0 วินาทีใน GPT-6 แอสตรา เหลือ 10.1 วินาทีใน GPT-6.2 แอสตรา แม้ช่วงเวลาตัดสินใจการเคลื่อนไหวจะสั้นลง แต่ 10.1 วินาทียังถือว่านานสำหรับการควบคุมที่ต้องตอบสนองแบบเรียลไทม์

ก่อนหน้านี้ GPT-6.2 แอสตราทำคะแนนเฉลี่ย 79 คะแนนในการประเมินการควบคุมแขนกลจริง ทำภารกิจสำเร็จ 6 จาก 8 รายการ และส่งคำสั่งแขนกล 668 ครั้ง

AA-Robotics v0.1 แสดงทั้งจำนวนคำสั่งที่ส่งไปยังแขนกลและการทำภารกิจสำเร็จ ขณะที่เอ็มเบอร์-0 วัดอัตราความสำเร็จเฉลี่ยของ 16 ภารกิจที่รวมวัตถุเปลี่ยนรูปและการประสานงานของแขนกลสองข้าง เนื่องจากภารกิจและวิธีรวมคะแนนต่างกัน จึงไม่ควรนำคะแนนทั้งสองมาบวกหรือจัดอันดับโดยตรง

◇ การอ่านคะแนนและการประยุกต์ใช้

คะแนน 41.2% ของเอ็มเบอร์-0 ไม่ได้หมายความว่าทั้ง 16 ภารกิจสำเร็จครบภารกิจละหนึ่งครั้ง แต่เป็นค่าเฉลี่ยอัตราความสำเร็จรายภารกิจที่ให้น้ำหนักเท่ากัน โมเดลจึงอาจทำได้ดีในบางภารกิจและต่ำในบางภารกิจ โดยยังถูกรวมคะแนนด้วยวิธีเดียวกัน

XDOF ใช้การทำซ้ำภารกิจละ 30 ครั้งเป็นหลัก และแสดงช่วงความเชื่อมั่น 95% ควบคู่กัน การดูทั้งจำนวนครั้งที่ทำซ้ำและช่วงความเชื่อมั่นช่วยแยกได้ว่าผลเกิดจากการทำงานครั้งเดียวหรือปรากฏใกล้เคียงกันในหลายความพยายาม

เบนช์มาร์กนี้ไม่ได้ประเมินเพียงการวางแผนและการตัดสินใจจากภาพ แต่ยังวัดความแม่นยำของการสัมผัส การใช้เครื่องมือ การประสานงานของแขนกลสองข้าง และการรับมือกับวัตถุที่เปลี่ยนรูป เพื่อดูว่าโมเดลภาษาจะแปลงคำสั่งเป็นการกระทำจริงได้อย่างไร

XDOF ระบุว่า การประเมินระยะแรกพบว่าโมเดลภาษาสามารถแปลงคำสั่งเป็นแผนได้ แต่ยังมีปัญหาในการสัมผัสอย่างแม่นยำและการจัดการวัตถุที่เปลี่ยนรูป ความสำเร็จในภารกิจวัตถุเปลี่ยนรูปครั้งนี้จึงเกิดขึ้นในด้านที่เคยถูกระบุว่าเป็นความยาก

ตารางผลลัพธ์เอ็มเบอร์-0 แสดงเวลาในการทำงาน ต้นทุน และเวลาแฝงในการคาดการณ์ควบคู่กับอัตราความสำเร็จ การประเมินที่มีมาตรฐานเช่นนี้ช่วยนำคำกล่าวอ้างของโมเดลมาเทียบกับข้อมูลการทำงานจริง ในช่วงที่มีความพยายามนำโมเดลภาษาขนาดใหญ่ไปใช้เป็นตัวควบคุมหุ่นยนต์

โมเดลตระกูล GPT-6.x ของโอเพนเอไอ ซึ่งเรียนรู้จากภาษาและภาพ ถูกนำไปใช้ในการทดลองควบคุมหุ่นยนต์เพื่อดูว่าสามารถแปลงคำสั่งเป็นการกระทำทางกายภาพได้หรือไม่ ภารกิจมาตรฐานอย่างเอ็มเบอร์-0 และ AA-Robotics v0.1 ช่วยให้เปรียบเทียบความแตกต่างของประสิทธิภาพระหว่างรุ่นภายใต้กรอบเดียวกัน

GPT-6.2 แอสตราแสดงอัตราความสำเร็จสูงขึ้นและเวลาแฝงสั้นลงเมื่อเทียบกับรุ่นก่อน พร้อมมีกรณีทำภารกิจวัตถุเปลี่ยนรูปสำเร็จ ค่าเฉลี่ย 41.2% และเวลาแฝง 10.1 วินาทีจึงเป็นตัวเลขที่ต้องพิจารณาร่วมกับเวลาในการทำงานและต้นทุนเมื่อประเมินการนำไปใช้กับหุ่นยนต์

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1