โมเดล GPT-6.2 แอสตรา (GPT-6.2 Astra) ของโอเพนเอไอ (OpenAI) ทำอัตราความสำเร็จ 41.2% ในการประเมินการควบคุมหุ่นยนต์จริงเอ็มเบอร์-0 (Ember-0) สูงกว่า GPT-6 แอสตรา (GPT-6 Astra) รุ่นก่อนที่ทำได้ 19.6% มากกว่า 2 เท่า
XDOF เปิดเผยผลการประเมินเอ็มเบอร์-0 เมื่อวันที่ 20 โดยแสดงตัวเลขเปรียบเทียบกับรุ่นก่อน รวมถึงผลการประเมินแขนกลอีกชุดหนึ่ง
เอ็มเบอร์-0 เป็นเบนช์มาร์กหุ่นยนต์จริงที่ดำเนินการโดย XDOF โดยให้แขนกลสองข้างทำ 16 ภารกิจ เช่น กางเสื้อยืด ผูกปมเชือก และค้นหาวัตถุที่ถูกบดบัง จากนั้นคำนวณค่าเฉลี่ยอัตราความสำเร็จของแต่ละภารกิจโดยให้น้ำหนักเท่ากัน
โมเดลจะแปลงคำสั่งภาษาธรรมชาติเป็นแผนการทำงาน แล้วสั่งการแขนกลทั้งสองข้างตามลำดับ แต่ละความพยายามนำไปสู่การจับและเคลื่อนย้ายวัตถุหรือการใช้เครื่องมือจริง
◇ วัตถุที่เปลี่ยนรูปและความเร็วที่ดีขึ้น
จุดเด่นของผลครั้งนี้คือการจัดการวัตถุที่เปลี่ยนรูปได้ เช่น เสื้อยืดและเชือก รายงานผลระบุว่า GPT-6.2 แอสตราเป็นโมเดลแรกที่แสดงความสำเร็จในภารกิจลักษณะนี้
บล็อกหรือถ้วยยังคงรูปแม้ถูกเคลื่อนย้าย แต่ผ้าและเชือกเปลี่ยนรูปตามทิศทางการดึงและจุดสัมผัส หุ่นยนต์จึงต้องอ่านฉากใหม่และปรับการเคลื่อนไหว แทนที่จะทำตามแผนเดิมทั้งหมด
เวลาแฝงเฉลี่ยในการคาดการณ์ลดจาก 15.0 วินาทีใน GPT-6 แอสตรา เหลือ 10.1 วินาทีใน GPT-6.2 แอสตรา แม้ช่วงเวลาตัดสินใจการเคลื่อนไหวจะสั้นลง แต่ 10.1 วินาทียังถือว่านานสำหรับการควบคุมที่ต้องตอบสนองแบบเรียลไทม์
ก่อนหน้านี้ GPT-6.2 แอสตราทำคะแนนเฉลี่ย 79 คะแนนในการประเมินการควบคุมแขนกลจริง ทำภารกิจสำเร็จ 6 จาก 8 รายการ และส่งคำสั่งแขนกล 668 ครั้ง
AA-Robotics v0.1 แสดงทั้งจำนวนคำสั่งที่ส่งไปยังแขนกลและการทำภารกิจสำเร็จ ขณะที่เอ็มเบอร์-0 วัดอัตราความสำเร็จเฉลี่ยของ 16 ภารกิจที่รวมวัตถุเปลี่ยนรูปและการประสานงานของแขนกลสองข้าง เนื่องจากภารกิจและวิธีรวมคะแนนต่างกัน จึงไม่ควรนำคะแนนทั้งสองมาบวกหรือจัดอันดับโดยตรง
◇ การอ่านคะแนนและการประยุกต์ใช้
คะแนน 41.2% ของเอ็มเบอร์-0 ไม่ได้หมายความว่าทั้ง 16 ภารกิจสำเร็จครบภารกิจละหนึ่งครั้ง แต่เป็นค่าเฉลี่ยอัตราความสำเร็จรายภารกิจที่ให้น้ำหนักเท่ากัน โมเดลจึงอาจทำได้ดีในบางภารกิจและต่ำในบางภารกิจ โดยยังถูกรวมคะแนนด้วยวิธีเดียวกัน
XDOF ใช้การทำซ้ำภารกิจละ 30 ครั้งเป็นหลัก และแสดงช่วงความเชื่อมั่น 95% ควบคู่กัน การดูทั้งจำนวนครั้งที่ทำซ้ำและช่วงความเชื่อมั่นช่วยแยกได้ว่าผลเกิดจากการทำงานครั้งเดียวหรือปรากฏใกล้เคียงกันในหลายความพยายาม
เบนช์มาร์กนี้ไม่ได้ประเมินเพียงการวางแผนและการตัดสินใจจากภาพ แต่ยังวัดความแม่นยำของการสัมผัส การใช้เครื่องมือ การประสานงานของแขนกลสองข้าง และการรับมือกับวัตถุที่เปลี่ยนรูป เพื่อดูว่าโมเดลภาษาจะแปลงคำสั่งเป็นการกระทำจริงได้อย่างไร
XDOF ระบุว่า การประเมินระยะแรกพบว่าโมเดลภาษาสามารถแปลงคำสั่งเป็นแผนได้ แต่ยังมีปัญหาในการสัมผัสอย่างแม่นยำและการจัดการวัตถุที่เปลี่ยนรูป ความสำเร็จในภารกิจวัตถุเปลี่ยนรูปครั้งนี้จึงเกิดขึ้นในด้านที่เคยถูกระบุว่าเป็นความยาก
ตารางผลลัพธ์เอ็มเบอร์-0 แสดงเวลาในการทำงาน ต้นทุน และเวลาแฝงในการคาดการณ์ควบคู่กับอัตราความสำเร็จ การประเมินที่มีมาตรฐานเช่นนี้ช่วยนำคำกล่าวอ้างของโมเดลมาเทียบกับข้อมูลการทำงานจริง ในช่วงที่มีความพยายามนำโมเดลภาษาขนาดใหญ่ไปใช้เป็นตัวควบคุมหุ่นยนต์
โมเดลตระกูล GPT-6.x ของโอเพนเอไอ ซึ่งเรียนรู้จากภาษาและภาพ ถูกนำไปใช้ในการทดลองควบคุมหุ่นยนต์เพื่อดูว่าสามารถแปลงคำสั่งเป็นการกระทำทางกายภาพได้หรือไม่ ภารกิจมาตรฐานอย่างเอ็มเบอร์-0 และ AA-Robotics v0.1 ช่วยให้เปรียบเทียบความแตกต่างของประสิทธิภาพระหว่างรุ่นภายใต้กรอบเดียวกัน
GPT-6.2 แอสตราแสดงอัตราความสำเร็จสูงขึ้นและเวลาแฝงสั้นลงเมื่อเทียบกับรุ่นก่อน พร้อมมีกรณีทำภารกิจวัตถุเปลี่ยนรูปสำเร็จ ค่าเฉลี่ย 41.2% และเวลาแฝง 10.1 วินาทีจึงเป็นตัวเลขที่ต้องพิจารณาร่วมกับเวลาในการทำงานและต้นทุนเมื่อประเมินการนำไปใช้กับหุ่นยนต์
Comment 0