หุ่นยนต์ HALO ทำภารกิจเดี่ยวสำเร็จ 91% งานต่อเนื่องสำเร็จ 70%

HALO ระบบควบคุมอัตโนมัติสำหรับหุ่นยนต์ฮิวแมนนอยด์ของนักวิจัยแอปเปิล($AAPL) ทำภารกิจเดี่ยว 360 ครั้งในพื้นที่ภายในอาคารจริง 6 แห่งที่ไม่เคยทำแผนที่ล่วงหน้า โดยมีอัตราความสำเร็จเฉลี่ย 91% ส่วนภารกิจต่อเนื่องที่เชื่อมการเคลื่อนไหว 3 แบบมีอัตราความสำเร็จเฉลี่ย 70%

นักวิจัยเปิดเผยโครงสร้างและผลการทดสอบของ HALO ในบทความที่เผยแพร่ล่วงหน้าบน arXiv เมื่อวันที่ 4 การทดสอบในพื้นที่จริงใช้หุ่นยนต์ G1 ของยูนิตรี (Unitree) ซึ่งติดตั้งกล้องและอุปกรณ์ประมวลผลเพิ่มเติม พื้นที่ทดสอบไม่ได้ใช้ฝึกระบบ และไม่ได้สแกนหรือทำแผนที่ไว้ล่วงหน้า

งานวิจัยนี้เริ่มจากปัญหาข้อมูลฝึกที่มีจำกัด การเชื่อมคำสั่งเสียงและภาพจากกล้องเข้ากับการเคลื่อนไหวทั้งร่างกายต้องใช้ข้อมูลที่จับคู่ทั้งสามส่วน แต่วิธีให้คนควบคุมหุ่นยนต์โดยตรงหรือถ่ายวิดีโอการเคลื่อนไหวต้องใช้เวลาและแรงงาน นักวิจัยจึงสร้างข้อมูลฝึก 300 ชั่วโมง ซึ่งจับคู่วิดีโอ ภาษา และการเคลื่อนไหวจากพื้นที่ภายในอาคารจำลอง 1,000 แห่ง

เพื่อลดความแตกต่างด้านภาพระหว่างพื้นที่จริงกับพื้นที่จำลอง นักวิจัยปรับอุณหภูมิสีของแสง การเปิดรับแสง และคอนทราสต์ พร้อมเพิ่มภาพเบลอและสัญญาณรบกวนจากเซ็นเซอร์ นอกจากนี้ยังจำลองมุมมองให้ใกล้เคียงกับกล้องของหุ่นยนต์ แล้วนำไปใช้ฝึกระบบ

HALO ประกอบด้วยขั้นตอนแปลงคำขอภาษาธรรมชาติเป็นงานย่อย ขั้นตอนวางแผนการเคลื่อนไหวทั้งร่างกายล่วงหน้า 5 วินาทีจากภาพกล้อง และขั้นตอนควบคุมการเคลื่อนไหวโดยอาศัยภาพความลึกกับสถานะข้อต่อ ระบบเลือกงานทุกประมาณ 2 วินาที ตัวสร้างการเคลื่อนไหวสร้างแผนใหม่ประมาณ 3 ครั้งต่อวินาที และตัวควบคุมปรับคำสั่งข้อต่อ 50 ครั้งต่อวินาที ทั้งระบบทำงานบนอุปกรณ์ประมวลผลที่ติดตั้งอยู่บนหุ่นยนต์

ภารกิจเดี่ยวประกอบด้วยการเดินไปยังวัตถุที่ระบุชื่อ การนั่งบนเก้าอี้ การเดินผ่านประตูที่เปิดค้างไว้ครึ่งหนึ่ง การก้มลอดสิ่งกีดขวางเตี้ย การคลาน และการดันกล่อง แต่ละภารกิจทดสอบในพื้นที่จริง 6 แห่ง แห่งละ 10 ครั้ง โดยการก้มลอดสิ่งกีดขวางทำสำเร็จ 100% และการดันกล่องสำเร็จ 88%

ภารกิจต่อเนื่องทดสอบในพื้นที่จริงแห่งเดียว โดยจับคู่การเคลื่อนไหว 3 แบบ แต่ละชุดทำ 10 ครั้ง การเดินผ่านประตูแล้วไปยังวัตถุสำเร็จครบทั้ง 10 ครั้ง ส่วนการก้มแล้วนั่งสำเร็จ 60% และการก้ม ก่อนเดินไปยังเป้าหมายแล้วดันกล่องสำเร็จ 50% ในความล้มเหลว 5 ครั้งของชุดสุดท้าย มี 3 ครั้งที่หุ่นยนต์หันศีรษะไปทางตรงข้ามกับกล่องหลังจากก้มลง ทำให้กล่องหลุดจากมุมมอง

การสร้างข้อมูลฝึกใช้ GPU H100 จำนวน 250 ตัว เป็นเวลาประมาณ 48 ชั่วโมง ส่วนการฝึกตัวสร้างการเคลื่อนไหวใช้ GPU B200 จำนวน 64 ตัว และการฝึกตัวติดตามการเคลื่อนไหวใช้ GPU H100 จำนวน 4 ตัว

แม้กระบวนการสร้างข้อมูลจะทำงานอัตโนมัติ แต่มนุษย์ยังต้องออกแบบคำสั่งและท่าทางหลักเมื่อต้องเพิ่มการเคลื่อนไหวใหม่ การฝึกตัวติดตามการเคลื่อนไหวยังใช้วิดีโอการเคลื่อนไหวของมนุษย์และข้อมูลจับการเคลื่อนไหวด้วย นักวิจัยระบุว่าเมื่อวัตถุหายไปจากภาพกล้องหรือถูกบดบัง ระบบจะระบุสถานะการสัมผัสได้ยาก จึงเสนอการเพิ่มการรับรู้สัมผัสเป็นแนวทางปรับปรุง