หุ่นยนต์ฮิวแมนนอยด์ 5 รุ่น: เอ็นวิเดีย(NVIDIA, $NVDA) แนะใช้ SOMA แปลงท่าทางมนุษย์

เอ็นวิเดีย(NVIDIA, $NVDA) แนะนำขั้นตอนใช้ SOMA Retargeter แปลงการเคลื่อนไหวของมนุษย์เป็นวิถีข้อต่อสำหรับหุ่นยนต์ฮิวแมนนอยด์ 5 รุ่น ผลลัพธ์เป็นท่าอ้างอิงสำหรับการฝึกหรือควบคุมหุ่นยนต์ และไม่ได้รับประกันว่าหุ่นยนต์จริงจะทำงานได้อย่างปลอดภัย

เอ็นวิเดียอธิบายในบล็อกด้านเทคนิคเมื่อวันที่ 13 ว่า มนุษย์กับหุ่นยนต์มีความยาวแขนขา โครงสร้างข้อต่อ และพิสัยการเคลื่อนไหวต่างกัน จึงนำค่าข้อต่อของมนุษย์ไปใช้ตรง ๆ ได้ยาก เครื่องมือนี้รับการเคลื่อนไหวของมนุษย์ในรูปแบบโครงกระดูกมาตรฐาน แล้วปรับให้เข้ากับสรีระและข้อต่อของหุ่นยนต์เป้าหมาย

ข้อมูลนำเข้าเป็นไฟล์การเคลื่อนไหว BVH ที่จัดรูปแบบด้วยโครงกระดูก SOMA เครื่องมือจะปรับขนาดการเคลื่อนไหวให้เข้ากับสรีระของหุ่นยนต์ และใช้จลนศาสตร์ผกผัน (IK) คำนวณท่าข้อต่อในแต่ละเฟรม จากนั้นปรับการเคลื่อนไหวโดยคำนึงถึงพิสัยข้อต่อและช่วงที่เท้าสัมผัสพื้น

การเคลื่อนไหวของมนุษย์อาจมาจากการจับภาพเคลื่อนไหว การสร้างท่าทางกลับคืนจากวิดีโอ หรือผลลัพธ์จากโมเดลสร้างข้อมูล อย่างไรก็ตาม ก่อนแปลงต้องจัดข้อมูลให้อยู่ในรูปแบบโครงกระดูก SOMA จึงไม่สามารถใส่วิดีโอต้นฉบับหรือไฟล์ BVH ที่ใช้รูปแบบอื่นเข้าไปได้ทันที

ไฟล์ CSV ที่ได้ประกอบด้วยตำแหน่ง ทิศทาง และค่าข้อต่อของหุ่นยนต์ในแต่ละเฟรม เมื่อนำการเคลื่อนไหวหลายชุดมาแปลง ก็สามารถสร้างชุดท่าอ้างอิงสำหรับฝึกหุ่นยนต์แต่ละรุ่นได้ แนวทางแปลงการเคลื่อนไหวของมนุษย์เป็นท่าที่หุ่นยนต์ทำได้และสร้างข้อมูลฝึกนี้สอดคล้องกับงานวิจัยข้อมูลฝึกหุ่นยนต์ที่เคยนำเสนอไปก่อนหน้านี้

ตัวอย่างครอบคลุมหุ่นยนต์ 5 รุ่น ได้แก่ G1 และ H2 ของ Unitree, T1 ของ Booster รวมถึง X2 Ultra และ A3T3 ของ AgiBot ท่าตัวอย่างมาจากชุดข้อมูล BONES-SEED ของ Bones ส่วนเครื่องมือตั้งค่าหุ่นยนต์จะจับคู่ส่วนต่าง ๆ ของโครงกระดูกมนุษย์กับข้อต่อของหุ่นยนต์

ค่าน้ำหนักของ IK ใช้กำหนดว่าจะให้ความสำคัญกับอวัยวะส่วนใด เมื่อหุ่นยนต์ทำตามเป้าหมายการเคลื่อนไหวทั้งหมดพร้อมกันได้ยาก ส่วนการตรวจจับการสัมผัส การปรับตรึงเท้า และการปรับค่าน้ำหนักให้เหมาะสมยังจัดเป็นฟังก์ชันทดลอง

ตัวอย่างการโบกมือแสดงให้เห็นว่า แม้ใช้การเคลื่อนไหวต้นแบบเดียวกัน ผลการแปลงก็แตกต่างกันตามท่ายืนอ้างอิงของหุ่นยนต์ ก่อนปรับท่ายืนอ้างอิงของ Booster T1 แขนทั้งสองข้างกางออกด้านข้าง แต่หลังปรับแล้ว หุ่นยนต์ยกมือข้างหนึ่งขึ้นโบกข้างศีรษะ ส่วนอีกข้างวางไว้ข้างลำตัว เอ็นวิเดียเสนอให้ปรับการตั้งค่าจากท่าตัวอย่างก่อน แล้วใช้การตั้งค่าเดียวกันกับการเคลื่อนไหวหลายชุด

ประวัติการเปลี่ยนแปลงของคลังโค้ดระบุว่า v0.2.0 บันทึกไว้เมื่อวันที่ 15 กันยายน ส่วน v0.2.1 ซึ่งแก้ข้อผิดพลาดในการแก้ค่าขีดจำกัดข้อต่อ บันทึกไว้เมื่อวันที่ 1 ตุลาคม บล็อกด้านเทคนิคที่เผยแพร่เมื่อวันที่ 13 อธิบายขั้นตอนและแนวทางใช้งานฟังก์ชันที่มีอยู่แล้ว ไม่ใช่การเปิดตัวเวอร์ชันใหม่

โรโบติเซส(ROBOTIS) ระบุในเอกสารของบริษัทว่า ผู้ที่นำ SOMA Retargeter ไปใช้กับ AI Sapiens ควรใช้ฟอร์กของบริษัท ฟอร์กดังกล่าวมีหุ่นยนต์เป้าหมายสำหรับ AI Sapiens และรูปแบบการส่งออก CSV จึงมีองค์ประกอบต่างจากตัวอย่างหุ่นยนต์ 5 รุ่นในคลังโค้ดหลักของเอ็นวิเดีย

ผลการแปลงเป็นข้อมูลการเคลื่อนไหวเชิงจลนศาสตร์ เอ็นวิเดียยกตัวอย่างการปรับท่ามนุษย์ให้เหมาะกับ MicroDuck และฝึกตัวควบคุมแยกตามการเคลื่อนไหวในระบบจำลองฟิสิกส์ ขณะที่คลังโค้ดอย่างเป็นทางการแนะนำให้ตรวจสอบความปลอดภัย ความเป็นไปได้ในการทำงาน และความเข้ากันได้ของตัวควบคุมในระบบจำลองก่อนนำไปใช้กับหุ่นยนต์จริง