หุ่นยนต์ AI เรียนรู้ข้อมูลสัมผัส 4,983 ชั่วโมง ทดสอบงานจริง 26 รายการ

Robbyant เปิดตัว LingBot-Touch โมเดล AI สำหรับหุ่นยนต์ที่ประมวลผลสัญญาณจากเซ็นเซอร์แม่เหล็ก เซ็นเซอร์วัดแรงแบบเพียโซรีซิสทีฟ และเซ็นเซอร์สัมผัสเชิงภาพในรูปแบบร่วมกัน โดยใช้ข้อมูลสัมผัส 4,983 ชั่วโมงและประมาณ 1.3 พันล้านเฟรมในการฝึกล่วงหน้า

Robbyant ส่งบทความวิจัยที่เกี่ยวข้องไปยัง arXiv เมื่อวันที่ 10 เวลา 03:12 น. ตามเวลาเกาหลี เอกสารที่ตรวจสอบได้ในขณะนี้เป็นบทความฉบับเผยแพร่ล่วงหน้าบน arXiv ส่วนการพิจารณาหรือตีพิมพ์ในวารสารวิชาการยังไม่มีข้อมูลยืนยัน

เซ็นเซอร์สัมผัสแต่ละชนิดสร้างสัญญาณต่างกันตามหลักการตรวจจับการสัมผัส ทำให้การนำข้อมูลจากเซ็นเซอร์ชนิดหนึ่งไปใช้กับอีกชนิดโดยตรงทำได้ยาก

Robbyant ระบุใน คำอธิบายทางเทคนิคว่า ตัวประมวลผลข้อมูลขาเข้าหรือโทเคไนเซอร์ของเซ็นเซอร์แต่ละชนิดจะจัดการสัญญาณ ก่อนส่งผ่านอินเทอร์เฟซเรขาคณิตร่วมไปยัง Haptic Transformer ซึ่งเป็นโมเดลส่วนกลาง โครงสร้างนี้รวมข้อมูลการสัมผัสจากเซ็นเซอร์ต่างชนิดให้อยู่ในรูปแบบการแทนข้อมูลร่วมกัน

การฝึกโมเดลใช้การทำนายในพื้นที่แฝงแบบ JEPA แทนการสร้างค่าของสัญญาณขึ้นใหม่โดยตรง โมเดลทำนายการแทนสถานการณ์สัมผัสจากบริบทเชิงเวลาและพื้นที่ และสามารถนำการแทนข้อมูลนี้ไปใช้ร่วมกับนโยบายแบบ diffusion หรือโมเดลการมองเห็น ภาษา และการกระทำ (VLA) ได้

ชุดข้อมูลฝึกล่วงหน้าประกอบด้วยตอนปฏิสัมพันธ์ 464,431 ตอน แบ่งเป็นข้อมูลจากเซ็นเซอร์วัดแรงแบบเพียโซรีซิสทีฟ 2,197 ชั่วโมง เซ็นเซอร์สัมผัสเชิงภาพ 1,650 ชั่วโมง และเซ็นเซอร์แม่เหล็ก 1,136 ชั่วโมง

ข้อมูลฝึกมาจากทั้งถุงมือสัมผัสและมือหุ่นยนต์ รวมแล้วมีประมาณ 1.3 พันล้านเฟรม

การประเมินกับหุ่นยนต์จริงใช้มือ Sharpa Wave ทำงาน 20 รายการ และมือ XHand ทำงาน 6 รายการ ผู้พัฒนาระบุว่าทดลองแต่ละงาน 20 ครั้ง

การเปรียบเทียบครอบคลุมโมเดลพื้นฐาน โมเดลที่รับสัญญาณสัมผัสดิบ และนโยบายที่เพิ่มการแทนข้อมูลแบบคงที่ของ LingBot-Touch เฉพาะในขั้นตอนฝึกเพิ่มเติม เพื่อเปรียบเทียบอัตราความสำเร็จของงานในเงื่อนไขที่มีข้อมูลสัมผัส

งานทดสอบมีทั้งการจัดการวัตถุอย่างแม่นยำ การหยิบจับวัตถุที่เปลี่ยนรูปได้ และงานที่ต้องใช้มือทั้งสองข้าง ผู้พัฒนาเผยแพร่แผนภูมิเปรียบเทียบอัตราความสำเร็จของทั้งสามเงื่อนไข

ผลประเมินเป็นการทดสอบของผู้พัฒนาเอง และยังไม่พบผลการทำซ้ำอย่างอิสระจากทีมวิจัยภายนอกในเอกสารที่เผยแพร่

ตัวเข้ารหัส HaT-Tiny ซึ่งเป็นรุ่นเล็กที่สุดมีพารามิเตอร์ 5.46 ล้านตัว โดยออกแบบให้รุ่นที่ลดขนาดลงสามารถใช้ในการอนุมานได้ด้วย

คลัง GitHub อย่างเป็นทางการมีโค้ดสำหรับการอนุมาน ตัวปรับต่อเซ็นเซอร์ และข้อมูลตัวอย่าง ส่วนค่าน้ำหนักโมเดล Tiny และ Small พร้อมไฟล์ตั้งค่า เผยแพร่แยกบน Hugging Face และ ModelScope โดยระบุใบอนุญาต Apache-2.0 สำหรับค่าน้ำหนัก

ไฟล์โมเดลโฮสต์แยกจากคลังโค้ด ผู้ที่ต้องการดาวน์โหลดจำเป็นต้องมีบัญชีที่เข้าถึงคลังโมเดลนั้นได้

เอกสารที่เผยแพร่มีเครื่องมืออนุมานและตัวอย่างบางส่วน แต่ไม่มีข้อมูลฝึกทั้งหมดหรือโค้ดฝึกโมเดล เมื่อต่อชุดเซ็นเซอร์ใหม่ ต้องปรับและสอบเทียบตำแหน่งเซ็นเซอร์ ช่วงการวัด และลำดับจุดตรวจจับให้สอดคล้องกัน

ในประเทศก็มีการนำเสนอการพัฒนามือหุ่นยนต์ที่ใช้ข้อมูลสัมผัสเช่นกัน ก่อนหน้านี้ TokenPost รายงาน แผนพัฒนาถุงมือหุ่นยนต์ควบคุมระยะไกลที่ส่งข้อมูลสัมผัสและอุณหภูมิให้ผู้ใช้