หุ่นยนต์เรียนรู้จากวิดีโอมุมมองบุคคลกว่า 1 ล้านชั่วโมง ผลทดสอบมาจากบริษัท

วิดีโอมุมมองบุคคลที่หนึ่งของมนุษย์กว่า 1 ล้านชั่วโมงถูกนำมาใช้ฝึกหุ่นยนต์ Dyna Robotics ระบุว่าได้ฝึกโมเดล Dyna-2 ล่วงหน้าด้วยวิดีโอของมนุษย์ และในการทดลองที่เพิ่มขนาดชุดข้อมูล คะแนนประสิทธิภาพเฉลี่ยแบบปรับมาตรฐานสำหรับ 14 งานเพิ่มจาก 20% เป็น 53%

งานวิจัยที่ Dyna Robotics เผยแพร่ในเดือนสิงหาคม 2026 รวบรวมวิดีโอกิจกรรมในชีวิตประจำวัน เช่น ทำอาหาร จัดของ พับผ้า และประกอบชิ้นส่วน วิดีโอบางส่วนติดตามท่าทางมือเพื่อดึงข้อมูลเส้นทางการเคลื่อนไหวของข้อมือและลักษณะการจับ ทีมวิจัยเปรียบเทียบผลจากการใช้ข้อมูลฝึกล่วงหน้าตั้งแต่ 1,000 ชั่วโมงถึง 1 ล้านชั่วโมง

ตัวเลข 53% ไม่ใช่อัตราความสำเร็จของงาน แต่เป็นคะแนนประสิทธิภาพเฉลี่ยแบบปรับมาตรฐานเทียบกับ ‘ประสิทธิภาพสูงสุดที่ทำได้’ ของแต่ละงานตามนิยามของบริษัท และไม่ได้หมายความว่าหุ่นยนต์ทุกแบบจะทำผลงานได้เท่ากันในทุกสภาพแวดล้อม ผลดังกล่าวมาจากการทดลองของบริษัทเอง

Dyna Robotics อธิบายในงานวิจัยว่า วิดีโอของมนุษย์บันทึกทั้งจังหวะที่มือสัมผัสวัตถุและการเปลี่ยนแปลงของฉากระหว่างทำงาน ซึ่งอาจช่วยให้หุ่นยนต์เรียนรู้การจัดการวัตถุได้ แนวทางนี้ใช้วิดีโอในชีวิตประจำวันเป็นข้อมูลฝึกเพิ่มเติมจากการขยับหุ่นยนต์โดยตรงเพื่อเก็บตัวอย่างการสาธิต

อย่างไรก็ตาม มือมนุษย์กับข้อต่อของหุ่นยนต์มีโครงสร้างและรูปแบบการเคลื่อนไหวต่างกัน การแปลงพฤติกรรมที่สังเกตจากวิดีโอให้เป็นคำสั่งข้อต่อและการควบคุมแรงที่หุ่นยนต์นำไปใช้ได้ จึงต้องอาศัยการแปลงและตรวจสอบเพิ่มเติม การดึงเส้นทางการเคลื่อนไหวของมือเพียงอย่างเดียวไม่ได้ทำให้หุ่นยนต์หยิบและย้ายวัตถุได้เหมือนในวิดีโอ

บทสำรวจปี 2026 ที่ตีพิมพ์ในงานประชุมร่วมระหว่างประเทศด้านปัญญาประดิษฐ์ (IJCAI) ระบุความท้าทายไว้ทั้งการจัดวิดีโอที่ไม่มีรูปแบบตายตัวให้เป็นหน่วยงานสำหรับการเรียนรู้ และการเชื่อมข้อมูลจากวิดีโอเข้ากับการเคลื่อนไหวของหุ่นยนต์ นอกจากนี้ยังชี้ว่าต้องมีวิธีประเมินที่ช่วยคาดการณ์ประสิทธิภาพเมื่อนำไปใช้งานจริง ปริมาณวิดีโอกับความถูกต้องของข้อมูลเกี่ยวกับงานจึงเป็นประเด็นที่ต้องพิจารณาแยกกัน

การเก็บข้อมูลมีทั้งการใช้วิดีโอทั่วไปและอุปกรณ์จับการเคลื่อนไหวโดยเฉพาะ อินโนดาตา (Innodata) ประกาศเมื่อวันที่ 30 กันยายน 2026 ว่าได้เปิดห้องปฏิบัติการวิจัยและพัฒนาด้านโมชั่นแคปเจอร์ในเมืองริดจ์ฟิลด์พาร์ก รัฐนิวเจอร์ซีย์ สหรัฐฯ บริษัทระบุว่าออกแบบสถานที่ให้ใช้กล้องออปติคัลอินฟราเรดของไวคอน (Vicon) ติดตามการเคลื่อนไหวได้ในระดับต่ำกว่ามิลลิเมตร

ตัวเลขดังกล่าวเป็นข้อมูลที่บริษัทแจ้งเกี่ยวกับความแม่นยำในการติดตามของสถานที่ ไม่ใช่ตัวชี้วัดปริมาณการผลิตข้อมูลหรือประสิทธิภาพของโมเดล การบันทึกการเคลื่อนไหวด้วยอุปกรณ์ความแม่นยำสูงกับการใช้วิดีโอในชีวิตประจำวันมีสภาพแวดล้อมการเก็บข้อมูลและรายละเอียดที่บันทึกต่างกัน จึงเปรียบเทียบผลด้วยเกณฑ์เดียวกันได้ยาก

สเกล เอไอ (Scale AI) นำเสนอทั้งการเก็บข้อมูลสาธิตผ่านการควบคุมหุ่นยนต์จากระยะไกล และแพลตฟอร์มเก็บวิดีโอมุมมองบุคคลที่หนึ่งโดยไม่ต้องใช้หุ่นยนต์ ข้อมูลนี้เป็นรายละเอียดผลิตภัณฑ์และแนวทางดำเนินงานที่บริษัทเปิดเผย หากนำข้อมูลจากแหล่งที่มีเงื่อนไขการเก็บและวิธีใส่คำกำกับต่างกันมาใช้ร่วมกัน ยังต้องตรวจสอบว่ามีข้อมูลเกี่ยวกับงานที่จำเป็นต่อการฝึกอย่างสอดคล้องกันหรือไม่

การใช้วิดีโอของมนุษย์ยังต้องกำหนดวิธีจัดการข้อมูลที่บันทึกไว้ งานวิจัยด้านจริยธรรมเกี่ยวกับความร่วมมือระหว่างมนุษย์กับหุ่นยนต์ในภาคการผลิตกล่าวถึงความยินยอมของแรงงานและการใช้ข้อมูลให้ตรงกับวัตถุประสงค์ที่แจ้งไว้ วิดีโอในสถานที่ทำงานยังมีประเด็นให้พิจารณา เช่น ระยะเวลาเก็บรักษา ขอบเขตการนำกลับมาใช้ และการนำไปใช้ติดตามหรือประเมินลูกจ้างโดยนายจ้าง

ผลการทดลองของ Dyna Robotics เพียงอย่างเดียวยังไม่เพียงพอที่จะสรุปประสิทธิภาพของการฝึกจากวิดีโอเมื่อนำไปใช้จริง จำเป็นต้องประเมินเพิ่มเติมว่าดึงการเคลื่อนไหวที่หุ่นยนต์ทำตามได้จากวิดีโออย่างแม่นยำเพียงใด และผลจะทำซ้ำได้หรือไม่กับหุ่นยนต์และสภาพแวดล้อมการทำงานจริง วิดีโอของมนุษย์ถูกเสนอให้เป็นอีกช่องทางหนึ่งเพื่อเสริมข้อมูลสาธิตที่เก็บจากหุ่นยนต์โดยตรง