นักวิจัยจาก Huawei Research, CUHK MMLab และมหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีฮ่องกง (HKUST) เปิดตัว AURA 2.0 โมเดลปัญญาประดิษฐ์ (AI) ที่เลือกฉากในวิดีโอซึ่งน่าชวนคุย แล้วเริ่มสนทนาก่อนโดยไม่ต้องรอคำถามจากผู้ใช้ โมเดลนี้เพิ่มการเรียกใช้เครื่องมือภายนอกและการระบุตำแหน่งวัตถุบนหน้าจอให้กับระบบถามตอบวิดีโอแบบเรียลไทม์
นักวิจัยระบุในรายงานทางเทคนิคที่ส่งเมื่อวันที่ 13 (เวลาเกาหลี) ว่าความสามารถหลักมี 3 อย่าง ได้แก่ การเริ่มบทสนทนาโดยโมเดล (MIC) การเรียกใช้เครื่องมือตามบริบทวิดีโอ (SATC) และการระบุตำแหน่งวัตถุด้วยภาพแบบโต้ตอบ (IVG) ทั้งสามฟีเจอร์ออกแบบให้พิจารณาภาพและลำดับการสนทนาร่วมกัน เพื่อเลือกว่าจะพูดเมื่อใด ใช้เครื่องมือหรือไม่ และชี้วัตถุใดบนหน้าจอ
โมเดลการ์ดบน Hugging Face ระบุว่าโมเดลมีขนาด 9 พันล้านพารามิเตอร์ ขณะที่รายงานทางเทคนิคระบุว่านักวิจัยใช้ Qwen3.5-9B เป็นโมเดลตั้งต้น
AURA รุ่นก่อนตอบคำถามที่ได้รับ หรือรอจนกว่าฉากที่จำเป็นต่อการตอบจะปรากฏในวิดีโอ ส่วน AURA 2.0 เพิ่มความสามารถให้โมเดลเป็นฝ่ายเริ่มสนทนา
MIC พิจารณาวิดีโอและบทสนทนาก่อนหน้าเพื่อกำหนดว่าจะพูดหรือไม่ เมื่อใด และในหัวข้อใด แม้ผู้ใช้ไม่ได้ถามคำถาม ระบบยังนำบทสนทนาก่อนหน้ามาประกอบการตัดสินใจ เพื่อหลีกเลี่ยงการพูดซ้ำเรื่องที่คุยไปแล้ว
SATC พิจารณาภาพที่กำลังแสดงและเนื้อหาการสนทนาร่วมกันก่อนเรียกใช้เครื่องมือภายนอก จากนั้นนำข้อมูลที่เครื่องมือส่งกลับมาใช้ในการสนทนาต่อ ฟีเจอร์นี้ช่วยให้ระบบประมวลผลทั้งคำถามของผู้ใช้และสถานการณ์ในวิดีโอ
IVG จดจำวัตถุที่ผู้ใช้ทำเครื่องหมายไว้ในเฟรมวิดีโอได้ โมเดลยังอาจแสดงตำแหน่งของวัตถุที่กล่าวถึงในคำตอบด้วยกรอบสี่เหลี่ยม (bounding box) ที่จัดวางให้ตรงกับเฟรม
โมเดลยังมีระบบความจำสำหรับวิดีโอที่มีความยาว โดยสรุปเหตุการณ์สำคัญเป็นข้อความและเก็บไว้ในบริบทการสนทนา แม้เหตุการณ์นั้นจะอยู่นอกช่วงเวลาที่กำลังแสดงอยู่
ข้อมูลฝึกที่นักวิจัยรายงานประกอบด้วยประมาณ 11.4 พันล้านโทเคน วิดีโอ 5,400 ชั่วโมง และ 40 ล้านเฟรม ข้อมูลเหล่านี้ใช้ฝึกโมเดลให้ประมวลผลฉากในวิดีโอและลำดับการสนทนา
การประเมิน MIC ภายในใช้วิดีโอ 25 รายการ ในเงื่อนไขที่มีบทสนทนาก่อนหน้า โมเดลพูดอย่างน้อยหนึ่งครั้งใน 20 จาก 25 ช่วงที่มนุษย์ระบุว่าเป็นโอกาสให้พูด และได้คะแนนคุณภาพการตอบ 4.10 จาก 5 คะแนน
ในเงื่อนไขที่มีเฉพาะวิดีโอ โมเดลพูดอย่างน้อยหนึ่งครั้งใน 24 จาก 25 รายการ และได้คะแนนคุณภาพ 3.62 จาก 5 คะแนน จากคำพูดทั้งหมด 173 ครั้งในเงื่อนไขนี้ มี 15 ครั้งที่ถูกประเมินว่า 'แย่' เนื่องจากช่วงประเมินและวิธีให้คะแนนของทั้งสองเงื่อนไขต่างกัน จึงไม่สามารถนำตัวเลขมาเปรียบเทียบกันโดยตรง
การประเมิน SATC ภายในใช้คำถาม 167 ข้อจากวิดีโอ 55 รายการ เมื่อเปิดใช้เครื่องมือภายนอก อัตราตอบถูกเพิ่มจาก 35.9% เป็น 48.5% หรือเพิ่มขึ้น 12.6 จุดเปอร์เซ็นต์ นักวิจัยระบุว่าใช้โมเดลภาษาขนาดใหญ่เป็นผู้ประเมินคำตอบสุดท้าย
ผลด้านการเริ่มสนทนาและการเรียกใช้เครื่องมือทั้งหมดมาจากการทดสอบภายในที่มีขนาดจำกัด ตัวเลขที่นักวิจัยนำเสนอเป็นผลประเมินฟีเจอร์ใหม่ และแยกจากผลการทดสอบบนเกณฑ์มาตรฐานวิดีโอสาธารณะ
น้ำหนักโมเดลใช้สัญญาอนุญาต CC BY-NC 4.0 โดยโมเดลการ์ดบน Hugging Face ระบุว่าเปิดให้ใช้เพื่อการวิจัยที่ไม่ใช่เชิงพาณิชย์ สัญญาอนุญาตนี้ไม่ได้ให้สิทธิ์ในชุดข้อมูลของบุคคลที่สามหรือสื่อที่อยู่ในชุดข้อมูล ผู้ใช้จึงต้องพิจารณาเงื่อนไขการใช้น้ำหนักโมเดลและสิทธิ์ในข้อมูลฝึกแยกจากกัน
นักวิจัยระบุว่าประโยชน์ของฟีเจอร์ที่โมเดลเริ่มพูดก่อนอาจแตกต่างกันไปตามความชอบของผู้ใช้ และเสนอให้ศึกษาการนำบริบทปฏิสัมพันธ์ที่กว้างขึ้นกับความชอบของผู้ใช้มาประกอบในอนาคต ส่วนคำขอเพิ่มการรองรับ AURA 2.0 ถูกส่งขึ้นในคลังโค้ด vLLM-Omni เมื่อวันที่ 17 และยังไม่ได้รวมเข้ากับโครงการ ณ วันที่ 19
Comment 0