160ms·U=1 โมเดลถอดเสียงสตรีมมิงมีอัตราผิดพลาดเฉลี่ย 5.76% ภาษาเกาหลี FLEURS อยู่ที่ 7.52%

นักวิจัยจากเน็ตอีส โยวเต้า (NetEase Youdao) เปิดตัว Confucius4-R2T2 โมเดลรู้จำเสียงพูดแบบสตรีมมิง โดยมีอัตราผิดพลาดเฉลี่ย 5.76% จากชุดประเมินภาษาอังกฤษและภาษาจีน 13 ชุด เมื่อใช้ชังก์ 160ms และตั้งค่า U=1 โดย U คือจำนวนโทเคนชั่วคราวที่พักไว้ก่อนแสดงผล ดังนั้น U=1 จึงหมายถึงพักไว้หนึ่งโทเคน

ในบทความวิจัยที่เผยแพร่เมื่อวันที่ 4 ทีมวิจัยระบุว่าออกแบบโมเดลให้แสดงเฉพาะส่วนต้นของประโยคที่ไม่เปลี่ยนภายหลังระหว่างรับเสียง ส่วนที่ยืนยันและแสดงผลไปแล้วจะไม่ถูกแก้ตามเสียงที่เข้ามาทีหลัง

ค่า 5.76% เป็นค่าเฉลี่ยที่ให้น้ำหนักชุดประเมินทั้ง 13 ชุดเท่ากัน โดยใช้ค่าอัตราความผิดพลาดของคำ (WER) กับภาษาอังกฤษ และค่าอัตราความผิดพลาดของตัวอักษร (CER) กับภาษาจีน ตัวเลขนี้ไม่ได้รวมความผิดพลาดของคำและตัวอักษรจากสองภาษาเป็นอัตราเดียวกัน

ภายใต้เงื่อนไขเดียวกัน คือชังก์ 160ms และ U=1 ชุดประเมิน FLEURS ภาษาเกาหลีหนึ่งชุดมีค่า CER อยู่ที่ 7.52% ขณะที่โมเดลพื้นฐานทำได้ 40.66% ภาษาเกาหลีไม่ได้เป็นหนึ่งในภาษาที่ใช้ฝึกเพิ่มเติม จึงไม่ควรนำผลนี้ไปสรุปแทนประสิทธิภาพของระบบรู้จำเสียงภาษาเกาหลีโดยรวม

เงื่อนไขการประเมินก็แตกต่างกันด้วย โมเดลถอดเสียงภาษาเกาหลีของ NVIDIA ที่ TokenPost เคยรายงานก่อนหน้านี้รับไฟล์บันทึกเสียงเป็นข้อมูลนำเข้า จึงเปรียบเทียบโดยตรงกับ R2T2 ซึ่งเป็นโมเดลสตรีมมิงแบบเรียลไทม์ได้ยาก

โมเดลพื้นฐานของ R2T2 คือ Qwen3-ASR-1.7B ทีมวิจัยใช้เสียงภาษาจีนและภาษาอังกฤษประมาณ 1,500 ชั่วโมงในการฝึกเพิ่มเติม

โมเดลตรึงตัวเข้ารหัสเสียงและโปรเจกเตอร์เดิมไว้ พร้อมใช้การฝึกแบบ “คำนำหน้าที่ยาวที่สุดซึ่งมีความเสถียร” (Longest Stable Prefix หรือ LSP) วิธีนี้ฝึกให้โมเดลส่งออกส่วนต้นของประโยคที่ยังคงเดิมได้ แม้จะมีข้อมูลเสียงเข้ามาเพิ่มเติม

ระบบรู้จำเสียงแบบสตรีมมิงทั่วไปอาจแสดงประโยคชั่วคราวระหว่างที่เสียงยังเข้ามา และแก้ข้อความก่อนหน้าเมื่อได้รับบริบทเพิ่มเติม ระบบที่นำผลระหว่างทางไปประมวลผลแล้วอาจต้องนำประโยคที่แก้ไขกลับไปประมวลผลซ้ำ

ทีมพัฒนาอธิบายว่าแนวทางนี้ออกแบบมาเพื่อลดการประมวลผลซ้ำในระบบที่นำผลระหว่างทางไปใช้ทันที เช่น คำบรรยาย การแปลพร้อมกัน และเอเจนต์เสียง อย่างไรก็ตาม การไม่แก้ประโยคที่แสดงผลแล้วเป็นคุณสมบัติคนละด้านกับความแม่นยำในการรู้จำและความเร็วในการแสดงผล

เมื่อใช้ช่วงเวลา 160ms เท่ากัน โมเดลพื้นฐานมีอัตราผิดพลาดเฉลี่ย 21.01% ส่วน R2T2 ทำได้ 5.76% ในการตั้งค่า U=1 ที่เน้นคุณภาพการรู้จำ และ 6.40% ในการตั้งค่า U=0 ที่เน้นลดความหน่วง

โมเดลพื้นฐานทำอัตราผิดพลาดได้ 5.25% ในการตั้งค่า 2 วินาทีและ U=5 และ 5.15% ในการตั้งค่าออฟไลน์ที่ประมวลผลหลังรับเสียงทั้งหมดแล้ว บทความวิจัยไม่นำผลทั้งสองแบบไปรวมในการจัดอันดับด้านความเสถียรของการแสดงผล และระบุว่าการตั้งค่า 2 วินาทีอาจมีการแก้ผลลัพธ์ระหว่างทาง

ค่าเฉลี่ยรวมในตารางเปรียบเทียบของบทความวิจัยแสดงว่า R2T2 มีอัตราผิดพลาดต่ำกว่า API เชิงพาณิชย์ 3 รายที่นำมาเปรียบเทียบ อย่างไรก็ตาม ในชุดประเมินภาษาจีนบางชุด API เชิงพาณิชย์ A และ B ซึ่งไม่ได้เปิดเผยชื่อ มีอัตราผิดพลาดต่ำกว่า R2T2 บทความระบุว่าระบบเหล่านั้นใช้เวลานานกว่าในการแสดงประโยคที่มีเสถียรภาพ

ค่า 160ms คือช่วงห่างของชังก์เสียงที่ป้อนเข้าในการประเมิน ส่วนค่าความหน่วงที่คำนวณในบทความอิงจากจุดที่ประโยคได้รับการยืนยันในเสียง และไม่รวมเวลาในการประมวลผลจริง การรอ การส่งข้อมูล และการแสดงผลบนหน้าจอ งานวิจัยยังไม่ได้ตรวจสอบว่าโมเดลจะประมวลผลทันความเร็วของข้อมูลนำเข้าในสภาพแวดล้อมใช้งานจริงหรือไม่

โค้ดและน้ำหนักโมเดลเปิดเผยต่อสาธารณะ โดยโค้ดใช้สัญญาอนุญาต Apache License 2.0 ส่วนน้ำหนักโมเดลอยู่ภายใต้ NetEase Model Use License แยกต่างหาก

บทความวิจัยระบุว่าเสียงประมาณ 1,500 ชั่วโมงที่ใช้ฝึกเพิ่มเติมเป็นข้อมูลกรรมสิทธิ์ที่ไม่เปิดเผยต่อสาธารณะ ขอบเขตการเปิดเผยโค้ดและน้ำหนักโมเดลจึงแยกจากการเปิดเผยข้อมูลเสียงที่ใช้ฝึก