73.6 ล้านพารามิเตอร์ Liquid AI เปิดตัว LiquidCodec โคเดกเสียงสตรีมมิง

Liquid AI (Liquid AI) เปิดตัว LiquidCodec โคเดกเสียงแบบสตรีมมิงที่มีพารามิเตอร์ 73.6 ล้านตัวเมื่อวันที่ 12 พฤศจิกายน โดยใช้เป็นโทเคไนเซอร์เสียงสำหรับ LFM3-Audio-2B และ LFM3-Omni-2B

ในบล็อกด้านเทคนิค Liquid AI ระบุว่าโคเดกมีพารามิเตอร์ประมาณ 74 ล้านตัว ขณะที่การ์ดโมเดลบน Hugging Face ระบุไว้ที่ 73.6 ล้านตัว และระบุใบอนุญาตเป็น ‘lfm1.0’ ขอบเขตการใช้งานเชิงพาณิชย์ต้องตรวจสอบเงื่อนไขใบอนุญาตแยกต่างหาก

LiquidCodec แปลงเสียงพูดเป็นโทเคนแบบไม่ต่อเนื่องที่โมเดล AI ประมวลผลได้ แล้วแปลงโทเคนกลับเป็นเสียง ระบบประกอบด้วยเอนโคเดอร์ที่แบ่งเสียงขาเข้า และดีโคเดอร์ที่สร้างเสียงจากโทเคน

ข้อมูลขาเข้ากำหนดไว้ที่เสียง 24kHz และมีอัตราเฟรม 12.5 ครั้งต่อวินาที ตัวอย่างการใช้งานในการ์ดโมเดลแสดงโค้ดบุ๊ก 12 ชุดต่อเฟรม โดยเฟรมแต่ละชุดเว้นช่วง 80 มิลลิวินาที ตัวเลขนี้เพียงอย่างเดียวไม่สามารถบอกเวลาตอบสนองของบริการทั้งหมดได้

ก่อนหน้านี้ Liquid AI ใช้โคเดก Mimi จากภายนอกกับโมเดลเสียง บริษัทระบุว่าพัฒนาโคเดกของตนเองในครั้งนี้เพื่อปรับคุณภาพโทเคนเสียงและความเร็วในการสร้างเสียงได้โดยตรง

การออกแบบหลักใช้การควอนไทซ์สเกลาร์แบบจำกัดกลุ่ม (Grouped Finite Scalar Quantization: GFSQ) บริษัทระบุว่าแนวทางนี้ออกแบบมาเพื่อลดการพึ่งพากันตามลำดับระหว่างโค้ดบุ๊ก ทำให้คาดการณ์โทเคนของเฟรมเดียวกันพร้อมกันได้

โคเดกผ่านการฝึกล่วงหน้าด้วยเสียงรวม 264,000 ชั่วโมงจาก 107 ภาษา โดย Liquid AI เปิดเผยจำนวนภาษาและชั่วโมงเสียงที่ใช้ในการฝึก บริษัทระบุเพิ่มเติมว่าได้ปรับแต่งโมเดลด้วยเสียงคุณภาพสูง 55,000 ชั่วโมง เพื่อเพิ่มคุณภาพการสร้างเสียงกลับคืน

การทดสอบความเร็วทำบน MacBook Pro ที่ใช้ชิป Apple M4 Max โดยใช้เธรด CPU หนึ่งเธรดและความแม่นยำ FP32 ภายใต้เงื่อนไขนี้ การเข้ารหัสเร็วกว่าเวลาจริงประมาณ 361 เท่า ส่วนการถอดรหัสเร็วกว่าเวลาจริงประมาณ 87 เท่า

ตัวเลขดังกล่าวเป็นผลการทดสอบความเร็วของโคเดกที่บริษัทเปิดเผย ไม่ได้หมายความว่าจะได้ความเร็วเท่ากันบนอุปกรณ์อื่นหรือในบริการจริงทั้งระบบ

Liquid AI ยังเป็นผู้ทำการเปรียบเทียบด้านคุณภาพเอง โดยระบุว่าในชุดทดสอบ 8 ชุด ผลด้าน ViSQOL ซึ่งเป็นตัวชี้วัดคุณภาพการสร้างเสียงกลับคืน และระยะเมล (mel distance) ดีที่สุดเมื่อเทียบกับสิ่งที่นำมาเปรียบเทียบ

คะแนน UTMOSv2 ซึ่งประเมินความเป็นธรรมชาติของเสียงสังเคราะห์สูงที่สุดในชุดทดสอบทั้ง 8 ชุด ส่วน WER และ CER ซึ่งวัดความชัดเจนของคำพูดดีกว่าสิ่งที่นำมาเปรียบเทียบใน 4 จาก 8 ชุดทดสอบ

ดังนั้น ผลที่บริษัทเปิดเผยไม่ได้หมายความว่า LiquidCodec เหนือกว่าในทุกเกณฑ์ ทั้งผลด้านความเร็วและคุณภาพมาจากการทดสอบที่บริษัทเผยแพร่ และไม่ได้ยืนยันประสิทธิภาพบนอุปกรณ์หรือภายใต้เงื่อนไขอื่น

ก่อนหน้านี้ TokenPost เคยรายงานประสิทธิภาพของโมเดล AI แบบประมวลผลบนอุปกรณ์ของ Liquid AI การเปิดเผยครั้งนี้ให้รายละเอียดโครงสร้างของโทเคไนเซอร์เสียงที่ใช้กับโมเดลกลุ่มดังกล่าวและผลการทดสอบภายในบริษัท