Ling-3.0-flash พารามิเตอร์ 1.24 แสนล้าน ใช้จริงแค่ 5,100 ล้านต่อโทเคน

Ant Group (แอนท์กรุ๊ป) ผ่านหน่วยงาน AI ในเครืออย่าง inclusionAI เปิดตัวโมเดลภาษาขนาดใหญ่ Ling-3.0-flash ซึ่งมีพารามิเตอร์รวมทั้งสิ้น 1.24 แสนล้านตัว แต่เปิดใช้งานเพียง 5,100 ล้านตัวต่อโทเคน โดยมีรายงานว่าเวอร์ชันควอนไทซ์ FP8 มีขนาดไฟล์ประมาณ 128GB ซึ่งอยู่ที่ระดับครึ่งหนึ่งของเวอร์ชัน BF16

BlockBeats จากจีนรายงานเมื่อวันที่ 5 ว่า ทั้งเวอร์ชัน BF16 ต้นฉบับและเวอร์ชันควอนไทซ์ FP8 ของ Ling-3.0-flash ได้ถูกอัปโหลดขึ้น Hugging Face และ ModelScope ภายใต้สัญญาอนุญาต MIT โดยนักพัฒนาสามารถนำไปติดตั้งใช้งานเองผ่าน SGLang หรือ vLLM ได้ ทั้งนี้ ตามตัวเลขที่ BlockBeats ระบุ เวอร์ชัน BF16 มีขนาดประมาณ 255GB ส่วนเวอร์ชัน FP8 มีขนาดประมาณ 128GB

เอกสารทางการของ Ant Ling อธิบายว่า Ling-3.0-flash เป็นโมเดลแบบ «ผสมผสานผู้เชี่ยวชาญ» (Mixture-of-Experts หรือ MoE) โครงสร้างแบบผสมผสานผู้เชี่ยวชาญจะเรียกใช้เครือข่ายผู้เชี่ยวชาญเพียงบางส่วนตามข้อมูลนำเข้า ซึ่งช่วยลดปริมาณการประมวลผลจริง ในขณะที่ยังคงขนาดโมเดลโดยรวมไว้เท่าเดิม

เอกสารทางการระบุว่าโมเดลนี้รองรับหน้าต่างบริบท (context window) ขนาด 256K เป็นค่าเริ่มต้น และสามารถขยายได้สูงสุดถึง 1M โทเคน พร้อมระบุว่าในงานที่มีความถี่สูง โมเดลตั้งเป้าความเร็วการอนุมานสูงสุดที่ 1,000 โทเคนต่อวินาที และเวลาตอบสนองโทเคนแรก (TTFT) ต่ำกว่า 100 มิลลิวินาที

Ant Group ระบุในแถลงข่าวอย่างเป็นทางการเมื่อวันที่ 27 กรกฎาคมว่า Ling-3.0-flash ใช้โครงสร้าง native hybrid linear attention ซึ่งจัดวางเลเยอร์ KDA (Kimi Delta Attention) และ MLA (Multi-head Latent Attention) สลับกันในอัตราส่วน 5 ต่อ 1 นอกจากนี้ยังลดสัดส่วนการเปิดใช้งานผู้เชี่ยวชาญจากรุ่นก่อนหน้าจาก 1 ใน 32 เหลือ 1 ใน 64

FP8 เป็นรูปแบบการจัดเก็บพารามิเตอร์ด้วยความละเอียดที่ต่ำกว่า BF16 ซึ่งช่วยลดขนาดน้ำหนักโมเดลและการใช้หน่วยความจำ หากอ้างอิงตามตัวเลขที่ BlockBeats รายงาน เวอร์ชัน FP8 มีขนาดเล็กกว่าเวอร์ชัน BF16 ประมาณครึ่งหนึ่ง อย่างไรก็ตาม ณ วันที่ 5 เอกสารโมเดลทางการของ Ant Ling สามารถตรวจสอบข้อมูลพารามิเตอร์รวม พารามิเตอร์ที่เปิดใช้งาน และหน้าต่างบริบทได้ ในขณะที่การ์ดโมเดล (model card) บน Hugging Face ชุดเดียวกันกลับมีข้อมูลให้ตรวจสอบได้จำกัด

เอกสารราคาทางการของ Ant Ling ระบุว่า Ling-3.0-flash เปิดให้ใช้งานฟรีตั้งแต่เวลา 01:00 น. ของวันที่ 23 กรกฎาคม จนถึงเวลา 00:59:59 น. ของวันที่ 7 สิงหาคม ตามเวลาเกาหลี ส่วนในเดือนสิงหาคมจะมีส่วนลด 75% โดยราคาปกติอยู่ที่ 0.40 หยวนต่อโทเคนนำเข้า 1 ล้านโทเคน และ 1.20 หยวนต่อโทเคนส่งออก 1 ล้านโทเคน

การประกาศครั้งนี้ไม่ได้ระบุถึงความเชื่อมโยงโดยตรงกับคริปโตหรือบล็อกเชนแต่อย่างใด ทีมพัฒนาที่ต้องการใช้งาน AI แบบเอเจนต์บนเซิร์ฟเวอร์ของตนเองหรือระบบคลาวด์ส่วนตัว ควรตรวจสอบการ์ดโมเดล ไฟล์สัญญาอนุญาต และค่าเช็คซัมก่อนนำไปใช้งานจริง