ทีม Hunyuan ของเทนเซนต์ (Tencent, 0700.HK) เปิดเผยน้ำหนักของโมเดลปัญญาประดิษฐ์แบบมัลติโมดัล Hy4 เมื่อวันที่ 20 โดยแกนภาษามีพารามิเตอร์ 770 พันล้านรายการ (770B) นักพัฒนาสามารถดาวน์โหลดรุ่นเต็มที่รองรับบริบทสูงสุด 1,048,576 โทเค็นและรันในสภาพแวดล้อมของตนเองได้
สิ่งที่เปิดเผยประกอบด้วย Hy4 รุ่นทำตามคำสั่ง, Hy4-FP8 รุ่นควอนไทซ์ FP8 และ Hy4 base รุ่นพื้นฐานก่อนการฝึก น้ำหนักของทั้งสามโมเดลเผยแพร่ผ่าน Hugging Face, ModelScope และ GitCode ส่วน System Card เปิดเผยแยกต่างหาก
Hy4 ใช้โครงสร้าง Mixture-of-Experts (MoE) โดยจากพารามิเตอร์ 770 พันล้านรายการในแกนภาษา จะเปิดใช้งาน 49 พันล้านรายการต่อโทเค็น ตัวเลขพารามิเตอร์รวมกับพารามิเตอร์ที่เปิดใช้งานต่อโทเค็นเป็นคนละค่า ดังนั้น 49 พันล้านรายการจึงไม่ใช่ขนาดรวมของโมเดล
แกนภาษามี 78 เลเยอร์ เลเยอร์แรกเป็น FFN ทั่วไป ส่วนอีก 77 เลเยอร์เป็น MoE FFN แต่ละเลเยอร์ MoE มีผู้เชี่ยวชาญกำหนดเส้นทาง 256 รายการและผู้เชี่ยวชาญร่วม 1 รายการ โดยแต่ละโทเค็นจะเรียกใช้ผู้เชี่ยวชาญแบบกำหนดเส้นทาง 8 รายการพร้อมผู้เชี่ยวชาญร่วม
Hy4 ประมวลผลได้ทั้งข้อความ ภาพ และวิดีโอ ตัวเข้ารหัสด้านการมองเห็นมีพารามิเตอร์ 1.23 พันล้านรายการ ขณะที่โมเดลร่าง DFly2 ซึ่งช่วยการอนุมานมีพารามิเตอร์ 3.3 พันล้านรายการ
สำหรับการประมวลผลบริบทยาว Hy4 ใช้ Gated DeepSeek Sparse Attention และ IndexCache ตัวจัดทำดัชนีจะเลือกได้สูงสุด 2,048 โทเค็นจากบริบททั้งหมด ขณะที่ความยาวบริบททั้งหมดกำหนดไว้ที่ 1,048,576 โทเค็น
ขั้นตอนติดตั้งอย่างเป็นทางการรองรับ vLLM และ SGLang ตัวอย่างการรัน vLLM ที่เทนเซนต์นำเสนอใช้การขนานเทนเซอร์แบบ 8 ทางกับ Hy4-FP8 และเปิดใช้ API ที่เข้ากันได้กับ OpenAI
ใบอนุญาตใช้ Tencent Hy License 1.0 ไม่ใช่ Apache License 2.0 การปรับแต่งโมเดล (fine-tuning) การควอนไทซ์ การกลั่นความรู้ การรวมโมเดล และโมเดลที่ผ่านการตัดแต่ง ถูกกำหนดให้เป็นผลงานดัดแปลงตามเงื่อนไขใบอนุญาต
หากรายได้รวมทั่วโลกของผู้ให้บริการโมเดลแบบบริการ (MaaS) เกิน 50 ล้านดอลลาร์ (ประมาณ 66.6 พันล้านวอน) ในช่วง 12 เดือนติดต่อกันใดๆ หรือผลิตภัณฑ์และบริการที่ใช้โมเดลมีผู้ใช้งานต่อเดือน (MAU) เกิน 100 ล้านคนในเดือนใดเดือนหนึ่ง จะต้องขอใบอนุญาตเป็นลายลักษณ์อักษรแยกต่างหาก การใช้งานภายในองค์กรโดยไม่ให้โมเดล ผลงานดัดแปลง หรือผลลัพธ์แก่บุคคลที่สามได้รับการยกเว้น
ในการประกาศอย่างเป็นทางการเมื่อวันที่ 4 พฤศจิกายน เทนเซนต์ระบุว่าจะเปิด Hy4 เป็นบริการก่อน จากนั้นจะเผยแพร่น้ำหนักและ System Card ภายในไม่กี่วัน การเปิดเผยน้ำหนักครั้งนี้เป็นการทำตามแผนดังกล่าว
ต่างจากกรณีที่ให้บริการ Hy4 Preview ผ่าน API ก่อนหน้านี้ ครั้งนี้นักพัฒนาสามารถดาวน์โหลดน้ำหนักโมเดลและรันบนโครงสร้างพื้นฐานของตนเองได้ ทำให้การเรียกใช้บริการและการติดตั้งใช้งานเองดำเนินควบคู่กัน
การประเมินด้านการเงินที่ดำเนินการโดยทีม Hunyuan ของเทนเซนต์และ Tencent Financial Technology มีผู้เข้าร่วม 213 คน รวมผู้เชี่ยวชาญจากสถาบันการเงินรายใหญ่ 153 คน จากงานด้านการเงิน 579 รายการ Hy4 ได้คะแนนเฉลี่ย 3.04 คะแนนจากเต็ม 4 คะแนน และเทนเซนต์ระบุว่าสูงสุดในบรรดาโมเดลแบบเปิดน้ำหนักที่นำมาเปรียบเทียบ
การประเมินนี้เป็นการประเมินของบริษัทที่เทนเซนต์เป็นผู้ดำเนินการ จึงต้องแยกจากผลตรวจสอบอิสระภายนอก Model Card อย่างเป็นทางการระบุว่า Hy4 พัฒนาความเข้าใจภาพ ความเข้าใจบริบทยาว และความสามารถทำงานระยะยาวดีขึ้นจากรุ่นพรีวิว แต่ยังมีช่องว่างเมื่อเทียบกับโมเดลปิดระดับแนวหน้าในด้านคณิตศาสตร์ระดับงานวิจัย การเขียนโค้ดระยะยาว การปรับปรุงตัวเองของโมเดล และการตอบคำถามภาพระดับยาก
การประเมินความปลอดภัยใน System Card ก็จัดทำโดยหน่วยวิจัยและความปลอดภัยของเทนเซนต์ ดังนั้นตัวเลขด้านความปลอดภัยจึงไม่ควรถูกตีความว่าเป็นผลการทำซ้ำที่ตรวจสอบโดยหน่วยงานอิสระภายนอก
ตัวเลข 770 พันล้านรายการเป็นเฉพาะแกนภาษา ไม่รวมตัวเข้ารหัสด้านการมองเห็นและ DFly2 แม้จะเปิดใช้งาน 49 พันล้านพารามิเตอร์ต่อโทเค็น แต่ระบบยังต้องเก็บและแจกจ่ายน้ำหนักทั้งหมด จึงไม่สามารถคำนวณต้นทุนการรันและความต้องการหน่วยความจำโดยถือว่าเป็นโมเดลขนาด 49 พันล้านรายการได้
เอกสารที่เผยแพร่ครั้งนี้ไม่มีข้อมูลที่เชื่อมโยงโดยตรงกับสินทรัพย์ดิจิทัลหรือบล็อกเชน และไม่มีรายละเอียดสัญญาจัดหา GPU เฉพาะรายหรือปริมาณการใช้ชิป เนื้อหาการประกาศมุ่งเน้นน้ำหนักโมเดล ช่องทางการเผยแพร่ และเงื่อนไขใบอนุญาต
Comment 0