เหมยถวน (Meituan, 3690.HK) เผยแพร่ไฟล์น้ำหนัก LongCat-2.5 รวม 3.56TB

เหมยถวน (Meituan, 3690.HK) เผยแพร่ไฟล์น้ำหนักของ LongCat-2.5 บน Hugging Face จำนวน 208 ไฟล์ รวมขนาด 3.56TB

เหมยถวนแนะนำโมเดลนี้ผ่านบล็อกเทคนิคเมื่อวันที่ 2 พ.ย. ก่อนเผยแพร่ไฟล์น้ำหนักเมื่อวันที่ 9 พ.ย. การเผยแพร่ครั้งนี้ทำให้นักพัฒนาเข้าถึงไฟล์โมเดลได้โดยตรง โดยการแนะนำโมเดลและการเผยแพร่ไฟล์เกิดขึ้นคนละช่วงเวลา

หน้า repository ระบุใบอนุญาต MIT ขณะที่ model card ชี้แจงว่าใบอนุญาตดังกล่าวไม่ได้ให้สิทธิใช้เครื่องหมายการค้าหรือสิทธิบัตรของเหมยถวน

การเผยแพร่ไฟล์น้ำหนักไม่ได้หมายความว่าเหมยถวนเปิดเผยข้อมูลฝึกหรือกระบวนการฝึกทั้งหมด ไฟล์ที่เผยแพร่ครั้งนี้เป็นไฟล์น้ำหนักซึ่งใช้ประกอบโมเดล

เหมยถวนระบุว่า LongCat-2.5 เป็นโมเดล Mixture of Experts (MoE) ที่มีพารามิเตอร์รวม 1.6 ล้านล้านรายการ และเปิดใช้งานประมาณ 48,000 ล้านรายการต่อโทเคน โครงสร้าง MoE จะเลือกเปิดใช้งานผู้เชี่ยวชาญบางส่วนตามข้อมูลขาเข้า

อย่างไรก็ตาม model card บน Hugging Face ระบุจำนวนพารามิเตอร์รวม 1.6 ล้านล้านรายการ ขณะที่ข้อมูลเมตาที่สร้างขึ้นโดยอัตโนมัติในหน้าเดียวกันแสดงตัวเลข 1.8 ล้านล้านรายการ ยังไม่มีคำชี้แจงอย่างเป็นทางการเกี่ยวกับความแตกต่างนี้

โมเดลนี้เป็นมัลติโมดัล โดยแปลงข้อมูลภาพเป็นโทเคนแบบไม่ต่อเนื่องหลายระดับแล้วประมวลผลร่วมกับข้อความ เหมยถวนเสนอให้ใช้กับงานพัฒนาโค้ดเบสที่ซับซ้อน การสร้างโครงการทั้งระบบ และการเขียนโค้ดโดยใช้ข้อมูลภาพ

บล็อกเทคนิคของเหมยถวนระบุว่า บริษัทคำนึงถึงข้อจำกัดที่การ์ดเร่งความเร็ว AI ซึ่งผลิตในจีนมีหน่วยความจุต่ำกว่า 80GB ต่อใบ จึงใช้ลำดับข้อมูลยาวในช่วง mid-training และการปรับแต่งแบบมีผู้สอน (SFT) ก่อนหน้านี้ TokenPost เคยรายงานกรณีเปิดตัวโมเดลที่ทำงานบนชิปจีน

ระบบฝึกใช้กลยุทธ์การประมวลผลแบบขนานที่ให้ความสำคัญกับการสื่อสารภายในซูเปอร์โหนด และการประมวลผลข้อมูลแบบ 2D Fully Sharded Data Parallel (FSDP) เหมยถวนระบุว่าการออกแบบนี้ช่วยลดการใช้หน่วยความจำ โดยบล็อกเทคนิคอธิบายรายละเอียดไว้สำหรับช่วง mid-training และ SFT

ในขั้นตอนการอนุมาน โมเดลใช้วิธี W4A4 ซึ่งควอนไทซ์ทั้งน้ำหนักของผู้เชี่ยวชาญและค่าการทำงาน (activation) ให้เหลืออย่างละ 4 บิต

เหมยถวนระบุว่า ในการทดสอบโหลดออนไลน์ของบริษัท ปริมาณงานประมวลผลข้อมูลขาเข้า (prefill) ของ W4A4 สูงกว่า W8A8 อยู่ 43.3% ส่วนปริมาณงานสร้างผลลัพธ์ (decode) สูงกว่า 42.77% ตัวเลขทั้งสองมาจากการวัดของบริษัท

ผู้เขียนโพสต์ต้นทางบน Reddit ระบุว่า ก่อนเผยแพร่ไฟล์น้ำหนัก ตนขอให้โมเดลรุ่นพรีวิววิเคราะห์โค้ด แต่หลังผ่านไปราว 20 นาทีก็ยังทำงานไม่เสร็จ และการอนุมานวนซ้ำประโยคเดิม ผู้แสดงความคิดเห็นอีกรายเขียนว่า ระหว่างตั้งค่าเครื่องเสมือน โมเดลเรียกใช้คำสั่ง ls ง่าย ๆ ซ้ำหลายครั้ง

ผู้ใช้ Reddit อีกรายรายงานผลทดสอบส่วนตัวกับโจทย์ 267 รายการ โดยโมเดลรุ่นพรีวิวมีอัตราสำเร็จตั้งแต่ครั้งแรก (pass@1) 48.7% และอัตราสำเร็จภายในสามครั้ง (pass@3) 64.0% การทดสอบนี้ทำกับรุ่นพรีวิวก่อนเผยแพร่ไฟล์น้ำหนัก

ในการอภิปรายใต้โพสต์แนะนำโมเดลบน Hacker News มีทั้งผู้ที่เห็นว่าโมเดลแข่งขันได้ในด้าน API โดยอ้างอิงผลทดสอบสาธารณะ และผู้ที่มองว่าขนาดโมเดลที่ใหญ่เป็นอุปสรรคต่อการนำไปรันบนอุปกรณ์ส่วนบุคคล การอภิปรายดังกล่าวเกิดขึ้นก่อนเผยแพร่ไฟล์น้ำหนักเช่นกัน