Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

เทนเซ็นต์ Hunyuan ทุ่มฝึก Hy4 ขั้นหลัง พร้อมแผนสร้างโมเดลขนาดใหญ่ขึ้น

แผนผังโครงสร้างโมเดล AI วาดเรียงกันบนแผ่นกระจก / TokenPost.ai (mono)

ทีม Hunyuan ของเทนเซ็นต์(Tencent, $0700) ระบุว่ากำลังทุ่มทรัพยากรให้การฝึก Hy4 ขั้นหลังและการเรียนรู้แบบเสริมกำลังขนาดใหญ่ พร้อมวางแผนฝึกโมเดลที่มีขนาดใหญ่ขึ้น

ทีม Hunyuan ตอบคำถามสาธารณะบน Reddit เมื่อวันที่ 21 ว่า Hy4 ยังมีโอกาสพัฒนาได้อีกมาก โดยเฉพาะผ่านการฝึกขั้นหลัง ทีมระบุว่า “เราทุ่มทรัพยากรจำนวนมากให้การเรียนรู้แบบเสริมกำลังขนาดใหญ่ และยังปรับปรุงประสบการณ์ผู้ใช้กับความปลอดภัยของโมเดลอย่างต่อเนื่อง นอกจากนี้ยังมีแผนฝึกโมเดลที่มีขนาดใหญ่ขึ้น”

เมื่อมีนักพัฒนาถามว่าเหตุใดเทนเซ็นต์จึงหยุดขยายขนาดโมเดลไว้ที่ระดับ 700,000 ล้านพารามิเตอร์ ทีม Hunyuan ตอบว่า “Hy3 และ Hy4 แสดงให้เห็นว่าโมเดลขนาดเล็กที่ฝึกมาอย่างดีสามารถทำได้ดีกว่าโมเดลที่ใหญ่กว่า และยังมีต้นทุนต่ำกว่า”

เอกสารโมเดล Hy4 อย่างเป็นทางการที่เทนเซ็นต์เผยแพร่ระบุว่า โมเดลมีพารามิเตอร์ทั้งหมด 770,000 ล้านตัว และเปิดใช้งาน 49,000 ล้านตัวต่อโทเคน ตามโครงสร้างโมเดล

เมื่อวันที่ 16 เทนเซ็นต์เปิดตัว Hy4 Flash และระบุว่า ในการประเมิน WorkIndex ซึ่งเป็นเกณฑ์วัดการทำงานภายในของบริษัท ต้นทุนต่อภารกิจของโมเดลนี้อยู่ที่หนึ่งในยี่สิบของ Hy4 Hy4 Flash มีพารามิเตอร์ทั้งหมด 224,000 ล้านตัว และเปิดใช้งาน 12,000 ล้านตัว ตามข้อมูลโมเดล โดยการเปรียบเทียบต้นทุนมาจากผลประเมินของเทนเซ็นต์เอง

ช่วงถามตอบยังกล่าวถึงกระบวนการออกแบบ Hy4 ด้วย ทีม Hunyuan ระบุว่าได้พิจารณา GQA และ MLA ก่อนเลือกใช้ MLA เนื่องจากให้คุณภาพโมเดลดีกว่าเมื่อใช้พื้นที่จัดเก็บชั่วคราวขนาดเท่ากัน พร้อมอธิบายว่าการนำ DSA มาใช้ช่วยลดภาระการคำนวณระหว่างสร้างคำตอบ

ทีม Hunyuan ระบุว่า ‘การคิดมากเกินไป’ เป็นพฤติกรรมหนึ่งของโมเดลที่แก้ไขได้ยากระหว่างการฝึกขั้นหลัง และเปิดเผยว่า Hy4-mini ซึ่งเป็นโมเดลขนาดเล็กก็อยู่ในแผนพัฒนาเช่นกัน

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1