GLM-5.3 เก่งขึ้นจาก 'หลังการฝึก' ไม่ใช่แค่ขยายพารามิเตอร์ จื้อผู่เอไอชี้

การพูดคุยเรื่อง GLM-5.3 ของจื้อผู่เอไอ (Zhipu AI, Z.ai) กำลังขยายจุดสนใจของการแข่งขันโมเดลปัญญาประดิษฐ์ (AI) ขนาดใหญ่ จากขนาดพารามิเตอร์ไปสู่ขั้นตอน ‘หลังการฝึก’ (post-training) และประสิทธิภาพการใช้งานจริง แม้จะใช้โมเดลพื้นฐานเดียวกัน แต่การขยายสภาพแวดล้อมงานระยะยาวและการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ก็สามารถเปลี่ยนประสิทธิภาพงานด้านการเขียนโค้ดและความปลอดภัยได้

ถังเจี๋ย (Tang Jie) ผู้ก่อตั้งจื้อผู่เอไอ ระบุในโพสต์เมื่อวันที่ 19 ว่า การขยายขนาดโมเดลใหญ่ไม่ใช่เรื่องของจำนวนพารามิเตอร์เพียงอย่างเดียว แต่ต้องพิจารณาขนาดข้อมูล การจัดสรรทรัพยากรคำนวณ ต้นทุนการอนุมาน และเงื่อนไขการใช้งานจริงไปพร้อมกัน ตามรายงานของ TechFlow ซึ่งเผยแพร่ข่าวดังกล่าวเมื่อเวลา 11:32 น. ตามเวลาท้องถิ่นจีนของวันที่ 19 (ตรงกับเวลา 12:32 น. ตามเวลาเกาหลีใต้ในวันเดียวกัน)

ถังเจี๋ยอธิบายว่า ในกฎการขยายขนาด (scaling law) ยุคแรก การเพิ่มพารามิเตอร์เกิดขึ้นเร็วกว่าการเพิ่มข้อมูล และแนวโน้มนี้นำไปสู่ความไม่สมดุลของการจัดสรรทรัพยากรในโมเดลขนาดใหญ่บางรุ่น หลังจากนั้นงานวิจัยจึงเปลี่ยนทิศทางไปสู่การเพิ่มพารามิเตอร์โมเดลและข้อมูลฝึกให้สมดุลกันมากขึ้น

หัวใจสำคัญอยู่ที่ขั้นตอน ‘หลังการฝึก’ ซึ่งเป็นกระบวนการดึงประสิทธิภาพของโมเดลพื้นฐานขึ้นมาอีกครั้ง ด้วยสภาพแวดล้อมงานเฉพาะทางและระบบให้รางวัล หากการฝึกล่วงหน้า (pre-training) เป็นขั้นตอนขยายฐานความรู้และภาษา การฝึกหลังการฝึกก็เปรียบเสมือนขั้นตอนปรับคำตอบและพฤติกรรมของโมเดลให้เข้ากับรูปแบบการใช้งานจริงมากกว่า

ถังเจี๋ยระบุว่า GLM-5.3 ใช้โมเดลพื้นฐาน โครงสร้าง จำนวนพารามิเตอร์รวม และพารามิเตอร์ที่ทำงานจริง (active parameters) เดียวกันกับ GLM-5.2 ความแตกต่างอยู่ที่การฝึกหลังการฝึกเป็นเวลาหนึ่งเดือน ซึ่งขยายสภาพแวดล้อมงานระยะยาวและการเรียนรู้แบบเสริมกำลัง

คำอธิบายนี้ทำให้มองการแข่งขันโมเดลขนาดใหญ่เป็นเพียงการแข่งขันด้านขนาดได้ยากขึ้น เพราะแทนที่จะขยายโมเดลใหม่ทั้งหมด แนวทางที่เพิ่มเส้นทางการทำงานให้ยาวขึ้น เพิ่มสภาพแวดล้อมงาน และเพิ่มระบบให้รางวัลบนโมเดลพื้นฐานเดิม กลับถูกเน้นย้ำมากขึ้นในการยกระดับประสิทธิภาพ

ในโมเดลแบบผสมผู้เชี่ยวชาญ (mixture of experts) ความหมายของพารามิเตอร์รวมและพารามิเตอร์ที่ทำงานจริงก็แตกต่างกันด้วย ถังเจี๋ยอธิบายว่า พารามิเตอร์รวมเกี่ยวข้องกับความจุความรู้ที่โมเดลสามารถบรรจุได้ ขณะที่พารามิเตอร์ที่ทำงานจริงและความลึกที่มีผลจริง (effective depth) ส่งผลโดยตรงต่อความสามารถในการอนุมานมากกว่า ทำให้การอธิบายประสิทธิภาพโมเดลด้วยอัตราส่วน ‘โทเคนฝึกต่อพารามิเตอร์’ เพียงค่าเดียวทำได้ยากขึ้น

ต้นทุนการอนุมานก็ถูกยกขึ้นมาเป็นอีกตัวแปรหนึ่ง ยิ่งโมเดลถูกเรียกใช้งานบ่อยเท่าไร ต้นทุนจริงก็ยิ่งสะสมในขั้นตอนการให้บริการมากกว่าขั้นตอนการฝึก ในกรณีนี้ กลยุทธ์การฝึกโมเดลขนาดเล็กกว่าเป็นเวลานานขึ้นถูกกล่าวถึงว่าเป็นจุดสมดุลระหว่างต้นทุนและประสิทธิภาพ

ก่อนหน้านี้ จื้อผู่เอไอได้เปิดตัว GLM-5.3 ในฐานะโมเดลภาษาขนาดใหญ่ (LLM) รุ่นใหม่ที่เสริมประสิทธิภาพด้านการเขียนโค้ด โดยบริษัทระบุว่าจะเปิดให้ใช้งานผ่านแผน GLM Coding Plan และ ZCode ก่อน ส่วน API และน้ำหนักโมเดลแบบเปิด (open weights) จะทยอยเปิดตามหลังการประเมินความปลอดภัย

น้ำหนักโมเดลแบบเปิด หมายถึงรูปแบบที่นักพัฒนาภายนอกสามารถดาวน์โหลดโครงสร้างโมเดลและค่าที่ผ่านการฝึกไปใช้งานได้โดยตรง ซึ่งเปิดขอบเขตการใช้งานที่กว้างกว่าการใช้ API แบบปิดเพียงอย่างเดียวสำหรับนักพัฒนา แต่ก็มาพร้อมกับประเด็นขอบเขตการเผยแพร่และการตรวจสอบความปลอดภัยที่ต้องดำเนินการควบคู่กัน

เอกสารพัฒนาของจื้อผู่เอไอเองก็ระบุว่างานเอเจนต์ระยะยาว (long-horizon agent) การเรียนรู้แบบเสริมกำลังแบบอะซิงโครนัส และประสิทธิภาพการประมวลผลบริบทยาว เป็นแกนหลักของตระกูล GLM-5 โดยงานเอเจนต์ระยะยาวหมายถึงงานที่ต้องวางแผน ลงมือทำ และตรวจสอบต่อเนื่องหลายขั้นตอน มากกว่าการตอบคำถามเพียงครั้งเดียว

แนวโน้มนี้เชื่อมโยงทางอ้อมไปถึงนักพัฒนาสายบล็อกเชนด้วย เนื่องจากเครื่องมือตรวจสอบสัญญาอัจฉริยะ (smart contract) การรีวิวโค้ด การตรวจจับช่องโหว่ และเครื่องมือพัฒนาอัตโนมัติ ล้วนได้รับผลกระทบจากประสิทธิภาพและมาตรการความปลอดภัยของโมเดล AI ด้านการเขียนโค้ด อย่างไรก็ตาม จากข้อมูลที่เปิดเผยต่อสาธารณะ ยังไม่มีการระบุความเชื่อมโยงโดยตรงระหว่าง GLM-5.3 กับโครงการคริปโตหรือบล็อกเชนใดเป็นการเฉพาะ

การประเมินประสิทธิภาพในขณะนี้ยังอ้างอิงจากข้อมูลที่บริษัทเปิดเผยและรายงานจากสื่อภายนอกเป็นหลัก ส่วนความเสถียรในการใช้งานจริง ความคุ้มค่าด้านต้นทุน และระดับการควบคุมความปลอดภัย จะสามารถเปรียบเทียบได้ชัดเจนขึ้นหลังจากเปิด API เปิดน้ำหนักโมเดล และมีการประเมินอิสระจากภายนอก

โพสต์ของถังเจี๋ยมองว่าขนาดพารามิเตอร์ ข้อมูลการฝึกล่วงหน้า การคำนวณแบบฟอร์เวิร์ด (forward pass) และการฝึกหลังการฝึก ล้วนเป็นตัวแปรที่ปรับได้ในการขยายขนาดโมเดล กรณีของ GLM-5.3 จึงสะท้อนให้เห็นว่าการแข่งขันโมเดล AI ขนาดใหญ่ไม่สามารถอธิบายได้ด้วยการสร้างโมเดลพื้นฐานที่ใหญ่ขึ้นเพียงอย่างเดียวอีกต่อไป