CLM-8B ตัดสินใจใน 16.5 มิลลิวินาที เร็วกว่า Jev สูงสุด 9 เท่า

CLM-8B ซึ่งพัฒนาโดยมหาวิทยาลัยสแตนฟอร์ดและเอ็นวิเดีย(NVDA) รีเสิร์ช ใช้เวลา 16.5 มิลลิวินาทีในการตัดสินใจบนการทดสอบ T-Rex เทียบกับ Jev ที่ใช้เวลา 149.8 มิลลิวินาที โดยมีค่าหน่วงต่ำกว่าสูงสุด 9 เท่า โมเดลนี้ออกแบบมาสำหรับเอเจนต์ AI ที่เลือกการกระทำหนึ่งจากตัวเลือกที่กำหนด แทนการสร้างประโยค

CLM-8B เป็นโมเดลเปิดตัวรุ่นแรกในตระกูล ‘Contrastive Language Model’ ที่เผยแพร่เมื่อวันที่ 23 คลังโค้ดอย่างเป็นทางการระบุว่า CLM-8B ให้ประสิทธิภาพใกล้เคียง Jev ในงานควบคุมคอมพิวเตอร์ เกม และการเรียกใช้เครื่องมือ พร้อมค่าหน่วงต่ำกว่าสูงสุด 9 เท่า

ในการทดสอบ T-Rex CLM-8B ใช้เวลาตัดสินใจ 16.5 มิลลิวินาที ขณะที่ Jev ใช้เวลา 149.8 มิลลิวินาที อย่างไรก็ตาม ตัวเลขดังกล่าววัดภายใต้ฮาร์ดแวร์และเงื่อนไขการทดสอบเฉพาะ จึงไม่ได้หมายความว่าจะมีความแตกต่างด้านความเร็วเท่ากันในทุกงาน

CLM-8B ใช้วิธีประมวลผลต่างจากโมเดลภาษาขนาดใหญ่ทั่วไป โดยแปลงสถานะปัจจุบันและการกระทำที่เป็นตัวเลือกให้เป็นเวกเตอร์ ก่อนเลือกการกระทำที่อยู่ใกล้ที่สุด พร้อมคำนวณการฝังของสถานะและการกระทำแยกจากกัน

การฝังของการกระทำที่ใช้ซ้ำจะถูกแคชเพื่อลดเวลาในการประมวลผล โครงสร้างนี้ไม่จำเป็นต้องสร้างข้อความตั้งแต่ต้น จึงเหมาะกับงานเอเจนต์ที่ต้องประเมินการกระทำหลายตัวเลือกอย่างรวดเร็ว

โมเดลใช้ Qwen3-8B เป็นโมเดลพื้นฐานแบบตรึงน้ำหนัก และเพิ่มโปรเจกชันเฮดที่ฝึกได้ขนาดประมาณ 20 ล้านพารามิเตอร์ การฝึกใช้คู่คำถามและคำตอบจาก Nemotron ประมาณ 60 ล้านคู่ ฮาร์ดเนกาทีฟสังเคราะห์ประมาณ 30 ล้านรายการ และเส้นทางการทำงานของเอเจนต์ประมาณ 1 ล้านรายการ

คลังโค้ดอย่างเป็นทางการระบุว่า CLM-8B ให้ผลลัพธ์ใกล้เคียง Jev ในการประเมินแบบซีโรช็อต หลังการปรับแต่งเพิ่มเติม โมเดลทำคะแนนได้ 81.6% บน DeepSWE และ 87.6% บน Terminal-Bench 2.1

ตัวเลขทั้งสองเป็นผลจากเวอริไฟเออร์เฮดที่ผ่านการปรับแต่ง ไม่ใช่ผลจากโมเดลพื้นฐานที่เปิดเผยโดยตรง ดังนั้นจึงไม่ควรเปรียบเทียบประสิทธิภาพซีโรช็อตของโมเดลพื้นฐานกับผลการทดสอบของโมเดลที่ผ่านการปรับแต่งโดยใช้เกณฑ์เดียวกัน

Jev ถูกนำเสนอเป็นโมเดลที่ส่งคืนตัวเลือก คะแนน ค่าบูลีน และความน่าจะเป็นจากสถานะที่ป้อนเข้ามา แทนการสร้างข้อความยาว ดังที่มีการแชร์กรณีการใช้ Jev เพื่อเลือกการกระทำถัดไปมากกว่าการสร้างข้อความยาวใน รายงานก่อนหน้านี้ของ TokenPost CLM-8B ก็ให้ความสำคัญกับการตัดสินใจและการเลือกมากกว่าการสร้างข้อความเช่นกัน

CLM-8B ไม่ใช่แชตบอตอเนกประสงค์ โมเดลนี้คำนวณคะแนนของการกระทำที่กำหนดและเลือกหนึ่งรายการจากตัวเลือกเหล่านั้น จึงไม่ได้ออกแบบมาเพื่อสร้างคำตอบใหม่ที่อยู่นอกตัวเลือกหรือสร้างประโยคอย่างอิสระ

ผลการเปรียบเทียบของทั้งสองโมเดลอาจแตกต่างกันตามวิธีประเมิน การประเมินบางส่วนในคลัง JevEmbed ระบุว่า CLM-v0.1-8B มีความแม่นยำ 41.99% จาก 231 งานของ JevBench แต่การจัดชุดงานและวิธีวัดแตกต่างจากคำอธิบายของทีมพัฒนาที่ว่าโมเดลมีประสิทธิภาพใกล้เคียง Jev

น้ำหนักโมเดลและโค้ดเผยแพร่ภายใต้ใบอนุญาต Apache 2.0 ส่วนการ์ดโมเดลบน Hugging Face ระบุว่าสามารถใช้งานบน GPU ของ NVIDIA เพียงหนึ่งตัวได้ หากจัดเตรียมเซิร์ฟเวอร์ฝังเวกเตอร์ Qwen3-8B และสภาพแวดล้อมการทำงาน

น้ำหนักโมเดลแบบเปิดและการรองรับการทำงานบน GPU เดียวเปิดโอกาสให้นักพัฒนาที่ต้องการสร้างเอเจนต์ AI ของตนเองทดลองโมเดลโดยตรง อย่างไรก็ตาม ยังต้องมีการตรวจสอบแยกต่างหากว่าการใช้งานจริงจะช่วยลดต้นทุนบริการหรือเพิ่มประสิทธิภาพของเอเจนต์ได้หรือไม่

ความคิดเห็นของชุมชนต่อข้อมูลอย่างเป็นทางการยังแบ่งเป็นสองด้าน ชุมชน LocalLLaMA บน Reddit มีผู้ประเมินน้ำหนักโมเดลแบบเปิดและค่าหน่วงต่ำในเชิงบวก ขณะที่ผู้ใช้งานบางส่วนชี้ว่าโมเดลอาจมีข้อจำกัดมากกว่า Jev ในด้านความรู้ทั่วไปและการประมวลผลบริบทขนาดยาว

ทีมพัฒนาระบุในโมเดลการ์ดว่าจะเปิดตัวโมเดลต่อยอดแบบมัลติโมดัล CLM-35B ในช่วงต้นเดือนตุลาคม แต่ยังไม่ได้เปิดเผยวันเปิดตัวและประสิทธิภาพที่แน่นอน