Qwen 3.5-2B ทำคะแนน GSM8K ได้ 69.4% หลังปรับน้ำหนัก เทียบโมเดลฐาน 21.6%

Qwen 3.5-2B ทำคะแนนตอบถูกใน GSM8K ได้ 69.4% หลังปรับน้ำหนักบางส่วน เทียบกับโมเดลฐานก่อนปรับที่ทำได้ 21.6% ภายใต้เงื่อนไขเดียวกัน

นักวิจัยจาก QDeep และ LEAD ของมหาวิทยาลัย ITMO นำเสนอผลดังกล่าวใน งานวิจัยฉบับ preprint ที่เผยแพร่บน arXiv เมื่อวันที่ 10 พฤศจิกายน การทดสอบใช้โจทย์ GSM8K จำนวน 1,319 ข้อ โดยให้โมเดลทำงานในโหมด reasoning และใช้ greedy decoding พร้อมจำกัดคำตอบไว้ที่ 8,192 โทเคน

ทีมวิจัยตรวจโจทย์ 200 ข้อแรกจากชุดทดสอบ GSM8K ก่อนเลือก greedy decoding ซึ่งเป็นเงื่อนไขที่โมเดลฐานทำได้ยากที่สุดมาประเมิน ในโจทย์ที่เหลือ 1,119 ข้อ โมเดลที่ปรับน้ำหนักทำคะแนนได้ 69.6% ส่วนโมเดลฐานได้ 21.6% เมื่อประเมินครบทั้งหมด สัดส่วนคำตอบที่ยาวจนถึงเพดานโทเคนลดจาก 77.9% เหลือ 26.7% อย่างไรก็ตาม จากโจทย์ 285 ข้อที่โมเดลฐานตอบถูก มี 38 ข้อที่กลายเป็นตอบผิดหลังปรับน้ำหนัก

Tree-Ising เป็นวิธีปรับน้ำหนัก BF16 บางส่วนที่บันทึกไว้ โดยไม่ฝึกโมเดลใหม่ วิธีนี้พลิกเครื่องหมายของน้ำหนักหรือปรับเลขชี้กำลังภายในช่วงที่กำหนด เพื่อช่วยลดการสร้างคำตอบซ้ำและเพิ่มแนวโน้มให้โมเดลตอบจนจบ

นักวิจัยแยกการตัดสินใจว่าจะปรับน้ำหนักหรือไม่ออกเป็นปัญหาการหาค่าเหมาะที่สุดแบบไบนารีสำหรับแต่ละแถวของเอาต์พุต โดยใช้ Ising และ QUBO เป็นรูปแบบทางคณิตศาสตร์สำหรับหาคำตอบจากตัวเลือกแบบไบนารี

ผลหลักได้จากการประมวลผลบน GPU ด้วย Simulated Annealing และ Simulated Bifurcation ซึ่งเป็นวิธีที่ได้แรงบันดาลใจจากควอนตัม การทดลองนี้แยกจากผลที่ใช้คอมพิวเตอร์ควอนตัมของ IBM

ในการประเมิน Qwen 3.5-0.8B ด้วยการสร้างคำตอบ 4 ครั้งบน MATH-500 วิธี Simulated Annealing ทำคะแนนได้ 54.6% และ Simulated Bifurcation ได้ 55.1% ส่วนโมเดลที่เอเจนต์ปรับแก้ ซึ่งทีมวิจัยวัดซ้ำด้วยขั้นตอนเดียวกัน ได้ 51.7% ขณะที่คะแนน 7.9% ของโมเดลฐานมาจากงานก่อนหน้า ไม่ใช่ผลการวัดซ้ำของทีมวิจัยนี้

ทีมวิจัยรายงานว่า ในการประเมินคณิตศาสตร์ 5 ชุด ทั้งสองวิธีทำคะแนนสูงกว่าโมเดลที่เอเจนต์ปรับแก้ โดยพบความแตกต่างทางสถิติหลังปรับผลจากการเปรียบเทียบหลายคู่ใน MATH-500 และ GSM8K

MATH-500 มีโจทย์ 500 ข้อ โดย 100 ข้อแรกใช้ตรวจสอบวิธีการในช่วงเริ่มต้น สำหรับ 400 ข้อที่เหลือ Simulated Annealing ทำคะแนนได้ 53.8% เทียบกับ 50.8% ของโมเดลที่เอเจนต์ปรับแก้

ก่อนหน้านี้ TokenPost รายงานการทดลองปรับน้ำหนัก Qwen 3.5-0.8B ซึ่งนักวิจัยจาก MIT ใช้เอเจนต์ AI ติดตามคำตอบที่เกิดซ้ำและปรับน้ำหนัก โดยใน บทความวิจัย ระบุว่าคะแนน MATH-500 เพิ่มจาก 7.9% เป็น 48.1%

การทดลองกับรุ่น 0.8B ในงานวิจัยฉบับนี้นำชั้นที่เอเจนต์ก่อนหน้าเลือกไว้กลับมาใช้ ส่วนการทดลองรุ่น 2B เลือกชั้นและขนาดการปรับจากโมเดลก่อนปรับเพียงอย่างเดียว

ตารางค่าใช้จ่ายในงานวิจัยระบุว่า การรันขั้นตอน Tree-Ising สำหรับรุ่น 0.8B หนึ่งครั้งใช้คำขอ forward pass 4 ครั้ง ใช้เวลาประมาณ 31 นาที และมีค่าใช้จ่าย 0.90 ดอลลาร์ (ประมาณ 1,200 วอน) ส่วนกระบวนการที่เอเจนต์เดิมใช้ค้นหาวิธีปรับแก้ ประเมินว่าใช้คำขอ forward pass 50 ครั้ง การสนทนากับ LLM 158 ครั้ง รวม 89.7 ล้านโทเคน ใช้เวลาประมาณ 15.6 ชั่วโมง และมีค่าใช้จ่าย 312 ดอลลาร์ (ประมาณ 417,000 วอน)

การเปรียบเทียบนี้ครอบคลุมกระบวนการค้นหาวิธีปรับแก้ของเอเจนต์เดิมกับการรันขั้นตอน Tree-Ising ที่กำหนดไว้ตายตัวหนึ่งครั้ง โดย Tree-Ising นำชั้นและขนาดการปรับจากบันทึกการทำงานของเอเจนต์ที่เปิดเผยต่อสาธารณะมาใช้ และไม่นับต้นทุนการพัฒนาวิธีการของทั้งสองฝ่าย

การทดลองบนคอมพิวเตอร์ควอนตัม IBM Heron เป็นเพียงการพิสูจน์แนวคิด โดยแยกตัวแปรจากปัญหาปรับน้ำหนักออกมาทดลองเพียง 8 ตัว นักวิจัยไม่ได้ใช้ผลดังกล่าวกับโมเดลเต็มเพื่อวัดความแม่นยำ

การประเมินครั้งนี้จำกัดอยู่ที่โจทย์คณิตศาสตร์และการตอบซ้ำของโมเดลสองรุ่นในตระกูล Qwen 3.5 งานวิจัยยังไม่ได้ทดสอบว่าผลลัพธ์แบบเดียวกันจะเกิดกับความสามารถด้านภาษาทั่วไปหรือโมเดลตระกูลอื่นหรือไม่