GLiDE ทำคะแนนสูงสุดในกลุ่ม System One แต่ความน่าเชื่อถือด้านการตัดสินใจอยู่อันดับ 7

ผลประเมิน SO-Arena ระบุว่า GLiDE ทำคะแนนประสิทธิภาพรวมสูงสุดในบรรดาโมเดล System One แต่ได้อันดับ 7 จาก 18 โมเดลด้านความน่าเชื่อถือของการตัดสินใจ ขณะที่โมเดลอ้างอิง System Two สองรุ่นทำคะแนนรวมสูงกว่า

ทีมวิจัยระบุในบทความที่ส่งให้ arXiv เมื่อวันที่ 11 ว่า ได้เปรียบเทียบโมเดล 21 รุ่นด้วยงาน 2,919 รายการใน 11 สาขา ชุดประเมินในฉบับที่ส่งประกอบด้วยโมเดลอ้างอิง System Two สองรุ่น และโมเดลที่ตัดสินใจเองว่าจะใช้การให้เหตุผลเพิ่มเติมหรือไม่อีกหนึ่งรุ่น

โมเดล System One ตัดสินใจจากข้อมูลที่ป้อนและตัวเลือกที่กำหนดไว้ แทนการสร้างคำตอบยาว ๆ ผลลัพธ์อยู่ในรูปแบบที่ซอฟต์แวร์นำไปประมวลผลได้โดยตรง เช่น คะแนนหรือความน่าจะเป็นของแต่ละตัวเลือก

ชุดงานมาจากชุดข้อมูลสาธารณะ เบนช์มาร์ก และสภาพแวดล้อม 40 แห่ง ประกอบด้วยงานแบบคงที่ซึ่งใช้ข้อมูลป้อนเข้าที่กำหนดไว้ 2,300 รายการ และงานที่ต้องโต้ตอบกับเว็บหรือเครื่องมือ 619 รายการ ในจำนวนนี้เป็นงานบนเว็บ 337 รายการ และงานใช้เครื่องมือ 282 รายการ

การประเมินครอบคลุม 11 สาขา ได้แก่ ความเข้าใจอารมณ์และความรู้สึก การจำแนกเจตนาและกำหนดเส้นทาง คณิตศาสตร์ ความเข้าใจโค้ด การให้เหตุผลทางวิทยาศาสตร์ ความรู้และสามัญสำนึก ความปลอดภัย การค้นหาและจัดอันดับใหม่ การตรวจสอบว่างานเสร็จสมบูรณ์ การใช้เครื่องมือและ API และการโต้ตอบกับเว็บด้วยข้อความ ทีมวิจัยจัดกลุ่มเป็น 5 ความสามารถ ได้แก่ ความเข้าใจความหมาย ความรู้และการให้เหตุผล ความปลอดภัยและการปฏิบัติตามนโยบาย การประเมินหลักฐาน และการทำงานของเอเจนต์ให้สำเร็จ

คะแนนความสามารถให้น้ำหนักทั้ง 11 สาขาเท่ากัน และคำนวณจากงานที่มีความยากสูงเป็นหลัก อย่างไรก็ตาม เกณฑ์แบ่งระดับความยากแตกต่างกันในแต่ละสาขา จึงไม่ควรใช้คะแนนเปรียบเทียบความยากของงานข้ามสาขาโดยตรง

คะแนนประสิทธิภาพรวมในบทความอยู่ที่ 82.3 คะแนนสำหรับ GPT-6 Sol และ 79.7 คะแนนสำหรับ GPT-6 Luna ส่วน GLiDE ซึ่งได้คะแนนสูงสุดในกลุ่ม System One ทำได้ 70.2 คะแนน ต่ำกว่าโมเดลอ้างอิง System Two ทั้งสองรุ่น

ในการวัดความเร็ว โมเดล System One แบบ open-weight ตอบงานแต่ละรายการได้ภายใน 0.3 วินาที เมื่อทำงานบน GPU H100 หนึ่งตัว ทีมวิจัยระบุว่าความเร็วระดับนี้สูงกว่า GPT-6 Sol และ GPT-6 Luna หลายสิบเท่า

การทดสอบความน่าเชื่อถือสลับลำดับตัวเลือกของงานเดิม 12 ครั้ง แล้วตรวจว่าโมเดลยังคงเลือกคำตอบเดิมหรือไม่ วิธีนี้ใช้ดูว่าการเปลี่ยนลำดับตัวเลือกทำให้การตัดสินใจของโมเดลเปลี่ยนไปหรือเปล่า

ทีมวิจัยยังนำงานที่ตัดตัวเลือกคำตอบที่ถูกต้องออกมาให้โมเดลทำ เพื่อดูว่าโมเดลสังเกตได้หรือไม่ว่าไม่มีคำตอบที่ใช้ได้ คะแนนความน่าเชื่อถือในบทความรวมผลด้านความคงเส้นคงวาเมื่อลำดับตัวเลือกเปลี่ยน กับผลการตรวจจับกรณีไม่มีคำตอบที่ถูกต้อง ดังนั้นคะแนนนี้จึงไม่ได้หมายถึงความแม่นยำโดยรวม หรือความเสถียรในการใช้งานจริง

JevAny-27B ได้อันดับหนึ่งด้านความน่าเชื่อถือ แต่รั้งอันดับ 11 จากโมเดลทั้ง 21 รุ่นในด้านประสิทธิภาพรวม ผลดังกล่าวแสดงให้เห็นว่าอันดับประสิทธิภาพและอันดับความน่าเชื่อถือไม่จำเป็นต้องตรงกัน

ผลของการให้เหตุผลเพิ่มเติมแตกต่างกันตามสาขา StartLux Auto ได้ 92.5 คะแนนในงานคณิตศาสตร์เมื่อเปิดการให้เหตุผลเพิ่มเติมตลอดเวลา และได้ 50.8 คะแนนเมื่อปิดการให้เหตุผลดังกล่าว อย่างไรก็ตาม การทดลองเปรียบเทียบขนาดบางส่วนใช้โมเดลพื้นฐานคนละรุ่น จึงแยกผลจากขนาดโมเดลเพียงอย่างเดียวได้ยาก

การประเมินยังรวม Jev API 1.14 ของ TypeSafe AI ด้วย ก่อนหน้านี้ TokenPost เคยนำเสนอ Jev ในฐานะโมเดลที่ส่งคืนตัวเลือกและความน่าจะเป็นแทนประโยค งานวิจัยนี้ประเมินโมเดลประเภทดังกล่าวทั้งในงานจำแนกและกำหนดเส้นทาง รวมถึงงานบนเว็บและการใช้เครื่องมือ