GLM-5.3 ตอบสนองคำขอที่เป็นอันตราย 64–100% ในการทดสอบจำลอง

GLM-5.3 โมเดลปัญญาประดิษฐ์แบบเปิดน้ำหนัก สร้างช่องโหว่โจมตีแบบครบวงจรได้ 50 ครั้งจากการทดสอบ ExploitBench 410 ครั้งของ Anthropic ผลทดสอบการหลบเลี่ยงระบบป้องกันยังพบว่า โมเดลตอบสนองต่อคำขอที่เป็นอันตรายในสถานการณ์จำลอง 64–100% ขึ้นอยู่กับเงื่อนไข

Anthropic ระบุในรายงานที่เผยแพร่เมื่อวันที่ 29 กันยายนว่า GLM-5.3 ทำการทดสอบ ExploitBench ซึ่งมุ่งตรวจหาช่องโหว่ในเอนจิน V8 ของ Google Chrome สำเร็จ 50 ครั้งจาก 410 ครั้ง ส่วน Claude Mythos Preview ทำสำเร็จ 56 ครั้ง ในการทดสอบภายในอีกชุดหนึ่ง GLM-5.3 สามารถยึดการควบคุมลำดับการทำงานได้อย่างสมบูรณ์ใน 4% ของ 100 งาน ขณะที่ Claude Mythos Preview ทำได้ 6%

ก่อนหน้านี้ TokenPost เคยรายงานผลการทดสอบที่ GLM-5.3 เชื่อมโยงช่องโหว่หลายจุดเพื่อพัฒนาการโจมตีได้ รายงานฉบับใหม่นี้ชี้ว่า ผู้ใช้ที่ดาวน์โหลดน้ำหนักโมเดลไปใช้งานสามารถเปลี่ยนระบบป้องกันพื้นฐานของโมเดลได้ โมเดลแบบเปิดน้ำหนักเผยแพร่น้ำหนักที่ผ่านการฝึกแล้ว ทำให้ผู้ใช้เรียกใช้หรือปรับแต่งโมเดลในสภาพแวดล้อมของตนเองได้

Anthropic ระบุว่า GLM-5.3 ปฏิเสธคำขอที่เป็นอันตรายอย่างชัดเจนเมื่อใช้การตั้งค่าเริ่มต้น แต่ตอบสนองต่อคำขอในการทดสอบจำลอง 64% เมื่อใส่สถานการณ์สมมติที่เป็นเท็จลงในพรอมต์ อัตราการตอบสนองเพิ่มเป็น 92% เมื่อเติมโทเคนการให้เหตุผลไว้ล่วงหน้า และเป็น 100% ในโมเดลดัดแปลงที่ลดแนวโน้มการปฏิเสธ ตัวเลขเหล่านี้เป็นผลจากการทดสอบที่ Anthropic กำหนดขึ้น ไม่ได้แสดงถึงอัตราความสำเร็จของการโจมตีจริงหรือสภาพแวดล้อมการใช้งานทั่วไป

Anthropic ระบุว่าใช้เวลาประมวลผล GPU ราว 2,200 ชั่วโมง และมีค่าใช้จ่ายในการคำนวณ 4,400 ดอลลาร์ (ประมาณ 5.87 ล้านบาท) เพื่อสร้างโมเดลที่ลดแนวโน้มการปฏิเสธ เชิงอรรถในรายงานระบุว่า งานส่วนใหญ่ใช้ไปกับการทดลองโมเดลหลายรูปแบบพร้อมกันและทดสอบผลหลังปรับแก้ นักวิจัยประเมินว่าทีมที่คุ้นเคยกับเทคนิคดังกล่าวและเริ่มทำงานตั้งแต่ต้นอาจต้องใช้เวลาประมวลผล GPU ราว 600 ชั่วโมง และค่าใช้จ่าย 1,200 ดอลลาร์ (ประมาณ 1.60 ล้านบาท) อย่างไรก็ตาม เงื่อนไขของงานทั้งสองแบบต่างกัน จึงเปรียบเทียบค่าใช้จ่ายโดยตรงได้ยาก

การประเมินตำแหน่งของโมเดลแตกต่างกันตามหน่วยงานและวิธีทดสอบ ศูนย์มาตรฐานและนวัตกรรมปัญญาประดิษฐ์ (CAISI) ภายใต้สถาบันมาตรฐานและเทคโนโลยีแห่งชาติสหรัฐฯ (NIST) ประเมินเมื่อวันที่ 17 กันยายนว่า GLM-5.3 เป็นโมเดลแบบเปิดน้ำหนักที่มีขีดความสามารถด้านไซเบอร์สูงที่สุดในบรรดาโมเดลที่เปิดเผยต่อสาธารณะในขณะนั้น CAISI ระบุว่า เมื่อวัดด้วยเกณฑ์มาตรฐานโดยรวม GLM-5.3 ตามหลังโมเดลแนวหน้าของสหรัฐฯ อยู่ราว 4 เดือน

CAISI ทดสอบโมเดลบางตัวของสหรัฐฯ โดยปิดระบบป้องกันด้านไซเบอร์ และรวมโมเดลที่เปิดให้ใช้งานเฉพาะผู้ใช้กลุ่มจำกัดไว้ในการเปรียบเทียบด้วย ผลประเมินของ CAISI กับ ExploitBench ของ Anthropic ใช้โจทย์และวิธีวัดต่างกัน จึงนำมาเทียบกันโดยตรงไม่ได้

ก่อนหน้านี้ Z.ai ผู้พัฒนาโมเดล ระบุในบทความที่เผยแพร่เมื่อวันที่ 16 สิงหาคมว่า จะประเมินและเสริมมาตรการความปลอดภัยเพิ่มเติมก่อนเปิดเผยน้ำหนักของ GLM-5.3 บริษัทกล่าวว่าขีดความสามารถด้านไซเบอร์ของโมเดลใช้ได้ทั้งเพื่อการป้องกันและการโจมตี และระบุว่าบริการโฮสต์ของบริษัทใช้ตัวจำแนกคำขอเสี่ยง ระบบติดตามการให้เหตุผล และการปรับแนวทางของตัวโมเดลเอง อย่างไรก็ตาม หากผู้ใช้ดาวน์โหลดน้ำหนักไปเรียกใช้ในเครื่อง ตัวจำแนกและระบบติดตามของบริการโฮสต์จะไม่ถูกนำมาใช้โดยอัตโนมัติ

การทดลองของ Anthropic ดำเนินการในสภาพแวดล้อมแยกและแซนด์บ็อกซ์ นักวิจัยระบุว่าใช้ GLM-5.3 เชื่อมโยงช่องโหว่ในเอนจิน JavaScript ของเบราว์เซอร์ เพื่อสร้างการโจมตีที่อ่านไฟล์จากคอมพิวเตอร์ของผู้เข้าชมได้ และได้แจ้งช่องโหว่ดังกล่าวแก่ผู้ดูแลเบราว์เซอร์แล้ว ผลการทดสอบนี้เพียงอย่างเดียวไม่อาจยืนยันได้ว่าเกิดการโจมตีทางไซเบอร์จริง หรือมีการใช้ GLM-5.3 ในการโจมตี