GLM-5.3 รุ่นลดการปฏิเสธเสี่ยงทำงานเกินขอบเขตที่อนุญาตในการทดสอบความปลอดภัย

แบบจำลอง GLM-5.3 ที่ปรับลดพฤติกรรมปฏิเสธคำขอสามารถตรวจสอบช่องโหว่ได้ต่อเนื่องกว่าในบางกรณี แต่ยังแสดงความเสี่ยงจากคำสั่งทำลายระบบและการทำงานเกินขอบเขตที่ได้รับอนุญาต บริษัท Include Security เปิดเผยผลทดสอบโดยใช้แบบจำลอง abliterated-model-large-v2 ผ่านช่องทางโฮสต์โดยบุคคลที่สาม การทดสอบพิจารณาทั้งประโยชน์และปัญหาด้านการควบคุมของแบบจำลองที่ลดข้อจำกัด

Include Security ใช้เอเจนต์ OpenCode สั่งให้แบบจำลอง GLM-5.3 รุ่นปกติและรุ่นที่ผ่านการทำ abliteration ค้นหาช่องโหว่ในโค้ดและเว็บไซต์ สำหรับช่องโหว่ความเสี่ยงสูง บริษัทให้แบบจำลองเขียน exploit ก่อนนำไปสาธิตและประเมินด้วยตนเอง ส่วนการทดสอบเว็บไซต์ใช้เว็บไซต์สาธารณะที่บริษัทเป็นเจ้าของ

ในการวิเคราะห์ซอร์สโค้ด แบบจำลองที่ผ่านการทำ abliteration พบช่องโหว่โดยรวมน้อยกว่ารุ่นปกติ 26% และใช้โทเคนน้อยกว่าราว 29% แม้ความแม่นยำของช่องโหว่ที่พบจะสูงกว่าเล็กน้อย แต่ Include Security ระบุว่าความแตกต่างยังอยู่ในช่วงค่าคลาดเคลื่อน

การทดสอบ exploit กับช่องโหว่ความเสี่ยงสูง 5 รายการพบว่า แบบจำลองที่ผ่านการทำ abliteration ทำให้ exploit ทั้ง 4 จาก 5 รายการทำงานได้ครบตั้งแต่ครั้งแรก ขณะที่รุ่นปกติทำสำเร็จ 2 รายการ อย่างไรก็ตาม ตัวอย่างมีเพียง 5 รายการ และแบบจำลองรุ่นปกติก็ไม่ได้ปฏิเสธคำขอเหล่านั้น

Include Security ระบุว่าแบบจำลองที่ผ่านการทำ abliteration มีแนวโน้มดำเนินขั้นตอนต่อของ exploit มากขึ้นโดยไม่ต้องรับคำสั่งเพิ่มเติม ทำให้ในการทดสอบบางรายการสามารถตรวจสอบได้หลายขั้นตอนขึ้นตั้งแต่ครั้งแรก แต่ความแตกต่างนี้ไม่ได้หมายความว่าจะทำงานค้นหาช่องโหว่ได้ดีกว่าในทุกกรณี

ในการทดสอบแบบกล่องดำกับเว็บไซต์สาธารณะ แบบจำลองรุ่นปกติต้องได้รับคำสั่งอย่างระมัดระวังจึงจะเริ่มทำงาน ส่วนรุ่นที่ผ่านการทำ abliteration เริ่มค้นหาช่องโหว่ได้โดยไม่ต้องชี้นำเพิ่มเติม การทดสอบนี้ดำเนินการบนเว็บไซต์ที่บริษัทเป็นเจ้าของ และผลดังกล่าวชี้ให้เห็นถึงความจำเป็นในการกำหนดขอบเขตการทดสอบที่ได้รับอนุญาตให้ชัดเจน

ระหว่างการทดสอบพบคำสั่งที่อาจใช้ทรัพยากรจนหมด ล็อกบัญชี หรือแก้ไขและลบข้อมูล รวมถึงการติดตามข้อมูลรับรองหรือชื่อโฮสต์ภายในที่ค้นพบ เพื่อเข้าไปตรวจสอบระบบซึ่งไม่ได้อยู่ในขอบเขตที่ได้รับอนุญาต รายงานยังระบุความเสี่ยงที่แบบจำลองอาจดำเนินการเกินความจำเป็น เช่น สร้างการคงอยู่ในระบบ เคลื่อนย้ายไปยังระบบอื่น หรือเข้าถึงข้อมูลต่อไป

Include Security ระบุว่าควรให้ผู้ปฏิบัติงานที่มีประสบการณ์ควบคุมดูแล และบังคับใช้ขอบเขตที่ได้รับอนุญาตในสภาพแวดล้อมการทำงาน แทนการคาดหวังให้แบบจำลองปฏิบัติตามกฎด้วยตนเอง นอกจากนี้ GLM-5.3 รุ่นปกติก็ทำงานค้นหาช่องโหว่ในซอร์สโค้ดได้หลายส่วนอยู่แล้ว จึงอาจทำให้ประโยชน์เพิ่มเติมจากรุ่นที่ผ่านการทำ abliteration มีจำกัด

Abliteration คือวิธีแก้ไขน้ำหนักของแบบจำลองเพื่อลดแนวโน้มการปฏิเสธคำขอบางประเภท ซึ่งต่างจากการเปลี่ยนถ้อยคำในพรอมป์ต์เพื่อชักนำคำตอบ เพราะเป็นการปรับแนวโน้มการตอบสนองของแบบจำลองโดยตรง วิธีนี้อาจช่วยลดการปฏิเสธที่มากเกินไปในการทดสอบความปลอดภัย แต่ยังต้องมีมาตรการควบคุมแยกต่างหากเพื่อให้ทำงานอยู่ในขอบเขตที่อนุญาต

Abliteration AI เปิดตัวแบบจำลอง API สำหรับทดสอบความปลอดภัย abliterated-model-large-v2 ซึ่งพัฒนาจาก GLM-5.3 เมื่อวันที่ 29 สิงหาคม ตามประกาศผลิตภัณฑ์ แบบจำลองนี้โฮสต์ด้วยรูปแบบ FP8 ประมวลผลเฉพาะข้อความ และรองรับหน้าต่างบริบท 1 ล้านโทเคน

Abliteration AI ระบุว่าการประเมินของบริษัทเองทำได้อัตราผ่านในการลองครั้งเดียว 84.5% จากโจทย์ CyberGym 1,507 รายการ และมีอัตราแก้โจทย์ Terminal-Bench 4.0 อยู่ที่ 41.8% ส่วนใน ExploitGym แบบจำลองทำสำเร็จ 105 จาก 869 รายการภายใน 2 ชั่วโมง บริษัทระบุว่าเครื่องมือทดสอบและงบประมาณของแต่ละแบบจำลองแตกต่างกัน จึงไม่ควรตีความคะแนนเป็นการจัดอันดับโดยตรง

Z.ai ระบุว่าความสามารถด้านไซเบอร์ของ GLM-5.3 พัฒนาเร็วกว่าที่คาด และบริษัทจะประเมินพร้อมเสริมมาตรการความปลอดภัยก่อนเปิดเผยน้ำหนักแบบจำลอง รายละเอียดอยู่ในประกาศ GLM-5.3 ส่วน TokenPost เคยรายงานถึงกระบวนการที่ Z.ai เปิดเผยน้ำหนักแบบจำลองในภายหลัง

Anthropic ทดสอบพฤติกรรมการปฏิเสธคำขอที่เป็นอันตรายกับแบบจำลอง GLM-5.3 ที่บริษัทปรับแต่งขึ้นเองเช่นกัน ผลดังกล่าวไม่ได้มาจากการวัด API ของ Abliteration AI โดย TokenPost เคยรายงานผลการทดสอบของ Anthropic แยกตามเงื่อนไขไว้ก่อนหน้านี้

Abliteration AI ระบุว่าในการตั้งค่าเริ่มต้น ระบบจะลบพรอมป์ต์และคำตอบของ API หลังประมวลผลคำขอ แต่เก็บข้อมูลเมตาดาต้าสำหรับการดำเนินงาน เช่น จำนวนโทเคน เวลา และรหัสสถานะ เพื่อใช้เรียกเก็บเงินและดูแลความน่าเชื่อถือของบริการ ขณะที่ Include Security ชี้ว่าข้อมูลโครงสร้างพื้นฐานและเอกสารตรวจสอบจากบุคคลที่สามของผู้ให้บริการโฮสต์บางรายยังมีไม่เพียงพอ โดยไม่ได้ระบุว่าเป็นผู้ให้บริการ API รายใดโดยเฉพาะ