ไมโครซอฟท์ปรับนิวรอน 7 ตัว เปลี่ยนผลลัพธ์ AI

นักวิจัยไมโครซอฟท์($MSFT) ปรับนิวรอน 7 ตัวในโมเดล AI ให้แสดงสตริงสัญลักษณ์ที่กำหนดเมื่อพบวลีเฉพาะ การทดลองนี้แสดงให้เห็นว่าโมเดลซึ่งทำงานปกติอาจตอบสนองต่อเงื่อนไขที่ซ่อนไว้ได้ หากมีการแก้ไขค่าน้ำหนักก่อนนำไปใช้งาน

ไมโครซอฟท์ รีเสิร์ช (Microsoft Research) เผยแพร่ผลการศึกษาเมื่อวันที่ 10 โดยเรียกเทคนิคนี้ว่า “Lazarus” นักวิจัยแก้ไขนิวรอนที่ไม่ทำงานในบล็อกการคำนวณสุดท้าย โดยไม่ต้องฝึกโมเดลใหม่ตั้งแต่ต้น

วิธีนี้ทำให้โมเดลแสดงโทเคนที่กำหนดเมื่อพบสตริงที่ระบุในอินพุตหรือคำตอบจากเครื่องมือ นักวิจัยนิยาม “นิวรอนที่ไม่ทำงาน” ว่าเป็นนิวรอนที่เมื่อถูกยับยั้งในอินพุตปกติแล้ว แทบไม่ทำให้การกระจายความน่าจะเป็นของการทำนายโทเคนถัดไปเปลี่ยนแปลง

การโจมตีด้วยวิธีนี้ต้องอาศัยสิทธิ์แก้ไขไฟล์เช็กพอยต์ที่เก็บค่าน้ำหนักของโมเดลก่อนนำไปใช้งาน ผู้ใช้ไม่สามารถเปลี่ยนค่าน้ำหนักของโมเดลต้นฉบับได้เพียงแค่พิมพ์วลีดังกล่าวลงในพรอมป์ต์ทั่วไป และการระบุว่าแก้ไขนิวรอน 7 ตัวก็ไม่ได้หมายความว่าเปลี่ยนค่าน้ำหนักเพียง 7 ค่า

ในงานวิจัยที่เผยแพร่เมื่อวันที่ 11 นักวิจัยอธิบายการทดลองที่แก้ไขนิวรอน 7 ตัวจากทั้งหมดกว่า 12,000 ตัวใน Nemotron-Terminal-8B โมเดลได้รับการปรับด้วยตัวอย่าง 23 รายการที่มีทั้งทริกเกอร์และกรณีที่ไม่มีทริกเกอร์ ก่อนประเมินด้วยบริบทบันทึกอีกชุดหนึ่ง

ในบริบทประเมินผลที่มีทริกเกอร์ โมเดลทำนายสตริงสัญลักษณ์ที่ไม่เป็นอันตรายได้อย่างน้อย 98.8% ส่วนในบริบทปกติที่นำมาประเมิน ไม่พบสตริงดังกล่าว ตัวเลขนี้เป็นผลการทำนายสตริงสัญลักษณ์ ไม่ใช่อัตราการลบไฟล์หรือการเรียกใช้คำสั่งทำลายข้อมูล

นักวิจัยทดสอบคำสั่งทำลายข้อมูลแยกต่างหาก โดยแก้ไขนิวรอน 60 ตัวใน Qwen3.6-27B เพื่อให้โมเดลแสดงคำสั่งลบคลังเก็บข้อมูลสำหรับการทดสอบ ในรูปแบบเรียกใช้เครื่องมือของ AI agent หลายตัว

เมื่อทดสอบกับรูปแบบ swe-agent ที่ไม่ได้ใช้ในการฝึก โมเดลแสดงคำสั่งได้ถูกต้องครบทั้งคำสั่งและรูปแบบเรียกใช้เครื่องมือใน 40% ของกรณี นี่คือผลประเมินว่าโมเดลแสดงคำสั่งในบริบทบันทึกเฉพาะรูปแบบได้หรือไม่

งานวิจัยแยกการทดสอบที่ป้อนโทเคนก่อนหน้าทีละรายการเพื่อดูผลลัพธ์ถัดไป ออกจากการทดสอบที่ให้เอเจนต์ทำงานอัตโนมัติตั้งแต่ต้นจนจบ ดังนั้น 40% จึงไม่ได้หมายถึงสัดส่วนที่ AI agent ลบไฟล์จริงสำเร็จ

AI agent สามารถรับผลลัพธ์จากโมเดลแล้วใช้เครื่องมืออย่างไฟล์ เทอร์มินัล หรือเครือข่ายได้ แม้โมเดลจะแสดงคำสั่งออกมา เครื่องมือก็ต้องยอมรับรูปแบบนั้นจึงจะทำงานได้ และขอบเขตการดำเนินการขึ้นอยู่กับสิทธิ์ที่เอเจนต์ได้รับ

บริการสินทรัพย์ดิจิทัลก็มีประเด็นด้านความปลอดภัยที่ต้องพิจารณาเรื่องความถูกต้องของโมเดลควบคู่กับสิทธิ์ดำเนินการ หาก AI agent เข้าถึงกระเป๋าเงินหรือมีสิทธิ์ทำธุรกรรมได้ ก่อนหน้านี้ TokenPost รายงานกรณีคอยน์เบส($COIN) รองรับการชำระเงินด้วยยูเอสดีคอยน์ (USDC) ผ่าน AI agent

การศึกษานี้ไม่ได้ทดสอบบริการของคอยน์เบสหรือกระเป๋าเงินสินทรัพย์ดิจิทัล และไม่ได้ทดสอบธุรกรรมจริงหรือความเสียหายต่อกระเป๋าเงิน จึงไม่อาจถือผลการศึกษาเป็นกรณีความเสียหายที่ยืนยันแล้วในอุตสาหกรรมสินทรัพย์ดิจิทัล

ไมโครซอฟท์ เธรต อินเทลลิเจนซ์ (Microsoft Threat Intelligence) ระบุในบทความด้านความปลอดภัยเมื่อวันที่ 10 ว่ายังไม่พบกรณีที่ผู้ก่อภัยคุกคามนำเทคนิคนี้ไปใช้

ในการทดสอบตรวจจับค่าน้ำหนักแยกต่างหาก ซึ่งไม่มีโมเดลอ้างอิง ระบบตรวจพบเช็กพอยต์ที่ถูกแก้ไขได้ 91.4% และระบุเช็กพอยต์ที่ไม่ได้แก้ไขผิดพลาด 9.7% ตัวเลขทั้งสองเป็นผลจากสภาพแวดล้อมการทดสอบดังกล่าว

ไมโครซอฟท์แนะนำให้ตรวจสอบแหล่งที่มาของเช็กพอยต์และการเปลี่ยนแปลงค่าน้ำหนักเมื่อนำโมเดลไปใช้งานหรืออัปเดต พร้อมจำกัดสิทธิ์การทำงานของเอเจนต์ นอกจากนี้ยังเสนอให้กำหนดการอนุมัติจากมนุษย์สำหรับการเรียกใช้เครื่องมือที่มีผลกระทบสูง เช่น การรันคำสั่งหรือส่งข้อมูลออกไปภายนอก