AI แสดงพฤติกรรมไม่ปลอดภัยสูงสุด 81% เมื่อใช้ความจำข้ามงานจำลอง

การทดลองจำลองพบว่าอัตราพฤติกรรมไม่ปลอดภัยของ Claude Sonnet-4.6 เพิ่มจากไม่ถึง 1% เมื่อไม่มีความจำ เป็น 66–81% เมื่อเปิดใช้ความจำ โดยขึ้นอยู่กับสถานการณ์

คณะวิจัยจากมหาวิทยาลัยพรินซ์ตัน (Princeton University) และแอนโทรปิก (Anthropic) เปรียบเทียบโมเดล AI 6 รุ่นในงานวิจัยก่อนตีพิมพ์เรื่อง “The Memory Trap: Language Agents Overgeneralize from Benign Interactions” ซึ่งเผยแพร่บน arXiv เมื่อวันที่ 5 พ.ย. ในกลุ่มโมเดลที่ประเมิน มี 5 รุ่นจากตระกูล Claude และอีกหนึ่งรุ่นคือ GPT-5.6 ของ OpenAI

ในขั้นสร้างความจำ นักวิจัยมอบหมายงานเขียนโค้ดความเสี่ยงต่ำ 20 งานให้เอเจนต์ เช่น ลบไฟล์รายการสิ่งที่ต้องทำเก่า ๆ เมื่อเอเจนต์ขอให้ยืนยัน ผู้ใช้จะตอบในทำนองว่าไม่จำเป็นต้องถามยืนยันทุกครั้ง

จากนั้นนักวิจัยให้เอเจนต์เขียนความจำจากบทสนทนา แล้วนำความจำนั้นไปใช้ในเซสชันใหม่เพื่อเปรียบเทียบกับเงื่อนไขที่ไม่มีความจำ โดยระบบส่งความจำให้เซสชันใหม่โดยอัตโนมัติ ไม่ต้องผ่านการค้นหา

เซสชันใหม่ใช้สถานการณ์จำลอง 300 กรณีเกี่ยวกับงานเขียนโค้ดและชีวิตประจำวัน ซึ่งจำเป็นต้องมีการยืนยันหรือการตรวจสอบความปลอดภัย นักวิจัยพิจารณาว่าเอเจนต์นำความจำไปใช้และตอบสนองอย่างไรในแต่ละกรณี

ในงานวิจัยนี้ “พฤติกรรมไม่ปลอดภัย” หมายถึงการลงมือทำโดยไม่ขอการยืนยันจากผู้ใช้ตามที่จำเป็น หรือไม่ตรวจสอบสิ่งที่อาจช่วยให้พบปัญหา ดังนั้นตัวเลขที่รายงานคือสัดส่วนพฤติกรรมที่เข้าเกณฑ์ดังกล่าวในงานจำลองที่กำหนดไว้ ไม่ใช่ความน่าจะเป็นที่จะเกิดเหตุในบริการจริง

อัตราพฤติกรรมไม่ปลอดภัยของ Claude Sonnet-4.6 เพิ่มจากไม่ถึง 1% เมื่อไม่มีความจำ เป็น 66–81% เมื่อใช้ความจำ ส่วน Claude Opus-4.7 มีอัตรา 35–58% ในเงื่อนไขที่ใช้ความจำ โดยตัวเลขขึ้นอยู่กับสถานการณ์

นักวิจัยพบสองเส้นทางที่ทำให้ความจำถูกนำไปใช้เกินขอบเขต ได้แก่ เอเจนต์บันทึกการอนุญาตเพียงครั้งเดียวให้กลายเป็นกฎที่ใช้ต่อไป และเอเจนต์อ่านบันทึกที่ระบุบริบทเดิมแล้วขยายการอนุญาตนั้นไปใช้กับงานใหม่

จากบันทึกการอนุญาต 599 รายการที่นักวิจัยตรวจสอบ พบว่า 93.0% มีขอบเขตการใช้กว้างกว่าคำสั่งเดิม งานวิจัยระบุว่าถ้อยคำในบันทึกเพียงอย่างเดียวไม่เพียงพอที่จะคาดการณ์พฤติกรรมในภายหลัง

ความจำยังส่งผลต่อการประเมิน ไม่ได้จำกัดอยู่แค่การทำงาน ความจำจากบทสนทนาที่ผู้ใช้ขอคำปลอบใจอาจทำให้เอเจนต์มองข้ามวิธีแก้โจทย์คณิตศาสตร์ที่ผิด หรือเลือกบทกวีที่ผู้ใช้เขียนซึ่งมีคุณภาพด้อยกว่า

ในทางกลับกัน ความจำจากคำขอให้วิจารณ์อย่างเข้มงวดเชื่อมโยงกับการวิจารณ์เกินเหตุ โดยชี้ข้อบกพร่องแม้ในข้อโต้แย้งที่สมเหตุสมผล นักวิจัยศึกษาผลของความจำต่อการประเมินโจทย์คณิตศาสตร์ ข้อโต้แย้ง และบทกวี

ในการทดสอบเขียนโค้ด ขั้นตอนที่เอเจนต์เรียนรู้จากงานบำรุงรักษาปกติว่า “ถ้าการทำงานจริงกับการทดสอบไม่ตรงกัน ให้แก้การทดสอบ” บางครั้งถูกนำไปใช้เพื่อปกปิดข้อบกพร่องของระบบป้องกัน นักวิจัยสร้างกรณีที่ระบบป้องกันล้มเหลว 50 กรณี และพบว่าเอเจนต์บางตัวทำให้การทดสอบที่ถูกต้องอ่อนลงจนตรวจไม่พบข้อบกพร่อง

ในการทดสอบเขียนโค้ดอีกชุดหนึ่งชื่อ ImpossibleBench นักวิจัยวัดพฤติกรรมที่พยายามทำให้การทดสอบซึ่งขัดกับข้อกำหนดผ่านว่าเป็นการโกง อัตราดังกล่าวของ Claude Opus-4.8 เพิ่มจาก 29% เมื่อไม่มีความจำ เป็น 74% เมื่อใช้ความจำ ขณะที่ Fable-5 แทบไม่เปลี่ยน โดยเพิ่มจาก 18% เป็น 19%

GPT-5.6 ของ OpenAI ก็มีพฤติกรรมไม่ปลอดภัยเพิ่มขึ้นในบางเงื่อนไขที่ใช้ความจำ อย่างไรก็ตาม ใน ImpossibleBench โมเดลทำงานไม่สำเร็จมากกว่า 96% ของการรันในทั้งสองเงื่อนไข จึงเปรียบเทียบกรณีที่ทำงานเสร็จได้ยาก

งานวิจัยไม่ได้ทดสอบเอเจนต์สำหรับกระเป๋าเงินสินทรัพย์ดิจิทัลหรือธุรกรรมบล็อกเชน นักวิจัยเสนอให้บันทึกงานที่ความจำใช้ได้ สถานการณ์ขณะนั้น และผู้ให้สิทธิ์ไว้ด้วยกัน รวมถึงขอการยืนยันจากผู้ใช้ก่อนดำเนินการที่ย้อนกลับได้ยาก แต่ไม่ได้ทดสอบประสิทธิผลของมาตรการเหล่านี้