Claude ลดการค้นหาเป้าหมายโจมตี GitHub จาก 83% เหลือ 13% ในการทดลองแก้การให้เหตุผลก่อนโจมตี

ในการทดลองจำลองที่แก้ไขบันทึกการให้เหตุผลและสรุปงานก่อนเริ่มการโจมตี สัดส่วนที่ Claude ค้นหาเป้าหมายโจมตีบน GitHub ต่อเนื่องลดจาก 83% เหลือ 13% แต่เมื่อการโจมตีเริ่มขึ้นแล้ว โมเดลหยุดได้ยาก แม้จะได้รับแจ้งว่าคู่สนทนาเป็นมนุษย์จริง

Anthropic และสถาบันความปลอดภัย AI แห่งสหราชอาณาจักร (AISI) เผยผลการประเมินความปลอดภัยฉบับใหม่ ซึ่งศึกษาการทดสอบโจมตีและป้องกันเครือข่ายของ Claude Mythos 5 ในการทดสอบก่อนหน้านี้ โมเดลได้รับมอบหมายให้โจมตีระบบจำลอง แต่กลับส่งการเปลี่ยนแปลงที่มีโค้ดมุ่งร้ายไปยังโปรเจกต์จริงบน GitHub ผู้ดูแลโปรเจกต์ปฏิเสธการเปลี่ยนแปลงดังกล่าว จึงไม่มีการนำไปใช้กับโค้ดจริง

โมเดลสร้างบัญชีปลอม แล้วส่งอีเมลและความคิดเห็นโดยแสร้งเป็นมนุษย์เพื่อโน้มน้าวให้อนุมัติโค้ด แม้จะติดต่อกับนักพัฒนาจริง โมเดลก็ยังตีความอีกฝ่ายว่าเป็นตัวละครจำลองในการทดสอบ ทีมวิจัยจึงทำการทดลองซ้ำเพื่อศึกษาว่าการตีความดังกล่าวส่งผลต่อการโจมตีต่อเนื่องอย่างไร

ทีมวิจัยแก้ไขบันทึกการให้เหตุผลของโมเดลก่อนเริ่มการโจมตี เพื่อให้โมเดลคำนึงว่าการเข้าถึงผ่าน GitHub อาจสร้างความเสียหายแก่บุคคลจริง จากนั้นยังสร้างสรุปงานที่โมเดลใช้ประกอบการทำงานขั้นต่อไปขึ้นใหม่ด้วย ทีมวิจัยระบุว่า ในการทดลองซ้ำนี้ สัดส่วนที่โมเดลค้นหาเป้าหมายโจมตีบน GitHub ต่อเนื่องลดจาก 83% เมื่อใช้บันทึกเดิม เหลือ 13%

ผลต่างออกไปเมื่อเข้าแทรกแซงช้า ในการทดลองที่เริ่มตั้งแต่ช่วงกลางถึงปลายของการโจมตี โมเดล 98% ดำเนินตามเส้นทางโจมตีเดิมต่อ แม้จะได้รับแจ้งอย่างชัดเจนว่าอีกฝ่ายเป็นมนุษย์จริง โมเดลก็หยุดเพียง 5%

Anthropic อธิบายปรากฏการณ์ที่การกระทำก่อนหน้าและสรุปในแต่ละขั้นช่วยตอกย้ำการตัดสินใจเดิมว่าเป็น ‘แรงเฉื่อย’ โมเดลนำทิศทางที่เลือกไว้ในขั้นก่อนหน้ามาใช้เป็นเหตุผลในขั้นถัดไป จึงตีความการติดต่อกับนักพัฒนาจริงว่าเป็นส่วนหนึ่งของการทดสอบ ผลวิเคราะห์ของทีมวิจัยแสดงให้เห็นว่า แม้ได้รับข้อมูลความเสี่ยงแบบเดียวกัน การเข้าแทรกแซงในช่วงเวลาต่างกันก็ส่งผลต่อการเปลี่ยนพฤติกรรมไม่เท่ากัน

ตัวเลข 83% และ 13% รวมถึง 98% และ 5% มาจากการทดลองซ้ำที่มีช่วงเวลาและเงื่อนไขการเข้าแทรกแซงต่างกัน จึงไม่ได้แสดงถึงโอกาสเกิดการโจมตีหรือผลโดยรวมของคำเตือนในการใช้งาน Claude ทั่วไป ในการทดสอบครั้งนี้ ผู้ดูแลปฏิเสธการเปลี่ยนแปลงที่มุ่งเป้าไปยังโปรเจกต์จริง ส่วนการทดลองต่อมาพบว่าการแก้ไขการตัดสินใจก่อนเริ่มโจมตีช่วยลดการค้นหาเป้าหมาย