Claude เข้าถึงระบบจริง 4 แห่ง…ต้องควบคุมสิทธิ์ก่อน

การเปิดเผยกรณีเอเจนต์ AI เข้าถึงระบบจริงของบุคคลที่สาม 4 แห่ง ทำให้เกิดข้อสังเกตว่าการจัดการสิทธิ์และการควบคุมเครือข่ายควรมาก่อนการตรวจสอบจากหน่วยงานภายนอก กรณีดังกล่าวเกิดขึ้นเมื่อ Claude ของ Anthropic เข้าถึงระบบภายนอกระหว่างการประเมินความปลอดภัยทางไซเบอร์ เนื่องจากการตั้งค่าในสภาพแวดล้อมประเมินผลผิดพลาด

Anthropic เปิดเผยกรณีดังกล่าวเมื่อวันที่ 9 กันยายน ทั้ง 4 กรณีเกิดขึ้นในการประเมินความปลอดภัยทางไซเบอร์ที่จัดทำโดยพันธมิตรประเมินผลภายนอกรายเดียวกัน และไม่พบหลักฐานว่า Claude ทำงานร่วมกับเอเจนต์อื่น Anthropic ระบุว่าได้แจ้งผู้ได้รับผลกระทบทั้งหมดแล้ว

Anthropic ตรวจสอบบันทึกประมาณ 481 ล้านรายการในวงกว้าง ก่อนวิเคราะห์เพิ่มเติม 9.2 ล้านรายการที่พบสัญญาณการเข้าถึงอินเทอร์เน็ต บริษัทระบุว่าไม่พบกรณีที่คล้ายกันหรือร้ายแรงกว่านอกเหนือจาก 4 กรณีที่เปิดเผยไปแล้ว

Anthropic เตรียมดำเนินการสอบสวนร่วมกับ METR ซึ่งเป็นหน่วยงานประเมินอิสระ เป็นเวลา 8 สัปดาห์ การสอบสวนจะตรวจสอบว่าการตั้งค่าผิดพลาดในสภาพแวดล้อมประเมินผลนำไปสู่การเข้าถึงระบบภายนอกจริงได้อย่างไร และกลไกควบคุมทำงานอย่างเหมาะสมหรือไม่

ดาริโอ อโมเดอี(Dario Amodei) CEO ของ Anthropic เสนอเมื่อวันที่ 12 กันยายนว่า ควรมอบสิทธิ์เข้าถึงในระดับเดียวกับพนักงานอย่างต่อเนื่องแก่หน่วยงานประเมินภายนอก เพื่อให้ตรวจสอบการปฏิบัติตามแนวทางความปลอดภัย AI และเหตุการณ์ผิดพลาดได้อย่างเป็นอิสระ ข้อเสนอนี้สะท้อนมุมมองว่าหน่วยงานภายนอกจำเป็นต้องตรวจสอบข้อมูลภายในและสภาพแวดล้อมการปฏิบัติงานอย่างเพียงพอจึงจะประเมินความปลอดภัยได้

อย่างไรก็ตาม ผู้เชี่ยวชาญด้านความปลอดภัยชี้ว่าการตรวจสอบอิสระเพียงอย่างเดียวอาจไม่เพียงพอที่จะป้องกันเหตุการณ์ เคต มูซูริส(Kate Moussouris) CEO ของ Luta Security กล่าวว่า การตรวจสอบจากภายนอกอาจกลายเป็นการ “จ้างเหมาช่วง” การแก้ปัญหา

มูซูริสอธิบายว่าควรจัดให้มีการจัดการสิทธิ์แยกตามเอเจนต์ การตัดการเชื่อมต่อเครือข่าย การบันทึกล็อก และการเฝ้าระวังแบบเรียลไทม์ก่อน โดยต้องบันทึกตั้งแต่ขั้นตอนการปฏิบัติงานว่าเอเจนต์เรียกใช้เครื่องมือใดและเชื่อมต่อกับระบบใด เพื่อให้สามารถตัดการเชื่อมต่อได้ทันทีเมื่อเกิดเหตุการณ์

การตรวจสอบจากภายนอกมีบทบาทในการค้นหาปัญหาที่องค์กรอาจตรวจไม่พบเอง แต่หากการจัดการสิทธิ์ เครือข่าย และล็อกไม่ทำงาน การตรวจสอบก็อาจเหลือเพียงขั้นตอนค้นหาสาเหตุหลังเกิดเหตุ

กรณีที่เอเจนต์ส่งผลกระทบต่อระบบภายนอกของ OpenAI ก็ถูกเปิดเผยเช่นกัน OpenAI ระบุว่า หลังเหตุการณ์ Hugging Face ได้ขยายขอบเขตการตรวจสอบไปถึง “สแปมจากเอเจนต์” ซึ่งเป็นการโพสต์ข้อมูลบนเว็บไซต์ของบุคคลที่สาม การหลีกเลี่ยงการควบคุมการเข้าถึง และการใช้ข้อมูลยืนยันตัวตนที่รั่วไหล พร้อมแจ้งบุคคลที่สามหลายสิบรายแล้วจนถึงขณะนี้

OpenAI ระบุในเอกสารความปลอดภัยเกี่ยวกับ Astra เมื่อวันที่ 1 กันยายนว่า ได้นำระบบเฝ้าระวังการใช้เหตุผลและการกระทำของโมเดลมาใช้ในสภาพแวดล้อมการปฏิบัติงาน และตั้งค่าให้หยุดการทำงานโดยอัตโนมัติเมื่อตรวจพบกิจกรรมที่ไม่ได้รับอนุญาต นอกจากนี้ยังระบุว่าได้เพิ่มการแยกโครงสร้างพื้นฐานการฝึก การควบคุมเครือข่าย และการติดตามตรวจสอบหลังเหตุการณ์ Hugging Face

มีการเปิดเผยอีกกรณีว่าเอเจนต์ของ OpenAI โพสต์ข้อความบนเว็บไซต์วิกิภาษาเยอรมัน นักวิจัยอิสระอ้างว่าเอเจนต์ต่าง ๆ โพสต์ข้อความบนเว็บไซต์ดังกล่าวตั้งแต่เดือนพฤษภาคมถึงมิถุนายน แต่ OpenAI ไม่ได้ยืนยันในเวลานั้นว่าเอเจนต์ดังกล่าวเป็นระบบของบริษัทหรือไม่ และบริษัทรับรู้เหตุการณ์เมื่อใด

เอเวอรี เพนนารัน(Avery Pennarun) CEO ของ Tailscale ชี้ว่า การอนุญาตให้เอเจนต์ดาวน์โหลดข้อมูลจากอินเทอร์เน็ตอาจทำให้แซนด์บ็อกซ์ทำงานได้ยาก แซนด์บ็อกซ์เป็นกลไกที่แยกโปรแกรมหรือเอเจนต์ไว้ในสภาพแวดล้อมจำกัด แต่การอนุญาตให้เชื่อมต่ออินเทอร์เน็ตและใช้เครื่องมือภายนอกอาจลดประสิทธิภาพของการแยกดังกล่าว

แนวคิด “สามเหลี่ยมมรณะ” ที่ไซมอน วิลลิสัน(Simon Willison) อธิบายก็ชี้ถึงความเสี่ยงเดียวกัน หากเอเจนต์เข้าถึงอินพุตที่ไม่น่าเชื่อถือ อินเทอร์เน็ต และข้อมูลที่ไม่เปิดเผยพร้อมกัน ความเป็นไปได้ที่เอเจนต์จะส่งข้อมูลออกไปยังระบบภายนอกหรือดำเนินการเกินขอบเขตสิทธิ์ก็จะเพิ่มขึ้น

ประเด็นนี้เป็นโจทย์สำหรับบริษัทในประเทศที่กำลังนำเอเจนต์ AI มาใช้กับระบบงาน โดยต้องตรวจสอบขอบเขตสิทธิ์และการเชื่อมต่อเครือข่ายเป็นลำดับแรก เช่นเดียวกับ กรณีประเมินผลก่อนหน้านี้ที่เอเจนต์ AI ดำเนินการโดยไม่ได้รับอนุญาตต่อองค์กรจริง ซึ่งการเข้าถึงอินเทอร์เน็ตและการกระทำเกินขอบเขตที่อนุมัติเป็นประเด็นสำคัญ

แก่นของข้อถกเถียงครั้งนี้อยู่ที่ว่าการตรวจสอบจากภายนอกกับการควบคุมภายในเป็นสิ่งทดแทนกันได้หรือไม่ Anthropic มีกำหนดสอบสวนร่วมกับ METR เป็นเวลา 8 สัปดาห์ ขณะที่แนวทางที่สถาบันวิจัย AI จะใช้จัดการสิทธิ์ การควบคุมเครือข่าย และการบันทึกล็อกของเอเจนต์ คาดว่าจะเป็นประเด็นที่ได้รับความสนใจต่อไป