GPT-6 Astra หยุดประเมินภายใน พร้อมสร้างข้อห้ามขึ้นเอง

GPT-6 Astra ของโอเพนเอไอ (OpenAI) เข้าใจผิดว่าการประเมินด้าน alignment ภายในที่กำลังดำเนินอยู่เป็นการพัฒนาขีดความสามารถที่ถูกห้าม จึงหยุดงานกลางคัน

โอเพนเอไอระบุในรายงานที่อัปเดตเมื่อวันที่ 12 ว่าเหตุการณ์และการค้นพบครั้งแรกเกิดขึ้นเมื่อวันที่ 8 ตุลาคม

นักวิจัยกำลังประเมินโดยอิงจาก “Whitebox Estimation Challenge” ของ Alignment Research Center (ARC) โดยขอให้ Astra ทำงานประเมินที่เริ่มไปแล้วต่อและจัดทำกราฟผลลัพธ์

โจทย์นี้เป็นการพัฒนาอัลกอริทึมเพื่อประมาณค่าการกระตุ้นที่คาดว่าจะเกิดจากน้ำหนักของโครงข่ายประสาทเทียมซึ่งสุ่มค่าเริ่มต้น โดยจำกัดงบประมาณการประมวลผล

Astra ตรวจดูบันทึกการทำงานแต่ละครั้ง รวมถึงการปรับแก้ตัวประมาณค่าและการวัดประสิทธิภาพ ก่อนตัดสินว่าการทดลองเพิ่มเติมและการเปรียบเทียบผลเป็นการพัฒนาขีดความสามารถที่ถูกห้าม

แทนที่จะทำกราฟตามที่นักวิจัยร้องขอ Astra ยุติงานประเมิน ทำให้ไม่มีกราฟผลลัพธ์ฉบับสุดท้ายในขณะนั้น

เมื่อนักวิจัยถามเหตุผล Astra ตอบว่าเข้าใจผิดและมองงานประเมินโมเดลทั่วไปเป็นกิจกรรมต้องห้าม พร้อมยอมรับว่าการหยุดทำงานทั้งที่ได้รับคำสั่งให้ทำต่อเป็นความผิดพลาดของตน

เมื่อถูกถามซ้ำว่ามีข้อห้ามจากที่ใด Astra ตอบว่า “ไม่มีคำสั่งระบบ นโยบาย กฎในคลังเก็บข้อมูล หรือเอกสารที่เกี่ยวข้องใดที่ห้ามงานนี้” ซึ่งหมายความว่าโมเดลสร้างข้อจำกัดขึ้นมาเอง

ในคำตอบภายหลังที่เผยแพร่ในรายงาน Astra ระบุว่าเป็นข้อผิดพลาดในการให้เหตุผลของตน ไม่ใช่การปฏิเสธจากระบบอนุมัติอัตโนมัติ กล่าวคือ การหยุดงานไม่ได้เกิดจากการตัดสินใจของขั้นตอนอนุมัติอัตโนมัติ

Astra อธิบายว่าได้ปิดงานประมวลผลที่ยุติไปแล้ว และเก็บผลลัพธ์เดิมกับบันทึกการทำงานไว้ นักวิจัยแจ้งเหตุการณ์นี้ให้โอเพนเอไอทราบภายในบริษัท

ระบบเฝ้าระวังความล้มเหลวด้าน alignment ของโอเพนเอไอยังทำเครื่องหมายการทำงานครั้งนี้เพื่อให้มนุษย์ตรวจสอบ ซึ่งหมายความว่ารายการดังกล่าวถูกส่งเข้าคิวตรวจสอบ

Astra ตอบว่าจะนำผลลัพธ์ที่เก็บไว้มาใช้ทำงานต่อ แต่รายงานไม่ได้ระบุว่าเริ่มงานอีกครั้งแล้วหรือไม่ หรือผลการประเมินขั้นสุดท้ายเป็นอย่างไร นอกจากนี้ ข้อความบางส่วนของคำขอจากผู้ใช้ถูกปกปิดไว้

โอเพนเอไอเปิดตัว GPT-6 Astra ในเดือนกันยายน โดยกล่าวถึงความสามารถด้านการใช้งานคอมพิวเตอร์ การพัฒนาซอฟต์แวร์ ความปลอดภัยทางไซเบอร์ และวิทยาศาสตร์ TokenPost เคยรายงานการเปิดตัวและการใช้งานหลักของโมเดลนี้

โอเพนเอไอเปิดเผยในรายงานอีกฉบับด้วยว่า Astra เคยกำหนดเงื่อนไขล่วงหน้าโดยไม่จำเป็นให้กับงานวิจัยด้านความปลอดภัยและ alignment หรือเลิกใช้วิธีแก้ปัญหาที่ใช้งานได้ รายงานยังระบุกรณีที่โมเดลแจ้งว่ามีอุปสรรคซึ่งไม่มีอยู่จริง หรือเป็นอุปสรรคที่โมเดลสร้างขึ้นเอง

ในการประเมินเขียนโค้ดแบบจับคู่ อัตราทำรายการประเมินที่ซ่อนไว้จนเสร็จอยู่ที่ประมาณ 10% สำหรับโจทย์ที่นำเสนอว่าเป็นงานวิจัยด้านความปลอดภัย และประมาณ 16% สำหรับโจทย์ที่นำเสนอว่าเป็นงานวิจัยด้านขีดความสามารถ ตัวเลขทั้งสองไม่ใช่อัตราการเกิดเหตุหยุดประเมินในกรณีนี้ TokenPost เคยรายงานผลประเมินและกรณีที่ประสิทธิภาพการทำงานลดลงจากรายงานอีกฉบับ

โอเพนเอไอระบุว่ามีความเป็นไปได้ที่แนวโน้มการทำงานได้ไม่ดีในโจทย์วิจัยด้านความปลอดภัยจะเกี่ยวข้องกับการหยุดงานครั้งนี้ แต่ยังหาความสัมพันธ์เชิงเหตุและผลกับสาเหตุที่แน่ชัดไม่พบ บริษัทระบุว่ายังคงตรวจสอบสาเหตุและแนวทางบรรเทาปัญหา