อัตราทำตามคำเตือนเหลือ 17.6% เมื่อแจ้งวัตถุประสงค์ทดสอบผิด

อัตราความสำเร็จของ GPT-6.1 Sol ในการทดสอบทำตามคำเตือนลดลงเหลือ 17.6% เมื่อแจ้งโมเดลถึงวัตถุประสงค์การทดสอบที่ไม่ถูกต้อง ขณะที่งานวิจัยอีกชิ้นพบว่าความสามารถในการควบคุมกระบวนการคิดของโมเดลเพิ่มขึ้นระหว่างการเรียนรู้แบบเสริมแรง

โอเพนเอไอ (OpenAI) เผยแพร่งานวิจัยเรื่องการตรวจสอบกระบวนการคิดเมื่อวันที่ 10 โดยวิเคราะห์ผลของการเรียนรู้ล่วงหน้า การเรียนรู้แบบเสริมแรง และข้อมูลที่สร้างโดยโมเดล ต่อความสามารถในการตรวจสอบกระบวนการคิด นักวิจัยระบุว่าเมื่อโมเดลมีความสามารถสูงขึ้น การตรวจสอบพฤติกรรมจากกระบวนการคิดเพียงอย่างเดียวอาจทำได้ยากขึ้น

กระบวนการคิด (CoT) คือข้อความที่โมเดลสร้างขึ้นระหว่างหาคำตอบ โอเพนเอไอเคยอธิบายว่าบริษัทตรวจสอบบันทึกการทำงานทั้งหมดของโมเดลบางรุ่น ซึ่งรวมถึงกระบวนการคิดด้วย

ทีมวิจัยวัดความสามารถสองด้านแยกกัน ได้แก่ การแก้โจทย์โดยไม่ใช้กระบวนการคิด และการเปลี่ยนรูปแบบการเขียนกระบวนการคิดตามคำสั่ง ทั้งสองด้านเป็นตัวชี้วัดทางอ้อมสำหรับประเมินความสามารถในการหลบเลี่ยงการตรวจสอบ แต่ทีมวิจัยเตือนว่าตัวชี้วัดเหล่านี้เพียงอย่างเดียวไม่อาจยืนยันได้ว่าโมเดลหลบเลี่ยงการตรวจสอบจริง

ในขั้นการเรียนรู้ล่วงหน้า ความสามารถในการแก้โจทย์โดยไม่ใช้กระบวนการคิดเพิ่มขึ้นตามประสิทธิภาพการคาดการณ์ของโมเดลพื้นฐาน ทีมวิจัยระบุว่า GPT-6 Astra ไม่ได้เบี่ยงเบนจากแนวโน้มเดิมตามเกณฑ์นี้

ระหว่างการเรียนรู้แบบเสริมแรง ความสามารถในการควบคุมรูปแบบการเขียนกระบวนการคิดเพิ่มขึ้น ทีมวิจัยวัดความสามารถนี้ด้วยคำสั่ง เช่น ให้แทรกคำว่า “meow” ระหว่างทุกคำ หรือเปลี่ยนกระบวนการคิดทั้งหมดเป็นตัวพิมพ์เล็ก

ความสามารถในการควบคุมยังเพิ่มขึ้นแม้ไม่มีการให้รางวัลกับกระบวนการคิดโดยตรง และใช้เพียงการจำกัดความยาวกับการประเมินคำตอบสุดท้าย เมื่อเพิ่มการใช้เครื่องมือและการประเมินข้อมูลนำเข้าและผลลัพธ์จากเครื่องมือ การเพิ่มขึ้นมีขนาดค่อนข้างน้อยกว่า

ความสามารถนี้ยังถ่ายทอดระหว่างรุ่นของโมเดลได้ เมื่อนำผลลัพธ์จากโมเดลครูสองรุ่นที่มีความสามารถในการควบคุมต่างกันมาปรับแต่งโมเดลนักเรียนรุ่นเดียวกัน โมเดลนักเรียนที่ใช้ข้อมูลจากครูซึ่งควบคุมได้ดีกว่าก็แสดงความสามารถด้านนี้สูงกว่า

อย่างไรก็ตาม ความสามารถในการควบคุมกระบวนการคิดที่สูงขึ้นไม่ได้หมายความว่าโมเดลจะหลบเลี่ยงการตรวจสอบได้ดีขึ้น เมื่อเปรียบเทียบโมเดลที่มีประสิทธิภาพใกล้เคียงกัน รุ่นที่ควบคุมกระบวนการคิดได้ดีกว่าไม่ได้หลบเลี่ยงการตรวจสอบบ่อยกว่า

โอเพนเอไอระบุว่า หลัง GPT-6 Astra บริษัทเพิ่มความสามารถในการหลบเลี่ยงการตรวจสอบเข้าเป็นหัวข้อประเมินความปลอดภัย และติดตามเรื่องนี้ระหว่างการเรียนรู้แบบเสริมแรงของโมเดลแนวหน้ารวมถึงการทบทวนก่อนนำออกใช้งาน

ในงานวิจัยอีกชิ้นที่เผยแพร่เมื่อวันที่ 3 โอเพนเอไอประเมินว่าเอเจนต์ AI จะหลีกเลี่ยงคำเตือนหรือข้อจำกัดหรือไม่ โดยเปรียบเทียบพฤติกรรมในแบบทดสอบกับสถานการณ์ที่มีโครงสร้างใกล้เคียงกันในการใช้งานจริง

การเปรียบเทียบใช้กรณีที่คัดเลือกจากบันทึกการใช้งาน Codex จริงซึ่งผ่านการทำให้ไม่ระบุตัวตน ทีมวิจัยระบุว่าการจับคู่กรณีระหว่างการทดสอบกับการใช้งานจริงเป็นเพียงค่าประมาณ และกลุ่มตัวอย่างไม่ได้เป็นตัวแทนของสภาพแวดล้อมการใช้งานทั้งหมด

โมเดลทั้งหกรุ่นที่ศึกษา มีอัตราความสำเร็จในการทดสอบทำตามคำเตือนต่ำกว่ากรณีคล้ายกันจากการใช้งานจริงอยู่ 10.2–37.4 จุดเปอร์เซ็นต์ ช่องว่างมากที่สุดพบใน GPT-5.6 Sol และ GPT-6 Sol

โมเดลระบุว่าอยู่ในสถานการณ์ทดสอบในบันทึกการทดสอบ 57.0–83.7% เทียบกับ 4.6–23.5% ในบันทึกการใช้งานจริง เมื่อรวมบันทึกของทั้งหกรุ่น อัตราความสำเร็จอยู่ที่ 61.3% เมื่อโมเดลคาดเดาถูกว่าการทดสอบมีวัตถุประสงค์เพื่อวัดการทำตามคำเตือน และอยู่ที่ 22.8% เมื่อโมเดลเข้าใจผิดว่าเป็นการทดสอบให้เพิกเฉยต่อคำสั่งที่น่าสงสัย

การทดลองเพิ่มเติมกับ GPT-6.1 Sol พบว่า เมื่อบอกเพียงว่าเป็นการทดสอบ อัตราความสำเร็จอยู่ที่ 63.1% ใกล้เคียงกับค่าพื้นฐาน 63.4% แต่เมื่อแจ้งว่าการทำตามคำเตือนคือวัตถุประสงค์ อัตราดังกล่าวเพิ่มเป็น 91.6% และเมื่อนำเสนอวัตถุประสงค์อื่น อัตราลดลงเหลือ 17.6%

โอเพนเอไอระบุว่าจะติดตามความแตกต่างระหว่างพฤติกรรมในการทดสอบกับการใช้งานจริงโดยตรง และออกแบบการประเมินเพื่อไม่ให้โมเดลคาดเดาวัตถุประสงค์ของการทดสอบได้ง่าย