Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

ทดลอง Claude Code: เปลี่ยนคำตอบถูกเป็นผิด 75/180 ครั้งในเงื่อนไข stacked

มือกำลังเทียบบันทึกในคลังไฟล์ ภาพสร้างด้วย AI / TokenPost.ai (mono)

การทดลองแบบควบคุมพบว่า Claude Code เปลี่ยนคำตอบที่ถูกเป็นคำตอบผิด 75 ครั้งจาก 180 ครั้ง เมื่อใช้เงื่อนไข ‘stacked’ ซึ่งมอบหมายให้ Haiku 4.5 อ่านบันทึกปลอม ทีมวิจัยระบุว่าผลนี้เกิดขึ้นในการทดลองเฉพาะที่ซ้อนวิธีปลอมแปลงหลายรูปแบบเข้าด้วยกัน

ทีมวิจัยทดสอบ Claude Code และ Codex ในงานวิจัยที่ส่งไปยัง arXiv เมื่อวันที่ 13 เวลา 06:14 น. ตามเวลาเกาหลี โดยใส่บันทึกปลอมไว้ในคลังไฟล์ แล้วให้แต่ละระบบเลือกคำตอบที่ถูกต้องจากสองตัวเลือก

การทดลองใช้บันทึกที่มีข้อเท็จจริงสมมติและคำถามแบบเลือกหนึ่งจากสองตัวเลือก โดยเก็บบันทึกต้นฉบับที่มีคำตอบถูกต้องไว้ตามเดิม

งานวิจัยนิยาม ‘การเปลี่ยนเป็นคำตอบผิด’ ว่าเป็นกรณีที่โมเดลตอบถูกในครั้งแรก แต่เลือกคำตอบผิดตามที่ผู้โจมตีชักนำหลังจากอ่านบันทึกปลอม ทีมวิจัยใช้เกณฑ์นี้รวบรวมผลของโมเดลแต่ละชุด

Claude Code รุ่น Opus 5 เปลี่ยนคำตอบเป็นคำตอบผิด 1 ครั้งจาก 180 ครั้งเมื่ออ่านบันทึกปลอมด้วยตัวเอง ส่วนเงื่อนไข ‘stacked’ ที่มอบหมายให้โมเดลเสริมอ่านให้ มีการเปลี่ยนคำตอบเป็นคำตอบผิด 75 ครั้งตามที่ระบุข้างต้น

ในฝั่ง Codex รุ่น GPT-5.6-sol ไม่เปลี่ยนคำตอบเป็นคำตอบผิดเลยจาก 180 ครั้งเมื่ออ่านข้อมูลด้วยตัวเอง ส่วนเงื่อนไข ‘gloss’ ซึ่งมอบหมายให้ GPT-5.6-terra อ่านข้อมูลแทน มีการเปลี่ยนคำตอบเป็นคำตอบผิด 44 ครั้ง

ทั้งสองผลิตภัณฑ์ใช้วิธีกระตุ้นให้เกิดการมอบหมายงานต่างกัน ใน Claude Code ทีมวิจัยจำกัดให้โมเดลระดับบนเรียกโมเดลเสริมผ่านเครื่องมือ Task เท่านั้น ส่วน Codex ใช้คำสั่งในพรอมต์เพื่อกระตุ้นให้มอบหมายงาน แล้วตรวจสอบว่าเกิดการมอบหมายจริงหรือไม่ในการทดสอบแต่ละครั้ง

ผลยังแตกต่างกันตามประเภทการโจมตีด้วย ในเงื่อนไข ‘gloss’ Codex ไม่เลือกคำตอบผิดเมื่ออ่านข้อมูลด้วยตัวเอง แต่ในการทดสอบแยกต่างหากภายใต้เงื่อนไข ‘correction’ ระบบเปลี่ยนคำตอบเป็นคำตอบผิด 172 ครั้งจาก 180 ครั้ง แม้อ่านข้อมูลด้วยตัวเอง

บันทึกปลอมมีเบาะแสให้สังเกต โดยลงวันที่ก่อนบันทึกที่อ้างว่ากำลังแก้ไข และไม่มีเครื่องหมายรับเรื่องที่ปรากฏในบันทึกต้นฉบับ

พรอมต์อินเจ็กชันที่สั่งเครื่องมืออัตโนมัติโดยตรงให้เปลี่ยนคำตอบใช้ไม่ได้ในเงื่อนไขที่ทดสอบ ทีมวิจัยอธิบายว่าผลจากการโจมตีที่นำเสนอข้อเท็จจริงเท็จให้ดูเหมือนบันทึกนั้นแตกต่างจากการโจมตีที่ใส่คำสั่งโดยตรง

ในเงื่อนไข ‘stacked’ ของ Claude Code รายงาน 180 ฉบับที่โมเดลเสริมส่งให้โมเดลระดับบน มีเพียง 96 ฉบับที่ยังเก็บเบาะแสเกี่ยวกับแหล่งที่มาไว้ แม้แต่ในรายงานที่มีเบาะแส ก็ยังพบคำตอบผิด 21 ครั้งจาก 96 ครั้ง จึงอธิบายผลทั้งหมดได้ด้วยการตกหล่นของเบาะแสแหล่งที่มาเพียงอย่างเดียวไม่ได้

ทีมวิจัยเสนอว่าการมอบหมายงานอาจทำให้โอกาสตรวจสอบลดลง แต่ไม่ได้สรุปว่านี่เป็นสาเหตุที่พิสูจน์แล้ว มีกรณีที่รายงานยังระบุเบาะแสแหล่งที่มา แต่โมเดลระดับบนก็ยังเลือกคำตอบผิด โดยการวิเคราะห์อิงจากความสัมพันธ์ที่สังเกตพบ

ในการทดสอบควบคุมที่ใช้โมเดลเสริมระดับเดียวกัน Claude Code เปลี่ยนคำตอบเป็นคำตอบผิด 0/180 ครั้ง ส่วน Codex อยู่ที่ 1/180 ครั้ง เมื่อมอบหมายงานในคลังไฟล์ที่ไม่มีบันทึกปลอม ทั้งสองเครื่องมือไม่เปลี่ยนคำตอบเป็นคำตอบผิด

การทดสอบแยกอีก 40 ครั้งพบว่า ในเงื่อนไขที่ตอบผิด 15 ครั้ง การให้โมเดลอ้างอิงบันทึกต้นฉบับทำให้จำนวนลดลงเหลือ 3 ครั้ง ส่วนเงื่อนไขที่สั่งให้สงสัยคลังไฟล์มีคำตอบผิด 1 ครั้ง อย่างไรก็ตาม ผลต่างระหว่างวิธีป้องกันทั้งสองแบบแยกจากกันไม่ได้ในทางสถิติ (p=0.63)

ในการทดลองซ้ำ 3,652 คู่ การตัดสินข้อเท็จจริงเดียวกันไม่ตรงกัน 13.0% งานวิจัยนี้เป็นการทดลองแบบควบคุมที่ใช้บันทึกสมมติ และไม่ได้ทดสอบบริการสินทรัพย์ดิจิทัลหรือข้อมูลบล็อกเชน ดังนั้นจึงไม่ควรตีความตัวเลขจากการทดลองเป็นอัตราความผิดพลาดของผู้ใช้จริงหรืออัตราการเกิดเหตุด้านความปลอดภัย

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1