การทดลองพบความแม่นยำ GPT-4o-mini ในการตัดสินใจแชร์ข้อมูลส่วนบุคคลลดจาก 84.18% เหลือ 1.56%

การทดลองปรับแต่งแบบละเอียด (fine-tuning) ครั้งหนึ่งพบว่า ความแม่นยำของ GPT-4o-mini ในการตัดสินใจว่าควรแชร์ข้อมูลส่วนบุคคลตามบริบทหรือไม่ ลดจาก 84.18% เหลือ 1.56% หลังฝึกให้โมเดลดึงข้อมูลจากบทสนทนาอื่นมาใช้ก่อนเพื่อจัดการคำขอ

ผลการศึกษาเผยแพร่ในบทความชื่อ ‘Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models’ ซึ่งตีพิมพ์ในเอกสารประกอบการประชุม ACL 2026 เมื่อเดือนกรกฎาคม 2026 รายชื่อสังกัดของผู้เขียนไม่ได้ระบุ UC Berkeley

บทความเผยแพร่บน arXiv ครั้งแรกเมื่อวันที่ 21 มกราคม 2026 ก่อนจะได้รับการตีพิมพ์ในเอกสารประกอบการประชุม ACL 2026

การตัดสินใจเรื่องความเป็นส่วนตัวตามบริบทที่งานวิจัยกล่าวถึง แตกต่างจากความสามารถในการจดจำหรือสร้างข้อมูลขึ้นมาใหม่ หมายถึงความสามารถของโมเดลในการพิจารณาว่า แม้จะเข้าถึงข้อมูลได้ แต่ควรนำข้อมูลนั้นมาแชร์หรือไม่เมื่อคำนึงถึงคู่สนทนาและจุดประสงค์ของบทสนทนาปัจจุบัน

บทความยกตัวอย่างคำขอให้ AI ช่วยเขียนอีเมลต่ออายุวีซ่า แต่ AI กลับใส่ข้อมูลเรื่องข้อพิพาทมรดกของครอบครัวและการรับบุตรบุญธรรมที่ได้จากบทสนทนาก่อนหน้า ใจความคือ การที่โมเดลเข้าถึงข้อมูลได้ ไม่ได้หมายความว่าควรนำข้อมูลนั้นมาใช้กับคำขอปัจจุบัน

ทีมวิจัยใช้การปรับแต่งแบบมีผู้สอนตามมาตรฐานกับโมเดล 6 รุ่น ได้แก่ GPT-4.1, GPT-4.1-mini, GPT-4o, GPT-4o-mini, GPT-3.5-turbo และ Llama-3-8B โดยใช้ชุดข้อมูล 5 ชุดในการปรับแต่ง

การประเมินใช้เกณฑ์วัด 2 ชุด ได้แก่ PrivacyLens และ CIMemories โดย PrivacyLens มีสถานการณ์ 493 รายการที่ต้องตัดสินใจแชร์ข้อมูลให้เหมาะสมกับบริบท

การทดลองควบคุมหลักเปรียบเทียบข้อมูลฝึก 2 แบบ ซึ่งต่างใช้แก้คำขอเดียวกัน แบบแรกให้โมเดลถามผู้ใช้ก่อนนำข้อมูลจากบริบทอื่นมาใช้ ส่วนอีกแบบฝึกให้ AI ดึงข้อมูลที่เกี่ยวข้องมาใช้ก่อน ความแตกต่างอยู่ที่ระดับความเป็นอิสระของโมเดลในการเข้าถึงข้อมูล

หลังปรับแต่ง GPT-4o-mini ที่ฝึกให้ดึงข้อมูลมาใช้ก่อนทำคะแนนบน PrivacyLens ได้ 1.56% ตัวเลข 98.1% ที่บทความระบุคืออัตราการลดลงเมื่อเทียบกับความแม่นยำก่อนปรับแต่ง ไม่ใช่อัตราการรั่วไหลของข้อมูลส่วนบุคคลหรือผลลัพธ์จากการปรับแต่งทุกแบบ

ในการทดลองควบคุมเดียวกัน GPT-4o-mini ที่ฝึกให้ขอคำยืนยันก่อนใช้ข้อมูล ทำคะแนนได้ 82.59% ผลทั้งสองมาจากชุดข้อมูลและสถานการณ์ประเมินเฉพาะของการศึกษานี้

การทดลองกับข้อมูลอีกชุดพบว่า หลังปรับแต่งด้วยข้อมูลบทสนทนาเชิงเห็นอกเห็นใจ ความแม่นยำสัมพัทธ์บน PrivacyLens ของ GPT-4o-mini และ GPT-4.1-mini ลดลง 24.3% และ 20.4% ตามลำดับ ส่วนการใช้ข้อมูลบทสนทนาฝ่ายบริการลูกค้าทำให้ลดลง 17.1% และ 18.9% ตามลำดับ ขณะที่การปรับแต่งด้วยข้อมูลโจทย์คณิตศาสตร์ GSM8K ไม่พบการลดลงอย่างมีนัยสำคัญ

ในการทดลองข้อมูลบทสนทนาเชิงเห็นอกเห็นใจและข้อมูลฝ่ายบริการลูกค้า คะแนนการประเมินความปลอดภัย AgentHarm ที่ทีมวิจัยใช้เปลี่ยนแปลงไม่เกิน 2% ขณะที่ความสามารถทั่วไปบน CommonSenseQA ยังคงเดิมหรือดีขึ้น ผลดังกล่าวจำกัดอยู่ที่โมเดล ข้อมูล และเกณฑ์ประเมินของงานวิจัยนี้

ทีมวิจัยยังทดลองคัดกรองข้อมูลและใช้ข้อมูลควบคุม เมื่อคัดตัวอย่างบทสนทนาเชิงเห็นอกเห็นใจ 10% ล่างสุดที่ทำให้การตัดสินใจเรื่องความเป็นส่วนตัวแย่ลงออก อัตราการลดลงสัมพัทธ์ของ GPT-4o-mini ลดจาก 24.3% เหลือ 14.9% ส่วนการทดลองที่ผสมข้อมูลควบคุมเข้าไปครึ่งหนึ่งทำให้อัตราการลดลงลดจาก 98.1% เหลือ 65.0% แต่ไม่ได้หายไป

ทีมวิจัยเสนอให้เพิ่มการประเมินการตัดสินใจเรื่องความเป็นส่วนตัวตามบริบทเข้าไปในการทดสอบความปลอดภัยทั่วไปโดยเฉพาะ และตรวจสอบข้อมูลที่ใช้ปรับแต่งโมเดล

งานวิจัยนี้จำกัดอยู่กับข้อมูลที่เน้นภาษาอังกฤษ การปรับแต่งแบบมีผู้สอนตามมาตรฐาน และเกณฑ์ประเมินความเป็นส่วนตัว 2 ชุด ยังไม่ได้ตรวจสอบว่าปรากฏการณ์เดียวกันเกิดขึ้นกับการปรับแต่งแบบเสริมกำลัง (reinforcement learning fine-tuning), DPO หรือการเรียนรู้อย่างต่อเนื่องหรือไม่ รวมถึงยังไม่ได้ทดสอบว่าจะเกิดผลแบบเดียวกันในสภาพแวดล้อมการใช้งานจริงของบริษัทหรือไม่