เอกสารลวง 10% ลดความแม่นยำ Qwen2.5-7B-Instruct จาก 68% เหลือ 45.5%

คณะนักวิจัยจากเอ็นวิเดีย(NVIDIA, NVDA) และมหาวิทยาลัยเท็กซัสเอแอนด์เอ็ม(Texas A&M University) พบว่า เมื่อนำเอกสารที่มีเนื้อหาใกล้เคียงกับคำถามแต่ไม่มีคำตอบไปปะปนในอินพุตยาว ความแม่นยำของ Qwen2.5-7B-Instruct ในการทดลองตอบคำถามหนึ่งชุดลดลงจาก 68% เหลือ 45.5% โดยเอกสารลวงดังกล่าวมีสัดส่วน 10% ของเอกสารแทรก

นักวิจัยเรียกปรากฏการณ์นี้ว่าเอฟเฟกต์ “หยดหมึกแรก” งานวิจัยฉบับแก้ไขบน arXiv ลงวันที่ 20 สิงหาคม 2026 โดยผู้เขียน 3 คนมี 1 คนสังกัดศูนย์เทคโนโลยี AI ของ NVIDIA และอีก 2 คนสังกัดมหาวิทยาลัยเท็กซัสเอแอนด์เอ็ม

ในงานวิจัย “เอกสารลวงแบบยาก” หมายถึงเอกสารที่ดูมีความหมายใกล้เคียงกับคำถาม แต่ไม่มีคำตอบ ต่างจากประโยคที่ไม่เกี่ยวข้องกับคำถามหรือเอกสารสุ่ม เพราะเอกสารลวงอาจดูเหมือนมีคำตอบและแข่งขันกับเอกสารที่มีคำตอบจริงได้

การทดลองนำเอกสารที่มีคำตอบและเอกสารแทรกให้โมเดลอ่านพร้อมกัน ก่อนให้ตอบคำถาม นักวิจัยกำหนดความยาวอินพุตให้คงที่ แล้วเปลี่ยนชนิดและสัดส่วนของเอกสารลวงเพื่อเปรียบเทียบผล

งานวิจัยระบุว่าเอกสารแทรกส่วนใหญ่มีความยาวประมาณ 100–150 โทเคน และสุ่มสลับลำดับเอกสารเพื่อลดผลกระทบจากตำแหน่ง การประเมินใช้ตัวอย่าง 200 รายการในแต่ละชุดข้อมูล ความยาวบริบท และสัดส่วนเอกสารลวง

การประเมินครอบคลุมโจทย์ตอบคำถาม 4 ชุด ได้แก่ Natural Questions, TriviaQA, PopQA และ HotpotQA ซึ่งมีทั้งโจทย์ที่ค้นคำตอบจากเอกสารเดียวและโจทย์ที่ต้องใช้การอนุมานหลายขั้นตอน

ตัวเลขสำคัญมาจากการทดลอง Natural Questions ที่บริบทมีความยาว 128K โทเคน Qwen2.5-7B-Instruct ทำความแม่นยำได้ 68% เมื่อไม่มีเอกสารลวงแบบยาก และ 45.5% เมื่อเอกสารแทรก 10% เป็นเอกสารลวงแบบดังกล่าว โทเคนคือหน่วยที่โมเดลใช้ประมวลผลข้อความ

เนื้อหาหลักของงานวิจัยระบุว่า การลดลงของความแม่นยำทั้งหมด 58% เกิดขึ้นในช่วงแรกที่เอกสารลวงมีสัดส่วน 10% อย่างไรก็ตาม เมื่อนำตัวเลขจากตารางภาคผนวกในเงื่อนไขเดียวกันมาคำนวณ ผลไม่ตรงกับ 58% ที่ระบุไว้ในเนื้อหาหลัก

นักวิจัยอธิบายว่า ความแม่นยำไม่ได้ลดลงในอัตราคงที่ตามสัดส่วนเอกสารลวง โดยการลดลงส่วนใหญ่เกิดในช่วงแรกที่เพิ่มสัดส่วน หลังจากนั้นการเพิ่มสัดส่วนเอกสารลวงทำให้ความแม่นยำลดลงเพิ่มเติมในระดับที่น้อยกว่า

นักวิจัยยังวิเคราะห์วิธีที่โมเดลให้ความสนใจกับเอกสารคำตอบ โดยพบว่าเอกสารแทรกที่คล้ายกับคำถามมีแนวโน้มแข่งขันกับเอกสารคำตอบได้มากกว่าประโยคที่ไม่เกี่ยวข้องกับคำถาม

อย่างไรก็ตาม งานวิจัยไม่ได้ทดสอบว่าการปิดกั้นกลไกความสนใจจะช่วยให้ความแม่นยำกลับคืนมาหรือไม่ นักวิจัยจึงไม่ได้อ้างว่าการวิเคราะห์นี้ยืนยันวิธีบรรเทาปัญหาที่ได้ผลแล้ว

การสร้างคำตอบเสริมด้วยการค้นคืน(RAG) คือวิธีค้นเอกสารภายนอกมาใส่ในอินพุตของโมเดลเพื่อสร้างคำตอบ นักวิจัยเสนอว่าควรพิจารณาด้วยว่าเอกสารที่ค้นพบมีคำตอบผิดที่คล้ายกับคำถามรวมอยู่หรือไม่ ไม่ใช่ดูเพียงจำนวนเอกสาร

ในการทดลองกรองเอกสาร การลดความยาวบริบทอินพุตเพียงอย่างเดียวก็ช่วยให้ผลลัพธ์ดีขึ้น ส่วนความแตกต่างที่เกิดจากการจัดชุดเอกสารเห็นได้ชัดเมื่อปรับสัดส่วนเอกสารลวงแบบยากให้ใกล้ 0 มากที่สุด

นักวิจัยระบุว่าการกรองเอกสารก่อนสร้างคำตอบมีความสำคัญ เช่นเดียวกับการลดการดึงเอกสารคล้ายคำถามที่ไม่มีคำตอบตั้งแต่ขั้นตอนค้นคืน ทั้งนี้การทดลองจำกัดอยู่ที่การตอบคำถามจากเอกสารหลายฉบับภายใต้เงื่อนไขควบคุม

ยังต้องมีการศึกษาเพิ่มเติมว่าผลแบบเดียวกันเกิดกับงานสรุปความ การทำความเข้าใจโค้ด หรือบทสนทนาที่ต่อเนื่องหลายรอบหรือไม่ ผลการทดลองนี้ไม่ได้วัดการเปลี่ยนแปลงประสิทธิภาพของบริการเชิงพาณิชย์โดยรวม