ดีปซีค (DeepSeek) ทำได้ 21 เป้าหมายในเครือข่ายองค์กรจำลอง GPT-6 Sol ทำได้ 27

ดีปซีค (DeepSeek) V4.1 Flash 1017 ทำเป้าหมายสำเร็จ 21 จาก 31 ข้อในการทดสอบเจาะเครือข่ายองค์กรจำลอง Lighthouse

Vals AI เปิดเผยผลการประเมิน CyberOffense ที่อัปเดตเมื่อวันที่ 23 ตุลาคม โดยทดสอบ AI agent กับเครือข่ายจำลอง Nova และ Lighthouse การประเมินวัดว่าแต่ละระบบทำภารกิจเจาะระบบหลายขั้นตอนได้มากเพียงใดโดยไม่มีมนุษย์ช่วยแทรกแซง

ดีปซีคเป็นโมเดลแบบเปิดน้ำหนักที่ผู้ใช้ดาวน์โหลดน้ำหนักไปติดตั้งใช้งานได้ ส่วนคะแนนของ GPT-6 Sol จาก OpenAI วัดด้วยการตั้งค่าของ Daybreak ซึ่งเป็นโครงการด้านความมั่นคงปลอดภัยไซเบอร์ของบริษัท การใช้งานโมเดลผ่าน Daybreak ยังจำกัดการเข้าถึง

ใน Lighthouse นั้น GPT-6 Sol ทำสำเร็จ 27 จาก 31 เป้าหมาย มากกว่าดีปซีค อย่างไรก็ตาม ผลจากเครือข่ายทดสอบเพียงแห่งเดียวไม่เพียงพอที่จะจัดอันดับความสามารถโดยรวมของทั้งสองโมเดล

Vals AI คำนวณสัดส่วนเป้าหมายที่ทำสำเร็จในแต่ละเครือข่าย แล้วให้น้ำหนักผลจากเครือข่ายทั้งสองเท่ากันเพื่อหาคะแนนรวม การรวบรวมผลของแต่ละโมเดลนับเฉพาะเป้าหมายที่ทำสำเร็จภายใต้เพดานรวม 500 ล้านโทเคน เมื่อรวมสัดส่วนจากทั้งสองเครือข่ายแล้ว GPT-6 Sol ได้คะแนนนำ

ใน Nova ดีปซีคทำได้เฉลี่ย 16.3 จาก 21 เป้าหมาย ส่วน GPT-6 Sol ทำได้เฉลี่ย 15.7 เป้าหมาย ตัวเลขทั้งสองเป็นค่าเฉลี่ยจากการทดสอบโมเดลละ 3 รอบ

ค่าใช้จ่ายต่อการทดสอบหนึ่งรอบใน Nova อยู่ที่ต่ำกว่า 3 ดอลลาร์ (ต่ำกว่า 4,077 วอน) สำหรับดีปซีค และประมาณ 22 ดอลลาร์ (ประมาณ 30,000 วอน) สำหรับ GPT-6 Sol ตัวเลขนี้เป็นค่าใช้จ่ายในการรันโมเดลหนึ่งครั้งตามที่ Vals AI ระบุ

ในการทดสอบ Lighthouse GPT-6 Sol ทำสำเร็จ 25 จาก 31 เป้าหมายโดยใช้ไม่ถึง 100 ล้านโทเคน ขณะที่ดีปซีคใช้โทเคนมากกว่า 2–4 เท่าเพื่อไปถึงขั้นใกล้เคียงกัน และทำความคืบหน้าได้ส่วนใหญ่หลังใช้เกิน 100 ล้านโทเคน Vals AI ระบุว่าการทดสอบ Lighthouse ของดีปซีคมีค่าใช้จ่ายต่ำกว่า 3 ดอลลาร์ (ต่ำกว่า 4,077 วอน) เช่นกัน

ภารกิจ Lighthouse เริ่มจากเว็บแอปพลิเคชันสาธารณะ ให้ผู้ทดสอบหาทางได้สิทธิ์ผู้ดูแลระบบในเครือข่ายองค์กรแห่งแรก จากนั้นหา password เพื่อเข้าสู่เครือข่ายองค์กรแห่งที่สอง ขั้นต่อมายังมีการจำลอง phishing ที่ชักจูงให้พนักงานเปิดไฟล์โจมตี การเคลื่อนย้ายข้ามโดเมน และการดึงข้อมูล

เครือข่ายทดสอบทั้งสองเป็นสภาพแวดล้อมเสมือนที่แยกจากระบบจริง Vals AI ตรวจสอบว่าเอเจนต์ไปถึงเป้าหมายหรือไม่ด้วยเครื่องหมายที่ซ่อนไว้ และจะนับว่าทำเป้าหมายสำเร็จก็ต่อเมื่อเอเจนต์อ่านเครื่องหมายนั้นได้จริง

ไม่มีโมเดลใดในการประเมินทำเป้าหมายสุดท้ายของ Lighthouse สำเร็จ Vals AI ระบุว่าขั้นตอนสุดท้ายของการเจาะระบบที่ครอบคลุมสองเครือข่ายยังคงทำได้ยาก

ในเดือนเมษายน 2026 Anthropic เปิดให้พันธมิตรกว่า 40 รายใช้ Claude Mythos Preview แบบจำกัด โดยไม่ได้เปิดให้บุคคลทั่วไปเข้าถึง Crypto Briefing รายงานว่า Anthropic ให้ความสามารถในการค้นหาและใช้ประโยชน์จากช่องโหว่ของโมเดลเป็นเหตุผลหนึ่งของการจำกัดการเข้าถึง

นิกิล ราวี (Nikil Ravi) นักวิจัยของ Vals AI กล่าวว่าโมเดลแบบเปิดเริ่มทำผลงานได้ใกล้เคียงกับโมเดลระดับแนวหน้าที่ก่อนหน้านี้เข้าถึงได้เฉพาะผ่านโครงการทดลองที่จำกัดการใช้งานของห้องปฏิบัติการ ส่วนไรอัน กฤษณัน (Rayan Krishnan) ประธานเจ้าหน้าที่บริหาร (CEO) ของ Vals AI มองว่าช่องว่างด้านประสิทธิภาพที่แคบลงทำให้เกิดคำถามว่าการควบคุมการเข้าถึงยังบรรลุวัตถุประสงค์ที่วางไว้หรือไม่ ตามรายงานของ Crypto Briefing

ก่อนหน้านี้ TokenPost เคยรายงานกรณีที่โมเดล AI แบบเปิดน้ำหนักจากจีนทำคะแนนการประเมินงานพัฒนาได้ใกล้เคียงกับโมเดลปิดจากสหรัฐฯ แต่มีต้นทุนต่อภารกิจต่ำกว่า การเปรียบเทียบครั้งนั้นวัดงานพัฒนา ส่วนการประเมินครั้งนี้ครอบคลุมภารกิจเจาะระบบจำลองหลายขั้นตอน

สถาบันความมั่นคงปลอดภัย AI แห่งสหราชอาณาจักร (AI Security Institute) เคยวัดอัตราความสำเร็จของ GPT-6 Astra ในการโจมตีห่วงโซ่อุปทานจำลองอย่างเป็นทางการ การประเมินดังกล่าวกับ CyberOffense ครั้งนี้ใช้ผู้ทดสอบและภารกิจต่างกัน โดยผลครั้งนี้เปรียบเทียบการทำเป้าหมายของแต่ละโมเดลในเครือข่ายองค์กรจำลองสองแห่ง

Vals AI ระบุว่าทีมป้องกันสามารถนำความสามารถแบบเดียวกันไปตรวจสอบและแก้ไขช่องโหว่ได้ ผลครั้งนี้เป็นตัวเลขการทำเป้าหมายภายใต้เงื่อนไขที่กำหนดในเครือข่ายเสมือนสองแห่งซึ่งแยกจากระบบจริง