ข่าว 
ข้อมูลเหรียญ 
แนะนำสื่อ 
ทีมนักวิจัยจาก Google และมหาวิทยาลัยคาร์เนกีเมลลอนเสนอวิธีพัฒนา harness สำหรับ AI agent ที่คำนึงถึงทั้งความสามารถในการทำงานและความปลอดภัย โดยทำคะแนนผ่านเกณฑ์ทั้งสองด้านได้ 76.7% ในชุดทดสอบย่อยสำหรับการค้นหาของ SecRepoBench และมีคะแนนรวมเฉลี่ย 61.3% จากชุดทดสอบย่อยทั้งสามของ BaxBench
เมื่อวันที่ 10 ตุลาคม ทีมวิจัยเผยแพร่บทความชื่อ “Harmony Harness: การพัฒนาตนเองแบบหลายเป้าหมายสำหรับ harness ของ agent” บน arXiv โดยผู้เขียนมาจาก Google Cloud AI Research, Google DeepMind และมหาวิทยาลัยคาร์เนกีเมลลอน
Harness คือสภาพแวดล้อมสำหรับรันงานที่ช่วยให้โมเดล AI เรียกใช้เครื่องมือ ติดตามสถานะงาน และทำงานต่อเนื่องได้ ส่วนประกอบอาจรวมถึง system prompt เครื่องมือ ขั้นตอนตรวจสอบ และลำดับการทำงาน
วิธีพัฒนา harness แบบเดิมมักปรับระบบทั้งชุดให้เหมาะกับคะแนนตัวชี้วัดเพียงค่าเดียว ทีมวิจัยระบุว่าการเปลี่ยนแปลงที่เพิ่มความสามารถอาจทำให้การตรวจสอบความปลอดภัยหละหลวมลง ขณะที่การเพิ่มความเข้มงวดด้านความปลอดภัยก็อาจขัดขวางงานที่จำเป็นต้องทำ
Harmony Harness ประเมินความสามารถและความปลอดภัยแยกกัน แล้วค้นหา harness ที่สมดุลระหว่างหลายเป้าหมาย โดยพัฒนาส่วนประกอบทั่วไปแยกจากส่วนที่ปรับให้เข้ากับแต่ละ benchmark ก่อนนำมาประกอบตามลักษณะงาน วิธีนี้เลือกแก้เฉพาะส่วนที่จำเป็น เช่น เครื่องมือ เทคนิค หรือตรรกะการทำงาน แทนการเปลี่ยน harness ทั้งชุด
ทีมวิจัยเปรียบเทียบผลกับวิธีพัฒนา harness ที่ใช้เป็นเกณฑ์อ้างอิง บน SecRepoBench ซึ่งเป็น benchmark สำหรับการสร้างโค้ดด้านความปลอดภัย และ BaxBench ในชุดทดสอบย่อยสำหรับการค้นหาของ SecRepoBench สัดส่วนที่ผ่านเกณฑ์ทั้งด้านความสามารถและความปลอดภัยอยู่ที่ 76.7% ตัวเลขนี้ไม่ใช่คะแนนด้านความปลอดภัยที่วัดแยกเพียงด้านเดียว
ทีมวิจัยระบุว่าในชุดทดสอบย่อยที่ไม่ได้ใช้ในการฝึก คะแนนรวมยังสูงกว่าเกณฑ์อ้างอิงด้วย โดย BaxBench ได้คะแนนรวมเฉลี่ย 61.3% จากชุดทดสอบย่อยสามชุด เทียบกับ 42.9% ของเกณฑ์อ้างอิง ผลแต่ละรายการเป็นค่าเฉลี่ยจากการทดลองสามครั้ง
งานวิจัยนี้ต่อเนื่องในประเด็นผลของการออกแบบโครงสร้างการทำงานของ AI agent ต่อประสิทธิภาพงาน จาก งานวิจัยก่อนหน้าที่พบว่าผล benchmark อาจเปลี่ยนไปตามโครงสร้างการทำงานของ AI agent อย่างไรก็ตาม ทั้งสองงานใช้สภาพแวดล้อมและเงื่อนไขการทดลองต่างกัน จึงไม่สามารถเปรียบเทียบคะแนนโดยตรงได้
การประเมินครั้งนี้ครอบคลุมงานด้านโค้ดความปลอดภัยเท่านั้น บทความระบุว่าคะแนน benchmark ไม่ได้รับประกันความปลอดภัยหรือประสิทธิภาพของบริการจริง และยังต้องทดสอบเพิ่มเติมกับงานประเภทอื่นที่ความสามารถในการทำงานกับความปลอดภัยขัดแย้งกันชัดเจน
บทความไม่ได้ระบุแผนเปิดตัวผลิตภัณฑ์เชิงพาณิชย์หรือนำไปใช้กับบริการจริง ผลการทดลองจึงจำกัดอยู่ที่ SecRepoBench และ BaxBench
ความคิดเห็น 0