ข่าว 
ข้อมูลเหรียญ 
แนะนำสื่อ 
สเกล เอไอ (Scale AI) เปิดตัวเบนช์มาร์กใหม่ชื่อ HarnessOpt-Bench เพื่อทดสอบว่าโมเดลภาษาขนาดใหญ่ (LLM) สามารถแก้ไข ‘โครงสร้างการทำงานของเอเจนต์’ ด้วยตัวเองเพื่อเพิ่มประสิทธิภาพได้หรือไม่ โดยไม่ได้วัดแค่ความสามารถในการตอบคำถาม แต่รวมถึงการจัดการพรอมต์ เครื่องมือ ลำดับการควบคุม หน่วยความจำ และโค้ดสำหรับออร์เคสเตรตด้วย
สเกล เอไอ ระบุในรายงานที่เผยแพร่เมื่อวันที่ 6 (เวลาท้องถิ่น) ว่า ‘ฮาร์เนส’ (harness) หมายถึงพรอมต์ เครื่องมือ หน่วยความจำ ลำดับการควบคุม และโค้ดออร์เคสเตรตที่ทำงานอยู่นอกตัวโมเดล จุดเริ่มต้นของการศึกษานี้มาจากข้อสังเกตว่าโมเดลเดียวกันอาจให้ผลงานต่างกันไปตามฮาร์เนสที่ใช้
โครงสร้างของเบนช์มาร์กนี้กำหนดให้ ‘โมเดลออปติไมเซอร์’ ได้รับฮาร์เนสเริ่มต้นของเอเจนต์เป้าหมาย ฟีดแบ็กจากการประเมินผล และงบประมาณการประเมินที่กำหนดไว้ตายตัว จากนั้นโมเดลจะแก้ไขโค้ดและส่งผลลัพธ์สุดท้ายเข้าประกวด คะแนนสุดท้ายคำนวณจากระดับการพัฒนาเทียบกับฮาร์เนสเริ่มต้น โดยวัดบนชุดทดสอบที่ปิดไว้และเข้าถึงไม่ได้ระหว่างขั้นตอนค้นหา ขอบเขตการประเมินและงบประมาณทั้งหมดถูกควบคุมอยู่ในสภาพแวดล้อมการรันที่เชื่อถือได้
ในการทดลอง สเกล เอไอ ประเมินโมเดลภาษาขนาดใหญ่ระดับแนวหน้า 5 ตัวในบทบาทโมเดลออปติไมเซอร์ ได้แก่ △Claude Opus 5 △Claude Sonnet 5 △GPT-5.6 Sol △GPT-5.6 Terra และ △Kimi K3 โดยทดสอบกับงาน 4 ประเภท คือ OfficeQA, BrowseComp Plus, TerminalBench และ GAIA รวมการรันให้คะแนนทั้งหมด 111 ครั้ง
ผลลัพธ์ชี้ว่าความแตกต่างระหว่างตัวโมเดลเองมีผลมากกว่าความแตกต่างของฮาร์เนส สเกล เอไอ ระบุว่าเมื่อกำหนดงานและฮาร์เนสให้คงที่แล้วเปลี่ยนเฉพาะโมเดลออปติไมเซอร์ คะแนนเฉลี่ยที่ได้เปลี่ยนแปลงไป 0.142 ในขณะที่เมื่อกำหนดงานและโมเดลให้คงที่แล้วเปลี่ยนเฉพาะฮาร์เนส คะแนนเปลี่ยนแปลงไปเพียง 0.079 อย่างไรก็ตาม ฮาร์เนสดั้งเดิมของแต่ละโมเดล (native harness) ก็ไม่ได้ให้ผลลัพธ์ที่ดีกว่าเสมอไป
ผลงานแยกตามประเภทงานก็มีความหลากหลาย ในงาน OfficeQA ชุดค่าผสมระหว่าง Claude Opus 5 กับ OpenCode ทำคะแนนการปรับปรุงแบบมาตรฐาน (normalized gain) ได้ 0.63 ส่วนในงาน GAIA ชุดค่าผสมระหว่าง GPT-5.6 Sol กับ Codex ทำได้ 0.49 ทั้งนี้ สเกล เอไอ ระบุว่าความแตกต่างที่น้อยกว่าช่วงความคลาดเคลื่อนของการประเมินในแต่ละงานจะไม่ถูกนับเป็นความแตกต่างที่ยืนยันได้
บล็อกบีตส์ (BlockBeats) ให้ความเห็นว่าเบนช์มาร์กนี้เป็นบททดสอบว่า AI สามารถออกแบบการทดลอง รันการฝึกโมเดล และแก้ไขวิธีการได้เหมือนนักวิจัยหรือไม่ รายงานระบุว่าโมเดลบางตัวสามารถรันการทดลอง ปรับพารามิเตอร์ และปรับปรุงซ้ำจนทำคะแนนเหนือเส้นฐานได้ในบางงาน แต่เมื่อต้องเผชิญกับโจทย์วิจัยล่าสุด ความพยายามส่วนใหญ่ยังคงวนอยู่กับวิธีการและการจูนตามที่มีอยู่ในงานวิจัยเดิม
ผลการทดสอบครั้งนี้สะท้อนว่าจุดสนใจของการประเมิน AI เอเจนต์กำลังขยายจากประสิทธิภาพของโมเดลเดี่ยวไปสู่โครงสร้างการทำงานทั้งระบบ ขณะเดียวกัน AI เอเจนต์เองก็กำลังขยายบทบาทเข้าสู่งานที่ต้องใช้เครื่องมือต่อเนื่องเป็นเวลานาน เช่น การเขียนโค้ด งานวิจัย และงานบนเทอร์มินัล ก่อนหน้านี้ TokenPost เคยรายงานว่า WorkBuddyBench ของเทนเซ็นต์ (Tencent) เปรียบเทียบเอเจนต์เขียนโค้ดโดยใช้โจทย์งานจริงเป็นเกณฑ์ มาแล้ว
งานวิจัยของสเกล เอไอ มีความสำคัญตรงที่ทำให้การปรับแต่งฮาร์เนสกลายเป็นเป้าหมายการประเมินที่ทำซ้ำได้ แต่ผลลัพธ์เพียงเท่านี้ยังไม่เพียงพอที่จะสรุปว่า AI สามารถคิดค้นแนวคิดวิจัยใหม่ได้ด้วยตัวเองอย่างอิสระ
แหล่งข้อมูลตรวจสอบ: รายงาน HarnessOpt-Bench จาก Scale Labs (https://labs.scale.com/papers/harnessopt-bench), ไฟล์ PDF ของรายงาน (https://static.remotasks.com/uploads/6a74bd9cebda5487911dfbc2/HarnessOpt-Bench.pdf), ต้นฉบับข่าวจาก BlockBeats (https://www.theblockbeats.info/flash/362187)
ความคิดเห็น 0