อัตราผ่านงาน AI เพิ่ม 22.1 จุดเปอร์เซ็นต์ ในการประเมินภายในของไมโครซอฟท์

ผลประเมินภายในของไมโครซอฟท์(Microsoft, MSFT) พบว่า การนำระบบควบคุมการทำงานแบบใหม่มาใช้กับโมเดล AI ตัวเดิม ทำให้อัตราผ่านงานที่ซับซ้อนสูงขึ้น 22.1 จุดเปอร์เซ็นต์

ไมโครซอฟท์ระบุในเอกสารทางเทคนิคที่เผยแพร่เมื่อวันที่ 7 ว่า ได้นำระบบมาตรฐานของ Copilot Studio มาเปรียบเทียบกับ Copilot Harness ในชุดงานประเมินเดียวกัน การทดลองที่ใช้ Claude Opus 4.8 พบว่าระบบใหม่มีอัตราผ่านสูงกว่า 22.1 จุดเปอร์เซ็นต์ ส่วนการเปรียบเทียบกับ GPT-5.5 Chat พบว่าสูงกว่า 10.8 จุดเปอร์เซ็นต์ ตัวเลขทั้งสองเป็นผลการประเมินภายในของบริษัท

Harness คือระบบควบคุมการทำงานที่ช่วยให้โมเดลใช้เครื่องมือ ทำงานต่อเนื่องเป็นขั้นตอน และเลือกสิ่งที่จะทำต่อหลังเกิดข้อผิดพลาด ระบบนี้จึงจัดการทั้งสภาพแวดล้อมและความคืบหน้าของงาน ไม่ได้จำกัดอยู่แค่วิธีที่โมเดลสร้างคำตอบ

ระบบมาตรฐานเดิมเน้นการสนทนากับผู้ใช้ให้รวดเร็วและส่งคำตอบกลับในแต่ละขั้น ส่วนระบบใหม่ออกแบบให้โมเดลทำงานหลายขั้นตอนต่อเนื่อง โดยใช้เครื่องมือบรรทัดคำสั่งและไฟล์ภายในคอนเทนเนอร์ที่มีการแยกสภาพแวดล้อม

ไมโครซอฟท์ระบุว่า ระบบใหม่เรียกใช้โมเดลต่อภารกิจประมาณสองเท่าของระบบเดิม ขณะที่ปริมาณโทเคนขาเข้าซึ่งคำนวณโดยคิดต้นทุนจากการใช้แคชแล้วต่ำลง 15–21% ตัวเลขนี้ไม่ได้หมายความว่าจำนวนโทเคนขาเข้าจริงลดลงในสัดส่วนเดียวกัน

ข้อมูลการใช้งานจริงพบว่า หลังการเรียกใช้เครื่องมือล้มเหลว ระบบใหม่ยังทำงานต่อได้ใน 84–91% ของกรณี เทียบกับไม่ถึง 7% ในระบบเดิม ตัวเลขนี้วัดสัดส่วนที่ทำงานต่อหลังเกิดข้อผิดพลาด ไม่ใช่อัตราผ่านภารกิจขั้นสุดท้าย

งานวิจัยด้านการเขียนโค้ดอีกชิ้นที่เผยแพร่เมื่อวันที่ 8 กันยายน ประเมินงาน 80 รายการด้วย Claude Opus 4.8 รุ่นเดียวกัน อัตราผ่านเฉลี่ยของระบบทำงานสองแบบอยู่ที่ 48.8% และ 50.0% โดยต่างกัน 1.25 จุดเปอร์เซ็นต์ นักวิจัยระบุว่าช่วงความเชื่อมั่นอยู่ระหว่าง -10 ถึง 7.5 จุดเปอร์เซ็นต์ จึงยังยืนยันไม่ได้ว่าระบบใดมีค่าเฉลี่ยเหนือกว่า

งานวิจัยดังกล่าวทดสอบงานเขียนโค้ด ส่วนการประเมินของไมโครซอฟท์มุ่งที่งานในองค์กร เนื่องจากชุดงานและสภาพแวดล้อมต่างกัน จึงนำคะแนนมาเปรียบเทียบกันโดยตรงไม่ได้ และผลของไมโครซอฟท์เพียงอย่างเดียวยังไม่ยืนยันว่าระบบใหม่จะทำได้ดีกว่าในงานประเภทอื่น

ก่อนหน้านี้ TokenPost เคยรายงานงานวิจัยของทีมไมโครซอฟท์ที่ตรวจสอบความทรงจำระยะยาวของเอเจนต์ก่อนบันทึก และเพิ่มอัตราผ่านงานค้นหาฐานข้อมูลจาก 39% เป็น 73% งานดังกล่าวศึกษาวิธีจัดเก็บความทรงจำระยะยาว จึงมีขอบเขตต่างจากการประเมิน Harness ครั้งนี้

ไมโครซอฟท์เริ่มเปิดให้ทดลองใช้ Copilot Harness ในบริการ Foundry Agent Service เมื่อวันที่ 28 ตุลาคม เพื่อให้นักพัฒนาสร้างเอเจนต์ที่ทำงานระยะยาวผ่านระบบควบคุมการทำงานแบบมีผู้ให้บริการจัดการ นักพัฒนาสามารถเลือกโมเดลที่รองรับและเชื่อมต่อเครื่องมือกับขั้นตอนการทำงาน ขณะที่ไมโครซอฟท์จัดการกระบวนการทำงานและแซนด์บ็อกซ์ รวมถึงรองรับการมอบหมายบางขั้นตอนให้เอเจนต์ย่อยตามลักษณะงาน

Kimi เปิดตัว Kimi Hosted Agents สำหรับองค์กรและนักพัฒนาเมื่อวันที่ 5 พฤศจิกายน โดยเป็นสภาพแวดล้อมคลาวด์สำหรับเรียกใช้เอเจนต์เป็นเวลานาน องค์กรสามารถกำหนดขอบเขตการเข้าถึงเครื่องมือ หยุดการทำงาน และตรวจสอบบันทึกการทำงานได้ บริษัทยังเสนอรูปแบบเอเจนต์สำหรับงานการเงิน 8 แบบ ซึ่งรวมถึงการวิจัยการลงทุนและการกระทบยอดกองทุน

แอนโทรปิก(Anthropic) ระบุในคำอธิบายเทคโนโลยีเอเจนต์แบบมีผู้จัดการว่า บริษัทแยกบันทึกการทำงาน Harness และสภาพแวดล้อมแยกส่วนสำหรับประมวลผลโค้ดออกจากกัน เพื่อให้ปรับเปลี่ยนแต่ละส่วนได้อย่างอิสระ

ไมโครซอฟท์เตรียมคิดค่าบริการ Copilot Harness ใน Foundry ตามปริมาณการใช้งานตั้งแต่วันที่ 1 ธันวาคม โดยการประมวลผลในแซนด์บ็อกซ์มีค่าใช้จ่าย 0.0994 ดอลลาร์ต่อ vCPU-hour และหน่วยความจำ 0.0118 ดอลลาร์ต่อ 1 GiB-hour ทั้งนี้ราคาอาจเปลี่ยนแปลงตามภูมิภาคและสัญญา