ร่างออกแบบโคดดิ้งเอเจนต์เผยแพร่ เลือกบริบทใหม่ทุกขั้นตอน

มีการเผยแพร่ร่างการออกแบบโคดดิ้งเอเจนต์ที่เสนอให้เลือกบริบทที่จำเป็นใหม่ในแต่ละขั้นตอน แทนการสะสมประวัติการสนทนาและผลลัพธ์จากเครื่องมืออย่างต่อเนื่อง โดยร่างดังกล่าวมองบริบทเป็นสิ่งที่ต้องปรับเปลี่ยนในแต่ละรอบ ไม่ใช่บันทึกตายตัว

ดีโอโก อัลเมดา(Diogo Almeida) ผู้ก่อตั้ง TypeSafe เปิดเผยร่างการออกแบบโคดดิ้งเอเจนต์ พร้อมเสนอให้ชุมชนทดลองแนวคิดดังกล่าวโดยตรง เขาระบุว่า TypeSafe อาจมีเวลาไม่เพียงพอที่จะพัฒนาแนวคิดนี้ทั้งหมดด้วยตนเอง โดย BlockBeats เป็นผู้รายงานเนื้อหาที่เกี่ยวข้อง

ปัจจุบันโคดดิ้งเอเจนต์มักส่งต่อประวัติการสนทนา ผลลัพธ์จากการใช้เครื่องมือ และสถานะของโค้ดไปยังคำขอถัดไปอย่างต่อเนื่อง เมื่อบริบทมีความยาวมากเกินไป วิธีที่ใช้กันทั่วไปคือบีบอัดข้อมูลบางส่วนหรือเริ่มต้นเอเจนต์ใหม่

ร่างดังกล่าวเสนอให้เอเจนต์ตัดสินใจในแต่ละรอบว่าจะใช้แคชเดิมต่อไป หรือสร้างบริบทที่เหมาะสมขึ้นใหม่ รวมถึงพิจารณาตามสถานการณ์ของงานว่าจะเก็บข้อมูลฉบับเต็ม สรุปข้อมูล หรือไม่นำข้อมูลนั้นมาใช้

อัลเมดาชี้ว่าการออกแบบเอเจนต์ในปัจจุบันพึ่งพา KV cache มากเกินไป KV cache เป็นเทคโนโลยีที่จัดเก็บสถานะกลางซึ่งโมเดลสร้างขึ้นระหว่างประมวลผลบริบทอินพุต เพื่อนำกลับมาใช้ในคำขอถัดไป

หากส่วนต้นของบริบทเหมือนเดิม KV cache จะช่วยลดปริมาณการคำนวณซ้ำได้ อย่างไรก็ตาม เมื่อโมเดลหรือโครงสร้างอินพุตเปลี่ยนแปลง การนำแคชเดิมกลับมาใช้จะทำได้ยากขึ้น

ตัวอย่างในร่างเป็นงานที่สลับใช้งานระหว่างโมเดลต้นทุนต่ำกับโมเดลประสิทธิภาพสูง หากเริ่มงานด้วยโมเดลต้นทุนต่ำแล้วเปลี่ยนไปใช้โมเดลประสิทธิภาพสูง โมเดลหลังอาจต้องอ่านบริบทที่ยาวอีกครั้ง ทำให้ต้นทุนรวมเพิ่มขึ้นได้

การใส่คำจำกัดความของเครื่องมือไว้ใน system prompt อย่างต่อเนื่องยังถูกระบุว่าเป็นปัจจัยที่ไม่มีประสิทธิภาพ หากข้อมูลของเครื่องมือที่ไม่ได้ใช้งานจริงถูกส่งไปกับทุกคำขอ ก็จะกินพื้นที่บริบทและทำให้ใช้แคชได้ยากขึ้น

การสร้างบริบทแบบไดนามิกอาจเปลี่ยนวิธีจัดสรรโมเดลและการทำงานของเอเจนต์ย่อยด้วย โครงสร้างที่เสนอคือมอบหมายงานง่ายให้โมเดลต้นทุนต่ำ เรียกใช้เฉพาะเครื่องมือที่จำเป็น และส่งต่อสถานะที่เกี่ยวข้องกับแต่ละงานให้เอเจนต์ย่อย

ร่างดังกล่าวยังเสนอให้เรียกใช้องค์ประกอบของสภาพแวดล้อมการพัฒนา เช่น MCP และ AGENTS.md เฉพาะเมื่อจำเป็น แทนการส่งการตั้งค่าและเครื่องมือทั้งหมดให้โมเดลตั้งแต่เริ่มต้น

MCP เป็นโปรโตคอลที่เชื่อมต่อโมเดลกับเครื่องมือภายนอก ส่วน AGENTS.md เป็นไฟล์ที่เก็บกฎการทำงานของเอเจนต์ การใส่องค์ประกอบทั้งสองไว้ในบริบทเมื่อจำเป็นจะช่วยให้ปรับโครงสร้างอินพุตให้เหมาะกับแต่ละงานได้

อัลเมดาเรียกแนวทางนี้ชั่วคราวว่า 'Meta-attention' ซึ่งมีลักษณะใกล้เคียงกับการที่ระบบปฏิบัติการเป็นผู้ตัดสินใจในแต่ละรอบว่าโมเดลควรให้ความสนใจกับข้อมูลใด แทนการพึ่งพาบริบททั้งหมดในระดับเดียวกัน

TypeSafe เปิดตัว Jev ในเดือนกันยายน โดยอธิบายว่าเป็นโมเดลตัดสินใจที่ส่งคืนตัวเลือก คะแนน และความน่าจะเป็น แทนการสร้างข้อความ อย่างไรก็ตาม แหล่งข้อมูลต้นฉบับไม่ได้ยืนยันแยกต่างหากว่า Jev สามารถนำไปใช้จัดสรรงานหรือเลือกเครื่องมือภายในโคดดิ้งเอเจนต์ได้

แนวคิดนี้สอดคล้องกับกระแสที่มองว่าประสิทธิภาพของโคดดิ้งเอเจนต์อาจได้รับผลกระทบไม่เพียงจากโมเดลพื้นฐาน แต่ยังรวมถึงการจัดการบริบทและการกำหนดค่าสภาพแวดล้อมการทำงานด้วย ก่อนหน้านี้ TokenPost เคยรายงานถึงแนวโน้มที่การออกแบบฮาร์เนสอาจมีผลต่อผลลัพธ์ในตลาดโคดดิ้งเอเจนต์

สาระสำคัญของร่างไม่ได้อยู่ที่การรักษาบริบทขนาดใหญ่ไว้โดยไม่มีเงื่อนไข แต่คือการเก็บเฉพาะข้อมูลที่จำเป็นสำหรับแต่ละงาน แล้วแบ่งส่งต่อให้โมเดล เครื่องมือ และเอเจนต์ย่อยตามความเหมาะสม โดย TypeSafe เสนอให้ชุมชนทดลองโครงสร้างดังกล่าวด้วยตนเอง