Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

AI เอเจนต์เตือนเมื่อใช้งบ 80% ถึงเพดานแล้วบล็อกการเรียกโมเดลครั้งถัดไป

หน้าจอแดชบอร์ดจัดการต้นทุนแสดงแถบงบประมาณที่ใกล้ถึงเพดาน / TokenPost.ai (macro)

มีการเปิดตัวแพลตฟอร์มปฏิบัติการที่ติดตามค่าใช้จ่ายโมเดลแยกตามทีมและเอเจนต์ พร้อมให้เกตเวย์ปฏิเสธคำขอเรียกใช้โมเดลครั้งถัดไปเมื่อถึงเพดานงบประมาณ

Nasiko แนะนำ OpenRuntime ผ่านบล็อกอย่างเป็นทางการเมื่อวันที่ 16 พร้อมอธิบายการทำงานของ TokenOps ซึ่งเป็นฟังก์ชันจัดการต้นทุน ผู้ใช้ตั้งเพดานงบประมาณให้ทีมหรือเอเจนต์รายตัวได้ โดยระบบจะแจ้งเตือนเมื่อใช้จ่ายถึง 80% และ Nasiko ระบุว่า Agent Gateway จะปฏิเสธคำขอเรียกใช้โมเดลครั้งถัดไปเมื่อถึงเพดาน

สิ่งที่ถูกบล็อกคือคำขอเรียกใช้โมเดลครั้งถัดไป คำอธิบายอย่างเป็นทางการไม่ได้ระบุว่างานทั้งหมดของเอเจนต์จะหยุดลงโดยอัตโนมัติ

TokenOps แสดงค่าใช้จ่ายแยกตามทีม โมเดล เอเจนต์ และฮาร์เนส ซึ่งหมายถึงสภาพแวดล้อมที่ใช้เรียกใช้เอเจนต์และเชื่อมต่อกับเครื่องมือและโมเดล

ผู้ใช้ตรวจสอบการเรียกใช้โมเดลและเส้นทางการใช้เครื่องมือได้จากบันทึกการทำงานแต่ละครั้ง องค์กรที่ใช้ผู้ให้บริการโมเดลหลายรายอาจใช้ฟังก์ชันนี้แยกดูได้ว่าทีมหรืองานใดเป็นผู้ก่อค่าใช้จ่าย

การบันทึกต้นทุนกับการบังคับใช้เพดานระหว่างทำงานมีเงื่อนไขการทำงานต่างกัน คลังซอร์สโค้ดสาธารณะของ Nasiko ระบุว่าสามารถเปิดการรายงานการใช้งานเซสชันและการกำหนดเส้นทางโมเดลแยกจากกันได้

ข้อจำกัดงบประมาณมีผลเมื่อคำขอเรียกใช้โมเดลผ่านเกตเวย์ของ Nasiko โดยไม่มีคำอธิบายว่าคำขอที่เกิดขึ้นนอกเกตเวย์จะถูกจำกัดในแบบเดียวกัน

Nasiko ระบุว่าสามารถเชื่อมต่อแพลตฟอร์มได้โดยไม่ต้องแก้โค้ดเอเจนต์หรือ SDK ที่มีอยู่ อย่างไรก็ตาม ขอบเขตการบังคับใช้จริงขึ้นอยู่กับการตั้งค่าให้คำขอโมเดลผ่านเกตเวย์

OpenRuntime ยังจัดการสิทธิ์การใช้เครื่องมือได้ด้วย Nasiko อธิบายว่าสามารถอนุญาตหรือปิดกั้นการใช้เครื่องมือแต่ละรายการ รวมถึงกำหนดให้ต้องได้รับอนุมัติจากคนก่อนใช้งาน

ในเดือนพฤษภาคม Nasiko แนะนำชั้นควบคุมที่ครอบคลุมการลงทะเบียนเอเจนต์ การกำหนดเส้นทาง ความปลอดภัย การปรับใช้ และการติดตามตรวจสอบ โดยประกาศครั้งนั้นอธิบายฟังก์ชันปฏิบัติการหลายด้านของ OpenRuntime

ในเดือนกันยายน Nasiko ประกาศให้บริการรันไทม์แบบมีผู้จัดการผ่านมาร์เก็ตเพลสของดิจิทัลโอเชียน(DigitalOcean) และแนะนำ TokenOps ว่าเป็นฟังก์ชันติดตามและควบคุมค่าใช้จ่าย ดังนั้น ประกาศเมื่อวันที่ 16 จึงกล่าวถึง OpenRuntime โดยรวมซึ่งรวมฟังก์ชันดังกล่าว มากกว่าจะเป็นการเปิดตัว TokenOps เป็นครั้งแรก

คลังซอร์สโค้ดสาธารณะยังมีรายงานจากผู้ใช้เกี่ยวกับการวัดต้นทุน ผู้ร่วมพัฒนารายหนึ่งกล่าวว่าโทเค็นอินพุตจากแคชของ Codex ถูกนับซ้ำ ทำให้ต้นทุนในกรณีของตนถูกบันทึกไว้สูงกว่าจริงราว 6.9 เท่า ผู้ใช้อีกรายรายงานว่าการใช้งานครั้งแรกของเซสชัน Codex ใหม่ถูกบันทึกเป็นศูนย์

อีกประเด็นหนึ่งมีรายงานว่าการใช้งานที่เรียกเก็บเงินไปแล้วอาจไม่ปรากฏในบันทึก เมื่อการเรียกใช้เครื่องมือของ Claude Code ถูกขัดจังหวะ ผู้เขียนระบุว่าได้รวบรวมกรณีจากบันทึกการสนทนา 15 รายการที่ตนตรวจสอบ รายงานเหล่านี้มาจากผู้ใช้รายบุคคลและไม่ได้แสดงอัตราความผิดพลาดของผลิตภัณฑ์โดยรวม

Nasiko ระบุเมื่อวันที่ 16 ว่าคลังซอร์สโค้ดสาธารณะมีดาว 11,900 ดวง ตัวเลขนี้เป็นยอดสะสมของทั้งโครงการ ไม่ได้แสดงปฏิกิริยาต่อประกาศครั้งนี้โดยเฉพาะ

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1