Anthropic เปิดเบตาสาธารณะฟีเจอร์ติดตามการทำงานของ Claude

Anthropic เปิดให้ใช้งานฟีเจอร์ติดตามการเรียกใช้โมเดลและการใช้เครื่องมือบนแพลตฟอร์ม Claude ในรูปแบบเบตาสาธารณะ นักพัฒนาสามารถตรวจสอบเวลาตอบสนองและปริมาณโทเคนผ่านเครื่องมือสังเกตการณ์ที่ใช้อยู่ รวมถึงดูว่าขั้นตอนใดของการทำงานโดยเอเจนต์ล่าช้าหรือล้มเหลว

Anthropic ประกาศเมื่อวันที่ 14 ตุลาคมว่า ฟีเจอร์นี้รองรับคำขอและเซสชันของ Claude Managed Agents, Messages API และ Claude SDK โดย OpenTelemetry เป็นมาตรฐานเปิดสำหรับบันทึกเส้นทางคำขอของแอปพลิเคชัน และส่งข้อมูลการติดตามไปยังแพลตฟอร์มสังเกตการณ์ที่มีอยู่ได้

ข้อมูลการติดตามประกอบด้วย ‘เทรซ’ ซึ่งบันทึกเส้นทางทั้งหมดของคำขอที่ผ่านระบบ และ ‘สแปน’ ซึ่งเป็นแต่ละขั้นตอนภายในเทรซ สแปนของ Claude ใช้ข้อกำหนดความหมายสำหรับ Generative AI เพื่อจัดรูปแบบข้อมูล เช่น คำขอไปยังโมเดลและการใช้เครื่องมือ ให้เป็นรายการมาตรฐาน แพลตฟอร์มที่รองรับข้อกำหนดนี้จึงตรวจดูข้อมูลร่วมกันได้

ขอบเขตการติดตามไม่ได้จำกัดอยู่แค่การเรียกใช้โมเดล แต่ครอบคลุมคำขอ Messages API การใช้เครื่องมือ และเซสชัน Managed Agents นักพัฒนาตั้งค่าปลายทางรับส่งข้อมูลของเครื่องมือสังเกตการณ์ใน Claude Console หรือกำหนดตัวให้บริการการติดตามใน SDK ได้ การติดตามผ่าน SDK จะส่งสแปนจากแอปพลิเคชัน ส่วนการติดตามผ่าน API จะกำหนดปลายทางใน Console

เอเจนต์ AI ที่ทำงานหลายขั้นตอนจะส่งคำขอไปยังโมเดล รับคำตอบจากเครื่องมือหรือบริการภายนอก แล้วดำเนินงานต่อ การบันทึกแต่ละขั้นตอนไว้ในเส้นทางเดียวกันช่วยให้นักพัฒนาหาจุดที่เกิดความล่าช้าหรือข้อผิดพลาดได้ และยังนำไปเปรียบเทียบกับบันทึกและตัวชี้วัดเดิม หรือนำข้อมูลการใช้งานจริงไปใช้ประเมินงานได้

Anthropic ยังยกตัวอย่างการใช้งานจากโรมัน ชไตล์แมน (Roman Shtylman) ผู้ร่วมก่อตั้งและ CTO ของ Foxglove โดยเขากล่าวว่าสามารถวิเคราะห์ปฏิสัมพันธ์ของเอเจนต์ร่วมกับข้อมูลการใช้งานผลิตภัณฑ์ เพื่อประเมินประสิทธิภาพและค้นหาจุดที่ควรปรับปรุงได้ ตัวอย่างนี้เป็นกรณีของ Foxglove และไม่ได้หมายความว่าจะได้ผลเช่นเดียวกันในทุกสภาพแวดล้อม

ฟีเจอร์นี้เชื่อมเครื่องมือที่จำเป็นต่อการตรวจสอบขั้นตอนการทำงานและข้อผิดพลาดของเอเจนต์ AI ของ Anthropic เข้ากับเครื่องมือเดิมบนแพลตฟอร์ม Claude อย่างไรก็ตาม ระหว่างเบตาสาธารณะ การตั้งค่า SDK และโครงสร้างข้อมูลสแปนอาจเปลี่ยนจนกระทบความเข้ากันได้ จึงควรดูแลเวอร์ชันและแดชบอร์ดให้เหมาะสม

ควรตรวจสอบขอบเขตการเก็บข้อมูลด้วย หากเปิดโหมด ‘เนื้อหาทั้งหมด’ ซึ่งเป็นตัวเลือกเพิ่มเติม พรอมป์ต์ คำตอบ รวมถึงข้อมูลเข้าและออกจากเครื่องมืออาจถูกรวมไว้ในข้อมูลการติดตาม ข้อกำหนดความหมายสำหรับ Generative AI แนะนำให้ไม่นำคำสั่งของโมเดล ข้อความจากผู้ใช้ และผลลัพธ์มาเก็บเป็นค่าเริ่มต้น เนื่องจากอาจมีข้อมูลละเอียดอ่อนหรือมีขนาดใหญ่ และให้ผู้ใช้เป็นผู้เลือก ในสภาพแวดล้อมการใช้งานจริงควรตรวจสอบการเก็บเนื้อหาและสิทธิ์เข้าถึงข้อมูล