โอเพนเอไอ (OpenAI) ใช้เอเจนต์ Codex ติดตามการตรวจสอบปัญหาประสิทธิภาพของ ChatGPT มากกว่า 1,700 กรณี และระบุสาเหตุได้มากกว่า 600 กรณี โดยระบบตรวจสอบอัตโนมัติเฉลี่ยวันละ 17 กรณี
โอเพนเอไอเปิดเผยรายละเอียดในบทความด้านวิศวกรรมที่เผยแพร่เมื่อวันที่ 19 โดยแนะนำระบบภายใน Performance Factory และ Regression Workflow ซึ่งเป็นเวิร์กโฟลว์แรกที่นำมาใช้ ตัวเลขการตรวจสอบและวินิจฉัยที่บริษัทเปิดเผยเป็นข้อมูลภายใน
Regression Workflow จะสร้างงานตรวจสอบเมื่อมีสัญญาณเตือนประสิทธิภาพตามเกณฑ์ที่กำหนด เอเจนต์ Codex จะสืบหาสาเหตุของประสิทธิภาพที่ลดลง เสนอแนวทางแก้ไข และตรวจสอบว่าระบบฟื้นตัวหลังการปรับใช้หรือไม่
ก่อนหน้านี้ วิศวกรต้องตรวจดูตัวชี้วัด บันทึกการทำงาน ข้อมูลการติดตาม และโค้ดเพื่อหาสาเหตุ โอเพนเอไอระบุว่า ในกระบวนการดังกล่าวมีเครื่องมือตรวจสอบประสิทธิภาพสะสมมากกว่า 30 รายการ
โอเพนเอไอจัดวิธีตรวจสอบให้อยู่ในรูปแบบขั้นตอนที่ Codex นำกลับมาใช้ซ้ำได้ และเชื่อมสัญญาณเตือนเข้ากับระบบคลาวด์เพื่อเริ่มการตรวจสอบโดยอัตโนมัติ Performance Factory จัดเก็บสถานะงานและผลการตรวจสอบแยกจากกัน เพื่อให้งานหลายขั้นตอนดำเนินต่อเนื่องได้
ระบบมอบหมายเซสชัน Codex ตามงานที่ต้องทำในแต่ละขั้น เมื่อวิศวกรตรวจทานหรือปรับใช้เสร็จ ขั้นตอนถัดไปจึงเริ่มขึ้น ผลการตรวจสอบไม่ได้อยู่เฉพาะในบทสนทนาของเอเจนต์ตัวเดียว ทำให้เอเจนต์อื่นหรือวิศวกรตรวจดูข้อมูลก่อนหน้าได้
Codex เริ่มจากตรวจว่าตัวชี้วัดใดแย่ลงและเริ่มเมื่อใด รวมถึงคำขอใดได้รับผลกระทบ จากนั้นจึงเปรียบเทียบประวัติการปรับใช้ การเปลี่ยนแปลงการตั้งค่า โค้ดที่เกี่ยวข้อง และบันทึกการทำงาน เพื่อเสนอหาสาเหตุ
เซสชัน Codex อีกชุดจะทบทวนสมมติฐานและหลักฐานของการวินิจฉัยครั้งแรก พร้อมตรวจว่ามีคำอธิบายอื่นที่เป็นไปได้หรือไม่ โอเพนเอไอเรียกขั้นตอนนี้ว่า 'การตรวจสอบเชิงโต้แย้ง' ต่อผลการวินิจฉัย
ในการตรวจสอบกรณีหนึ่ง เอเจนต์ระบุว่าการสนทนาล้มเหลวเพราะดาวน์โหลดรูปภาพผิดพลาด แต่เอเจนต์ที่ทบทวนพบว่าคำขอรูปภาพยังล้มเหลวต่อ แม้บริการภายในที่ค้นหาตำแหน่งไฟล์จะกลับมาทำงานได้แล้ว เนื่องจากการวินิจฉัยครั้งแรกอธิบายเหตุขัดข้องได้ไม่ครบ จึงเปิดการตรวจสอบขึ้นมาใหม่
โอเพนเอไอตรวจทานข้อเสนอระบุสาเหตุราก 100 กรณีด้วยคน และประเมินว่า 70% ถูกต้อง ส่วนที่เหลือ 30% ต้องปรับปรุงเพิ่มเติมหรือยังมีหลักฐานเชิงเหตุและผลไม่เพียงพอ ผลนี้ครอบคลุมเฉพาะ 100 กรณีที่ตรวจทาน ไม่ได้หมายความว่าการตรวจสอบทั้งหมดกว่า 1,700 กรณีมีความแม่นยำในระดับเดียวกัน
เมื่อการวินิจฉัยผ่านการตรวจทาน Codex สามารถเขียนโค้ดแก้ไขและเปิดคำขอเปลี่ยนแปลงโค้ดได้ วิศวกรจะตรวจเนื้อหาการเปลี่ยนแปลงและเป็นผู้ตัดสินใจว่าจะรวมหรือปรับใช้หรือไม่
ข้อเสนอแก้ไขจะผ่านการตรวจทานอีกครั้ง โอเพนเอไอระบุว่าเอเจนต์อาจเสนอการเปลี่ยนแปลงที่ซับซ้อนเกินจำเป็นหรือทำให้เกิดปัญหาใหม่ได้ เช่น การเพิ่มแคชช่วยให้ตอบสนองเร็วขึ้น แต่อาจทำให้ข้อมูลเก่าค้างอยู่
หลังปรับใช้ เอเจนต์อีกตัวจะตรวจว่าประสิทธิภาพกลับสู่ระดับเดิมหรือไม่ หากการปรับปรุงยังไม่สมบูรณ์หรือปัญหายังคงอยู่ งานจะกลับไปสู่ขั้นตอนตรวจสอบเพิ่มเติม
เมื่อผลการตรวจสอบสะสมมากขึ้น วิศวกรก็มีข้อมูลให้ตรวจอ่านและประเมินเพิ่มขึ้นด้วย โอเพนเอไอยังแนะนำแนวทางจัดกลุ่มเหตุการณ์ที่เกี่ยวข้องและเรียงตามผลกระทบที่คาดไว้ เพื่อลดภาระการตรวจทาน
โอเพนเอไอระบุว่ากำลังศึกษาแนวทางติดตามเชิงรุกเพื่อค้นหาประสิทธิภาพที่ลดลงก่อนสัญญาณเตือนทำงาน รวมถึงการปรับใช้ข้อเสนอแก้ไขบางรายการที่มีความเสี่ยงต่ำโดยอัตโนมัติ
Comment 0