Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

โอเพนเอไอ (OpenAI) ใช้ Codex ตรวจปัญหา ChatGPT กว่า 1,700 กรณี ระบุสาเหตุได้เกิน 600 กรณี

หน้าจอมอนิเตอร์แสดงการลดลงและการฟื้นตัวของประสิทธิภาพ / TokenPost.ai

โอเพนเอไอ (OpenAI) ใช้เอเจนต์ Codex ติดตามการตรวจสอบปัญหาประสิทธิภาพของ ChatGPT มากกว่า 1,700 กรณี และระบุสาเหตุได้มากกว่า 600 กรณี โดยระบบตรวจสอบอัตโนมัติเฉลี่ยวันละ 17 กรณี

โอเพนเอไอเปิดเผยรายละเอียดในบทความด้านวิศวกรรมที่เผยแพร่เมื่อวันที่ 19 โดยแนะนำระบบภายใน Performance Factory และ Regression Workflow ซึ่งเป็นเวิร์กโฟลว์แรกที่นำมาใช้ ตัวเลขการตรวจสอบและวินิจฉัยที่บริษัทเปิดเผยเป็นข้อมูลภายใน

Regression Workflow จะสร้างงานตรวจสอบเมื่อมีสัญญาณเตือนประสิทธิภาพตามเกณฑ์ที่กำหนด เอเจนต์ Codex จะสืบหาสาเหตุของประสิทธิภาพที่ลดลง เสนอแนวทางแก้ไข และตรวจสอบว่าระบบฟื้นตัวหลังการปรับใช้หรือไม่

ก่อนหน้านี้ วิศวกรต้องตรวจดูตัวชี้วัด บันทึกการทำงาน ข้อมูลการติดตาม และโค้ดเพื่อหาสาเหตุ โอเพนเอไอระบุว่า ในกระบวนการดังกล่าวมีเครื่องมือตรวจสอบประสิทธิภาพสะสมมากกว่า 30 รายการ

โอเพนเอไอจัดวิธีตรวจสอบให้อยู่ในรูปแบบขั้นตอนที่ Codex นำกลับมาใช้ซ้ำได้ และเชื่อมสัญญาณเตือนเข้ากับระบบคลาวด์เพื่อเริ่มการตรวจสอบโดยอัตโนมัติ Performance Factory จัดเก็บสถานะงานและผลการตรวจสอบแยกจากกัน เพื่อให้งานหลายขั้นตอนดำเนินต่อเนื่องได้

ระบบมอบหมายเซสชัน Codex ตามงานที่ต้องทำในแต่ละขั้น เมื่อวิศวกรตรวจทานหรือปรับใช้เสร็จ ขั้นตอนถัดไปจึงเริ่มขึ้น ผลการตรวจสอบไม่ได้อยู่เฉพาะในบทสนทนาของเอเจนต์ตัวเดียว ทำให้เอเจนต์อื่นหรือวิศวกรตรวจดูข้อมูลก่อนหน้าได้

Codex เริ่มจากตรวจว่าตัวชี้วัดใดแย่ลงและเริ่มเมื่อใด รวมถึงคำขอใดได้รับผลกระทบ จากนั้นจึงเปรียบเทียบประวัติการปรับใช้ การเปลี่ยนแปลงการตั้งค่า โค้ดที่เกี่ยวข้อง และบันทึกการทำงาน เพื่อเสนอหาสาเหตุ

เซสชัน Codex อีกชุดจะทบทวนสมมติฐานและหลักฐานของการวินิจฉัยครั้งแรก พร้อมตรวจว่ามีคำอธิบายอื่นที่เป็นไปได้หรือไม่ โอเพนเอไอเรียกขั้นตอนนี้ว่า 'การตรวจสอบเชิงโต้แย้ง' ต่อผลการวินิจฉัย

ในการตรวจสอบกรณีหนึ่ง เอเจนต์ระบุว่าการสนทนาล้มเหลวเพราะดาวน์โหลดรูปภาพผิดพลาด แต่เอเจนต์ที่ทบทวนพบว่าคำขอรูปภาพยังล้มเหลวต่อ แม้บริการภายในที่ค้นหาตำแหน่งไฟล์จะกลับมาทำงานได้แล้ว เนื่องจากการวินิจฉัยครั้งแรกอธิบายเหตุขัดข้องได้ไม่ครบ จึงเปิดการตรวจสอบขึ้นมาใหม่

โอเพนเอไอตรวจทานข้อเสนอระบุสาเหตุราก 100 กรณีด้วยคน และประเมินว่า 70% ถูกต้อง ส่วนที่เหลือ 30% ต้องปรับปรุงเพิ่มเติมหรือยังมีหลักฐานเชิงเหตุและผลไม่เพียงพอ ผลนี้ครอบคลุมเฉพาะ 100 กรณีที่ตรวจทาน ไม่ได้หมายความว่าการตรวจสอบทั้งหมดกว่า 1,700 กรณีมีความแม่นยำในระดับเดียวกัน

เมื่อการวินิจฉัยผ่านการตรวจทาน Codex สามารถเขียนโค้ดแก้ไขและเปิดคำขอเปลี่ยนแปลงโค้ดได้ วิศวกรจะตรวจเนื้อหาการเปลี่ยนแปลงและเป็นผู้ตัดสินใจว่าจะรวมหรือปรับใช้หรือไม่

ข้อเสนอแก้ไขจะผ่านการตรวจทานอีกครั้ง โอเพนเอไอระบุว่าเอเจนต์อาจเสนอการเปลี่ยนแปลงที่ซับซ้อนเกินจำเป็นหรือทำให้เกิดปัญหาใหม่ได้ เช่น การเพิ่มแคชช่วยให้ตอบสนองเร็วขึ้น แต่อาจทำให้ข้อมูลเก่าค้างอยู่

หลังปรับใช้ เอเจนต์อีกตัวจะตรวจว่าประสิทธิภาพกลับสู่ระดับเดิมหรือไม่ หากการปรับปรุงยังไม่สมบูรณ์หรือปัญหายังคงอยู่ งานจะกลับไปสู่ขั้นตอนตรวจสอบเพิ่มเติม

เมื่อผลการตรวจสอบสะสมมากขึ้น วิศวกรก็มีข้อมูลให้ตรวจอ่านและประเมินเพิ่มขึ้นด้วย โอเพนเอไอยังแนะนำแนวทางจัดกลุ่มเหตุการณ์ที่เกี่ยวข้องและเรียงตามผลกระทบที่คาดไว้ เพื่อลดภาระการตรวจทาน

โอเพนเอไอระบุว่ากำลังศึกษาแนวทางติดตามเชิงรุกเพื่อค้นหาประสิทธิภาพที่ลดลงก่อนสัญญาณเตือนทำงาน รวมถึงการปรับใช้ข้อเสนอแก้ไขบางรายการที่มีความเสี่ยงต่ำโดยอัตโนมัติ

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1