กูเกิล (Google) เปิดซอร์ส XSE เผยระบบภายในรับคำขอกว่า 6 ล้านครั้ง/วินาที ตัด Python จากเซิร์ฟเวอร์

กูเกิล (Google) เปิดซอร์ส XLA Serving Engine (XSE) ซึ่งออกแบบให้บริการโมเดล AI โดยไม่ต้องใช้สภาพแวดล้อมรัน Python บริษัทระบุว่าระบบภายในประมวลผลคำขอได้มากกว่า 6 ล้านครั้งต่อวินาที ตัวเลขนี้สะท้อนการใช้งานภายในของกูเกิล และไม่ได้หมายความว่าจะทำได้ในปริมาณเดียวกันเมื่อใช้งานภายนอก

เมื่อวันที่ 5 พ.ย. กูเกิลประกาศในบล็อกอย่างเป็นทางการว่าเผยแพร่ XSE ภายใต้สัญญาอนุญาต Apache 2.0 โดย XSE เป็นเครื่องมือในระบบนิเวศ OpenXLA สำหรับส่งออกโมเดลและนำไปใช้ในการอนุมาน

XSE ประกอบด้วยเครื่องมือส่งออกโมเดลและรันไทม์สำหรับการอนุมาน นักพัฒนาสามารถส่งออกโมเดลที่สร้างด้วย JAX หรือ PyTorch เป็นรูปแบบ XLA SavedModel จากนั้นรันไทม์ C++ จะโหลดโมเดลมาประมวลผล

XLA SavedModel บรรจุ StableHLO ซึ่งใช้แทนขั้นตอนการคำนวณของโมเดล ส่วนค่าน้ำหนักของโมเดลจะจัดเก็บไว้ใน Orbax checkpoint ตามคำอธิบายของกูเกิล

OpenXLA เป็นระบบนิเวศสำหรับคอมไพล์โมเดลแมชชีนเลิร์นนิงให้ทำงานบนอุปกรณ์ประมวลผลหลายประเภท โดย XLA compiler เตรียมการคำนวณให้เหมาะกับอุปกรณ์ ส่วน XSE เชื่อมโมเดลที่เตรียมไว้เข้ากับสภาพแวดล้อมซึ่งตอบสนองคำขอจากบริการ

กูเกิลเริ่มนำองค์ประกอบหลักของ XSE ไปใช้ในโครงสร้างพื้นฐานบริการภายในตั้งแต่ปี 2025 ตัวอย่างที่บริษัทระบุ ได้แก่ YouTube Shorts, Google Ads, บริการค้นหา และบางส่วนของ Gemini Omni

ผลทดสอบที่กูเกิลจัดทำเองใช้คำขอขนาดสั้น โดย XSE มีปริมาณการประมวลผลสูงกว่าเซิร์ฟเวอร์ Python ที่กูเกิลปรับแต่งไว้ 2–5 เท่า และสูงกว่าเซิร์ฟเวอร์ Python ที่ใช้การตั้งค่าพื้นฐาน 8–36 เท่า

กูเกิลยังระบุว่า XSE ใช้เวลา CPU ต่อการคาดการณ์หนึ่งครั้งน้อยกว่าการใช้งาน Python 30–70% และใช้หน่วยความจำประมาณหนึ่งในสี่ ตัวเลขเหล่านี้เป็นผลการทดสอบที่บริษัทเปิดเผยเช่นกัน

XSE มุ่งรองรับงานที่ต้องตอบสนองคำขอสั้น ๆ อย่างรวดเร็ว เช่น ระบบแนะนำเนื้อหาและการรู้จำวิดีโอ โดยออกแบบเป็นเอนจินอนุมานขนาดเล็กที่ให้ความสำคัญกับการลดเวลาหน่วงของแต่ละคำขอ

โมเดลภาษาขนาดใหญ่แบบ autoregressive ซึ่งจัดการบริบทยาวและสร้างข้อความต่อเนื่องไม่ใช่กลุ่มเป้าหมายหลักของ XSE กูเกิลแนะนำเครื่องมืออย่าง vLLM หรือ SGLang สำหรับโมเดลประเภทนี้ เนื่องจากมีฟังก์ชันจัดการหน่วยความจำที่ออกแบบมาเฉพาะสำหรับ LLM

คลังซอร์สโค้ดสาธารณะของ OpenXLA ระบุว่าโมเดลชุดเดียวที่ส่งออกแล้วสามารถนำไปรันบน CPU, GPU ของเอ็นวิเดีย (NVIDIA, $NVDA) และ Google Cloud TPU ได้ นักพัฒนาสามารถแนบข้อมูลการคำนวณที่เหมาะกับอุปกรณ์เป้าหมายไปพร้อมกับการส่งออกโมเดล

XSE สามารถติดตั้งเป็นเอนจินอนุมานแบบแยกเดี่ยว หรือเชื่อมเข้ากับระบบให้บริการที่ซับซ้อนกว่าได้ โดยออกแบบให้เส้นทางประมวลผลคำขอของบริการไม่ต้องเรียกใช้ Python interpreter

Apache 2.0 เป็นสัญญาอนุญาตโอเพนซอร์สที่อนุญาตให้ใช้ในเชิงพาณิชย์และแก้ไขซอฟต์แวร์ได้ กูเกิลเผยแพร่ซอร์สโค้ดและคู่มือการใช้งาน XSE ไว้ในคลังสาธารณะ

สำหรับงานต่อไป กูเกิลวางแผนรองรับการส่งออกโมเดล PyTorch ไปยัง TPU ผ่านการเชื่อมต่อ TorchTPU รวมถึงเตรียมเปิดใช้ฟังก์ชันคอมไพล์แบบออฟไลน์กับผู้ใช้ภายในก่อน แล้วจึงเผยแพร่ให้ผู้ใช้ภายนอก นอกจากนี้บริษัทยังระบุว่าจะจัดทำเครื่องมือประมวลผลข้อมูลล่วงหน้าที่พัฒนาด้วย C++