OpenAI ลด p50 ของ Habitat จาก 120 เหลือ 10 มิลลิวินาที ปรับปรุง 12 เท่า

OpenAI ระบุว่าลดเวลาแฝง p50 ของคำขออ่านข้อมูลทั่วโลกบน Habitat ซึ่งเป็นแพลตฟอร์มจัดเก็บข้อมูลออนไลน์ภายในบริษัท จากประมาณ 120 มิลลิวินาที (ms) เหลือประมาณ 10 ms โดยระบุว่าปรับปรุงได้ 12 เท่า อย่างไรก็ตาม ตัวเลขนี้ไม่ได้หมายถึงเวลาตอบสนองทั้งหมดที่รวมการสร้างคำตอบของ ChatGPT

ในเอกสารทางเทคนิคที่เผยแพร่เมื่อวันที่ 23 (เวลาท้องถิ่น) OpenAI ระบุว่าการจัดวางข้อมูลตามภูมิภาค การสร้างแคช และการเขียนบริการบางส่วนใหม่ด้วย Rust เป็นมาตรการปรับปรุงประสิทธิภาพ Habitat เป็นแพลตฟอร์มจัดเก็บข้อมูลที่ ChatGPT, API, Codex และบริการภายในใช้สำหรับอ่านและเขียนข้อมูล ส่วน p50 คือค่ากึ่งกลางเมื่อเรียงคำขอตามเวลาแฝง

เมื่อทรัพยากรประมวลผลคำขอกับข้อมูลอยู่คนละภูมิภาค เวลาไปกลับอาจนานขึ้น OpenAI จึงทำสำเนาข้อมูลบางประเภทที่จำเป็นต่อทุกคำขอ เช่น ข้อมูลเมตาดาทาสำหรับการยืนยันตัวตน ไว้ในหลายภูมิภาค บริษัทระบุว่าการทำสำเนาข้อมูลทั้งหมดในลักษณะเดียวกันมีข้อจำกัดด้านความจุในการจัดเก็บและพื้นที่ในศูนย์ข้อมูล

สำหรับคำขออ่านข้อมูลประเภทอื่น บริษัทวางแคช Valkey ไว้ใกล้กับโครงสร้างพื้นฐานที่ประมวลผลคำขอ วิธีนี้ช่วยเก็บข้อมูลที่มีการเรียกดูบ่อยไว้ใกล้จุดใช้งาน เพื่อลดการรับส่งข้อมูลไปกลับกับพื้นที่จัดเก็บระยะไกล อีกปัจจัยหนึ่งคือคำขอของ Habitat มากกว่า 90% เป็นคำขออ่านข้อมูล

เพื่อป้องกันไม่ให้แคชเก็บข้อมูลเก่า บริษัทใช้ฟีดการเปลี่ยนแปลงของ Azure Cosmos DB เมื่อข้อมูลต้นทางเปลี่ยน ระบบจะส่งต่อการเปลี่ยนแปลงไปยังแต่ละภูมิภาคเพื่อทำให้แคชที่เกี่ยวข้องใช้ไม่ได้ และดึงค่าล่าสุดมาเมื่อมีการเรียกดูครั้งถัดไป OpenAI ระบุว่าการทำให้แคชใช้ไม่ได้แพร่กระจายไปทั่วโลกภายในไม่กี่วินาที

บริการบางส่วนของ Habitat ถูกเขียนใหม่จาก Python เป็น Rust OpenAI อธิบายว่าการลดเวลาแฝงเกิดจากการใช้มาตรการหลายอย่างร่วมกัน ทั้งการจัดวางข้อมูลระหว่างภูมิภาค แคช และการเปลี่ยนไปใช้ Rust บริษัทไม่ได้เปิดเผยสัดส่วนที่แต่ละมาตรการมีส่วนช่วย ระยะเวลาที่ใช้วัดก่อนและหลังการปรับปรุง หรือการกระจายเวลาแฝงในแต่ละภูมิภาค

บริษัทยังปรับวิธีจัดการคอนเทนเนอร์ด้วย โดยเปลี่ยนจากการรวมข้อมูลของหลายผลิตภัณฑ์ไว้ในคอนเทนเนอร์เดียวไปเป็นคอนเทนเนอร์เฉพาะสำหรับแต่ละผลิตภัณฑ์ ก่อนกลับมาใช้คอนเทนเนอร์แบบแชร์เป็นค่าเริ่มต้น โดยพิจารณาจากการวางแผนความจุและภาระการดำเนินงาน

เพื่อจำกัดปัญหาที่งานบางประเภทใช้ทรัพยากรมากเกินไปในโครงสร้างแบบแชร์ OpenAI ใช้มาตรการต่าง ๆ เช่น จำกัดคำขอสำหรับ hot key และลดลำดับความสำคัญของงานออฟไลน์เพื่อให้คำขอแบบโต้ตอบได้รับการจัดสรรทรัพยากร บริษัทระบุว่าการรองรับมัลติเทนแนนต์ยังอยู่ในระยะเริ่มต้น

ในเอกสารภาคแรกที่เผยแพร่เมื่อวันที่ 11 กันยายน OpenAI ระบุว่า Habitat ประมวลผลคำขอมากกว่า 70 ล้านครั้งต่อวินาทีและจัดการข้อมูลมากกว่า 500 เพตะไบต์ (PB) บริษัทยังระบุว่า Habitat รองรับผลิตภัณฑ์ที่มีผู้ใช้งานมากกว่า 1 พันล้านคนต่อสัปดาห์ ตัวเลขเหล่านี้แสดงขนาดของแพลตฟอร์มโดยรวม และมีขอบเขตการนับต่างจากตัวเลขเวลาแฝงของคำขออ่านข้อมูลที่รายงานครั้งนี้

ข้อมูลที่ไม่มีอยู่ในแคชยังต้องดึงจากพื้นที่จัดเก็บระยะไกล OpenAI ระบุว่ามีแผนพิจารณาวิธีวางข้อมูลให้ใกล้กับภูมิภาคที่มีการเรียกใช้จริงตั้งแต่เริ่มจัดเก็บข้อมูล