โอเพนเอไอเพิ่มกรอบเวลาการเสร็จสิ้น 2 ชั่วโมงและ 8 ชั่วโมงในโหมดเบื้องหลังของ Responses API โดยกรอบ 8 ชั่วโมงลดค่าการใช้โทเคนของโมเดลลง 40% เมื่อเทียบกับการประมวลผลแบบ Standard
โอเพนเอไอ (OpenAI) ระบุเมื่อวันที่ 17 ในบันทึกการเปลี่ยนแปลงสำหรับนักพัฒนาว่า ฟีเจอร์นี้เปิดให้ใช้งานแบบเบตาสาธารณะ โดยมีเงื่อนไขเพิ่มเติมในเอกสารโหมดเบื้องหลัง
กรอบเวลาการเสร็จสิ้นหมายถึงระยะเวลาที่ API ตั้งเป้าประมวลผลคำตอบแรกหลังได้รับคำขอ ไม่ใช่กำหนดส่งมอบที่รับประกันระดับบริการ
ค่าเริ่มต้น ‘soonest’ มุ่งประมวลผลให้เร็วที่สุดโดยไม่มีส่วนลด ขณะที่กรอบ 2 ชั่วโมงลดค่าการใช้โทเคนของโมเดลลง 30% และกรอบ 8 ชั่วโมงลดลง 40% เมื่อเทียบกับ Standard
ส่วนลดนี้ใช้ได้กับ GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra และ GPT-6 Luna ซึ่งทั้งหมดอยู่ในเบตาสาธารณะครั้งนี้
ฟีเจอร์ดังกล่าวเหมาะกับงานที่ไม่จำเป็นต้องได้รับผลลัพธ์ทันที เช่น การตรวจเอกสารหรือการวิเคราะห์ข้ามคืน รวมถึงการทำงานของเอเจนต์หลายขั้นตอนที่สามารถแลกเวลาประมวลผลที่นานขึ้นกับต้นทุนโทเคนที่ต่ำลง
การใช้กรอบ 2 ชั่วโมงหรือ 8 ชั่วโมงต้องเปิดการประมวลผลเบื้องหลังและเลือกการประมวลผลแบบ Standard โดยไม่รองรับเอาต์พุตแบบสตรีมมิง นักพัฒนาจึงต้องตรวจสอบสถานะผ่านเว็บฮุกหรือการเรียกดูด้วยรหัสการตอบกลับ
คำขอต่อเนื่องสามารถใช้ continuation_id เดิมได้ โอเพนเอไอระบุว่า หากใช้กรอบเวลา continuation_id โมเดล และโปรเจกต์เดิมต่อเนื่องกัน คำขอที่เกี่ยวข้องอาจได้รับลำดับความสำคัญในคิวสูงขึ้น และส่วนลดจะครอบคลุมคำขอต่อเนื่องที่เข้าเกณฑ์ด้วย
GPT-6.2 Astra และ GPT-6.2 Sol ไม่มีวิธีประมวลผลแบบ Flex แล้ว นักพัฒนาที่ต้องการลดต้นทุนงานระยะยาวจึงต้องใช้กรอบเบื้องหลัง 2 ชั่วโมงหรือ 8 ชั่วโมงแทน Flex
คำขอกรอบ 2 ชั่วโมงและ 8 ชั่วโมงใช้ขีดจำกัดอัตราร่วมกับงาน Batch API และขีดจำกัดเฉพาะ Batch/Background โดยโทเคนอินพุตจะถูกนับเข้าสู่ขีดจำกัดตั้งแต่ส่งคำขอ ส่วน ‘soonest’ ใช้ขีดจำกัดคำขอและโทเคนทั่วไป
งานขนาดใหญ่ที่ส่งพร้อมกันจำนวนมากจึงต้องบริหารขีดจำกัดแยกจากคำขอทั่วไป และควรตรวจสอบทั้งปริมาณการส่งพร้อมกันกับขีดจำกัดที่เหลืออยู่
แม้ปิดตัวเลือกการจัดเก็บข้อมูลหรือใช้ Zero Data Retention โหมดเบื้องหลังก็อาจจัดเก็บข้อมูลการตอบกลับไว้ชั่วคราวเพื่อส่งผลลัพธ์ โดยเอกสารระบุว่าเนื้อหาคำขอที่จัดเก็บจะถูกเข้ารหัส
กรอบเวลาการเสร็จสิ้นนี้มีให้เฉพาะโหมดเบื้องหลังของ Responses API และไม่ใช่ส่วนลดสำหรับคำขอทั่วไปของ Chat Completions แอปพลิเคชันที่ต้องการคำตอบแบบเรียลไทม์สามารถใช้ ‘soonest’ ขณะที่งานวิเคราะห์เอกสารข้ามคืนอาจเลือกกรอบ 2 ชั่วโมงหรือ 8 ชั่วโมง
TokenPost เคยรายงานการลดราคาค่าอินพุต API ของ GPT-6 Luna ก่อนหน้านี้ การเปลี่ยนแปลงครั้งนี้แตกต่างตรงที่ส่วนลดไม่ได้กำหนดจากราคาคงที่ของแต่ละโมเดล แต่แบ่งตามเวลารอการประมวลผล
นักพัฒนาที่ใช้เบตาสาธารณะควรตรวจสอบกรอบเวลาการเสร็จสิ้น การเลือก Standard ข้อจำกัดสตรีมมิง และขีดจำกัดอัตราที่ใช้ร่วมกัน โดยตัวเลือกดังกล่าวเปิดให้ปรับสมดุลระหว่างความเร็วตอบกลับกับต้นทุนตั้งแต่ขั้นตอนส่งคำขอ API
Comment 0