โอเพนเราเตอร์เปิดตัว Batch API ลดราคาโทเคนโมเดลส่วนใหญ่เหลือราวครึ่งหนึ่ง

โอเพนเราเตอร์(OpenRouter) เปิดตัว Batch API สำหรับรวมงานปัญญาประดิษฐ์ที่ไม่จำเป็นต้องได้รับผลลัพธ์แบบเรียลไทม์ โดยลดราคาค่าโทเคนอินพุตและเอาต์พุตของโมเดลส่วนใหญ่เหลือราวครึ่งหนึ่ง และจะส่งผลลัพธ์ภายในไม่เกิน 24 ชั่วโมง

โอเพนเราเตอร์ระบุในบล็อกอย่างเป็นทางการเมื่อวันที่ 22 ว่าได้เปิดให้ใช้งาน Batch API ปัจจุบันรองรับโมเดลมากกว่า 70 โมเดล ผู้ใช้สามารถส่งคำขอหลายรายการพร้อมกันและรับผลลัพธ์เมื่อการประมวลผลเสร็จสิ้น

ส่วนลดจะใช้กับราคาโทเคนอินพุตและเอาต์พุตของแต่ละโมเดล โดยบางโมเดลอาจมีราคาต่ำกว่าครึ่งหนึ่ง ดังนั้นค่าใช้จ่ายสุดท้ายจะแตกต่างกันไปตามโมเดลและประเภทคำขอ

Batch API ออกแบบมาสำหรับการประมวลผลจำนวนมากที่สามารถรอผลลัพธ์ได้ยืดหยุ่นกว่าคำขอแบบโต้ตอบทันที ตัวอย่างงาน ได้แก่ การจัดหมวดหมู่เอกสาร การสร้างเอมเบดดิง การให้คะแนนชุดข้อมูลประเมินผล และการสรุปคำถามจากลูกค้า

ประเภทคำขอที่รองรับ ได้แก่ Chat Completions, Responses API, Messages และคำขอเอมเบดดิงผ่าน API ผู้ใช้สามารถส่งงานหลายรายการเป็นชุดเดียว แทนการเรียกใช้งานแต่ละรายการซ้ำแยกกัน

แม้กำหนดเวลาประมวลผลสูงสุดไว้ที่ 24 ชั่วโมง แต่โอเพนเราเตอร์อธิบายว่าเวลาจริงมักสั้นกว่านั้น ในช่วงเบต้า 2 สัปดาห์ มีงานแบบแบตช์ที่เสร็จสิ้นมากกว่า 230,000 งาน และมีเวลาประมวลผลค่ามัธยฐาน 7 นาที

งานทั้งหมด 90% เสร็จภายใน 1 ชั่วโมง อย่างไรก็ตาม ความเร็วในการประมวลผลแตกต่างกันไปตามเวลาที่ส่งคำขอและขนาดของงาน

การวิเคราะห์ที่โอเพนเราเตอร์เผยแพร่ระบุว่า แบตช์ที่มีคำขอ 1 รายการมักเสร็จภายใน 5-11 นาที ส่วนแบตช์ที่มีคำขอมากกว่า 1,000 รายการใช้เวลา 12-21 นาที ขณะที่งานบางรายการอาจใช้เวลาหลายชั่วโมง ขึ้นอยู่กับช่วงเวลาที่ส่ง

ประโยชน์ด้านการลดต้นทุนจะเห็นได้ชัดที่สุดในงานที่สามารถรอผลลัพธ์ได้ ส่วนบริการที่ต้องตอบสนองแบบเรียลไทม์หรือฟังก์ชันโต้ตอบทันที ยังคงต้องใช้รูปแบบการประมวลผลเดิม

การเรียกใช้เว็บค้นหาไม่รวมอยู่ในส่วนลดของ Batch API ส่วนการป้อนรูปภาพและไฟล์ ผู้ใช้ต้องใช้ URL สาธารณะตามคำแนะนำของโอเพนเราเตอร์

โอเพนเราเตอร์จะให้ผู้ให้บริการรายเดียวเป็นผู้ประมวลผลแต่ละแบตช์ ผู้ใช้สามารถกำหนดเส้นทางคำขอตามโมเดล การตั้งค่าผู้ให้บริการ และนโยบายข้อมูล

ข้อมูลโมเดล ผู้ให้บริการ สถานะ และค่าใช้จ่ายของแต่ละแบตช์สามารถตรวจสอบได้จากบันทึกการใช้งาน ช่วยให้ผู้ใช้ติดตามความคืบหน้าและค่าใช้จ่ายของแต่ละงานแยกกัน

ผลลัพธ์การประมวลผลและข้อมูลอินพุตจะถูกจัดเก็บไว้เป็นเวลา 30 วันโดยค่าเริ่มต้น ผู้ที่ส่งงานจำนวนมากจึงควรตรวจสอบทั้งค่าใช้จ่ายและนโยบายการเก็บรักษาข้อมูล

Batch API เป็นฟังก์ชันที่ช่วยให้ผู้ใช้เข้าถึงโมเดลปัญญาประดิษฐ์หลายแบบผ่านอินเทอร์เฟซเดียว พร้อมปรับต้นทุนและเวลาในการประมวลผลงานจำนวนมาก ก่อนหน้านี้การเปลี่ยนแปลงปริมาณการใช้โทเคนและราคาเฉลี่ยของโอเพนเราเตอร์ได้รับความสนใจ โดยฟังก์ชันใหม่นี้มุ่งลดต้นทุนต่อหน่วยของงานแบบอะซิงโครนัสที่มีการใช้งานสูง

อย่างไรก็ตาม ส่วนลดที่ใช้กับ ‘โมเดลส่วนใหญ่’ และยอดชำระจริงจะแตกต่างกันไปตามราคาของแต่ละโมเดลและประเภทคำขอ ผู้ใช้ควรตรวจสอบราคาแยกตามโมเดลและเงื่อนไขการประมวลผลข้อมูลก่อนส่งงานแบบแบตช์