อีลาสติกเปิดตัวฐานข้อมูลเวกเตอร์แบบเซิร์ฟเวอร์เลส รองรับการค้นหาหลายแสนล้านเวกเตอร์

อีลาสติก($ESTC) เปิดตัวฐานข้อมูลเวกเตอร์แบบเซิร์ฟเวอร์เลสที่รองรับตั้งแต่การสร้างเอกสารเอ็มเบดดิงไปจนถึงการจัดเก็บและค้นหาเวกเตอร์บนแพลตฟอร์มเดียว โดยมุ่งเป้าการค้นหาเวกเตอร์ขนาดหลายแสนล้านรายการ ระบบค้นคืนข้อมูลเสริมการสร้างคำตอบ (RAG) และแอปพลิเคชันเอเจนต์ปัญญาประดิษฐ์ (AI)

อีลาสติกเปิดตัว ‘Elasticsearch Vector Database’ เมื่อวันที่ 11 ผลิตภัณฑ์ดังกล่าวพร้อมใช้งานทันทีบนอีลาสติกคลาวด์เซิร์ฟเวอร์เลส โดย ประกาศอย่างเป็นทางการของอีลาสติกระบุว่า ผู้ใช้เพียงป้อนเอกสารและคำค้น ระบบจะช่วยสร้างเอ็มเบดดิง ปรับแต่งดัชนี และจัดการโครงสร้างพื้นฐานที่เกี่ยวข้อง

ฐานข้อมูลเวกเตอร์เป็นระบบที่จัดเก็บเวกเตอร์ซึ่งแปลงความหมายของประโยคหรือภาพให้อยู่ในรูปตัวเลข จากนั้นค้นหาข้อมูลที่มีความหมายใกล้เคียงกับคำถาม ส่วน RAG เป็นวิธีที่โมเดลภาษาขนาดใหญ่ (LLM) ค้นหาเอกสารที่เกี่ยวข้องมาอ้างอิงก่อนสร้างคำตอบ ทำให้ฐานข้อมูลเวกเตอร์ทำหน้าที่เป็นแหล่งจัดเก็บข้อมูลสำคัญ

ผลิตภัณฑ์นี้รองรับการแบ่งเอกสาร การสร้างเอ็มเบดดิง การตั้งค่าดัชนี และการจัดเรียงผลการค้นหาใหม่ด้วยค่าเริ่มต้น ผู้ใช้สามารถค้นหาเวกเตอร์ข้อความ ภาพ และมัลติโมดัลจากดัชนีเดียว รวมถึงรองรับการค้นหาแบบไฮบริดที่ผสานการค้นหาด้วยคีย์เวิร์ดกับการค้นหาเวกเตอร์

นอกจากโมเดลของอีลาสติกแล้ว ผู้ใช้ยังสามารถใช้โมเดลเอ็มเบดดิงและการจัดอันดับใหม่ของ Jina AI ในสภาพแวดล้อม GPU แบบมีการจัดการได้ ระบบออกแบบมาเพื่อให้นักพัฒนาสร้างฟังก์ชันค้นหาได้โดยไม่ต้องสร้างเซิร์ฟเวอร์โมเดลและกระบวนการสร้างเอ็มเบดดิงแยกต่างหาก

เทคโนโลยีหลักที่ช่วยลดภาระหน่วยความจำคือ ‘Better Binary Quantization (BBQ)’ ของอีลาสติก โดย เอกสารทางเทคนิคของอีลาสติกระบุว่า BBQ บีบอัดเวกเตอร์ในระดับบิต และอาจลดการใช้หน่วยความจำได้สูงสุด 32 เท่า

BBQ เป็นการบีบอัดแบบสูญเสียข้อมูล จึงอาจทำให้ความแม่นยำในการค้นหาลดลง ผลิตภัณฑ์จึงใช้การค้นหาเกินขอบเขตและการจัดอันดับใหม่เพื่อช่วยชดเชยการลดลงของความแม่นยำ

สำหรับข้อมูลขนาดใหญ่ ผู้ใช้สามารถเลือกใช้ ‘DiskBBQ’ ซึ่งจัดเก็บเวกเตอร์โดยเน้นดิสก์มากกว่าหน่วยความจำเพื่อลดความต้องการ RAM อย่างไรก็ตาม วิธีนี้อาจทำให้ความเร็วในการค้นหาลดลง ผู้ใช้จึงต้องเลือก BBQ-HNSW, BBQ-Flat หรือ BBQ-Disk ตามขนาดข้อมูลและระดับความแม่นยำกับความเร็วที่ต้องการ

ค่าบริการคำนวณจากข้อมูลที่จัดเก็บและความจุในการค้นหา ไม่ได้คำนวณจากปริมาณทรัพยากรคอมพิวเตอร์ที่ใช้ โดยอีลาสติกระบุว่าจะไม่เรียกเก็บค่าบริการเพิ่มเติมสำหรับงานเบื้องหลัง

อีลาสติกยังไม่เปิดเผยระดับราคาจริงและภาระค่าใช้จ่ายสำหรับผู้ใช้งานในประเทศ ดังนั้น ผลของการลดการใช้หน่วยความจำต่อการลดต้นทุนการดำเนินงานจริงยังต้องตรวจสอบแยกตามขนาดข้อมูลและความถี่ในการค้นหา

อเจย์ แนร์(Ajay Nair) ผู้บริหารฝ่าย Elasticsearch และแพลตฟอร์มของอีลาสติก กล่าวว่า “นักพัฒนาแอปพลิเคชัน AI ไม่จำเป็นต้องกลายเป็นวิศวกรโครงสร้างพื้นฐานเพื่อสร้างการค้นหาเวกเตอร์” คำกล่าวนี้สะทิศทางของผลิตภัณฑ์ที่ต้องการรวมโครงสร้างพื้นฐานการค้นหา ซึ่งเดิมแยกอยู่ในฐานข้อมูลและเซิร์ฟเวอร์โมเดลต่างหาก ให้ทำงานบนแพลตฟอร์มอีลาสติก

ตลาดการค้นหาเวกเตอร์ยังมีการใช้งานรูปแบบที่แยกชั้นจัดเก็บและค้นหา โมเดลเอ็มเบดดิง และโมเดลจัดอันดับใหม่ออกจากกัน อีลาสติกมุ่งรวมกระบวนการเหล่านี้ไว้ในสภาพแวดล้อมแบบมีการจัดการเดียว เพื่อลดขั้นตอนการตั้งค่าและการดำเนินงานในช่วงเริ่มต้น

แนวโน้มการเชื่อมต่อฐานข้อมูลสำหรับองค์กรกับบริการ AI บนสภาพแวดล้อมคลาวด์เดียวกันพบได้จาก กรณีการขยายบริการฐานข้อมูล AI ของออราเคิลก่อนหน้านี้ อย่างไรก็ตาม ผลิตภัณฑ์ล่าสุดของอีลาสติกให้น้ำหนักกับการทำให้การสร้างและดำเนินงานระบบค้นหาเวกเตอร์ง่ายขึ้น มากกว่าการเชื่อมต่อกับฐานข้อมูลคลาวด์เฉพาะราย

อีลาสติกยังไม่เปิดเผยการเปลี่ยนแปลงส่วนแบ่งตลาดหรือผลการนำไปใช้งานของลูกค้าหลังเปิดตัวผลิตภัณฑ์ ความแตกต่างด้านความแม่นยำและความเร็วจากการบีบอัด BBQ รวมถึงต้นทุนในการใช้งานเวกเตอร์หลายแสนล้านรายการจริง ยังต้องตรวจสอบตามสภาพแวดล้อมของแต่ละองค์กร

อีลาสติกเปิดให้ใช้งานผลิตภัณฑ์นี้แล้วบนอีลาสติกคลาวด์เซิร์ฟเวอร์เลส ประเด็นสำคัญต่อจากนี้คือการสร้างสมดุลระหว่างการลดการใช้หน่วยความจำ คุณภาพการค้นหา และความเร็วในการประมวลผลในสภาพแวดล้อมการค้นหาขนาดใหญ่