Perplexity สร้างฐานข้อมูล CobbleDB สำหรับบริการค้นหา AI โดยลดค่ามัธยฐานเวลาแฝงของการอ่านแบบแบตช์จาก 31.4 มิลลิวินาทีเหลือ 5.60 มิลลิวินาที หรือลดลงประมาณ 82% ตามการเปรียบเทียบก่อนและหลังที่บริษัทเปิดเผย
Perplexity ระบุในบทความทางเทคนิคอย่างเป็นทางการเมื่อวันที่ 14 กันยายนว่า การเปลี่ยนโครงสร้างเดิมที่ใช้ Amazon DynamoDB มาเป็น CobbleDB ทำให้ได้ตัวเลขดังกล่าว โดย CobbleDB ออกแบบมาสำหรับงานอ่านข้อมูลเป็นหลักของการค้นหา AI
เวลาแฝงในกลุ่มคำขอที่ช้าก็ลดลงเช่นกัน โดยเวลาแฝงเปอร์เซ็นไทล์ที่ 90 ลดจาก 56.7 มิลลิวินาทีเหลือ 9.77 มิลลิวินาที ขณะที่เปอร์เซ็นไทล์ที่ 99 ลดจาก 123 มิลลิวินาทีเหลือ 24.2 มิลลิวินาที
ค่ามัธยฐานคือค่าที่อยู่ตรงกลางเมื่อเรียงคำขอทั้งหมดตามเวลาแฝง ส่วนเปอร์เซ็นไทล์ที่ 90 และ 99 ใช้แสดงช่วงคำขอที่ตอบสนองช้ากว่า จึงช่วยอธิบายการเปลี่ยนแปลงด้านประสิทธิภาพที่ค่าเฉลี่ยเพียงอย่างเดียวอาจสะท้อนไม่ได้
CobbleDB แบ่งการทำงานออกเป็น 3 ชั้น ได้แก่ ‘Pillar’ สำหรับความคงอยู่และการอัปเดตเอกสาร ‘Lorry’ สำหรับการป้อนข้อมูลแบบแบตช์ และ CobbleDB สำหรับการอ่านข้อมูลที่มีเวลาแฝงต่ำในช่วงประมวลผลคำค้น
การจัดเก็บข้อมูลจริงใช้ RocksDB โดย Perplexity ระบุว่าได้ปรับการแบ่งพาร์ทิชันและการตั้งค่าแคชเพื่อเพิ่มประสิทธิภาพการอ่าน
โครงสร้างนี้ไม่ได้มุ่งเป็นระบบฐานข้อมูลอเนกประสงค์ที่ทดแทนงานทั้งหมด แต่เน้นการคืนผลการค้นหาอย่างรวดเร็ว โดยไม่รองรับความสอดคล้องของข้อมูลแบบเข้มงวดและธุรกรรมที่ซับซ้อน
ความสอดคล้องแบบเข้มงวดหมายถึงการรับประกันว่าสำเนาข้อมูลหลายชุดมีค่าเดียวกันในเวลาเดียวกัน สำหรับงานอย่างผลการค้นหาที่ให้ความสำคัญกับความเร็วในการตอบกลับมากกว่าการทำให้ข้อมูลล่าสุดตรงกันทันที การปรับขอบเขตความสอดคล้องเพื่อให้การอ่านทำได้เร็วขึ้นจึงเป็นแนวทางหนึ่ง
Perplexity ระบุในบทความทางเทคนิคอย่างเป็นทางการเมื่อวันที่ 14 กันยายนว่า CobbleDB อาจลดต้นทุนชั้นจัดเก็บข้อมูลได้มากกว่า 20% เมื่อเทียบกับ DynamoDB หากใช้งานในระดับขนาดใหญ่ อย่างไรก็ตาม ตัวเลขดังกล่าวเป็นการประเมินภายในของบริษัท และยังไม่มีการเปิดเผยจำนวนเงินที่ลดได้จริงหรือเงื่อนไขการใช้งาน
แนวคิดลดต้นทุนมาจากการหลีกเลี่ยงโครงสร้างคิดค่าบริการตามไบต์ของ DynamoDB และการปรับชั้นจัดเก็บกับชั้นอ่านให้เหมาะกับงานค้นหา AI โดยต้นทุนจริงอาจแตกต่างกันตามจำนวนคำขอ ปริมาณข้อมูลที่จัดเก็บ และสภาพแวดล้อมการปฏิบัติงาน
ระยะเวลาพัฒนาถูกลดเหลือประมาณ 2 เดือนด้วยการใช้เอเจนต์เขียนโค้ด AI ภายใน Perplexity ระบุว่าจะพิจารณาเปิดซอร์ส CobbleDB หลังเสร็จสิ้นการทดสอบการใช้งานในระดับรองรับคำขอหลายแสนรายการต่อวินาที
Perplexity ยังไม่ได้กำหนดช่วงเวลาเปิดซอร์สหรือยืนยันว่าการทดสอบการใช้งานขนาดใหญ่เสร็จสิ้นแล้วหรือไม่ ดังนั้น ตัวเลขประสิทธิภาพที่เปิดเผยในขณะนี้ควรพิจารณาเป็นการเปรียบเทียบก่อนและหลังในสภาพแวดล้อมของบริษัท
กรณีนี้สอดคล้องกับกรณีก่อนหน้าที่ Perplexity Search API ได้คะแนน 80 คะแนนและขึ้นอันดับ 1 ในดัชนี API การค้นหาปัญญาประดิษฐ์ ซึ่งสะท้อนว่าบริษัทกำลังปรับแต่งโครงสร้างพื้นฐานทั้งชั้นสร้างผลการค้นหาและชั้นจัดเก็บกับเรียกคืนผลลัพธ์ อย่างไรก็ตาม เงื่อนไขการประเมินและวิธีวัดของตัวเลขทั้งสองแตกต่างกัน จึงไม่ควรนำมารวมเป็นตัวชี้วัดเดียว
ประเด็นสำคัญจากกรณีนี้คือ เส้นทางจัดเก็บและเรียกคืนข้อมูลของบริการค้นหาอาจส่งผลต่อความเร็วในการตอบกลับแยกจากประสิทธิภาพของโมเดล การวัดทั้งการอ่านแบบแบตช์และช่วงคำขอที่ช้ายังสะท้อนลักษณะการปฏิบัติงานของบริการที่เน้นการอ่านข้อมูล
Perplexity มีแผนตรวจสอบการทำงานของ CobbleDB ในระดับรองรับคำขอหลายแสนรายการต่อวินาที ก่อนพิจารณาเปิดซอร์ส ขณะที่ขอบเขตการลดต้นทุนจริงและการทำซ้ำประสิทธิภาพในสภาพแวดล้อมภายนอกยังเป็นประเด็นที่ต้องติดตาม
ความคิดเห็น 0