Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6 Astra ทำคะแนนนำตัวเลือกที่ดีที่สุด 13.6 จุดเปอร์เซ็นต์ในการทดสอบอ้างอิงแหล่งข้อมูลของ Hebbia

ภาพสร้างด้วย AI: มือกำลังตรวจสอบช่วงข้อความอ้างอิงในรายงานวิจัยการเงิน / TokenPost.ai (macro)

GPT-6 Astra ทำคะแนนนำตัวเลือกที่ดีที่สุด 13.6 จุดเปอร์เซ็นต์ในการประเมินการอ้างอิงประเภทแหล่งข้อมูลที่กำหนด ในการทดสอบวิจัยการเงินของเฮบบียา (Hebbia)

โอเพนเอไอ (OpenAI) เผยผลการทดสอบของเฮบบียาในกรณีศึกษาลูกค้าที่เผยแพร่เมื่อวันที่ 20 โดยการทดสอบใช้ GPT-6 Astra รุ่นก่อนเปิดให้ใช้งานทั่วไป

ผู้ประเมินเห็นว่า 99.5% ของข้อความที่ยกมาอ้างอิงเกี่ยวข้องกับคำถาม สัดส่วนนี้วัดความเกี่ยวข้องระหว่างข้อความอ้างอิงกับคำถาม ไม่ได้บอกความแม่นยำหรือความเป็นข้อเท็จจริงของคำตอบทั้งหมด

ในการประเมินการนำเสนอ GPT-6 Astra ทำตามข้อกำหนดที่ใช้ได้ 97.9% สูงกว่าตัวเลือกที่ดีที่สุด 14.4 จุดเปอร์เซ็นต์

Matrix ของเฮบบียาเป็นแพลตฟอร์มที่สร้างคำตอบจากเอกสารการเงินและข้อมูลภายใน พร้อมให้ผู้ใช้ตรวจสอบเอกสารต้นทางและช่วงข้อความที่นำมาอ้างอิง GPT-6 Astra ใช้เอกสารหรือเซลล์วิเคราะห์ใน Matrix เป็นหลักฐานประกอบคำตอบ และสร้างสไลด์ PowerPoint ตามโครงสร้างและแนวทางที่กำหนด

เฮบบียาใช้กรณีศึกษาวิจัยการเงินและเกณฑ์ให้คะแนนเดียวกันกับแต่ละโมเดล การทดสอบใช้รุ่นก่อนเปิดให้ใช้งานทั่วไปในช่วงเดือนสิงหาคมถึงกันยายน โดยผู้เชี่ยวชาญในสาขาเป็นผู้จัดทำหรือทบทวนเกณฑ์ให้คะแนนจากเอกสารต้นฉบับ

กวิตา อานันด์ (Kavita Anand) ผู้รับผิดชอบด้านเทคนิคฝ่ายผลิตภัณฑ์ของเฮบบียา กล่าวว่า “การตรวจสอบย้อนกลับมีความสำคัญอย่างยิ่งต่อผู้ใช้” คำกล่าวนี้หมายถึงผู้ใช้ควรตรวจสอบเอกสารและช่วงข้อความที่เป็นหลักฐานของคำตอบได้

กรณีศึกษาที่เผยแพร่ไม่ได้ระบุจำนวนตัวอย่าง รายชื่อโมเดลเปรียบเทียบทั้งหมด หรือการกระจายของคะแนน ส่วนงานตรวจสอบการเข้าซื้อกิจการที่ต้องทบทวนไฟล์ประมาณ 2,000 ไฟล์ในกรณีศึกษานั้นเป็นสถานการณ์สมมติ

การทดสอบของเฮบบียาประเมินความสามารถในการค้นหาแหล่งข้อมูลในเอกสารการเงินและการทำตามเกณฑ์การสร้างงานนำเสนอ ไม่ได้วัดผลตอบแทนจากการลงทุนจริง

เฮบบียาประกาศขยายความร่วมมือกับ Ropes & Gray ในเดือนสิงหาคม 2025 โดยจะใช้ Matrix กับงานตรวจสอบเอกสารและวิเคราะห์ข้อมูลของทีมไพรเวตอิควิตีและธุรกรรม ก่อนหน้านี้ TokenPost รายงานแผนการใช้แพลตฟอร์มกับงานเอกสารดังกล่าว

ผลการประเมิน AI ด้านการเงินอีกชุดหนึ่งแตกต่างกันไปตามงาน ในการทดสอบเดือนกันยายนของ Model ML GPT-6 Astra ได้คะแนนสูงสุด 4 จาก 5 หมวด แต่ในหมวดงานการเงิน Gemini 3.8 Flash ทำได้ 3.97 คะแนน และมีต้นทุนต่อภารกิจต่ำกว่า 72%

การทดสอบของ Model ML และเฮบบียาใช้โจทย์และเกณฑ์ให้คะแนนต่างกัน จึงไม่ควรนำคะแนนจากทั้งสองการทดสอบมาเปรียบเทียบกันโดยตรง

TrueStandard ระบุว่า จากการทดสอบข้อกล่าวอ้าง 30 รายการจำนวนสามรอบเมื่อวันที่ 7 กันยายน สัดส่วน DOI ที่ GPT-6 Astra เสนอแต่ไม่มีการลงทะเบียนอยู่ที่ 3.0%

การทดสอบนี้วัดว่า DOI มีการลงทะเบียนหรือไม่ ซึ่งเป็นคนละตัวชี้วัดกับความเกี่ยวข้องของข้อความอ้างอิงต่อคำถาม

ผลการทดสอบของเฮบบียาเป็นของ GPT-6 Astra รุ่นก่อนเปิดให้ใช้งานทั่วไป ส่วนโอเพนเอไอระบุในบันทึกการเปิดตัวโมเดลเมื่อวันที่ 17 พฤศจิกายนว่าได้เปิดตัว GPT-6.2 Astra และ GPT-6.2 Sol บน API แล้ว

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1