MKA เก็บโจทย์ 200 ข้อเป็นความลับ ให้คะแนนความถูกต้อง 75% ดีไซน์ 25%

เปิดตัว MKA เบนช์มาร์กประเมิน AI agent ที่อ่านสื่อภาพแล้วจัดทำเอกสารสำหรับงานจริง โดยมีโจทย์ 200 ข้อใน 10 สาขา คะแนน 75% มาจากความถูกต้องของข้อเท็จจริง และอีก 25% มาจากการออกแบบภาพ

กูเกิล ดีปมายด์ (Google DeepMind) ประกาศอย่างเป็นทางการเมื่อวันที่ 10 ว่าพัฒนา Multimodal Knowledge Agent (MKA) ร่วมกับ Artificial Analysis ทั้งสององค์กรใช้เบนช์มาร์กนี้ประเมินความสามารถในการตีความสื่อภาพหลายประเภท เช่น แบบแปลนและวิดีโอ แล้วสร้างผลงานสำหรับงานเฉพาะทาง

โจทย์ประเมินครอบคลุม 83 อาชีพใน 10 อุตสาหกรรม แต่ละข้อจำลองงานหลายขั้นตอนที่ผู้เชี่ยวชาญอาจใช้เวลาทำ 3–8 ชั่วโมง

ตัวอย่างงาน ได้แก่ การเทียบแบบแปลนสถาปัตยกรรมกับภาพตัดเพื่อค้นหาจุดไม่ตรงกัน แล้วสรุปเป็นสไลด์นำเสนอ AI agent ยังต้องรับไฟล์ที่มีข้อมูลภาพจำนวนมาก เช่น แผนผังวงจรวิศวกรรมและภาพทางคลินิก ก่อนส่งผลงานเป็นรายงาน สเปรดชีต หรือสไลด์

MKA ไม่ได้ประเมินเพียงการตอบคำถามหรือสรุปข้อความ แต่ดูความสามารถในการอ่านไฟล์หลายรายการและจัดทำผลงานให้เสร็จด้วย เกณฑ์ให้คะแนนแต่ละโจทย์มีรายการตรวจสอบราว 70 ข้อ ส่วนเกณฑ์ประเมินทั้งหมดมี 14,284 ข้อ

การให้คะแนนพิจารณาทั้งความถูกต้องของข้อเท็จจริงและการออกแบบภาพ ระบบตรวจคะแนนอัตโนมัติจะเปิดไฟล์ที่ส่งเข้ามาเพื่อตรวจองค์ประกอบของหน้าและสูตรคำนวณในสเปรดชีต

รายงานทางเทคนิคระบุว่า ผลประเมินจากระบบอัตโนมัติตรงกับความเห็นผู้เชี่ยวชาญ 96.2% ตัวเลขนี้ไม่ใช่อัตราการตอบถูกของโมเดล แต่เป็นผลเปรียบเทียบการให้คะแนนจากทั้งสองฝ่ายใน 50 โจทย์ โดยเน้นเกณฑ์ที่มีน้ำหนักคะแนนสูง

Artificial Analysis ดำเนินการประเมินใน Stirrup ซึ่งเป็นสภาพแวดล้อมรันงานแบบโอเพนซอร์ส แต่ละโมเดลใช้ได้สูงสุด 250 เทิร์นและ 8 ชั่วโมงต่อโจทย์ โดยรันแต่ละโจทย์เพียงครั้งเดียว

การรันเพียงครั้งเดียวทำให้การประเมินนี้ไม่ได้สะท้อนว่าผลลัพธ์จะแตกต่างกันเพียงใดเมื่อทดลองซ้ำ ขณะที่โจทย์ที่ไม่เปิดเผยและจำนวนครั้งรันที่จำกัดก็ทำให้คนนอกจำลองอันดับทั้งหมดได้ยาก

ตามเกณฑ์ Climb-WSR ในรายงานทางเทคนิคของ Google DeepMind Claude Fable 5.2 ทำได้ 56.56% ส่วน Gemini 4 Carbon ทำได้ 54.34% และอยู่อันดับ 2 อย่างไรก็ตาม รายงานระบุว่าคะแนนของโมเดล 3 อันดับแรกไม่มีความแตกต่างอย่างมีนัยสำคัญทางสถิติ

Climb-WSR คำนวณความพึงพอใจแบบถ่วงน้ำหนักรายโจทย์จากเกณฑ์ที่โมเดลผ่านได้ไม่ง่ายนัก คะแนนนี้จึงไม่ได้หมายถึงสัดส่วนโจทย์ที่ทำเสร็จทั้งหมด หรืออัตราความสำเร็จในการทำงานทุกประเภท

ค่าใช้จ่าย API ต่อโจทย์ของ Gemini 4 Carbon ที่ประเมินไว้ต่ำกว่าของ Claude Fable 5.2 อยู่ 6.26 เท่า การเปรียบเทียบนี้ใช้ราคามาตรฐานของผู้ให้บริการ ณ เวลาที่จัดทำรายงาน นับเฉพาะค่าเรียกใช้โมเดลที่ประเมิน และไม่รวมค่าใช้จ่ายในการให้คะแนน

Google DeepMind เป็นทั้งผู้ร่วมพัฒนาเบนช์มาร์กและนำ Gemini 4 Carbon ซึ่งเป็นโมเดลของตนเข้ารับการประเมินด้วย ส่วน Artificial Analysis ระบุว่าเป็นผู้ดำเนินการประเมินอย่างเป็นอิสระ

ก่อนหน้านี้ Gemini 4 Carbon ได้ 59 คะแนนและเป็นอันดับ 1 ในตัวชี้วัดประสิทธิภาพ AI อีกชุดหนึ่ง แต่ผลดังกล่าวมาจากการประเมินคนละแบบกับ MKA จึงไม่สามารถนำคะแนนมาเทียบกันโดยตรง

โจทย์ทั้ง 200 ข้อเก็บเป็นความลับเพื่อลดโอกาสที่คำตอบประเมินจะรั่วไหลเข้าไปในข้อมูลฝึกสอน ขณะที่ตัวอย่างโจทย์ซึ่งแสดงรูปแบบงานมีการเปิดเผย 10 ข้อ