AI วิเคราะห์ภาพวิทยาศาสตร์ทำคะแนนสูงสุด 64% ค่าใช้จ่ายต่อโจทย์ต่างกัน 99 เท่า

ผลประเมิน AI สำหรับตีความภาพจากการทดลองทางชีววิทยาศาสตร์พบว่า Gemini 4 Carbon ทำคะแนนสูงสุด 64% ส่วนค่าใช้จ่ายต่อโจทย์ของแต่ละโมเดลต่างกัน 99 เท่าตามที่ผู้ประเมินระบุ

Artificial Analysis เผยแพร่ผล VIALS-AA ซึ่งประเมินโมเดล 19 รุ่นเมื่อวันที่ 6 โดย VIALS-AA เป็นการนำเกณฑ์ประเมิน VIALS ด้านภาพชีววิทยาศาสตร์ของ Handshake AI มาใช้โดยอิสระ

คำอธิบาย VIALS ของ Handshake AI ระบุว่า การประเมินต้นฉบับประกอบด้วยโจทย์ถามตอบจากภาพ 161 ข้อ แต่ละข้อมีภาพงานวิจัย คำถาม และคำตอบสั้น ๆ

โจทย์ครอบคลุมภาพเจลบล็อต แผนที่พลาสมิด ภาพจากกล้องจุลทรรศน์ กราฟโฟลว์ไซโตเมทรี ต้นไม้วิวัฒนาการ และโครงสร้างโมเลกุล โดยทดสอบความสามารถในการอ่านข้อมูลภาพและหาเหตุผลสนับสนุนคำตอบจากภาพ

VIALS เน้นภาพและข้อมูลที่ใช้จริงในงานวิจัย มากกว่าแผนภาพที่จัดทำอย่างเป็นระเบียบในบทความวิชาการหรือหนังสือเรียน โจทย์จึงต้องอาศัยทั้งการค้นหาข้อมูลจากภาพและความรู้เฉพาะทางเพื่อแปลผล

VIALS ต้นฉบับให้โมเดลดูภาพและคำถาม แล้วตอบหนึ่งครั้ง ส่วน VIALS-AA อนุญาตให้ใช้ Stirrup ซึ่งรองรับการรันโค้ดและตรวจดูภาพ ทำให้โมเดลขยายภาพหรือพิจารณารายละเอียดก่อนตอบได้

ผลของการประเมินทั้งสองแบบนำมาเปรียบเทียบกันตรง ๆ ไม่ได้ เพราะเงื่อนไขการใช้เครื่องมือและวิธีคำนวณคะแนนต่างกัน วิธีประเมินของ VIALS-AA ให้ทำโจทย์แต่ละข้อสามครั้ง และใช้สัดส่วนข้อที่ตอบถูกครบทั้งสามครั้งเป็นคะแนนหลัก

Gemini 4 Carbon ตอบโจทย์ครบทั้งสามครั้งได้ 103 ข้อจากทั้งหมด 161 ข้อ คิดเป็น 64% ส่วน GPT-6 Astra ทำได้ 63% และ Claude Opus 5.5 ทำได้ 61%

คะแนนนี้สะทัดสัดส่วนโจทย์ที่โมเดลตอบถูกซ้ำได้ภายใต้โจทย์และเครื่องมือของการประเมินดังกล่าว ไม่ได้หมายถึงอัตราความสำเร็จของงานวิจัยชีววิทยาศาสตร์โดยรวมหรือผลการทำงานจริงในห้องแล็บ

ค่าใช้จ่ายต่อโจทย์ของ GPT-6 Luna อยู่ที่ 0.02 ดอลลาร์ (ประมาณ 27 วอน) ส่วน Grok 4.7 อยู่ที่ 1.77 ดอลลาร์ (ประมาณ 2,386 วอน) Artificial Analysis ระบุว่าต้นทุนต่างกัน 99 เท่า แต่หน้าเผยแพร่แสดงตัวเลขเป็นหน่วยเซนต์ ทำให้การนำตัวเลขทั้งสองมาหารกันโดยตรงได้ผลต่างออกไป

การคำนวณต้นทุนรวมราคาของโทเคนขาเข้า การอ่านและเขียนแคช การอนุมาน และโทเคนคำตอบ โดยเฉลี่ยการใช้โทเคนจากการทดสอบสามรอบ แล้วใช้อัตราแคชฮิตตัวแทนของแต่ละโมเดล ทั้งนี้ไม่รวมค่าเรียกใช้โมเดลสำหรับให้คะแนน

GPT-6.1 Sol ทำคะแนนได้ 59% เทียบกับ 61% ของ Claude Opus 5.5 ต่างกัน 2 จุดเปอร์เซ็นต์ แต่ค่าใช้จ่ายต่อโจทย์ของ Sol อยู่ที่ประมาณหนึ่งใน 30 ของ Opus

Artificial Analysis ประเมินว่า Kimi K3.1 Pro และ GPT-6 Astra ต่างตอบโจทย์ถูกอย่างน้อยหนึ่งครั้งในราวสามในสี่ของข้อทั้งหมด อย่างไรก็ตาม เมื่อพิจารณาเฉพาะข้อที่ตอบถูกครบสามครั้ง Kimi ทำได้ 45% เทียบกับ 63% ของ GPT-6 Astra

เมื่อแยกตามหมวด Gemini 4 Carbon นำในโจทย์แผนที่พลาสมิดและการวิเคราะห์ต้นไม้วิวัฒนาการ และเป็นผู้นำร่วมกับ Gemini 4 Argon ในหมวดโฟลว์ไซโตเมทรี Claude Opus 5.5 ได้คะแนนสูงสุดในภาพบล็อต ส่วน Claude Sonnet 5.5 นำในโจทย์นับจำนวนเซลล์ GPT-6.1 Terra นำในหมวดโครงสร้างและการจับของโปรตีน ขณะที่ GPT-6 Astra กับ GPT-6.1 Sol นำร่วมกันในหมวดโครงสร้างโมเลกุล

การใช้เครื่องมือก็แตกต่างกันตามโมเดล Claude Sonnet 5.5 ทำคะแนนได้ 60% และ GPT-6.1 Sol ได้ 59% แต่ Sonnet เรียกใช้เครื่องมือต่อโจทย์มากกว่า 3.6 เท่า และมีค่าใช้จ่ายสูงกว่า Sol ราว 18 เท่า