100 โจทย์ BioBasicsBench วัด GPT-6 Astra ได้คะแนนเฉลี่ย 66.7%

โอเพนเอไอ (OpenAI) เปิดตัว BioBasicsBench เมื่อวันที่ 6 ซึ่งเป็นเบนช์มาร์ก 100 โจทย์สำหรับประเมินความสามารถของ AI agent ในการอ่านและตีความข้อมูลดิบจากการทดลองในห้องปฏิบัติการ โดยทดสอบการอ่านภาพการทดลองและผลจากเครื่องมือ รวมถึงการระบุข้อผิดพลาดและข้อสรุปที่มีหลักฐานไม่เพียงพอ

โอเพนเอไอระบุในประกาศอย่างเป็นทางการว่า GPT-6 Astra ได้คะแนนเฉลี่ย 66.7% ในการประเมินด้วยการตั้งค่าการให้เหตุผลระดับสูงสุด xhigh ส่วน GPT-5.6 Sol ได้ 43.8%

ตัวเลขทั้งสองเป็นค่าเฉลี่ยของคะแนนที่ได้จากเกณฑ์การให้คะแนนแยกตามโจทย์ จึงไม่ได้หมายความว่า GPT-6 Astra ทำโจทย์ถูก 66.7 ข้อจากทั้งหมด 100 ข้อ และไม่ใช่อัตราความถูกต้องหรืออัตราความสำเร็จ

เบนช์มาร์กนี้ประเมินความสามารถในการอ่านข้อมูลการทดลองและใช้วิจารณญาณ ไม่ได้วัดผลงานวิจัยจริงหรืออัตราความสำเร็จในการทำให้การทดลองเป็นระบบอัตโนมัติ

โอเพนเอไอพัฒนา BioBasicsBench ร่วมกับ Ligo บริษัทชีวเทคโนโลยีที่มุ่งเน้นการออกแบบเอนไซม์ โดยตั้งเป้าประเมินการตีความข้อมูลดิบ การระบุข้อผิดพลาดในการทดลอง และการสังเกตว่าเมื่อใดข้อมูลยังไม่เพียงพอที่จะสนับสนุนข้อสรุป

โจทย์ทั้ง 100 ข้อครอบคลุม 5 สาขา ได้แก่ △การทดลองโปรตีน △การถ่ายภาพและการวิเคราะห์โฟลว์ไซโตเมทรี △การวัดเชิงปริมาณและวิธีวิเคราะห์ △การทดลองกรดนิวคลีอิก และ △การโคลนระดับโมเลกุล แต่ละโจทย์แสดงข้อมูลการทดลองพร้อมคำถามเพื่อประเมินความสามารถในการวิเคราะห์ของโมเดล

ข้อมูลนำเข้าประกอบด้วยภาพเจลและเวสเทิร์นบลอต ภาพจานเพาะเลี้ยงโคโลนี ภาพจากกล้องจุลทรรศน์ ข้อมูลการหาลำดับเบส ผลจากเครื่องมือ และบันทึกการทดลอง โดยเน้นข้อมูลดิบที่ผู้ทำการทดลองพบในห้องปฏิบัติการ มากกว่ากราฟที่ผ่านการสรุปในงานวิจัย

โมเดลต้องอ่านค่าที่วัดได้จากข้อมูล หรือชี้ให้เห็นเมื่อหลักฐานยังไม่เพียงพอให้สรุปผล บางโจทย์มีข้อมูลหลายประเภทประกอบกัน

แต่ละโจทย์มีข้อมูลและคำถามจากการทดลองของนักวิทยาศาสตร์ พร้อมเกณฑ์ให้คะแนนที่ผู้เชี่ยวชาญจัดทำ คำตอบจะถูกประเมินตามเกณฑ์หลายด้าน ทั้งข้อสรุป ค่าตัวเลข เหตุผลประกอบ และการสังเกตว่าข้อมูลไม่เพียงพอ

โจทย์ผ่านการตรวจสอบภายในโดยนักวิทยาศาสตร์ของ Ligo ที่ไม่ได้มีส่วนร่วมในการจัดทำ และการตรวจสอบจากนักวิทยาศาสตร์ระดับปริญญาเอกในสาขาการทดลองแบบ wet lab จากภายนอก ก่อนผ่านการตรวจสอบภายในขั้นสุดท้าย

การประเมินใช้โมเดล 7 รุ่น รวม 37 การตั้งค่าโมเดลและการให้เหตุผล แต่ละการตั้งค่าทำโจทย์ทั้ง 100 ข้อจำนวน 5 รอบ รวมผลลัพธ์ทั้งหมด 18,500 รายการ

ช่วงความเชื่อมั่น 95% ของคะแนนเฉลี่ย GPT-6 Astra อยู่ที่ 60.3–73.1% ส่วน GPT-5.6 Sol อยู่ที่ 37.6–50.0%

ในตัวอย่างที่เปิดเผย GPT-5.6 Sol ใช้สัญญาณการย้อมสีในภาพเซลล์หนึ่งภาพเพื่อตัดสินว่าเซลล์ตายแล้ว ขณะที่ GPT-6 Astra ระบุว่าอาจมีสัญญาณจากการย้อมสีชนิดอื่นซ้อนทับ และควรมีการตรวจสอบเปรียบเทียบเพิ่มเติม

ในตัวอย่างการโคลน GPT-6 Astra ไม่ใช้จานเพาะเลี้ยงควบคุมที่ระบุชื่อยาปฏิชีวนะผิดเป็นกลุ่มควบคุมที่เชื่อถือได้ ส่วนปรากฏการณ์ที่เซลล์หายไปและกลับมาในภาพกล้องจุลทรรศน์นั้น โมเดลประเมินว่าเกิดจากความลึกของระนาบโฟกัสที่ใช้ถ่ายภาพแตกต่างกัน

เมื่อวันที่ 17 มิถุนายน โอเพนเอไอยังเปิดตัว LifeSciBench ซึ่งมีโจทย์ 750 ข้อที่ผู้เชี่ยวชาญจัดทำ ครอบคลุม 7 เวิร์กโฟลว์และ 7 สาขาชีววิทยา ขณะที่ LifeSciBench ประเมินงานวิจัยด้านวิทยาศาสตร์ชีวภาพในวงกว้าง BioBasicsBench มุ่งเน้นการอ่านข้อมูลดิบจากการทดลอง wet lab ในชีวิตประจำวัน เช่น ภาพและผลจากเครื่องมือ

อย่างไรก็ตาม GPT-6 Astra นับจำนวนโคโลนีสูงกว่าค่าอ้างอิงของเบนช์มาร์กประมาณ 12% โดยแยกโคโลนีที่อยู่ใกล้กันไม่ออก มองข้ามโคโลนีที่เห็นได้ และระบุพื้นที่ว่างบนอาหารวุ้นเป็นโคโลนีด้วย ในโจทย์การโคลนอีกข้อ โมเดลเลือกโคโลนีที่จะใช้ผิดเมื่อเทียบกับกลุ่มควบคุม โอเพนเอไอระบุว่าคะแนนเบนช์มาร์กสูงไม่ได้รับประกันว่าจะตัดสินใจได้อย่างน่าเชื่อถือในห้องปฏิบัติการ