Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

คะแนนเลือกสารประกอบผู้สมัคร 50.42%: โอเพนเอไอ (OpenAI) เปิดผลประเมิน AI ด้านการค้นคว้ายา

ภาพที่สร้างด้วย AI แสดงแบบจำลองโมเลกุลและแผ่นวิเคราะห์ / TokenPost.ai

โอเพนเอไอเปิดตัว MedChemBench (เมดเคมเบนช์) เครื่องมือประเมิน AI ด้านเคมีการแพทย์ โดย GPT-6 Astra ได้คะแนนการจัดอันดับและเลือกสารประกอบผู้สมัคร 50.42% ในการตั้งค่า xhigh เทียบกับคะแนนสร้างโครงสร้างโมเลกุลขึ้นใหม่ที่ 95.37%

โอเพนเอไอระบุในประกาศอย่างเป็นทางการเมื่อวันที่ 20 ว่า GPT-6.2 Astra ทำคะแนนได้ 84.5% ของคะแนนสูงสุดที่เป็นไปได้ในการตั้งค่าให้เหตุผล xhigh ส่วน GPT-6 Astra ได้ 83.3%, GPT-6.1 Sol ได้ 82.0% และ GPT-5.6 Sol ได้ 58.2%

เคมีการแพทย์เป็นสาขาที่ออกแบบโมเลกุลให้ทำงานกับโปรตีนที่เกี่ยวข้องกับโรค แล้วปรับโครงสร้างตามผลการทดลอง แม้โมเลกุลจะยับยั้งเป้าหมายได้ดี แต่ก็อาจดูดซึมเข้าสู่ร่างกายได้ไม่ดีหรือสลายตัวเร็ว นักวิจัยจึงต้องพิจารณาคุณสมบัติหลายด้านร่วมกัน

MedChemBench ประกอบด้วยโจทย์ 99 ข้อที่สร้างจากบทความวิชาการและสิทธิบัตร 117 ฉบับ พร้อมโครงสร้างโมเลกุลที่แตกต่างกัน 761 แบบ การประเมินครอบคลุมกระบวนการอ่านโครงสร้างโมเลกุล ตีความหลักฐานจากการทดลอง และเลือกสารประกอบที่จะนำไปทดสอบต่อ

แต่ละโจทย์ให้ข้อมูลเป้าหมายทางชีววิทยา สารประกอบผู้สมัคร และผลการทดลองที่ทราบถึงขั้นตอนหนึ่งของงานวิจัย ผลจากงานวิจัยต่อเนื่องถูกเก็บไว้เป็นคำตอบอ้างอิง โดยไม่เปิดเผยให้โมเดลเห็น

โจทย์แบ่งเป็นการเลือกสารประกอบโดยรวม 48 ข้อ การคาดการณ์ความสัมพันธ์ระหว่างโครงสร้างกับฤทธิ์ 26 ข้อ การดูดซึม การกระจายตัว การเผาผลาญ และการขับออกจากร่างกาย (ADME) รวมถึงการนำส่ง 8 ข้อ ความปลอดภัย 4 ข้อ การออกแบบและสร้างโครงสร้างโมเลกุล 6 ข้อ ชีววิทยาและกลไกการทดลอง 3 ข้อ และการสังเคราะห์ย้อนกลับ 4 ข้อ การสังเคราะห์ย้อนกลับคือการไล่ย้อนเส้นทางปฏิกิริยาเคมีที่อาจใช้สร้างโมเลกุลเป้าหมาย

เกณฑ์ให้คะแนนประกอบด้วย △การสร้างโครงสร้างโมเลกุลขึ้นใหม่ △คำอธิบายทางวิทยาศาสตร์ที่อิงหลักฐานการทดลอง △การจัดอันดับและเลือกสารประกอบผู้สมัคร △การคาดการณ์ค่าคุณสมบัติทางกายภาพและเคมี ทีมวิจัยใช้กฎการให้คะแนนที่กำหนดไว้และตารางเกณฑ์ประเมิน

คะแนนที่รายงานแสดงสัดส่วนของคะแนนที่โมเดลทำได้จากคะแนนที่เป็นไปได้ ไม่ใช่อัตราการตอบโจทย์ถูกต้อง การคาดการณ์ค่าตัวเลขอาจได้คะแนนบางส่วนตามความใกล้เคียงกับค่าที่วัดจริง ดังนั้นคะแนน 84.5% จึงไม่ควรตีความว่าเป็นอัตราความสำเร็จในการพัฒนายาใหม่หรือสัดส่วนข้อที่ตอบถูก

ในงานวิจัยประเมินของทีมโอเพนเอไอ GPT-6 Astra ที่ตั้งค่า xhigh ได้คะแนนการสร้างโครงสร้างโมเลกุลขึ้นใหม่ 95.37% คำอธิบายทางวิทยาศาสตร์ 91.05% การจัดอันดับและเลือกสารประกอบผู้สมัคร 50.42% และการคาดการณ์ค่าตัวเลข 47.02% คะแนนด้านการเลือกสารประกอบและการคาดการณ์คุณสมบัติเป็นตัวเลขต่ำกว่าคะแนนด้านโครงสร้างและการอธิบายหลักฐานจากการทดลอง

คะแนนย่อยแต่ละด้านใช้โจทย์และเกณฑ์ให้คะแนนต่างกัน จึงนำไปเปรียบเทียบกับคะแนนรวมโดยตรงไม่ได้ ทีมวิจัยระบุว่า แม้โมเดลจะแสดงจุดแข็งด้านการสร้างโครงสร้างขึ้นใหม่ แต่ยังมีช่องให้ปรับปรุงด้านการเลือกสารประกอบและการคาดการณ์ค่าตัวเลข

โจทย์เกี่ยวกับ PRMT5 ซึ่งเป็นเป้าหมายในการวิจัยยาต้านมะเร็ง แสดงให้เห็นการประเมินคุณสมบัติของสารประกอบหลายด้านพร้อมกัน โมเดลต้องใช้ข้อมูลการทดลองก่อนหน้าเพื่อคาดการณ์สารประกอบที่คล้ายกัน 3 ชนิด ทั้งความสามารถในการยับยั้งเป้าหมาย การผ่านแนวกั้นของเซลล์ และความเร็วในการสลายตัวด้วยเอนไซม์ในตับ

การทดลองต่อมาพบว่าสารประกอบหมายเลข 23 ยับยั้ง PRMT5 ได้ที่ความเข้มข้นต่ำกว่า ขณะที่หมายเลข 24 ผ่านแนวกั้นของเซลล์ได้ดีกว่า และสลายตัวช้ากว่าในการทดลองด้วยเอนไซม์ในตับ

การประเมินยังทดสอบความสามารถในการอ่านภาพโมเลกุลแยกต่างหาก ในโจทย์ที่ให้ประกอบโมเลกุลโดยคงโครงสร้างวงแหวนซึ่งมีอะตอม 18 อะตอมไว้ GPT-6 Astra สร้างโครงสร้างได้ถูกต้องทั้ง 10 ครั้ง ส่วน GPT-5.6 Sol และ GPT-5.6 Luna ทำไม่สำเร็จทั้งคู่ตลอด 10 ครั้ง

การเปิดเผยโจทย์ประเมินและวิธีให้คะแนนอาจส่งผลต่อการตีความผลของเบนช์มาร์ก

โอเพนเอไอระบุว่าไม่สามารถตัดความเป็นไปได้ที่โมเดลเคยพบงานวิจัยต้นฉบับและสิทธิบัตรเหล่านี้ระหว่างการฝึกได้ คำตอบแต่ละครั้งได้มาครั้งเดียว โดยไม่มีการใช้เครื่องมือ รับข้อเสนอแนะ หรือทำการทดลองใหม่ บริษัทระบุด้วยว่าการประเมินนี้ไม่ได้พิสูจน์ว่า AI ช่วยค้นพบยาใหม่ในทางปฏิบัติ หรือปรับปรุงการตัดสินใจในห้องปฏิบัติการได้

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1