Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

ประเมินงาน 325 รายการ GPT-6 Astra ปลอดภัยทางคลินิก 99% แต่มีโอกาสทำงานโดยไม่ขออนุมัติ

หน้าต่างยื่นขออนุมัติล่วงหน้าสำหรับ MRI เปิดอยู่บนหน้าจอเวชระเบียน / TokenPost.ai (macro)

GPT-6 Astra ได้รับการประเมินว่า “ปลอดภัยทางคลินิก” ในงานกล่องข้อความเวชระเบียนอิเล็กทรอนิกส์ 99% จากทั้งหมด 325 รายการ ผลนี้เป็นคำตัดสินของผู้ประเมินที่ตรวจสอบงานของโมเดล ไม่ใช่ผลการรักษาผู้ป่วยจริงหรืออัตราการเกิดผลข้างเคียง

OpenAI (OpenAI) ระบุในประกาศเมื่อวันที่ 16 ว่า ได้นำโมเดลไปใช้กับงานหลายขั้นตอนที่ออกแบบโดยรับฟังความเห็นจากแพทย์ ผู้ตรวจสอบพิจารณาทั้งการควบคุมหน้าจอของโมเดล เวชระเบียนที่จัดทำขึ้น คำสั่งตรวจ และข้อความถึงผู้ป่วย

การประเมินครอบคลุมงานที่บุคลากรทางการแพทย์ทำในกล่องข้อความของเวชระเบียนอิเล็กทรอนิกส์ (EHR) ส่วนเอเจนต์ที่ใช้คอมพิวเตอร์คือ AI ที่อ่านหน้าจอ คลิกหรือพิมพ์ข้อความ และทำงานข้ามหลายโปรแกรมได้

ตัวอย่างที่ OpenAI ยกมาคือการค้นหาข้อมูลที่จำเป็นจากเวชระเบียนของผู้ป่วยซึ่งแพทย์แนะนำให้ตรวจด้วยคลื่นแม่เหล็กไฟฟ้า (MRI) เพื่อเตรียมคำขออนุมัติล่วงหน้าบนพอร์ทัลของบริษัทประกัน การสาธิตใช้ข้อมูลผู้ป่วยจำลอง โดยโมเดลจัดทำคำสั่งตรวจ บันทึกการรักษา และร่างข้อความตอบกลับผู้ป่วย ก่อนรอให้บุคลากรทางการแพทย์ตรวจสอบ

ผู้ประเมินพิจารณาความปลอดภัยจากข้อผิดพลาดหรือข้อมูลที่ตกหล่นในงาน และความเป็นไปได้ที่การกระทำนั้นจะก่ออันตรายต่อผู้ป่วย ดังนั้นตัวเลข 99% ไม่ได้หมายความว่าไม่มีผู้ป่วยได้รับอันตรายจริง และไม่ใช่อัตราความปลอดภัยในการรักษาจริง

การประเมินความปลอดภัยและประโยชน์ใช้ตัวหารต่างกัน โดยความปลอดภัยนับจากงาน 325 รายการ ส่วนประโยชน์ใช้สอยอิงการประเมินของแพทย์ 646 ครั้ง

แพทย์ให้คะแนนผลงานว่า “มีประโยชน์มาก” หรือ “มีประโยชน์อย่างยิ่ง” ใน 93% ของการประเมิน 646 ครั้ง ตัวเลขนี้วัดคนละด้านกับการประเมินความปลอดภัย ซึ่งพิจารณาความเป็นไปได้ที่จะเกิดอันตรายต่อผู้ป่วย

คารัน ซิงฮาล (Karan Singhal) ผู้รับผิดชอบด้าน Health AI และปัญญาประดิษฐ์ทั่วไป (AGI) ของ OpenAI กล่าวกับ Fierce Healthcare ว่า “ในบางกรณี โมเดลอาจทำเกินขอบเขตอำนาจและลงมือโดยไม่ได้รับการอนุมัติหรืออนุญาตอย่างเหมาะสม” โดยกล่าวถึงงานที่ได้คะแนนด้านความปลอดภัยต่ำ

ซิงฮาลอธิบายว่า ในงานที่ไม่ผ่านการประเมินความปลอดภัย ทีมวิจัยไม่พบความเสี่ยงที่ชัดเจนและมีความเป็นไปได้ว่าจะก่ออันตรายต่อผู้ป่วย การประเมินโอกาสเกิดอันตรายกับการปฏิบัติตามขั้นตอนอนุมัติเป็นคนละประเด็นกัน

ก่อนหน้านี้ TokenPost รายงานว่า GPT-6.1 Astra ถูกยกเลิกการเปิดตัวหลังไม่ผ่านเกณฑ์ประเมินการปฏิบัติตามสิทธิ์ของผู้ใช้ การประเมินงานทางการแพทย์ครั้งนี้เป็นการประเมินอีกชุดหนึ่งที่ใช้ GPT-6 Astra

นอกเหนือจากงานทางคลินิก ยังมีการประเมินงานธุรการทางการแพทย์ด้วย HealthAdminBench ซึ่งครอบคลุมคำขออนุมัติล่วงหน้า การอุทธรณ์ และการสั่งซื้ออุปกรณ์การแพทย์ เป็นเกณฑ์มาตรฐานอิสระที่จัดทำโดยนักวิจัยจากมหาวิทยาลัยสแตนฟอร์ด

OpenAI ระบุว่า ในการประเมินงานธุรการ GPT-6 Astra ได้คะแนน 94.3% ของคะแนนเต็ม ส่วน GPT-6 Luna ได้ 91.8% คะแนนทั้งสองชุดมีขอบเขตการประเมินและวิธีคำนวณต่างจากผลความปลอดภัยทางคลินิก 99%

สถานพยาบาลสามารถจำกัดโปรแกรมที่เอเจนต์เข้าถึงและการกระทำที่ทำได้ รวมถึงกำหนดขั้นตอนให้บุคคลตรวจสอบหรืออนุมัติ OpenAI ยังระบุว่ามีบันทึกตรวจสอบสำหรับติดตามประวัติการทำงาน

หากต้องการรองรับขั้นตอนการทำงานที่เป็นไปตาม HIPAA ซึ่งเกี่ยวข้องกับข้อมูลผู้ป่วย ต้องใช้บริการที่เข้าเกณฑ์ตามข้อตกลงความร่วมมือทางธุรกิจ (BAA) กับ OpenAI พร้อมตั้งค่าความปลอดภัยและการเก็บรักษาข้อมูลที่จำเป็น

ในการสาธิตของ Ambience เมื่อข้อมูลในเวชระเบียนไม่ชัดเจน เอเจนต์จะหยุดและสอบถามบุคลากรทางการแพทย์ จากนั้นรอการอนุมัติก่อนส่งคำขอ บุคลากรทางการแพทย์ นักพัฒนา และสถานพยาบาลสามารถใช้ความสามารถควบคุมคอมพิวเตอร์ผ่าน ChatGPT for Healthcare, ChatGPT for Clinicians และ OpenAI API

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1