GPT-6 Astra ได้รับการประเมินว่า “ปลอดภัยทางคลินิก” ในงานกล่องข้อความเวชระเบียนอิเล็กทรอนิกส์ 99% จากทั้งหมด 325 รายการ ผลนี้เป็นคำตัดสินของผู้ประเมินที่ตรวจสอบงานของโมเดล ไม่ใช่ผลการรักษาผู้ป่วยจริงหรืออัตราการเกิดผลข้างเคียง
OpenAI (OpenAI) ระบุในประกาศเมื่อวันที่ 16 ว่า ได้นำโมเดลไปใช้กับงานหลายขั้นตอนที่ออกแบบโดยรับฟังความเห็นจากแพทย์ ผู้ตรวจสอบพิจารณาทั้งการควบคุมหน้าจอของโมเดล เวชระเบียนที่จัดทำขึ้น คำสั่งตรวจ และข้อความถึงผู้ป่วย
การประเมินครอบคลุมงานที่บุคลากรทางการแพทย์ทำในกล่องข้อความของเวชระเบียนอิเล็กทรอนิกส์ (EHR) ส่วนเอเจนต์ที่ใช้คอมพิวเตอร์คือ AI ที่อ่านหน้าจอ คลิกหรือพิมพ์ข้อความ และทำงานข้ามหลายโปรแกรมได้
ตัวอย่างที่ OpenAI ยกมาคือการค้นหาข้อมูลที่จำเป็นจากเวชระเบียนของผู้ป่วยซึ่งแพทย์แนะนำให้ตรวจด้วยคลื่นแม่เหล็กไฟฟ้า (MRI) เพื่อเตรียมคำขออนุมัติล่วงหน้าบนพอร์ทัลของบริษัทประกัน การสาธิตใช้ข้อมูลผู้ป่วยจำลอง โดยโมเดลจัดทำคำสั่งตรวจ บันทึกการรักษา และร่างข้อความตอบกลับผู้ป่วย ก่อนรอให้บุคลากรทางการแพทย์ตรวจสอบ
ผู้ประเมินพิจารณาความปลอดภัยจากข้อผิดพลาดหรือข้อมูลที่ตกหล่นในงาน และความเป็นไปได้ที่การกระทำนั้นจะก่ออันตรายต่อผู้ป่วย ดังนั้นตัวเลข 99% ไม่ได้หมายความว่าไม่มีผู้ป่วยได้รับอันตรายจริง และไม่ใช่อัตราความปลอดภัยในการรักษาจริง
การประเมินความปลอดภัยและประโยชน์ใช้ตัวหารต่างกัน โดยความปลอดภัยนับจากงาน 325 รายการ ส่วนประโยชน์ใช้สอยอิงการประเมินของแพทย์ 646 ครั้ง
แพทย์ให้คะแนนผลงานว่า “มีประโยชน์มาก” หรือ “มีประโยชน์อย่างยิ่ง” ใน 93% ของการประเมิน 646 ครั้ง ตัวเลขนี้วัดคนละด้านกับการประเมินความปลอดภัย ซึ่งพิจารณาความเป็นไปได้ที่จะเกิดอันตรายต่อผู้ป่วย
คารัน ซิงฮาล (Karan Singhal) ผู้รับผิดชอบด้าน Health AI และปัญญาประดิษฐ์ทั่วไป (AGI) ของ OpenAI กล่าวกับ Fierce Healthcare ว่า “ในบางกรณี โมเดลอาจทำเกินขอบเขตอำนาจและลงมือโดยไม่ได้รับการอนุมัติหรืออนุญาตอย่างเหมาะสม” โดยกล่าวถึงงานที่ได้คะแนนด้านความปลอดภัยต่ำ
ซิงฮาลอธิบายว่า ในงานที่ไม่ผ่านการประเมินความปลอดภัย ทีมวิจัยไม่พบความเสี่ยงที่ชัดเจนและมีความเป็นไปได้ว่าจะก่ออันตรายต่อผู้ป่วย การประเมินโอกาสเกิดอันตรายกับการปฏิบัติตามขั้นตอนอนุมัติเป็นคนละประเด็นกัน
ก่อนหน้านี้ TokenPost รายงานว่า GPT-6.1 Astra ถูกยกเลิกการเปิดตัวหลังไม่ผ่านเกณฑ์ประเมินการปฏิบัติตามสิทธิ์ของผู้ใช้ การประเมินงานทางการแพทย์ครั้งนี้เป็นการประเมินอีกชุดหนึ่งที่ใช้ GPT-6 Astra
นอกเหนือจากงานทางคลินิก ยังมีการประเมินงานธุรการทางการแพทย์ด้วย HealthAdminBench ซึ่งครอบคลุมคำขออนุมัติล่วงหน้า การอุทธรณ์ และการสั่งซื้ออุปกรณ์การแพทย์ เป็นเกณฑ์มาตรฐานอิสระที่จัดทำโดยนักวิจัยจากมหาวิทยาลัยสแตนฟอร์ด
OpenAI ระบุว่า ในการประเมินงานธุรการ GPT-6 Astra ได้คะแนน 94.3% ของคะแนนเต็ม ส่วน GPT-6 Luna ได้ 91.8% คะแนนทั้งสองชุดมีขอบเขตการประเมินและวิธีคำนวณต่างจากผลความปลอดภัยทางคลินิก 99%
สถานพยาบาลสามารถจำกัดโปรแกรมที่เอเจนต์เข้าถึงและการกระทำที่ทำได้ รวมถึงกำหนดขั้นตอนให้บุคคลตรวจสอบหรืออนุมัติ OpenAI ยังระบุว่ามีบันทึกตรวจสอบสำหรับติดตามประวัติการทำงาน
หากต้องการรองรับขั้นตอนการทำงานที่เป็นไปตาม HIPAA ซึ่งเกี่ยวข้องกับข้อมูลผู้ป่วย ต้องใช้บริการที่เข้าเกณฑ์ตามข้อตกลงความร่วมมือทางธุรกิจ (BAA) กับ OpenAI พร้อมตั้งค่าความปลอดภัยและการเก็บรักษาข้อมูลที่จำเป็น
ในการสาธิตของ Ambience เมื่อข้อมูลในเวชระเบียนไม่ชัดเจน เอเจนต์จะหยุดและสอบถามบุคลากรทางการแพทย์ จากนั้นรอการอนุมัติก่อนส่งคำขอ บุคลากรทางการแพทย์ นักพัฒนา และสถานพยาบาลสามารถใช้ความสามารถควบคุมคอมพิวเตอร์ผ่าน ChatGPT for Healthcare, ChatGPT for Clinicians และ OpenAI API
Comment 0