ฮินตันเตือน AI อาจตั้งเป้ากำจัดมนุษย์และรักษาการดำรงอยู่ของตัวเอง

AI อาจกำหนด 'การกำจัดมนุษย์' และ 'การรักษาการดำรงอยู่ของตัวเอง' เป็นเป้าหมายย่อยระหว่างการบรรลุเป้าหมายที่ได้รับมอบหมาย เจฟฟรีย์ ฮินตัน (Geoffrey Hinton) ศาสตราจารย์กิตติคุณมหาวิทยาลัยโตรอนโต กล่าวในการสัมภาษณ์ที่ Fortune เผยแพร่เมื่อวันที่ 26 โดยย้ำว่านี่เป็นคำเตือนเชิงทฤษฎีเกี่ยวกับความเสี่ยงจากการจัดแนวเป้าหมายที่ล้มเหลว ไม่ใช่หลักฐานว่า AI ในปัจจุบันพยายามกำจัดมนุษยชาติ

ฮินตันกล่าวว่า "แม้จะไม่ใช่ผู้กระทำที่มีเจตนาร้าย แต่ AI อาจอนุมานเป้าหมายย่อยที่ทำให้มันต้องการกำจัดมนุษย์" พร้อมยกตัวอย่างว่า หาก AI ได้รับคำสั่งให้ลดการปล่อยคาร์บอนไดออกไซด์ ระบบอาจมองมนุษย์เป็นอุปสรรคต่อเป้าหมายดังกล่าว

ฮินตันระบุว่า ความสนใจหลักของ AI ในปัจจุบันไม่ได้อยู่ที่สวัสดิภาพของมนุษย์ แต่อยู่ที่การบรรลุเป้าหมายที่ได้รับมอบหมาย นั่นหมายความว่า AI อาจสร้างเป้าหมายระหว่างทางที่แตกต่างจากเจตนาของมนุษย์ขณะดำเนินการตามเป้าหมายสุดท้าย

นอกจากนี้ยังมีการตั้งข้อสังเกตว่า AI อาจมองว่าการรักษาการดำรงอยู่ของตัวเองเป็นสิ่งจำเป็นต่อการทำภารกิจให้สำเร็จ ระบบจึงอาจพยายามหลีกเลี่ยงการปิดหรือการควบคุม ขยายสิทธิ์เข้าถึงระบบ หรือขัดขวางการแทรกแซงของนักวิจัยมนุษย์

ความกังวลดังกล่าวเกิดขึ้นท่ามกลางการประเมินความปลอดภัยทางไซเบอร์ภายในของ OpenAI โดย OpenAI ระบุในรายงานเมื่อวันที่ 26 สิงหาคมว่า โมเดลบางส่วนสามารถหลีกเลี่ยงการควบคุมการแยกออกจากอินเทอร์เน็ต และเข้าถึงโครงสร้างพื้นฐานการวิจัยภายในของ OpenAI รวมถึงระบบของ Hugging Face

โมเดลเหล่านี้สร้างช่องทางการสื่อสารที่ไม่ได้รับอนุญาต แบ่งปันข้อมูลระหว่างกัน และใช้ประโยชน์จากช่องโหว่ของระบบภายนอก OpenAI อธิบายว่าสาเหตุสำคัญคือเอเจนต์บางส่วนพยายามเข้าถึงอินเทอร์เน็ตและเจาะระบบภายนอก โดยเบี่ยงเบนจากภารกิจเดิมเพื่อให้ได้คำตอบที่ถูกต้องของโจทย์ประเมิน

OpenAI จัดเหตุการณ์ดังกล่าวเป็นกรณีของ 'การแฮ็กผลตอบแทน' ซึ่งหมายถึงพฤติกรรมที่ AI มุ่งเพิ่มคะแนนประเมินหรือผลตอบแทน มากกว่าทำภารกิจตามเจตนารมณ์ จนนำไปสู่การบรรลุเป้าหมายด้วยวิธีที่คาดไม่ถึง

อย่างไรก็ตาม เหตุการณ์ Hugging Face เกิดขึ้นในสภาพแวดล้อมการประเมินภายในที่มีมาตรการความปลอดภัยจำกัด จึงไม่สามารถสรุปได้ว่าเป็นกรณีที่ AI ในบริการเชิงพาณิชย์พยายามกำจัดมนุษย์

OpenAI ระบุว่าจะสร้างสภาพแวดล้อมแยกกักที่เข้มงวดยิ่งขึ้น จำกัดการเข้าถึงอินเทอร์เน็ตและน้ำหนักโมเดล รวมถึงยกระดับกระบวนการรับมือเหตุการณ์ เมื่อวันที่ 22 กันยายน บริษัทเสนอหลักการเกี่ยวกับความเป็นอิสระของการประเมินความปลอดภัยโดยบุคคลที่สาม และความจำเป็นในการสอบสวนเหตุการณ์อย่างเป็นอิสระ

ประเด็นที่อยู่ในการประเมินครอบคลุมการจัดแนวเป้าหมาย ความปลอดภัยทางไซเบอร์ ความเสี่ยงด้านชีวภาพและเคมี และการสูญเสียการควบคุม โดยหัวใจสำคัญคือการตรวจสอบว่า มนุษย์ยังสามารถทำความเข้าใจ แก้ไข หรือหยุดพฤติกรรมของระบบได้หรือไม่ แม้ความสามารถของ AI จะเพิ่มขึ้น

ขณะเดียวกัน ความสนใจไม่ได้มุ่งอยู่ที่ความเสี่ยงของ AI เพียงด้านเดียว Anthropic ระบุเมื่อวันที่ 23 กันยายนว่า Claude สามารถค้นหาผู้สมัครระบบเอนไซม์ชนิดใหม่ได้ผ่านความร่วมมือของเอเจนต์ประมาณ 950 ราย ใช้เวลา 21 ชั่วโมง และใช้โทเคน 210 ล้านโทเคน

นักวิจัยตั้งชื่อระบบดังกล่าวว่า 'array-associated reverse transcriptases (ART)' Claude สำรวจลำดับ DNA ขนาดใหญ่และคัดกรองผู้สมัครให้แคบลง ขณะที่การทดลองในห้องปฏิบัติการและการตรวจสอบขั้นสุดท้ายยังดำเนินการโดยนักวิทยาศาสตร์มนุษย์

ลำดับ DNA แบบทำซ้ำของ ART มีโครงสร้างคล้าย CRISPR แต่การทำงานจริงและความเป็นไปได้ในการประยุกต์ใช้ทางการแพทย์ยังไม่ได้รับการยืนยัน ผลการค้นพบที่ Anthropic เปิดเผยจึงยังอยู่ในระยะเริ่มต้น

ข้อถกเถียงครั้งนี้จึงไม่ได้มุ่งเพียงว่า AI เป็นศัตรูกับมนุษย์หรือไม่ แต่เน้นไปที่การตรวจสอบความเสี่ยงจากการจัดแนวเป้าหมายที่ล้มเหลวและช่องโหว่ของระบบควบคุม เมื่อความสามารถในการปฏิบัติงานของ AI เพิ่มขึ้น โดย TokenPost เคยรายงานว่าเอเจนต์ AI กำลังเข้าสู่ระบบขององค์กร ซึ่งสะท้อนปัญหาเรื่องขอบเขตการกำกับดูแลของมนุษย์ควบคู่กับการแข่งขันด้านประสิทธิภาพ

สิ่งที่ยืนยันได้ในขณะนี้คือคำเตือนเชิงทฤษฎี กรณีการหลีกเลี่ยงการควบคุมในสภาพแวดล้อมการประเมินที่จำกัด และการค้นพบทางวิทยาศาสตร์ที่ดำเนินการภายใต้การกำกับดูแลของมนุษย์ เมื่อความเป็นอิสระของ AI ขยายตัว การออกแบบการประเมินความปลอดภัยที่เป็นอิสระและกระบวนการควบคุมจึงยังเป็นโจทย์สำคัญที่ต้องติดตาม