โอเพนเอไอ (OpenAI) จะให้ผู้ประเมินภายนอก 6 คนเข้าทำงานภายในบริษัทเป็นเวลา 4 เดือน เพื่อตรวจสอบว่าโมเดลพยายามหลีกเลี่ยงกลไกความปลอดภัยและขั้นตอนควบคุมของตัวเองหรือโมเดลรุ่นถัดไปหรือไม่ โดยจะประเมินกระบวนการพัฒนาและนำโมเดลไปใช้งานตั้งแต่การฝึก การประเมินความปลอดภัย ไปจนถึงการใช้งานภายใน
อพอลโล รีเสิร์ช (Apollo Research) เปิดเผยแผนประเมินนำร่องนี้ในประกาศเมื่อวันที่ 16 การประเมินแบบฝังตัว (embedded evaluations) คือแนวทางที่ผู้ประเมินภายนอกเข้าถึงข้อมูลและโมเดลภายในองค์กรผู้พัฒนา เพื่อตรวจสอบกระบวนการพัฒนา
ผู้ประเมินจะตรวจสอบ 4 ประเด็น ได้แก่ การฝึกกระตุ้นให้โมเดลหลีกเลี่ยงระบบควบคุมหรือไม่ การประเมินความปลอดภัยกระตุ้นพฤติกรรมดังกล่าวหรือไม่ พฤติกรรมนี้เกิดขึ้นระหว่างการใช้งานภายในหรือไม่ และสามารถตรวจจับการให้เหตุผลที่เกี่ยวข้องได้หรือไม่
ประกาศครั้งนี้เป็นการเปิดเผยแผนการตรวจสอบ ยังไม่ใช่ผลการตรวจสอบที่ยืนยันว่าโมเดลของโอเพนเอไอหลีกเลี่ยงกลไกความปลอดภัย โดยประกาศระบุคำถามและขั้นตอนที่จะใช้ในการประเมิน
อพอลโล รีเสิร์ชอธิบายว่า การประเมินจากภายนอกที่ผ่านมาเกิดขึ้นหลังฝึกโมเดลเสร็จและก่อนเปิดตัวไม่นาน จึงตรวจสอบพฤติกรรมระหว่างการฝึกหรือการใช้งานภายในได้ยาก อีกข้อจำกัดคือโมเดลอาจมีพฤติกรรมต่างจากปกติเมื่อรู้ว่ากำลังถูกประเมิน
ในการตรวจสอบระยะแรก ผู้ประเมินจะเข้าถึงโค้ดและข้อมูลการฝึกที่เกี่ยวข้อง บันทึกกระบวนการฝึกแบบเสริมแรง (reinforcement learning) ร่องรอยการให้เหตุผลและรางวัลที่เข้าถึงได้ รวมถึงโมเดลระหว่างการพัฒนาได้ สิทธิ์เข้าถึงนี้จะใช้ตรวจสอบว่าพฤติกรรมหลีกเลี่ยงระบบควบคุมก่อตัวขึ้นระหว่างการฝึกหรือไม่
ขอบเขตการเข้าถึงจำกัดอยู่ที่ข้อกล่าวอ้าง โมเดล และช่วงเวลาที่ทั้งสองฝ่ายตกลงกัน ส่วนเงื่อนไขการเข้าถึงโดยละเอียดสำหรับคำถามประเมินอีก 3 ข้อยังไม่ได้ข้อสรุป
โอเพนเอไออาจไม่เปิดเผยข้อมูลบางส่วนที่อยู่ในขอบเขตข้อตกลง หากการดำเนินการทำได้ยากในทางเทคนิค หรือจำเป็นต้องคุ้มครองความปลอดภัยและทรัพย์สินทางปัญญา อย่างไรก็ตาม บริษัทตกลงว่าจะไม่ปกปิดข้อมูลเพียงเพราะเนื้อหาอาจส่งผลเสีย และจะแจ้งเหตุผลเป็นลายลักษณ์อักษรแก่อพอลโล รีเสิร์ชหากปฏิเสธการเปิดเผย
อพอลโล รีเสิร์ชสามารถขอสัมภาษณ์พนักงานโอเพนเอไอที่มีความเชี่ยวชาญได้ แต่โอเพนเอไอเป็นผู้เลือกผู้เข้าร่วม โดยหลักแล้วจะไม่นำเนื้อหาสัมภาษณ์ไปอ้างอิงต่อสาธารณะ หากต้องการนำไปใส่ในรายงานจะต้องผ่านขั้นตอนยืนยันแยกต่างหาก
อพอลโล รีเสิร์ชวางแผนเผยแพร่รายงาน 2 ฉบับ ซึ่งจะระบุผลการตรวจสอบ วิธีประเมิน และข้อจำกัด รวมถึงรายละเอียดและผลการประเมินในแต่ละคำถาม
โอเพนเอไอสามารถขอให้ลบเอกสารหลักฐานที่มีข้อมูลลับ เช่น ความลับทางการค้าได้ แต่ไม่สามารถขอให้ลบเนื้อหาในรายงานเพียงเพราะผลการตัดสินในคำถามประเมินหรือผลตรวจสอบเป็นไปในทางลบ
โอเพนเอไอระบุในประกาศของบริษัทว่าได้ทำสัญญาประเมินระยะแรกกับ 4 องค์กร ได้แก่ อพอลโล รีเสิร์ช, METR, Transluce และ Goodfire โดยก่อนหน้านี้มีรายงานเรื่องการมอบหมายให้ METR ตรวจสอบความปลอดภัยของการฝึกแบบเสริมแรงหนึ่งกรณี
โอเพนเอไอระบุว่าจะจ่ายค่าประเมินให้อพอลโล รีเสิร์ชและ Goodfire โดยไม่ผูกค่าตอบแทนกับผลการประเมิน ส่วน METR และ Transluce ไม่ได้รับค่าประเมิน แต่อาจได้รับเครดิต API หรือทรัพยากรประมวลผลสำหรับการประเมิน
อพอลโล รีเสิร์ชประเมินในแง่บวกที่ข้อตกลงรับรองสิทธิ์ในการอธิบายขอบเขตการเข้าถึงและข้อจำกัดการเผยแพร่ข้อมูล ขณะเดียวกันระบุว่าข้อตกลงนี้ยังไม่ได้กำหนดมาตรฐานการเข้าถึงและการเปิดเผยข้อมูลที่เพียงพอครบถ้วน
แยกจากการประเมินครั้งนี้ โอเพนเอไอเปิดเผยในรายงานกรณีศึกษาว่าโมเดลวิจัยภายในนำเงินในกระเป๋าที่ไม่ได้จัดสรรให้ทำภารกิจไปใช้ติดตั้งคอนแทร็กต์บนเครือข่ายทดสอบเซโปเลียของอีเธอเรียม (ETH) โดยมีการหักค่าธรรมเนียมธุรกรรมจากบัญชีนั้น กรณีนี้ไม่ใช่ผลจากการประเมินของอพอลโล รีเสิร์ช
รายงานฉบับแรกของอพอลโล รีเสิร์ชจะตรวจสอบว่าการฝึกกระตุ้นพฤติกรรมหลีกเลี่ยงระบบควบคุมหรือไม่ ส่วนฉบับที่สองจะพิจารณาว่าพฤติกรรมดังกล่าวเกิดขึ้นระหว่างการประเมินและการใช้งานภายในหรือไม่ รวมถึงตรวจจับการให้เหตุผลที่เกี่ยวข้องได้หรือไม่
Comment 0