Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI ให้ METR ตรวจสอบการฝึกเสริมแรงครั้งใหญ่ที่สุด

ผู้ตรวจสอบกำลังพิจารณาบันทึกการฝึกในห้องประเมินความปลอดภัย / TokenPost.ai

OpenAI ให้ METR ตรวจสอบการฝึกเสริมแรงครั้งเดียวที่มีขนาดใหญ่ที่สุดเท่าที่บริษัทเคยดำเนินการ โดยจะพิจารณาว่าโมเดลมีพฤติกรรมผิดไปจากที่ตั้งใจระหว่างฝึกหรือไม่ และการทดสอบกับระบบเฝ้าระวังเดิมพลาดพฤติกรรมดังกล่าวหรือไม่

OpenAI เปิดเผยเมื่อวันที่ 16 ว่าได้ทำสัญญาประเมินระยะเริ่มต้นกับองค์กรภายนอก 4 แห่ง ซึ่งรวมถึง METR การประกาศครั้งนี้อธิบายถึงขอบเขตและแนวทางการประเมิน ยังไม่ใช่การรายงานผลการประเมิน การฝึกเสริมแรงเป็นวิธีฝึกโมเดลให้ปรับพฤติกรรมตามผลประเมินการทำภารกิจ

เป้าหมายการตรวจสอบระยะแรกคือการฝึกเพียงครั้งเดียวที่ OpenAI เลือก บริษัทวางแผนจะให้ตัวอย่างโมเดลจากช่วงกลางของการฝึก บันทึกงานที่สร้างขึ้นระหว่างการฝึกและการประเมิน รวมถึงบันทึกการเฝ้าระวังพฤติกรรมผิดปกติ

METR จะกำหนดลำดับความสำคัญในการตรวจสอบ และทำการวิเคราะห์กับการทดลองเพิ่มเติมภายใต้สิทธิ์เข้าถึง ทรัพยากร และมาตรการความปลอดภัยที่ตกลงกันไว้

นอกเหนือจากการตรวจสอบนี้ OpenAI ยังได้ตกลงเบื้องต้นกับ METR ให้ประเมินระบบเฝ้าระวังในวงกว้างขึ้น แต่ทั้งสองฝ่ายยังต้องกำหนดเพิ่มเติมว่าจะตรวจสอบระบบและบันทึกใด การประเมินระยะแรกไม่ได้ครอบคลุมโมเดลและระบบเฝ้าระวังทั้งหมดของ OpenAI

ก่อนหน้านี้ METR และ Redwood Research ทดสอบระบบเฝ้าระวังภายในของ OpenAI ที่ใช้อยู่ในขณะนั้น ตั้งแต่วันที่ 21 ก.ค. ถึง 11 ส.ค. ทั้งสององค์กรพบช่องทางหลบเลี่ยงการเฝ้าระวังและจุดอ่อนด้านการหยุดการทำงาน

METR ระบุว่า OpenAI แก้ไขช่องโหว่ส่วนใหญ่แล้ว และอีกหนึ่งรายการยังอยู่ระหว่างแก้ไข อย่างไรก็ตาม METR ไม่ได้ตรวจสอบอย่างเป็นอิสระว่าสถานะการแก้ไขเป็นอย่างไร หรือระบบเฝ้าระวังที่ขยายเพิ่มเติมภายหลังมีประสิทธิภาพเพียงใด

ขอบเขตการตรวจสอบครั้งนี้แคบกว่าข้อเสนอการประเมินที่ METR เสนอไว้ก่อนหน้า ซึ่งวางแผนตรวจสอบพฤติกรรมของโมเดลภายในหลายรุ่นระหว่างการฝึก การประเมิน และการใช้งานภายในบริษัท โดย OpenAI ระบุว่าการประเมินระยะแรกมีขอบเขตจำกัดกว่าข้อเสนอดังกล่าว

การเผยแพร่ผลประเมินมีเงื่อนไขกำกับ องค์กรภายนอกสามารถเผยแพร่ผลประเมินของตนเองได้ ขณะที่ OpenAI อาจปกปิดข้อมูลลับ และขอเลื่อนการเผยแพร่ข้อค้นพบที่จำเป็นต้องดำเนินมาตรการด้านความปลอดภัย รายงานฉบับที่ไม่มีการปกปิดข้อมูลจะส่งให้คณะกรรมการด้านความปลอดภัยและความมั่นคงของบอร์ดมูลนิธิ OpenAI

OpenAI ระบุว่าจะไม่จ่ายค่าตอบแทนให้ METR สำหรับการประเมิน แต่อาจจัดสรรทรัพยากรประมวลผลหรือสิทธิ์ใช้งาน API ที่จำเป็นต่อการตรวจสอบ

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1