นักวิจัยจากเซอร์ทิก (CertiK) และมหาวิทยาลัยโคลัมเบีย (Columbia University) ประเมินเคอร์เนล GPU ที่คอมไพล์แล้ว 149 อินสแตนซ์ และพิสูจน์ได้ว่า 83 อินสแตนซ์เป็นไปตามข้อกำหนด Lean พร้อมพบปัญหาความถูกต้อง 38 กรณีในไลบรารี 6 แห่ง
เซอร์ทิกเปิดเผยผลการวิจัย TensorLean ในประกาศอย่างเป็นทางการเมื่อวันที่ 20 งานวิจัยนี้มุ่งตรวจสอบความถูกต้องของโค้ดคำนวณ AI ที่ใช้งานจริงด้วยการพิสูจน์เชิงรูปแบบ
เคอร์เนล GPU คือโปรแกรมขนาดเล็กที่สั่งให้หน่วยประมวลผลกราฟิกทำการคำนวณเฉพาะอย่าง โดยรองรับงานที่จำเป็นต่อการฝึกและสร้างคำตอบของโมเดลภาษาขนาดใหญ่
ตัวเลข 149 หมายถึงจำนวนอินสแตนซ์ของเคอร์เนลที่คอมไพล์แล้วซึ่งนำมาประเมิน ส่วน 83 คือจำนวนอินสแตนซ์ที่พิสูจน์ได้ว่าผ่านข้อกำหนด Lean ขณะที่ 38 หมายถึงจำนวนปัญหาความถูกต้องที่พบในไลบรารี ไม่ใช่จำนวนอินสแตนซ์ที่ไม่ผ่านข้อกำหนด
นักวิจัยพบปัญหา 2 กรณีใน DeepGEMM ของดีปซีค (DeepSeek) และ 23 กรณีใน FlashAttention รวมปัญหาจากสองไลบรารีนี้ 25 กรณี ซึ่งเป็นส่วนหนึ่งของทั้งหมด 38 กรณี
การทดสอบทั่วไปมักรันโค้ดด้วยกรณีป้อนข้อมูลที่นักพัฒนาเลือกเพื่อค้นหาปัญหา แต่วิธีนี้อาจไม่พบข้อผิดพลาดที่เกิดกับขนาดข้อมูลหรือเงื่อนไขการทำงานซึ่งไม่ได้อยู่ในการทดสอบ
การพิสูจน์เชิงรูปแบบเริ่มจากเขียนข้อกำหนดทางคณิตศาสตร์เกี่ยวกับการคำนวณที่โปรแกรมต้องทำ เงื่อนไขที่ใช้ และค่าคลาดเคลื่อนที่ยอมรับได้ จากนั้นจึงพิสูจน์ว่าโค้ดทำตามข้อกำหนดดังกล่าว งานวิจัยนี้เขียนข้อกำหนดเหล่านั้นด้วย Lean
หากพิสูจน์ได้ เคอร์เนลจะเป็นไปตามข้อกำหนดสำหรับอินพุตและการทำงานทุกแบบที่อยู่ในเงื่อนไขของสเปก การรับประกันนี้ครอบคลุมเฉพาะขอบเขตและเงื่อนไขที่นำมาตรวจสอบ
โค้ดคำนวณ AI อาจปรับการจัดวางข้อมูลในหน่วยความจำและการแบ่งงานให้ GPU เพื่อเพิ่มความเร็ว การเพิ่มประสิทธิภาพบางแบบยังทำงานย้ายข้อมูลควบคู่ไปกับการคำนวณ หรือใช้การคำนวณที่มีความละเอียดต่ำลง
ก่อนหน้านี้ TokenPost รายงานงานวิจัยที่พบว่าผลการทดลองเพิ่มประสิทธิภาพเคอร์เนล GPU แตกต่างกันตามเงื่อนไขด้านงบประมาณ ส่วนงาน TensorLean นี้มุ่งพิสูจน์ความถูกต้องของการคำนวณในโค้ดที่ผ่านการเพิ่มประสิทธิภาพ แทนการเปรียบเทียบระดับการเพิ่มความเร็ว
TensorLean ตรวจสอบ PTX ซึ่งเป็นรูปแบบตัวแทนของโค้ดที่คอมไพล์สำหรับ GPU โดยตรง นักวิจัยใช้วิธีนี้ตรวจว่าโค้ดที่นำไปใช้จริงและผ่านการเพิ่มประสิทธิภาพเป็นไปตามข้อกำหนดการคำนวณที่กำหนดไว้หรือไม่
นักวิจัยเขียนการพิสูจน์ด้วย Lean เพื่อให้เครื่องตรวจสอบแต่ละขั้นตอนได้ และใช้วิธีนี้ประเมินเคอร์เนลที่ทำงานบน GPU หลายสถาปัตยกรรมหลายรุ่น
ผลการวิจัยนี้ใช้กับโค้ดคำนวณแต่ละรายการ ไม่ได้พิสูจน์ประสิทธิภาพโดยรวมของโมเดล AI หรือความถูกต้องของคำตอบที่โมเดลสร้างขึ้น
เซอร์ทิกยกตัวอย่างสมมติว่า การฝึก AI มูลค่า 100 ล้านดอลลาร์ (ประมาณ 133.1 พันล้านวอน) ซึ่งต้องคำนวณซ้ำ 1% อาจมีค่าใช้จ่ายประมวลผลเพิ่ม 1 ล้านดอลลาร์ (ประมาณ 1.331 พันล้านวอน) ตัวเลขนี้เป็นตัวอย่างเพื่ออธิบายต้นทุนที่อาจเกิดจากข้อผิดพลาดในการคำนวณ ไม่ใช่จำนวนเงินที่ TensorLean ช่วยประหยัดได้จริง
หลังปรับปรุงโค้ดแล้ว นักพัฒนาสามารถตรวจสอบอีกครั้งว่าโค้ดเวอร์ชันใหม่ยังเป็นไปตามข้อกำหนดเดิมหรือไม่ หากเป้าหมายและเงื่อนไขการคำนวณยังเหมือนเดิมก็อาจนำสเปกกลับมาใช้ได้ แต่หากเงื่อนไขอินพุตหรือค่าคลาดเคลื่อนที่ยอมรับได้เปลี่ยนไป ก็ต้องปรับสเปกด้วย
Comment 0