RTX 5090 จำนวน 240 ใบฝึกโมเดล 8B รันบน CPU สมาร์ทโฟน 59.6 โทเคนต่อวินาที

Chutes AI เปิดเผยว่าได้ฝึกโมเดลปัญญาประดิษฐ์ขนาด 8 พันล้านพารามิเตอร์ด้วย GPU RTX 5090 จำนวน 240 ใบ ซึ่งกระจายอยู่ในโฮสต์ 30 แห่งจาก 13 ประเทศ ก่อนนำโมเดลที่เสร็จแล้วไปรันบนหน่วยประมวลผลกลาง (CPU) ของสมาร์ทโฟน

การสาธิตดังกล่าวเปิดเผยในงาน Exploit Summit ซึ่งจัดขึ้นที่เมืองมอนทรีออล ประเทศแคนาดา ระหว่างวันที่ 28-29 กันยายน โดย Crypto Briefing รายงานเมื่อวันที่ 30 กันยายน

GPU ที่ใช้ในการฝึกโมเดลคือ NVIDIA($NVDA) RTX 5090 จำนวน 240 ใบ Chutes AI ระบุว่าต้นทุนการฝึกอยู่ที่ประมาณ 6,500 ดอลลาร์ หรือประมาณ 8.8 ล้านวอน และมีต้นทุนประมาณ 11 ดอลลาร์ หรือประมาณ 14,894 วอนต่อโทเคน 1 พันล้านโทเคน

ตัวเลขดังกล่าวเป็นการคำนวณของ Chutes AI เอง ยังไม่มีข้อมูลจากหน่วยงานภายนอกที่จำลองต้นทุนและประสิทธิภาพภายใต้เงื่อนไขการฝึกเดียวกัน

โมเดลขนาด 8B ที่ฝึกเสร็จแล้วสร้างโทเคนบน CPU ของสมาร์ทโฟนได้ประมาณ 59.6 โทเคนต่อวินาที โดยโทเคนเป็นหน่วยพื้นฐานที่โมเดลปัญญาประดิษฐ์ใช้ในการประมวลผลข้อความ

ส่วนโมเดลขนาดใหญ่กว่าซึ่งมีพารามิเตอร์ 40.75 พันล้านรายการ ใช้หน่วยความจำ 12GB และประมวลผลได้ 26.9 โทเคนต่อวินาที อย่างไรก็ตาม ทั้งสองตัวเลขเป็นผลจากการสาธิตของบริษัทเอง ขณะที่ไม่ได้เปิดเผยรุ่นสมาร์ทโฟนและเงื่อนไขการทดสอบโดยละเอียด

Parallax เชื่อม GPU ต่างพื้นที่

เทคโนโลยีหลักของการสาธิตคือระบบฝึกโมเดลแบบกระจายศูนย์ 'Parallax' ซึ่งแบ่งงานฝึกโมเดลไปยังฮาร์ดแวร์ที่อยู่คนละสถานที่ แทนการเช่าคลัสเตอร์ GPU ขนาดใหญ่เพียงแห่งเดียว

Chutes AI อธิบายไว้ในเอกสารทางการว่า Parallax ถูกออกแบบมาเพื่อฝึกโมเดล mixture-of-experts แบบกระจายบนโหนดต่างชนิดที่ไม่ได้เชื่อมต่อกันโดยตรง โมเดลประเภทนี้จะเลือกใช้เฉพาะโมเดลผู้เชี่ยวชาญที่จำเป็นจากหลายโมเดล เพื่อลดปริมาณการคำนวณ

Parallax ใช้โครงสร้างเครือข่ายแบบเพียร์ทูเพียร์ (P2P) บนพื้นฐานของ libp2p เพื่อซิงก์ข้อมูลและสถานะงานระหว่างหลายโหนด แนวทางดังกล่าวช่วยลดการพึ่งพาศูนย์ข้อมูลแห่งใดแห่งหนึ่ง

อย่างไรก็ตาม โครงสร้างแบบกระจายอาจได้รับผลกระทบจากโหนดขัดข้องและความล่าช้าของเครือข่าย ข้อมูลที่เปิดเผยยังไม่ได้ระบุรายละเอียดว่ามีการตรวจสอบความสมบูรณ์ของข้อมูลและรับมือกับความผิดพลาดในสภาพแวดล้อมการฝึกโมเดลขนาดใหญ่อย่างไร

การประมวลผลบนอุปกรณ์ยังต้องตรวจสอบเพิ่มเติม

การประมวลผลแบบออนดีไวซ์เป็นอีกองค์ประกอบสำคัญของการสาธิตครั้งนี้ หากโมเดลทำงานโดยตรงบนสมาร์ทโฟน ข้อมูลที่ผู้ใช้ป้อนอาจไม่ต้องถูกส่งไปยังเซิร์ฟเวอร์คลาวด์ ซึ่งสามารถนำไปใช้กับการคุ้มครองความเป็นส่วนตัวและการประมวลผลแบบออฟไลน์ได้

อย่างไรก็ตาม ยังไม่มีการเปิดเผยข้อมูลโดยละเอียดเกี่ยวกับความร้อน การใช้พลังงาน และความหน่วงในการตอบสนองของสมาร์ทโฟนแต่ละรุ่น จึงไม่ควรใช้จำนวนโทเคนต่อวินาทีเพียงอย่างเดียวในการประเมินความสะดวกในการใช้งานจริงหรือประสิทธิภาพแบตเตอรี่

Chutes AI ดำเนินงานซับเน็ต SN64 ซึ่งเป็นซับเน็ตคอมพิวติ้งแบบไร้เซิร์ฟเวอร์ของ Bittensor โดยบริษัทนำเสนอ Parallax ในฐานะเทคโนโลยีที่ขยายโครงสร้างพื้นฐานจากการเน้นการอนุมานโมเดลไปสู่ขั้นตอนการฝึก

กรณีนี้ถูกนำเสนอเป็นการทดลองที่เชื่อม GPU สำหรับผู้บริโภคเข้ากับโครงสร้างพื้นฐานสินทรัพย์ดิจิทัลแบบกระจายศูนย์เพื่อฝึกโมเดลปัญญาประดิษฐ์ Chutes AI ระบุว่าชุมชนของบริษัทเริ่มเปิดเผยจำนวนโทเคนที่ใช้ฝึก จำนวนโฮสต์ และปริมาณการประมวลผลต่อวินาทีผ่านแดชบอร์ดแบบเรียลไทม์ตั้งแต่วันที่ 10 กันยายน

ผู้ใช้บางส่วนให้ความสนใจกับความเป็นไปได้ในการลดต้นทุนการฝึกปัญญาประดิษฐ์ด้วย GPU สำหรับผู้บริโภค ขณะที่โพสต์ในชุมชนเองก็กล่าวถึงปัญหาด้านเสถียรภาพของ RTX 5090 และการขาดเกณฑ์เปรียบเทียบ

Chutes AI ระบุว่ามีแผนเผยแพร่รายงานทางเทคนิคฉบับสมบูรณ์และโมเดลทั้งหมด แต่ยังไม่ได้กำหนดวันเผยแพร่ ความสามารถในการทำซ้ำ ความปลอดภัย และประสิทธิภาพการใช้พลังงานในระดับบริการเชิงพาณิชย์จึงยังต้องรอการตรวจสอบเพิ่มเติม