Amazon เปิดเบตา TorchNeuron รันทดสอบโค้ด PyTorch บน Trainium2·3

Amazon($AMZN) เปิดเบตาสาธารณะของ TorchNeuron เครื่องมือที่ช่วยให้รันโค้ด PyTorch เดิมบนชิป AI Trainium2 และ Trainium3 ของบริษัทได้ นักพัฒนาสามารถเริ่มทดสอบ Trainium ด้วยการเปลี่ยนการตั้งค่าอุปกรณ์ในโค้ด

AWS ประกาศเปิดเบตาสาธารณะเมื่อวันที่ 20 ส่วน PyTorch อธิบายวิธีทำงานของ TorchNeuron ก่อนหน้านั้นหนึ่งวัน เครื่องมือนี้เป็นซอฟต์แวร์โอเพนซอร์สภายใต้สัญญาอนุญาต Apache 2.0

PyTorch เป็นเฟรมเวิร์กโอเพนซอร์สที่ใช้สร้างและฝึกโมเดล AI เมื่อต้องย้ายงานไปใช้ชิปชนิดอื่น นักพัฒนาอาจต้องปรับโค้ดให้เหมาะกับฮาร์ดแวร์และตรวจสอบผลลัพธ์ TorchNeuron มุ่งลดภาระในขั้นตอนดังกล่าว

ผู้ใช้สามารถเลือก Trainium เป็นอุปกรณ์สำหรับรันโมเดลได้โดยกำหนด .to('neuron') ในโค้ดเดิม ขอบเขตการรองรับยังรวมถึงการทำงานแบบ eager ที่ใช้ในการวิจัยและดีบัก, torch.compile สำหรับปรับประสิทธิภาพ และ API สำหรับการฝึกแบบกระจาย PyTorch ระบุว่าออกแบบเครื่องมือนี้ให้ใช้ความสามารถเหล่านี้ได้ในขั้นตอนพัฒนาที่มีอยู่

การเปลี่ยนเพียงบรรทัดเดียวเป็นวิธีเริ่มต้นสลับอุปกรณ์ ไม่ได้หมายความว่าโมเดลและไลบรารีทั้งหมดจะทำงานได้โดยไม่ต้องปรับเพิ่มเติม และการย้ายโค้ดที่ง่ายขึ้นเพียงอย่างเดียวก็ไม่ได้ยืนยันว่า Trainium มีต้นทุนต่ำกว่าหรือประสิทธิภาพสูงกว่า GPU เดิม

Deepgram บริษัทด้าน AI เสียง เผยผลทดสอบของบริษัทในบทความแนะนำจาก PyTorch โดยระบุว่า Trainium ประมวลผลเสียงขาเข้าได้ราว 60% มากกว่าเมื่อเทียบตามดอลลาร์ กับเกณฑ์เปรียบเทียบ GPU เดิม ผลดังกล่าวจำกัดอยู่เฉพาะงานที่ Deepgram ประเมินและเกณฑ์เปรียบเทียบที่บริษัทใช้