Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

20GB อิงค์ลิง 2 มินิ (Inkling 2 Mini) รองรับ Apple Silicon หน่วยความจำ 32GB ขึ้นไป

แล็ปท็อป Apple Silicon สำหรับ Local AI ที่เชื่อมต่อ SSD ภายนอก / TokenPost.ai

ทิงกิงแมชชีนส์แล็บ (Thinking Machines Lab) เปิดตัวโมเดลปัญญาประดิษฐ์ อิงค์ลิง 2 มินิ (Inkling 2 Mini) ขนาดราว 20GB สำหรับประมวลผล ‘Local AI’ บนอุปกรณ์ Apple Silicon โดยตรง

บริษัทระบุในโมเดลการ์ดว่าอุปกรณ์ Apple Silicon ที่รองรับต้องมีหน่วยความจำอย่างน้อย 32GB ขณะที่ไฟล์โมเดลมีขนาดราว 20GB

การประมวลผลในเครื่องแยกบทบาทของพื้นที่จัดเก็บกับหน่วยความจำอย่างชัดเจน ไฟล์โมเดลเก็บไว้ในอุปกรณ์จัดเก็บข้อมูล ส่วนขั้นตอนประมวลผลใช้หน่วยความจำ

ดังนั้น อุปกรณ์ที่ใช้ Apple Silicon แต่มีหน่วยความจำน้อยกว่า 32GB จึงไม่อยู่ในเงื่อนไขรองรับที่เอกสารเปิดเผยไว้ ขนาดไฟล์โมเดลกับข้อกำหนดหน่วยความจำไม่สามารถทดแทนกันได้

‘Local AI’ คือรูปแบบที่ประมวลผลโมเดลบนอุปกรณ์ของผู้ใช้แทนเซิร์ฟเวอร์ภายนอก ผู้ใช้ไม่ต้องเรียก API ของผู้ให้บริการ แต่ต้องเตรียมไฟล์โมเดลและเครื่องมือประมวลผลไว้บนฮาร์ดแวร์ของตนเอง

รูปแบบนี้ทำให้จุดประมวลผลและสภาพแวดล้อมการใช้งานแตกต่างจากบริการที่พึ่งพาเซิร์ฟเวอร์ ขณะเดียวกันผู้ใช้ต้องจัดหาและรับผิดชอบกำลังประมวลผลกับพื้นที่จัดเก็บของอุปกรณ์เอง

หน้าโมเดลระบุใบอนุญาต Apache 2.0 และเผยแพร่ Acceptable Use Policy (นโยบายการใช้งานที่ยอมรับได้) แยกต่างหาก

Apache 2.0 เป็นหนึ่งในใบอนุญาตโอเพนซอร์สที่ใช้สำหรับการแก้ไขและเผยแพร่โมเดล ส่วน Acceptable Use Policy เป็นเอกสารเงื่อนไขที่ใช้กับการใช้งานโมเดล

เมื่อผู้พัฒนานำอิงค์ลิง 2 มินิไปผสานเข้ากับผลิตภัณฑ์หรือบริการ การพิจารณาขอบเขตการใช้งานจากข้อความ Apache 2.0 เพียงอย่างเดียวอาจไม่เพียงพอ จึงต้องตรวจสอบทั้งใบอนุญาตและนโยบายการใช้งานแยกต่างหาก

ก่อนหน้านี้เมื่อวันที่ 5 ของเดือนนี้ ทิงกิงแมชชีนส์แล็บเปิดตัวอิงค์ลิง 2 สมอลล์ (Inkling 2 Small) ซึ่งเป็นโมเดลผู้เชี่ยวชาญแบบผสม Mixture-of-Experts (MoE) มีพารามิเตอร์ทั้งหมด 594 พันล้านรายการ และเปิดใช้งาน 17 พันล้านรายการในขั้นตอนอนุมาน

อิงค์ลิง 2 สมอลล์รองรับอินพุตภาพและการปรับระดับการอนุมาน ขณะนั้นผู้ใช้เข้าถึงโมเดลได้ผ่าน Tinker แต่ยังไม่สามารถดาวน์โหลดน้ำหนักโมเดลได้

เมื่อเดือนกรกฎาคมที่ผ่านมา บริษัทเปิดตัวอิงค์ลิง (Inkling) และอิงค์ลิง-สมอลล์ (Inkling-Small) โดยอิงค์ลิงมีพารามิเตอร์ทั้งหมด 975 พันล้านรายการ และเปิดใช้งาน 41 พันล้านรายการระหว่างการอนุมาน ส่วนอิงค์ลิง-สมอลล์มีทั้งหมด 276 พันล้านรายการ และเปิดใช้งาน 12 พันล้านรายการ

MoE ทำงานด้วยการเปิดใช้งานผู้เชี่ยวชาญเพียงบางส่วนที่จำเป็นต่อการประมวลผลอินพุต จึงแยกขนาดพารามิเตอร์ทั้งหมดออกจากปริมาณการคำนวณจริงได้ แม้โมเดลจะมีพารามิเตอร์จำนวนมาก แต่ไม่ได้ใช้ทุกส่วนพร้อมกันในทุกครั้ง

เอกสารเปิดเผยของอิงค์ลิง 2 มินิระบุเงื่อนไขการประมวลผลในเครื่องไว้ทั้งอุปกรณ์ Apple Silicon และหน่วยความจำอย่างน้อย 32GB ผู้ใช้ควรตรวจสอบหน่วยความจำให้ถึงเกณฑ์ รวมถึงพื้นที่สำหรับจัดเก็บไฟล์โมเดลราว 20GB ก่อนเริ่มใช้งาน และควรอ่าน Apache 2.0 ควบคู่กับ Acceptable Use Policy

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1