ทิงกิงแมชชีนส์แล็บ (Thinking Machines Lab) เปิดตัวโมเดลปัญญาประดิษฐ์ อิงค์ลิง 2 มินิ (Inkling 2 Mini) ขนาดราว 20GB สำหรับประมวลผล ‘Local AI’ บนอุปกรณ์ Apple Silicon โดยตรง
บริษัทระบุในโมเดลการ์ดว่าอุปกรณ์ Apple Silicon ที่รองรับต้องมีหน่วยความจำอย่างน้อย 32GB ขณะที่ไฟล์โมเดลมีขนาดราว 20GB
การประมวลผลในเครื่องแยกบทบาทของพื้นที่จัดเก็บกับหน่วยความจำอย่างชัดเจน ไฟล์โมเดลเก็บไว้ในอุปกรณ์จัดเก็บข้อมูล ส่วนขั้นตอนประมวลผลใช้หน่วยความจำ
ดังนั้น อุปกรณ์ที่ใช้ Apple Silicon แต่มีหน่วยความจำน้อยกว่า 32GB จึงไม่อยู่ในเงื่อนไขรองรับที่เอกสารเปิดเผยไว้ ขนาดไฟล์โมเดลกับข้อกำหนดหน่วยความจำไม่สามารถทดแทนกันได้
‘Local AI’ คือรูปแบบที่ประมวลผลโมเดลบนอุปกรณ์ของผู้ใช้แทนเซิร์ฟเวอร์ภายนอก ผู้ใช้ไม่ต้องเรียก API ของผู้ให้บริการ แต่ต้องเตรียมไฟล์โมเดลและเครื่องมือประมวลผลไว้บนฮาร์ดแวร์ของตนเอง
รูปแบบนี้ทำให้จุดประมวลผลและสภาพแวดล้อมการใช้งานแตกต่างจากบริการที่พึ่งพาเซิร์ฟเวอร์ ขณะเดียวกันผู้ใช้ต้องจัดหาและรับผิดชอบกำลังประมวลผลกับพื้นที่จัดเก็บของอุปกรณ์เอง
หน้าโมเดลระบุใบอนุญาต Apache 2.0 และเผยแพร่ Acceptable Use Policy (นโยบายการใช้งานที่ยอมรับได้) แยกต่างหาก
Apache 2.0 เป็นหนึ่งในใบอนุญาตโอเพนซอร์สที่ใช้สำหรับการแก้ไขและเผยแพร่โมเดล ส่วน Acceptable Use Policy เป็นเอกสารเงื่อนไขที่ใช้กับการใช้งานโมเดล
เมื่อผู้พัฒนานำอิงค์ลิง 2 มินิไปผสานเข้ากับผลิตภัณฑ์หรือบริการ การพิจารณาขอบเขตการใช้งานจากข้อความ Apache 2.0 เพียงอย่างเดียวอาจไม่เพียงพอ จึงต้องตรวจสอบทั้งใบอนุญาตและนโยบายการใช้งานแยกต่างหาก
ก่อนหน้านี้เมื่อวันที่ 5 ของเดือนนี้ ทิงกิงแมชชีนส์แล็บเปิดตัวอิงค์ลิง 2 สมอลล์ (Inkling 2 Small) ซึ่งเป็นโมเดลผู้เชี่ยวชาญแบบผสม Mixture-of-Experts (MoE) มีพารามิเตอร์ทั้งหมด 594 พันล้านรายการ และเปิดใช้งาน 17 พันล้านรายการในขั้นตอนอนุมาน
อิงค์ลิง 2 สมอลล์รองรับอินพุตภาพและการปรับระดับการอนุมาน ขณะนั้นผู้ใช้เข้าถึงโมเดลได้ผ่าน Tinker แต่ยังไม่สามารถดาวน์โหลดน้ำหนักโมเดลได้
เมื่อเดือนกรกฎาคมที่ผ่านมา บริษัทเปิดตัวอิงค์ลิง (Inkling) และอิงค์ลิง-สมอลล์ (Inkling-Small) โดยอิงค์ลิงมีพารามิเตอร์ทั้งหมด 975 พันล้านรายการ และเปิดใช้งาน 41 พันล้านรายการระหว่างการอนุมาน ส่วนอิงค์ลิง-สมอลล์มีทั้งหมด 276 พันล้านรายการ และเปิดใช้งาน 12 พันล้านรายการ
MoE ทำงานด้วยการเปิดใช้งานผู้เชี่ยวชาญเพียงบางส่วนที่จำเป็นต่อการประมวลผลอินพุต จึงแยกขนาดพารามิเตอร์ทั้งหมดออกจากปริมาณการคำนวณจริงได้ แม้โมเดลจะมีพารามิเตอร์จำนวนมาก แต่ไม่ได้ใช้ทุกส่วนพร้อมกันในทุกครั้ง
เอกสารเปิดเผยของอิงค์ลิง 2 มินิระบุเงื่อนไขการประมวลผลในเครื่องไว้ทั้งอุปกรณ์ Apple Silicon และหน่วยความจำอย่างน้อย 32GB ผู้ใช้ควรตรวจสอบหน่วยความจำให้ถึงเกณฑ์ รวมถึงพื้นที่สำหรับจัดเก็บไฟล์โมเดลราว 20GB ก่อนเริ่มใช้งาน และควรอ่าน Apache 2.0 ควบคู่กับ Acceptable Use Policy
Comment 0