ลดต้นทุนทดลอง 10 เท่า ไม่ใช่ค่าเทรน AI ทั้งระบบ งานวิจัยเมตา(META) จุดประเด็นถกเถียง

ทีมวิจัย FAIR ของเมตา(META) เปิดเผยงานวิจัยที่ชี้ข้อจำกัดของกฎการขยายขนาด (scaling law) แบบชินชิลลา(Chinchilla) ที่ใช้ทำนายขนาดการเทรนโมเดลภาษาขนาดใหญ่ (LLM) มานาน พร้อมเสนอโมเดลปรับเทียบใหม่ แต่ตัวเลข 'คอมพิวต์น้อยลง 10 เท่า' ที่ปรากฏในงานวิจัยหมายถึงต้นทุนการทดลองเพื่อประมาณค่ากฎการขยายขนาดเท่านั้น ไม่ใช่ต้นทุนเทรนโมเดลทั้งหมด

มาตูแรง วีโด(Mathurin Videau), บาดร์ ยูบี-อิดริซี(Badr Youbi-Idrissi), เดวิด โลเปซ-ปาซ(David Lopez-Paz) และคาร์ติก อาฮูจา(Kartik Ahuja) ระบุในงานวิจัยชื่อ 'Skaling: Chinchilla's Exponents Meet Kaplan's Coupling' ว่าสมมติฐานเดิมที่มองว่าขนาดโมเดลกับปริมาณข้อมูลเทรนส่งผลต่อค่าความสูญเสีย (loss) แยกจากกันนั้น ทำให้เกิดความคลาดเคลื่อนในบางช่วง หน้าเว็บอาร์ไคฟ์(arXiv) ระบุวันที่ส่งงานวิจัยเป็นวันที่ 7 ส่วนข้อมูลเมทาดาต้าของไฟล์ PDF ระบุวันที่ 10 ของเดือนเดียวกัน

กฎชินชิลลาถูกใช้เป็นเกณฑ์ว่าเมื่อมีงบประมาณการคำนวณคงที่ ควรเพิ่มขนาดโมเดลและจำนวนโทเคนเทรนไปพร้อมกันจึงจะมีประสิทธิภาพสูงสุด กูเกิล ดีปมายด์(Google DeepMind) เคยอธิบายในงานวิจัยชินชิลลาปี 2022 ว่าโมเดลขนาด 7 หมื่นล้านพารามิเตอร์ให้ผลลัพธ์ดีกว่าโมเดลโกเฟอร์(Gopher) ขนาด 2.8 แสนล้านพารามิเตอร์ เมื่อใช้คอมพิวต์เท่ากัน

หลังจากนั้นวงการนี้พูดถึงกฎง่าย ๆ ที่ว่า 'ราว 20 โทเคนต่อพารามิเตอร์' กันอย่างแพร่หลาย แนวคิดคือการรักษาสมดุลระหว่างขนาดโมเดลกับปริมาณข้อมูล มีประสิทธิภาพต่องบประมาณการคำนวณมากกว่าการขยายขนาดโมเดลอย่างเดียว

งานวิจัยฉบับนี้มองว่าโครงสร้างดังกล่าวอาจประเมินค่าความสูญเสียต่ำหรือสูงเกินจริงในช่วงที่ข้อมูลไม่เพียงพอหรือเทรนเกินความจำเป็น ทีมวิจัยจึงเสนอกฎ 'Skaling' ที่เพิ่มค่าเลขชี้กำลังของการเชื่อมโยง (coupling exponent) หรือ k เข้าไปในโครงสร้างการรวมค่าแบบแยกอิสระของชินชิลลา

Skaling ไม่ได้มองว่าขนาดโมเดล N และจำนวนโทเคนเทรน D เคลื่อนไหวแยกจากกันเพียงอย่างเดียว แต่สะท้อนผลที่ตัวแปรทั้งสองทำงานร่วมกันบนพื้นผิวค่าความสูญเสีย เพื่อลดความคลาดเคลื่อนในการทำนาย

ทีมวิจัยระบุตัวเลขผลลัพธ์ว่า Skaling ให้ค่าที่แม่นยำกว่าชินชิลลาใน 76% ของโครงสร้างที่ทดสอบ และมีค่ามัธยฐานของความคลาดเคลื่อนดีขึ้นถึง 2.2 เท่า

ค่าเฉลี่ยเปอร์เซ็นต์ความคลาดเคลื่อนสัมบูรณ์ (MAPE) ลดลง 1.5-3 เท่า ขึ้นอยู่กับเงื่อนไขการทดลอง อย่างไรก็ตาม ผลลัพธ์เหล่านี้มาจากกริดการทดลองและวิธีประเมินผลเฉพาะชุดหนึ่ง จึงยังสรุปแน่ชัดไม่ได้ว่าจะใช้ได้กับโมเดล ข้อมูล และสูตรการเทรนอื่น ๆ ในลักษณะเดียวกันทั้งหมด

ประเด็นที่ต้องระวังที่สุดคือตัวเลข '10 เท่า' งานวิจัยระบุว่าการใช้กริดโพรไฟล์แบบ 'ตัวแอล' (L-shaped) ที่สำรวจเฉพาะช่วงต้นทุนต่ำ แทนการสำรวจกริดทั้งหมดอย่างสม่ำเสมอ ช่วยให้ได้ความแม่นยำในการทำนายใกล้เคียงกันโดยใช้คอมพิวต์น้อยลงราว 10 เท่า

ตัวเลขนี้ 'ไม่ได้' หมายความว่าต้นทุนการเทรนโมเดลขนาดใหญ่ทั้งกระบวนการลดลงเหลือหนึ่งในสิบ แต่หมายถึงการลดต้นทุนการทดลองและโพรไฟล์ขนาดเล็กที่ทำก่อนการเทรนจริง เพื่อปรับกฎการขยายขนาดให้แม่นยำขึ้นเท่านั้น

ก่อนหน้านี้เมตาเคยแสดงท่าทีไม่ยึดเกณฑ์ชินชิลลาเป็นกฎตายตัวในโพสต์เปิดตัวลามา 3(Llama 3) เช่นกัน โดยเมตาระบุเมื่อปี 2024 ว่าโมเดลขนาด 8 พันล้านพารามิเตอร์ยังคงมีประสิทธิภาพดีขึ้นต่อเนื่อง แม้จะเทรนด้วยข้อมูลมากถึง 15 ล้านล้านโทเคน ซึ่งสูงกว่าจุดที่เรียกว่า 'จุดเหมาะสมของชินชิลลา' ที่ราว 2 แสนล้านโทเคนอยู่มาก

เมตา FAIR ยังเคยเผยแพร่งานวิจัย 'Compute Optimal Tokenization' เมื่อเดือนพฤษภาคม 2026 ที่เสนอว่าขนาดข้อมูลควรวัดเป็นไบต์มากกว่าโทเคน และควรแปรผันตามขนาดพารามิเตอร์ งานวิจัย Skaling ฉบับนี้จึงถือเป็นการต่อยอดที่เจาะลึกโครงสร้างการเชื่อมโยงบนพื้นผิวค่าความสูญเสีย มากกว่าการมองอัตราส่วนอย่างง่ายระหว่างจำนวนโทเคนกับขนาดโมเดล

ประเด็นนี้เชื่อมโยงกับการถกเถียงเรื่องต้นทุนการพัฒนา AI ในภาพรวม เพราะการเทรนโมเดลขนาดใหญ่ผูกติดกับต้นทุนศูนย์ข้อมูล เซมิคอนดักเตอร์ และพลังงาน ก่อนหน้านี้ TokenPost เคยรายงานว่าการแข่งขันลงทุนโครงสร้างพื้นฐาน AI ของบริษัทเทคโนโลยีรายใหญ่ในสหรัฐฯ กำลังกดดันกระแสเงินสดของบริษัทเหล่านั้น

Skaling จึงไม่ใช่เทคโนโลยีที่ช่วยลดแรงกดดันด้านต้นทุนได้โดยตรง แต่เป็นกรอบวิจัยที่ช่วยจัดสรรงบประมาณให้แม่นยำขึ้นก่อนเริ่มเทรนโมเดลขนาดใหญ่ หากลดต้นทุนการทดลองก่อนเทรนได้ ก็มีโอกาสลดความสูญเปล่าในขั้นตอนกำหนดขนาดโมเดลและปริมาณข้อมูลลงได้บ้าง

งานวิจัยฉบับนี้ยังเป็นพรีปรินต์บนอาร์ไคฟ์(arXiv) ที่ยังไม่ผ่านการตรวจสอบโดยผู้ทรงคุณวุฒิ (peer review) และไม่มีความเชื่อมโยงโดยตรงกับตลาดคริปโตหรือบล็อกเชน ดังนั้นในตอนนี้จึงควรมองเป็นประเด็นถกเถียงเรื่องประสิทธิภาพการเทรน AI และการปรับเทียบกฎการขยายขนาด มากกว่าจะตีความว่าเป็นการเปลี่ยนแปลงทิศทางของอุตสาหกรรม