ความก้าวหน้าครั้งใหญ่ในการฝึกโมเดล AI ล่วงหน้าอาจเกิดขึ้นอีกตั้งแต่ปี 2027 โดย Jakub Pachocki หัวหน้านักวิทยาศาสตร์ของ OpenAI ระบุในบทความทางการเรื่อง “Perplexity and Intelligence” เมื่อวันที่ 22 ว่า “อาจเริ่มเห็นความก้าวหน้าด้าน pretraining ขนาดใหญ่ในลักษณะใกล้เคียงกันได้เร็วที่สุดตั้งแต่ปี 2027”
ความเห็นนี้อ้างอิงจากการเปลี่ยนแปลงที่สังเกตพบในโมเดลซึ่งทำโจทย์คณิตศาสตร์ เมื่อนำมาพิจารณาผ่านมุมมองของงานวิจัยด้าน pretraining ทั้งนี้ ไม่ใช่กำหนดการพัฒนาที่ได้รับการยืนยันหรือแผนเปิดตัวโมเดล
Pachocki เสนอให้บริษัทพัฒนาโมเดลใช้ค่า Perplexity และ cross-entropy loss เป็นตัวชี้วัดร่วมสำหรับเปรียบเทียบความก้าวหน้าของ pretraining โดยมองว่าควรมีเกณฑ์สำหรับติดตามความเปลี่ยนแปลงของการฝึก แม้โจทย์ประเมินผลจะเปลี่ยนไป
Pretraining คือขั้นตอนที่โมเดลเรียนรู้ความสามารถพื้นฐานจากข้อมูลจำนวนมาก เช่น การทำนายโทเคนถัดไป ส่วน Perplexity ใช้วัดว่าโมเดลทำนายโทเคนถัดไปในประโยคได้ดีเพียงใด
เมื่อใช้ข้อมูลและวิธีประเมินชุดเดียวกัน ค่า Perplexity ที่ต่ำลงหมายถึงการทำนายโทเคนถัดไปได้แม่นยำขึ้น ส่วน cross-entropy loss ก็เป็นตัวชี้วัดความแตกต่างระหว่างสิ่งที่โมเดลทำนายกับข้อมูลจริง
Pachocki ระบุว่า หลังใช้โมเดลที่มีค่า log perplexity ราว 0.76 ซึ่งวัดจากชุดข้อมูลประเมินผลภายในของ OpenAI เขาสังเกตเห็นผลลัพธ์ที่โดดเด่นในโจทย์คณิตศาสตร์ที่เผยแพร่ต่อสาธารณะ ค่า log perplexity คือค่าที่ได้จากการคำนวณลอการิทึมของ Perplexity จึงไม่ควรอ่านในแบบเดียวกับค่า Perplexity โดยตรง
ตัวเลขนี้ไม่ได้รับประกันว่าความสามารถเฉพาะด้านจะปรากฏขึ้นเมื่อถึงเกณฑ์ดังกล่าว Pachocki อธิบายว่าไม่สามารถทราบล่วงหน้าได้อย่างแน่ชัดว่าความสามารถใหม่จะเกิดขึ้นที่คะแนนเท่าใด
งานวิจัยที่เผยแพร่ใน ACL เมื่อปี 2023 วิเคราะห์โมเดลภาษาหลายขนาด และรายงานว่า Perplexity มีประโยชน์ในการคาดการณ์ประสิทธิภาพการเรียนรู้จากบริบทของโจทย์ปรนัย 74 รายการใน BIG-Bench งานดังกล่าวศึกษาการใช้ตัวชี้วัดนี้กับโจทย์ชุดนั้น
ผลวิจัยไม่ได้หมายความว่า Perplexity เพียงค่าเดียวใช้ประเมินความสามารถทั้งหมดของโมเดลได้ และไม่ควรใช้เป็นคะแนนเดียวแทนผลการทำงานในโจทย์แต่ละประเภท
งานวิจัยบน arXiv ที่เผยแพร่ในปี 2022 วิเคราะห์ว่า แม้โมเดลจะมีค่า pretraining loss เท่ากัน ผลงานในโจทย์ภายหลังก็อาจแตกต่างกันตามวิธีฝึก ข้อนี้สะท้อนว่าตัวชี้วัด pretraining เพียงอย่างเดียวอธิบายความสามารถที่เกิดขึ้นภายหลังได้ไม่ครบถ้วน
นอกจากนี้ ข้อมูลประเมินและชุดข้อมูลฝึกของแต่ละสถาบันยังแตกต่างกัน ทำให้เปรียบเทียบคะแนนโดยตรงได้ยาก ความสามารถที่เพิ่มขึ้นหลัง pretraining เช่น จากการฝึกเพิ่มเติมเพื่อใช้กระบวนการให้เหตุผล ก็อาจไม่สะท้อนในค่า Perplexity อย่างครบถ้วน
Pachocki เสนอให้ผู้พัฒนาโมเดลแนวหน้า (frontier models) ร่วมกันกำหนดวิธีประเมิน เกณฑ์ red team ด้านความปลอดภัย และแนวปฏิบัติด้านความโปร่งใส เพื่อให้มีมาตรฐานร่วมสำหรับทำความเข้าใจและติดตามพฤติกรรมของโมเดล
เขายังเสนอให้กำหนดเพดานการพัฒนาโดยอิงตัวชี้วัดสำคัญ เช่น Perplexity จนกว่าจะเข้าใจและติดตามพฤติกรรมของโมเดลได้ ข้อเสนอนี้ยังไม่ได้รับการรับรองเป็นข้อตกลงร่วมของอุตสาหกรรมหรือนโยบายอย่างเป็นทางการ
Comment 0