Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

ปี 2027 อาจเห็นความก้าวหน้าครั้งใหญ่ของ pretraining AI เสนอ Perplexity เป็นตัวชี้วัดร่วม

ความก้าวหน้าครั้งใหญ่ในการฝึกโมเดล AI ล่วงหน้าอาจเกิดขึ้นอีกตั้งแต่ปี 2027 โดย Jakub Pachocki หัวหน้านักวิทยาศาสตร์ของ OpenAI ระบุในบทความทางการเรื่อง “Perplexity and Intelligence” เมื่อวันที่ 22 ว่า “อาจเริ่มเห็นความก้าวหน้าด้าน pretraining ขนาดใหญ่ในลักษณะใกล้เคียงกันได้เร็วที่สุดตั้งแต่ปี 2027”

ความเห็นนี้อ้างอิงจากการเปลี่ยนแปลงที่สังเกตพบในโมเดลซึ่งทำโจทย์คณิตศาสตร์ เมื่อนำมาพิจารณาผ่านมุมมองของงานวิจัยด้าน pretraining ทั้งนี้ ไม่ใช่กำหนดการพัฒนาที่ได้รับการยืนยันหรือแผนเปิดตัวโมเดล

Pachocki เสนอให้บริษัทพัฒนาโมเดลใช้ค่า Perplexity และ cross-entropy loss เป็นตัวชี้วัดร่วมสำหรับเปรียบเทียบความก้าวหน้าของ pretraining โดยมองว่าควรมีเกณฑ์สำหรับติดตามความเปลี่ยนแปลงของการฝึก แม้โจทย์ประเมินผลจะเปลี่ยนไป

Pretraining คือขั้นตอนที่โมเดลเรียนรู้ความสามารถพื้นฐานจากข้อมูลจำนวนมาก เช่น การทำนายโทเคนถัดไป ส่วน Perplexity ใช้วัดว่าโมเดลทำนายโทเคนถัดไปในประโยคได้ดีเพียงใด

เมื่อใช้ข้อมูลและวิธีประเมินชุดเดียวกัน ค่า Perplexity ที่ต่ำลงหมายถึงการทำนายโทเคนถัดไปได้แม่นยำขึ้น ส่วน cross-entropy loss ก็เป็นตัวชี้วัดความแตกต่างระหว่างสิ่งที่โมเดลทำนายกับข้อมูลจริง

Pachocki ระบุว่า หลังใช้โมเดลที่มีค่า log perplexity ราว 0.76 ซึ่งวัดจากชุดข้อมูลประเมินผลภายในของ OpenAI เขาสังเกตเห็นผลลัพธ์ที่โดดเด่นในโจทย์คณิตศาสตร์ที่เผยแพร่ต่อสาธารณะ ค่า log perplexity คือค่าที่ได้จากการคำนวณลอการิทึมของ Perplexity จึงไม่ควรอ่านในแบบเดียวกับค่า Perplexity โดยตรง

ตัวเลขนี้ไม่ได้รับประกันว่าความสามารถเฉพาะด้านจะปรากฏขึ้นเมื่อถึงเกณฑ์ดังกล่าว Pachocki อธิบายว่าไม่สามารถทราบล่วงหน้าได้อย่างแน่ชัดว่าความสามารถใหม่จะเกิดขึ้นที่คะแนนเท่าใด

งานวิจัยที่เผยแพร่ใน ACL เมื่อปี 2023 วิเคราะห์โมเดลภาษาหลายขนาด และรายงานว่า Perplexity มีประโยชน์ในการคาดการณ์ประสิทธิภาพการเรียนรู้จากบริบทของโจทย์ปรนัย 74 รายการใน BIG-Bench งานดังกล่าวศึกษาการใช้ตัวชี้วัดนี้กับโจทย์ชุดนั้น

ผลวิจัยไม่ได้หมายความว่า Perplexity เพียงค่าเดียวใช้ประเมินความสามารถทั้งหมดของโมเดลได้ และไม่ควรใช้เป็นคะแนนเดียวแทนผลการทำงานในโจทย์แต่ละประเภท

งานวิจัยบน arXiv ที่เผยแพร่ในปี 2022 วิเคราะห์ว่า แม้โมเดลจะมีค่า pretraining loss เท่ากัน ผลงานในโจทย์ภายหลังก็อาจแตกต่างกันตามวิธีฝึก ข้อนี้สะท้อนว่าตัวชี้วัด pretraining เพียงอย่างเดียวอธิบายความสามารถที่เกิดขึ้นภายหลังได้ไม่ครบถ้วน

นอกจากนี้ ข้อมูลประเมินและชุดข้อมูลฝึกของแต่ละสถาบันยังแตกต่างกัน ทำให้เปรียบเทียบคะแนนโดยตรงได้ยาก ความสามารถที่เพิ่มขึ้นหลัง pretraining เช่น จากการฝึกเพิ่มเติมเพื่อใช้กระบวนการให้เหตุผล ก็อาจไม่สะท้อนในค่า Perplexity อย่างครบถ้วน

Pachocki เสนอให้ผู้พัฒนาโมเดลแนวหน้า (frontier models) ร่วมกันกำหนดวิธีประเมิน เกณฑ์ red team ด้านความปลอดภัย และแนวปฏิบัติด้านความโปร่งใส เพื่อให้มีมาตรฐานร่วมสำหรับทำความเข้าใจและติดตามพฤติกรรมของโมเดล

เขายังเสนอให้กำหนดเพดานการพัฒนาโดยอิงตัวชี้วัดสำคัญ เช่น Perplexity จนกว่าจะเข้าใจและติดตามพฤติกรรมของโมเดลได้ ข้อเสนอนี้ยังไม่ได้รับการรับรองเป็นข้อตกลงร่วมของอุตสาหกรรมหรือนโยบายอย่างเป็นทางการ

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1