Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

กรอบเวลาภารกิจ AI เพิ่มเท่าตัวทุก 3.61 เดือนตามผลประเมิน แต่ยังอ่อนโจทย์ใช้วิจารณญาณ

มือของนักวิจัยกับแล็ปท็อปขณะทดสอบโจทย์เขียนโค้ด / TokenPost.ai

กรอบเวลาภารกิจที่โมเดล AI แบบเปิดทำสำเร็จได้ด้วยโอกาส 50% เพิ่มขึ้นเป็นสองเท่าทุกประมาณ 3.61 เดือนในการประเมิน ขณะที่บางโมเดลยังทำได้ไม่ถึงระดับผลงานโดยประมาณของผู้เชี่ยวชาญในโจทย์ที่ตัดสินคำตอบได้ยาก

METR องค์กรไม่แสวงหากำไรด้านการประเมิน AI ระบุในรายงานอัปเดตความสามารถที่เผยแพร่เมื่อวันที่ 20 พ.ย. ว่าได้ประเมินโมเดลแบบเปิด ซึ่งรวมถึงโคลด โอปุส 5.5 (Claude Opus 5.5) และ GPT-6 Astra รายงานเพิ่มโจทย์วิจัยที่ตัดสินผลได้ยาก ต้องใช้การพิจารณา การให้เหตุผลเชิงแนวคิด และการตรวจสอบ เข้าไปในชุดทดสอบเดิม เพื่อดูว่าผลงานในงานที่มีคำตอบชัดเจนจะนำไปใช้กับงานประเภทอื่นได้ด้วยหรือไม่

‘กรอบเวลา 50%’ ไม่ได้หมายถึงเวลาที่ AI ใช้ทำงานจริง แต่หมายถึงจุดที่ประเมินว่าโมเดลมีโอกาส 50% ที่จะทำภารกิจสำเร็จ โดยใช้เวลาที่มนุษย์ต้องใช้ทำภารกิจนั้นเป็นเกณฑ์วัดความยาก

ชุดโจทย์ส่วนใหญ่ครอบคลุมวิศวกรรมซอฟต์แวร์ การเรียนรู้ของเครื่อง และความมั่นคงปลอดภัยไซเบอร์ ส่วนโจทย์ TH2 ใหม่แบ่งเป็น 8 กลุ่มที่ตรวจผลผ่านหรือไม่ผ่านโดยอัตโนมัติได้ง่าย และอีก 4 กลุ่มที่ต้องใช้เวลานานในการพิจารณา ให้เหตุผลเชิงแนวคิด หรือตรวจสอบ

METR คำนวณอัตราการเพิ่มขึ้นของกรอบเวลาโดยรวมโจทย์ TH1.1 เดิม 222 ข้อกับโจทย์ TH2 ใหม่ 36 ข้อ ผลประเมินชี้ว่าระยะเวลาที่ใช้เพิ่มเป็นสองเท่าอยู่ที่ 3.61 เดือน โดยมีช่วงความเชื่อมั่น 95% ที่ 2.08–4.94 เดือน

ตัวเลขนี้ใกล้เคียงกับรอบ 105 วันที่ได้จากการประเมิน TH1.1 เดิม อย่างไรก็ตาม รอบดังกล่าวเป็นแนวโน้มที่คำนวณจากกลุ่มโจทย์ในชุดประเมิน และไม่ได้หมายความว่าเวลาของงานทุกประเภทที่ AI ทำได้จะเพิ่มขึ้นในอัตราเดียวกัน

โจทย์ MirrorCode ซึ่งมีงานจำลองการทำซ้ำซอฟต์แวร์ 75 ข้อ ถูกวิเคราะห์แยกเป็นอีกชุดหนึ่ง ไม่ได้นำไปรวมในการคำนวณกรอบเวลา รายงานแยกชุดโจทย์นี้ออกจากการวิเคราะห์รวม TH1.1 และ TH2

หากพิจารณาเฉพาะโจทย์ TH2 ที่ตรวจผลผ่านหรือไม่ผ่านโดยอัตโนมัติได้ รอบที่ใช้เพิ่มเป็นสองเท่าจะสั้นลงเหลือ 1.65 เดือน อย่างไรก็ดี METR ระบุว่าผลลัพธ์นี้มีความผันผวนของข้อมูลสูง

ดัชนีอีกชุดที่สรุปความสามารถของโมเดลแบบเปิดด้วยวิธีอื่นไม่ได้แสดงว่าอัตราการพัฒนาโดยรวมเร่งขึ้นอย่างชัดเจน จึงไม่ควรขยายผลจากรอบเวลาที่สั้นลงในโจทย์ซึ่งตรวจสอบอัตโนมัติได้ง่าย ไปสรุปว่าโมเดลแบบเปิดทั้งหมดกำลังพัฒนาเร็วขึ้น

ความสามารถในการใช้วิจารณญาณหมายถึงการตัดสินใจได้ดีในสถานการณ์ที่ตรวจคุณภาพของผลลัพธ์ได้ยาก หรือผลของทางเลือกต้องใช้เวลาจึงจะปรากฏ ในโจทย์ลักษณะนี้ ความง่ายในการให้คะแนนอัตโนมัติและความเหมาะสมของเกณฑ์ประเมินเองก็มีความสำคัญ

เมื่อ METR ให้โมเดลสร้างโจทย์ประเมินใหม่ที่เป็นประโยชน์ต่องานวิจัย ไม่มีโจทย์ที่ส่งเข้ามาชิ้นใดมีประโยชน์มากพอที่จะนำไปใส่ในรายงาน โมเดลส่วนใหญ่สร้างโจทย์เพิ่มประสิทธิภาพที่ตรวจผลผ่านหรือไม่ผ่านโดยอัตโนมัติได้ง่าย

ในโจทย์ประเมินคุณภาพการวิจารณ์ข้อโต้แย้งเชิงปรัชญา โมเดลแบบเปิดทุกตัวมีคะแนนความสอดคล้องไม่ถึงระดับผลงานที่ประเมินว่าผู้เชี่ยวชาญจะทำได้เมื่อใช้เวลา 15 นาที แต่บางโมเดลทำคะแนนได้สูงกว่าระดับที่ประเมินสำหรับผู้เชี่ยวชาญซึ่งใช้เวลา 5 นาที

METR อธิบายว่าผลนี้ไม่ได้หมายความว่ามนุษย์ทำได้ดีกว่าในงานที่ต้องใช้วิจารณญาณทุกประเภท ในโจทย์เพิ่มประสิทธิภาพบางประเภทของการเรียนรู้ของเครื่อง โมเดลทำได้ดีกว่าผู้ประเมินที่เป็นมนุษย์ และยังเป็นไปได้ว่าการทดสอบโจทย์ใช้วิจารณญาณไม่ได้ดึงความสามารถของโมเดลออกมาได้เต็มที่

ในการประเมินเวลาที่มนุษย์จะใช้ทำโจทย์ใหม่ มีเพียง 9% ที่อ้างอิงผลการลงมือทำจริงโดยตรง ส่วนที่เหลือใช้บันทึกสาธารณะ การประเมินของผู้เชี่ยวชาญ และการประมาณต่อยอด

METR ระบุว่าการทดสอบที่ให้คะแนนอัตโนมัติได้ง่ายอาจประเมินความสามารถจริงของโมเดลสูงเกินไป พร้อมเสริมว่าจำนวนโจทย์ใช้วิจารณญาณยังมีจำกัด และยังไม่แน่ชัดว่าความสามารถในการสร้างโจทย์ประเมินที่ดีจำเป็นต่อการเร่งการวิจัยและพัฒนา AI มากเพียงใด

การประเมินโมเดลแบบเปิดครั้งนี้มีขอบเขตและวิธีการต่างจากการประเมินแอนโทรปิก (Anthropic) ที่ METR เผยแพร่เมื่อวันที่ 5 พ.ย. การประเมินครั้งนั้นอาศัยข้อมูลภายในของแอนโทรปิกและการสัมภาษณ์นักวิจัย และเสนอความเป็นไปได้ว่า ณ เดือน ต.ค. 2026 ความสามารถของโมเดลในงานที่กำหนดไว้อย่างชัดเจนอาจพัฒนาเร็วขึ้นประมาณสองเท่าเมื่อเทียบกับในอดีต METR ประเมินช่วงไว้ที่ 1.3–3 เท่า และคำนวณอัตราการเติบโตของคะแนนเบนช์มาร์กไว้ที่ 1.9 เท่า โดยมีช่วงความเชื่อมั่น 95% ที่ 1.5–2.8 เท่า ก่อนหน้านี้ TokenPost รายงานคำชี้แจงของ METR ว่าหลักฐานสำคัญส่วนใหญ่ที่ใช้ในการประเมินครั้งนั้นไม่ได้เปิดเผยต่อสาธารณะ ส่วนรายงานวันที่ 20 พ.ย. ไม่พบการเร่งตัวในลักษณะเดียวกันในภาพรวมของโมเดลแบบเปิด

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1