แอนโทรปิก (Anthropic) ระบุว่า Claude ปรับปรุงคำตอบที่บันทึกไว้ได้ 72 จาก 203 ปัญหาหาค่าเหมาะที่สุดที่ยังไม่มีข้อยุติใน MIPLIB และพิสูจน์ได้ว่าคำตอบของ 45 ปัญหาเป็นคำตอบที่เหมาะที่สุด
แอนโทรปิกเปิดเผยผลเมื่อวันที่ 10 ผ่านโพสต์ของบัญชีทางการ Claude และระบุว่าได้ส่งคำตอบให้ MIPLIB แล้ว ตัวเลขที่บริษัทประกาศกับข้อมูลที่ปรากฏในบันทึกสาธารณะของชุดปัญหานี้เป็นคนละส่วนที่ควรพิจารณาแยกกัน
MIPLIB เป็นชุดปัญหาสาธารณะที่รวบรวมโจทย์การหาค่าเหมาะที่สุดแบบจำนวนเต็มผสม เพื่อใช้เปรียบเทียบประสิทธิภาพของโปรแกรมแก้ปัญหา วิธีนี้ค้นหาคำตอบที่ดีที่สุดจากการผสมตัวเลือกภายใต้ข้อจำกัดที่กำหนด และนำไปใช้กับโจทย์อย่างการจัดตารางเวลาหรือการแบ่งสรรทรัพยากร
การปรับปรุงคำตอบที่บันทึกไว้หมายถึงการหาคำตอบที่ดีกว่าคำตอบเดิม ส่วนการพิสูจน์ความเหมาะที่สุดหมายถึงการแสดงว่าไม่มีคำตอบที่ดีกว่านี้ภายใต้เงื่อนไขดังกล่าว ตัวเลขทั้งสองวัดผลคนละด้าน จึงไม่ควรนำมาบวกเป็น 117 ปัญหาที่แก้ได้โดยไม่ทราบว่ามีโจทย์ซ้ำกันหรือไม่
แอนโทรปิกยกตัวอย่างการปรับเวลาการเดินรถไฟ 42 ขบวนเพื่อลดการใช้ไฟฟ้าสูงสุด บริษัทระบุว่า Claude ใช้เวลาไม่ถึง 2 ชั่วโมงเพื่อหาคำตอบที่ลดการใช้ไฟฟ้าสูงสุดลง 2.6% เมื่อเทียบกับตารางเดินรถที่บันทึกไว้ใน MIPLIB และต่อมายังพิสูจน์ความเหมาะที่สุดของคำตอบนั้นได้ ตัวเลขนี้เป็นผลคำนวณภายใต้เงื่อนไขของโจทย์คณิตศาสตร์ ไม่ใช่ผลวัดว่าการเดินรถไฟจริงใช้ไฟฟ้าลดลง 2.6%
เว็บไซต์ MIPLIB แสดงว่าไฟล์คำตอบล่าสุดเผยแพร่เมื่อวันที่ 24 กันยายน โดย solufile 37 ที่เปิดเผยในขณะนั้นมีการปรับปรุงคำตอบเดิม 51 รายการ ผลที่แอนโทรปิกประกาศเมื่อวันที่ 10 พฤศจิกายนจึงเกิดขึ้นหลังข้อมูลสาธารณะล่าสุดดังกล่าว
แอนโทรปิกเปิดตัว Claude Fable 5.2 และ Claude Mythos 5.2 เมื่อวันที่ 9 อย่างไรก็ตาม โพสต์เกี่ยวกับ MIPLIB ไม่ได้ระบุว่าใช้ Claude รุ่นใดในการประเมินครั้งนี้
ก่อนหน้านี้ แอนโทรปิกระบุว่า Claude พิสูจน์เงื่อนไขความปลอดภัยที่กำหนดด้วยวิธีทางคณิตศาสตร์ได้ในจุดเริ่มทดสอบ 239 จุดของไลบรารีโอเพนซอร์ส 123 รายการ ผลดังกล่าวกับการประกาศเรื่อง MIPLIB ต่างเกี่ยวข้องกับการพิสูจน์ผลลัพธ์ แต่ใช้โจทย์และขอบเขตการประเมินคนละแบบ
MIPLIB เปิดรับการส่งคำตอบใหม่และนำผลที่ผ่านการตรวจสอบไปเผยแพร่ในการอัปเดตเว็บไซต์เป็นระยะ ส่วนการส่งคำตอบของแอนโทรปิกจะปรากฏในบันทึกสาธารณะอย่างไร ต้องติดตามการอัปเดตครั้งต่อไป
Comment 0