TURTLE เพิ่มสัดส่วนโจทย์ยากใน AppWorld จากราว 20% เป็น 53%

TURTLE ซึ่งพัฒนาโดยนักวิจัยจากมหาวิทยาลัยสแตนฟอร์ด (Stanford University) และ Google DeepMind เพิ่มสัดส่วนโจทย์ยากในการประเมินการใช้งานแอป AppWorld จากเดิมราว 20% เป็น 53% ตัวเลขการเพิ่มขึ้น 165% ที่ระบุในงานวิจัยหมายถึงการเปลี่ยนแปลงเชิงสัมพัทธ์ของสัดส่วนโจทย์ยาก ไม่ได้หมายความว่าอัตราตอบถูกของโมเดล AI เพิ่มขึ้น 165%

นักวิจัยเปิดเผยผลในบทความวิจัยก่อนตีพิมพ์เรื่อง “Evolving Self-tuning Benchmarks for Long-Horizon Tool Use” (arXiv:2610.27307) ฉบับแก้ไขเมื่อวันที่ 21 ตุลาคม โดย TURTLE เป็นระบบที่ปรับโจทย์เดิมเพื่อประเมินความสามารถของ AI ในการใช้เครื่องมือ ทำงานหลายขั้นตอน และสลับใช้งานหลายแอป

เมื่อโมเดลคุ้นเคยกับชุดโจทย์ประเมินแบบตายตัว ก็อาจค้นหาความล้มเหลวรูปแบบใหม่ได้ยากขึ้น ขณะเดียวกัน การออกแบบโจทย์ใหม่ตั้งแต่ต้นและตรวจสอบว่าใช้งานได้จริงก็ต้องใช้แรงงาน TURTLE จึงนำองค์ประกอบและสภาพแวดล้อมการทำงานของโจทย์เดิมมาใช้สร้างโจทย์ใหม่ เพื่อลดภาระดังกล่าว

ระบบมีสามบทบาท ได้แก่ ผู้เสนอโจทย์ โมเดลแก้โจทย์ และตัวสร้างข้อเสนอแนะ ผู้เสนอใช้ AlphaEvolve ปรับโจทย์ โมเดลแก้โจทย์ทำงานตามโจทย์ที่เปลี่ยนไป ส่วนตัวสร้างข้อเสนอแนะตรวจบันทึกการทำงาน สรุปสาเหตุที่ล้มเหลว และนำข้อมูลไปใช้ในการปรับโจทย์รอบถัดไป

ผู้เสนอสร้างโจทย์ใหม่ด้วยการเปลี่ยนคำสั่งและลำดับการใช้เครื่องมือในโจทย์เดิม เช่น เพิ่มเงื่อนไขหรือตัวกรอง แทรกขั้นตอนระหว่างทาง หรือกำหนดให้ใช้หลายแอปร่วมกัน แทนการออกแบบใหม่ทั้งหมด ระบบจะนำองค์ประกอบที่ทำงานได้ในสภาพแวดล้อมประเมินเดิมมาจัดเรียงใหม่

ก่อนส่งขั้นตอนคำตอบของโจทย์ใหม่ให้โมเดลแก้โจทย์ ระบบจะทดลองรันในสภาพแวดล้อมจำลองเพื่อตรวจหาข้อผิดพลาดของระบบ โมเดลจะลองทำโจทย์ละ 10 ครั้ง และจะนับเป็นโจทย์ที่ใช้งานได้ก็ต่อเมื่อแก้สำเร็จครบถ้วนอย่างน้อยหนึ่งครั้ง วิธีนี้ช่วยป้องกันไม่ให้โจทย์ที่แก้ไม่ได้ถูกนำมาปะปนในการประเมิน

ระบบออกแบบคะแนนโจทย์ให้สูงขึ้นเมื่ออัตราทำโจทย์สำเร็จเฉลี่ยของโมเดลอยู่ใกล้ 50% โดยมุ่งหาโจทย์ที่มีทั้งโอกาสสำเร็จและล้มเหลว แทนโจทย์ที่โมเดลทำได้เกือบทุกครั้งหรือแทบทำไม่ได้เลย ส่วนการประเมิน AutomationBench อนุญาตให้ได้คะแนนบางส่วน เพื่อไม่ให้คะแนนของโจทย์ยากมีน้อยเกินไป

การทดลองหลักทำใน AppWorld ซึ่งเป็นสภาพแวดล้อมประเมินการใช้งานแอป นักวิจัยสร้างโจทย์ใหม่ 735 ข้อจากโจทย์เดิม 106 ข้อ ในโจทย์เดิม 69% โมเดลแก้ได้ครบทุกครั้ง และ 12% แก้ไม่ได้เลย แต่โจทย์ใหม่เกือบทั้งหมดมีอัตราสำเร็จอยู่ในช่วง 40-60%

นักวิจัยประเมินความยากของโจทย์แยกจากอัตราความสำเร็จของโมเดล ผู้ประเมิน Gemini 3.6 Flash พิจารณาจำนวนปฏิสัมพันธ์และระดับการให้เหตุผลที่โจทย์ต้องใช้ โดยอิงการแบ่งระดับสามขั้นจากการประเมินโดยมนุษย์ ได้แก่ ง่าย ปานกลาง และยาก โจทย์เดิม 80% ถูกจัดอยู่ในระดับง่ายหรือปานกลาง ส่วนโจทย์ใหม่ 53% ถูกจัดว่ายาก และ 44% อยู่ในระดับปานกลาง

การปรับโจทย์เน้นให้ต้องใช้เหตุผลหลายขั้นและตรวจสอบเงื่อนไขหลายข้อ ตัวอย่างในงานวิจัยเริ่มจากคำสั่งให้ตรวจเดือนเกิดของผู้ใช้ จากนั้นค้นหาเพื่อนร่วมงานที่เกิดเดือนเดียวกันและอาศัยอยู่ในซีแอตเทิล แล้วโอนเงินพร้อมใส่ข้อความที่แตกต่างกันให้แต่ละคน รวมถึงส่งอีเมลด้วย โจทย์นี้จึงต้องเชื่อมโยงหลายเงื่อนไข แทนการสั่งให้เปิดหรือใช้งานแอปเพียงอย่างเดียว

นักวิจัยรวบรวมว่า ลักษณะของโจทย์ เช่น การกรองข้อมูลด้วยตรรกะและการให้เหตุผล พบเพิ่มขึ้น 29-212% ใน AppWorld เมื่อเทียบกับชุดเดิม TURTLE จึงไม่ได้เพียงปรับคะแนนของโมเดลแก้โจทย์ แต่ยังเปลี่ยนองค์ประกอบของโจทย์ด้วยการเพิ่มเงื่อนไขและการใช้เครื่องมือระหว่างขั้นตอน

ชุดโจทย์ใน AutomationBench ซึ่งประเมินการใช้งานแอปสำหรับงานธุรกิจก็มีความหลากหลายขึ้น โจทย์เดิมทั้ง 16 ข้อต้องใช้แอป 4 แอป ส่วนโจทย์ใหม่ 23 ข้อ ในจำนวนนี้ 52% ต้องใช้ 5 แอป และ 13% ต้องใช้ 6 แอป ขณะที่จำนวนชุดผสมแอปที่จำเป็นเพิ่มจาก 15 รูปแบบเป็น 30 รูปแบบ

นักวิจัยยังนำระบบไปใช้กับ τ-telecom และ τ-banking ซึ่งประเมินการบริการลูกค้าด้านโทรคมนาคมและธนาคาร ในการประเมินด้านโทรคมนาคม พวกเขาสร้างโจทย์ 299 ข้อจากโจทย์เดิม 84 ข้อ ส่วนการประเมินด้านธนาคารสร้างโจทย์ 82 ข้อจากโจทย์เดิม 17 ข้อ และอีก 178 ข้อจากโจทย์เดิม 24 ข้อ โดยใช้วิธีค้นหาเอกสารที่แตกต่างกัน

ใน AppWorld จำนวนรูปแบบที่เกิดจากการจับคู่ลักษณะโจทย์กับประเภทข้อผิดพลาดของการแก้โจทย์เพิ่มจาก 49 เป็น 54 รูปแบบ นักวิจัยระบุว่าโจทย์ที่ง่ายเกินไปอาจไม่เผยจุดอ่อนของโมเดล ขณะที่โจทย์ที่ปรับแล้วช่วยตรวจสอบรูปแบบความล้มเหลวได้กว้างขึ้น

อย่างไรก็ตาม ผลลัพธ์หลักมาจากการทดลองที่ใช้ Gemma 4 31B-it เป็นโมเดลแก้โจทย์ การทดลองเพิ่มเติมที่ใช้ Gemini 3.6 Flash และ Gemini 3.1 Flash Lite ครอบคลุมเพียงโจทย์ตั้งต้นบางส่วนของ AppWorld นักวิจัยระบุข้อจำกัดด้านต้นทุนการเรียกใช้โมเดลเชิงพาณิชย์ และความจำเป็นต้องเพิ่มจำนวนโจทย์ตั้งต้นเพื่อสร้างชุดประเมินที่ใหญ่ขึ้น