สไตรป์ (Stripe) ประเมินการทำงานของเอเจนต์เขียนโค้ด AI ในสภาพแวดล้อมการเชื่อมต่อการชำระเงิน 11 แบบ พบว่าบางงานได้คะแนนสูง แต่ยังมีกรณีที่ตรวจสอบข้อมูลทดสอบและทำรายการชำระเงินผ่านเบราว์เซอร์ไม่สำเร็จ
สไตรป์อธิบายวิธีประเมินและผลการทดสอบในบทความด้านเทคนิคที่เผยแพร่เมื่อวันที่ 2 มีนาคม การประเมินไม่ได้ดูแค่การเขียนโค้ด แต่ตรวจด้วยว่าเอเจนต์ทำรายการชำระเงินในเบราว์เซอร์และสร้างบันทึกการชำระเงินได้จริงหรือไม่
สภาพแวดล้อมทดสอบแบ่งเป็นงานแบ็กเอนด์ที่ใช้ข้อมูลและ API ฝั่งเซิร์ฟเวอร์ งานฟูลสแตกที่พัฒนาทั้งหน้าจอและเซิร์ฟเวอร์ และงานเฉพาะฟังก์ชัน เช่น เช็กเอาต์และการชำระค่าสมาชิก แต่ละสภาพแวดล้อมมีโค้ด ฐานข้อมูล และสคริปต์ประกอบ
เครื่องมือให้คะแนนอัตโนมัติตรวจซอฟต์แวร์ที่สร้างขึ้นผ่านคำขอ API หรือการทดสอบหน้าจอ ในบางงานยังตรวจออบเจ็กต์การชำระเงินที่สร้างบน Stripe ด้วย สำหรับงานฟูลสแตก ระบบตรวจว่าเอเจนต์ชำระเงินทดสอบผ่านเบราว์เซอร์แล้วสร้างออบเจ็กต์เซสชันเช็กเอาต์ในโหมดทดสอบสำเร็จหรือไม่
งานเช็กเอาต์เฉพาะฟังก์ชันกำหนดให้เอเจนต์ตรวจการตั้งค่าของหน้าชำระเงินที่สร้างไว้ล่วงหน้า 20 หน้า โดยต้องตรวจสินค้าและจำนวน หา ID จากรายการสินค้า แล้วใส่ค่าจัดส่ง ช่องข้อมูลเพิ่มเติม และการตั้งค่าภาษีในคำขอ API สไตรป์ระบุว่าเอเจนต์ระบุพารามิเตอร์ที่จำเป็นได้ถูกต้องมากกว่า 80%
Claude Opus 4.5 ทำคะแนนเฉลี่ย 92% ในงานฟูลสแตก 4 งาน ส่วน GPT-5.2 ทำคะแนนเฉลี่ย 73% ในงานเฉพาะฟังก์ชัน 2 งาน การทำงานแต่ละครั้งที่ได้คะแนนสูงสุดใช้ขั้นตอนเฉลี่ย 63 ขั้น
คะแนนของทั้งสองโมเดลเปรียบเทียบกันโดยตรงได้ยาก เพราะเป็นงานคนละประเภทและมีจำนวนงานไม่เท่ากัน คะแนน 92% มาจากค่าเฉลี่ยของงานฟูลสแตก 4 งาน ขณะที่ 73% มาจากค่าเฉลี่ยของงานเฉพาะฟังก์ชัน 2 งาน ซึ่งครอบคลุมเช็กเอาต์และการชำระค่าสมาชิก
คะแนนของแต่ละงานอิงผลสูงสุดจากการทดลอง 3 ครั้ง โดยตัดครั้งที่ล้มเหลวจากปัญหาโครงสร้างพื้นฐานที่ตรวจพบออก วิศวกรของสไตรป์ยังตรวจบันทึกการทำงานของครั้งที่ได้คะแนนสูงสุด เพื่อยืนยันความถูกต้องของการประเมิน
โมเดลทั้งหมดใช้สภาพแวดล้อมที่ทำงานบน Goose และเรียกใช้เครื่องมือผ่าน Model Context Protocol (MCP) เพื่อเข้าถึงเทอร์มินัล เบราว์เซอร์ และระบบค้นหาเอกสารของ Stripe
กรณีล้มเหลวหนึ่งเกิดขึ้นระหว่างตรวจสอบ API ฝั่งเซิร์ฟเวอร์สำหรับการทดสอบ เอเจนต์บางตัวป้อนข้อมูลลูกค้าที่ไม่มีอยู่จริงและได้รับข้อความแสดงข้อผิดพลาด แต่กลับสรุปว่าได้ตรวจสอบการทำงานตามปกติแล้ว สไตรป์ระบุว่ามีการทดลองบางครั้งที่สร้างข้อมูลทดสอบขึ้นมาและตรวจผลได้เหมาะสมกว่า
การควบคุมเบราว์เซอร์ก็พบปัญหาเช่นกัน ในหน้าชำระเงิน เอเจนต์บางตัวสั่งงานหลายอย่างพร้อมกันจนเลือกเฟรม HTML ของหน้าแทนช่องกรอกข้อมูล ทำให้พิมพ์ไม่ได้ แม้การรีเฟรชหรือคลิกนอกหน้าจอจะช่วยให้กลับมาทำงานต่อได้ แต่เอเจนต์เหล่านั้นก็ไม่สามารถดำเนินงานต่อ
ในทางกลับกัน งานเปลี่ยนหน้ากรอกข้อมูลบัตรแบบเดิมให้เป็น Stripe Checkout มีเอเจนต์ตัวหนึ่งใช้ Link ซึ่งเป็นบริการชำระเงินของสไตรป์เพื่อซื้อสินค้าทดลองจนสำเร็จ สไตรป์ระบุว่าไม่ได้กำหนดวิธีชำระเงินที่ต้องใช้ในงานนี้
ก่อนหน้านี้ TokenPost รายงาน กรณีที่สไตรป์ขยายการเชื่อมต่อบริการพัฒนาและเครื่องมือชำระเงินสำหรับเอเจนต์ AI การประเมินครั้งนี้มุ่งวัดความสามารถของเอเจนต์ในการสร้างและตรวจสอบการเชื่อมต่อการชำระเงินโดยตรง ไม่ได้ประเมินการจัดบริการหรือขอบเขตฟังก์ชันการชำระเงินของสไตรป์
เอกสารผลการประเมินที่เผยแพร่ระบุงานและวิธีให้คะแนนในแต่ละสภาพแวดล้อม สไตรป์ระบุว่าจะเพิ่มโจทย์ประเมินและติดตามการเปลี่ยนแปลงของประสิทธิภาพโมเดลต่อไป
Comment 0