Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

11 สภาพแวดล้อมชำระเงิน: สไตรป์เผยผลทดสอบเอเจนต์ AI ทั้งคะแนนสูงและกรณีล้มเหลว

ภาพสร้างด้วย AI: มือที่กำลังทำรายการซื้อทดลองบนหน้าชำระเงินในเบราว์เซอร์ / TokenPost.ai (mono)

สไตรป์ (Stripe) ประเมินการทำงานของเอเจนต์เขียนโค้ด AI ในสภาพแวดล้อมการเชื่อมต่อการชำระเงิน 11 แบบ พบว่าบางงานได้คะแนนสูง แต่ยังมีกรณีที่ตรวจสอบข้อมูลทดสอบและทำรายการชำระเงินผ่านเบราว์เซอร์ไม่สำเร็จ

สไตรป์อธิบายวิธีประเมินและผลการทดสอบในบทความด้านเทคนิคที่เผยแพร่เมื่อวันที่ 2 มีนาคม การประเมินไม่ได้ดูแค่การเขียนโค้ด แต่ตรวจด้วยว่าเอเจนต์ทำรายการชำระเงินในเบราว์เซอร์และสร้างบันทึกการชำระเงินได้จริงหรือไม่

สภาพแวดล้อมทดสอบแบ่งเป็นงานแบ็กเอนด์ที่ใช้ข้อมูลและ API ฝั่งเซิร์ฟเวอร์ งานฟูลสแตกที่พัฒนาทั้งหน้าจอและเซิร์ฟเวอร์ และงานเฉพาะฟังก์ชัน เช่น เช็กเอาต์และการชำระค่าสมาชิก แต่ละสภาพแวดล้อมมีโค้ด ฐานข้อมูล และสคริปต์ประกอบ

เครื่องมือให้คะแนนอัตโนมัติตรวจซอฟต์แวร์ที่สร้างขึ้นผ่านคำขอ API หรือการทดสอบหน้าจอ ในบางงานยังตรวจออบเจ็กต์การชำระเงินที่สร้างบน Stripe ด้วย สำหรับงานฟูลสแตก ระบบตรวจว่าเอเจนต์ชำระเงินทดสอบผ่านเบราว์เซอร์แล้วสร้างออบเจ็กต์เซสชันเช็กเอาต์ในโหมดทดสอบสำเร็จหรือไม่

งานเช็กเอาต์เฉพาะฟังก์ชันกำหนดให้เอเจนต์ตรวจการตั้งค่าของหน้าชำระเงินที่สร้างไว้ล่วงหน้า 20 หน้า โดยต้องตรวจสินค้าและจำนวน หา ID จากรายการสินค้า แล้วใส่ค่าจัดส่ง ช่องข้อมูลเพิ่มเติม และการตั้งค่าภาษีในคำขอ API สไตรป์ระบุว่าเอเจนต์ระบุพารามิเตอร์ที่จำเป็นได้ถูกต้องมากกว่า 80%

Claude Opus 4.5 ทำคะแนนเฉลี่ย 92% ในงานฟูลสแตก 4 งาน ส่วน GPT-5.2 ทำคะแนนเฉลี่ย 73% ในงานเฉพาะฟังก์ชัน 2 งาน การทำงานแต่ละครั้งที่ได้คะแนนสูงสุดใช้ขั้นตอนเฉลี่ย 63 ขั้น

คะแนนของทั้งสองโมเดลเปรียบเทียบกันโดยตรงได้ยาก เพราะเป็นงานคนละประเภทและมีจำนวนงานไม่เท่ากัน คะแนน 92% มาจากค่าเฉลี่ยของงานฟูลสแตก 4 งาน ขณะที่ 73% มาจากค่าเฉลี่ยของงานเฉพาะฟังก์ชัน 2 งาน ซึ่งครอบคลุมเช็กเอาต์และการชำระค่าสมาชิก

คะแนนของแต่ละงานอิงผลสูงสุดจากการทดลอง 3 ครั้ง โดยตัดครั้งที่ล้มเหลวจากปัญหาโครงสร้างพื้นฐานที่ตรวจพบออก วิศวกรของสไตรป์ยังตรวจบันทึกการทำงานของครั้งที่ได้คะแนนสูงสุด เพื่อยืนยันความถูกต้องของการประเมิน

โมเดลทั้งหมดใช้สภาพแวดล้อมที่ทำงานบน Goose และเรียกใช้เครื่องมือผ่าน Model Context Protocol (MCP) เพื่อเข้าถึงเทอร์มินัล เบราว์เซอร์ และระบบค้นหาเอกสารของ Stripe

กรณีล้มเหลวหนึ่งเกิดขึ้นระหว่างตรวจสอบ API ฝั่งเซิร์ฟเวอร์สำหรับการทดสอบ เอเจนต์บางตัวป้อนข้อมูลลูกค้าที่ไม่มีอยู่จริงและได้รับข้อความแสดงข้อผิดพลาด แต่กลับสรุปว่าได้ตรวจสอบการทำงานตามปกติแล้ว สไตรป์ระบุว่ามีการทดลองบางครั้งที่สร้างข้อมูลทดสอบขึ้นมาและตรวจผลได้เหมาะสมกว่า

การควบคุมเบราว์เซอร์ก็พบปัญหาเช่นกัน ในหน้าชำระเงิน เอเจนต์บางตัวสั่งงานหลายอย่างพร้อมกันจนเลือกเฟรม HTML ของหน้าแทนช่องกรอกข้อมูล ทำให้พิมพ์ไม่ได้ แม้การรีเฟรชหรือคลิกนอกหน้าจอจะช่วยให้กลับมาทำงานต่อได้ แต่เอเจนต์เหล่านั้นก็ไม่สามารถดำเนินงานต่อ

ในทางกลับกัน งานเปลี่ยนหน้ากรอกข้อมูลบัตรแบบเดิมให้เป็น Stripe Checkout มีเอเจนต์ตัวหนึ่งใช้ Link ซึ่งเป็นบริการชำระเงินของสไตรป์เพื่อซื้อสินค้าทดลองจนสำเร็จ สไตรป์ระบุว่าไม่ได้กำหนดวิธีชำระเงินที่ต้องใช้ในงานนี้

ก่อนหน้านี้ TokenPost รายงาน กรณีที่สไตรป์ขยายการเชื่อมต่อบริการพัฒนาและเครื่องมือชำระเงินสำหรับเอเจนต์ AI การประเมินครั้งนี้มุ่งวัดความสามารถของเอเจนต์ในการสร้างและตรวจสอบการเชื่อมต่อการชำระเงินโดยตรง ไม่ได้ประเมินการจัดบริการหรือขอบเขตฟังก์ชันการชำระเงินของสไตรป์

เอกสารผลการประเมินที่เผยแพร่ระบุงานและวิธีให้คะแนนในแต่ละสภาพแวดล้อม สไตรป์ระบุว่าจะเพิ่มโจทย์ประเมินและติดตามการเปลี่ยนแปลงของประสิทธิภาพโมเดลต่อไป

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1