โมเดลคำแนะนำคำค้นหาที่สร้างด้วย AI agent ช่วยให้จำนวนเซสชันค้นหาเพิ่มขึ้น 0.23% เมื่อเทียบกับกลุ่มควบคุม แต่หน้าค้นหาใช้เวลาแสดงผลนานขึ้น
ทีมนักวิจัยของเมตา (Meta, META) เปิดเผยผลดังกล่าวในบทความวิจัยที่เผยแพร่เมื่อวันที่ 18 โดย Nullstate ซึ่งเป็นโมเดลที่ใช้จัดลำดับคำแนะนำที่แสดงใต้ช่องค้นหา ก่อนผู้ใช้จะเปิดช่องและเริ่มพิมพ์ตัวอักษร ปริมาณประมวลผลมากกว่า 1 พันล้านครั้งต่อวันที่ระบุในบทความหมายถึงจำนวนคำขอที่ส่งไปยังโมเดล ไม่ใช่จำนวนผู้ใช้หรือเซสชันค้นหา
แคมเปญทดลองดำเนินไป 31 วัน AI agent ปรับโค้ดโมเดล เรียกใช้งานฝึกโมเดล แล้วประเมินผลแบบออฟไลน์ โดยนักวิจัยใช้ Claude Opus 4.8 เพื่อค้นหาการเปลี่ยนแปลงที่อาจนำมาทดลอง
agent ทดลองการเปลี่ยนแปลง 7 รายการพร้อมกันในแต่ละรอบ และตรวจสอบความผันผวนของผลลัพธ์ แคมเปญนี้ทำการทดลองกับตัวเลือกต่าง ๆ เสร็จสิ้น 1,097 รายการ
ในจำนวนนี้ 325 รายการผ่านการประเมินแบบออฟไลน์และถูกรวมไว้ในโมเดลสะสม คิดเป็นอัตราการยอมรับ 29.6% เมื่อนับงานวัดความผันผวนอีก 155 รายการด้วย จะมีงานที่ดำเนินการเสร็จสิ้นรวม 1,252 รายการ
นักวิจัยประเมินว่างานทั้งหมดใช้เวลาประมวลผลบน GPU ราว 360,000 GPU-hours เมื่อนับทั้งงานที่เสร็จสิ้น งานที่ล้มเหลว และการลองใหม่ ในบทความระบุว่างานที่เสร็จสิ้นใช้เวลาราว 5,000 job-hours ส่วนงานที่ล้มเหลวและการลองใหม่ใช้เวลาราว 600 job-hours
บทความยังบันทึกความพยายามที่ล้มเหลวหรือต้องลองใหม่ 2,798 ครั้ง แต่ไม่ได้เปิดเผยค่าใช้จ่ายทางการเงินจากการใช้ GPU
การทดสอบ A/B กับผู้ใช้จริงดำเนินไปนานกว่า 1 สัปดาห์ นักวิจัยระบุว่าจำนวนเซสชันค้นหาเพิ่มขึ้น 0.23% เมื่อเทียบกับกลุ่มควบคุม โดยมีช่วงความเชื่อมั่น 95% ที่ ±0.15 และอธิบายว่าผลนี้มีนัยสำคัญทางสถิติ
ตัวชี้วัดติดตามผล เช่น การมีส่วนร่วมและการรักษาผู้ใช้ มีแนวโน้มดีขึ้นเช่นกัน แต่นักวิจัยไม่ได้ระบุตัวเลข ผลที่รายงานนี้หมายถึงการเปลี่ยนแปลงของจำนวนเซสชันค้นหา และไม่ได้บอกขนาดการเปลี่ยนแปลงของตัวชี้วัดอื่น
เวลาเรนเดอร์หน้าค้นหาแย่ลงในการทดสอบเดียวกัน บทความไม่ได้เปิดเผยว่าความล่าช้าเพิ่มขึ้นเท่าใด
ตัวเลือก 325 รายการที่ผ่านการประเมินแบบออฟไลน์ไม่ได้หมายความว่ามีโมเดล 325 รายการที่ประสบความสำเร็จในการทดสอบกับผู้ใช้จริง ตัวเลขนี้หมายถึงจำนวนการเปลี่ยนแปลงที่นำไปรวมในโมเดลสะสมระหว่างการทดลอง ส่วนการทดสอบกับผู้ใช้ดำเนินแยกต่างหาก โดยใช้โมเดลฉบับสุดท้ายที่รวมการเปลี่ยนแปลงเหล่านั้นแล้ว
รุ่นก่อนหน้านี้รับตัวเลือก 10 รายการจากทั้งหมด 64 รายการ คิดเป็นอัตราการยอมรับ 15.6% นักวิจัยระบุในบทความว่าเป้าหมายและเงื่อนไขการค้นหาของทั้งสองรุ่นแตกต่างกัน จึงไม่สามารถใช้เพียงอัตราการยอมรับมาเปรียบเทียบประสิทธิภาพที่ดีขึ้นได้
AI agent ไม่ได้ดำเนินการทดลองทั้งหมดด้วยตัวเอง นักวิจัยเป็นผู้กำหนดเป้าหมายและทิศทางการค้นหา ตรวจสอบโมเดลฉบับสุดท้าย และจัดการทดสอบกับผู้ใช้แยกต่างหาก
นักวิจัยระบุว่าโมเดลที่ดีที่สุดเกิดขึ้นก่อนแคมเปญสิ้นสุด และการทดลองซ้ำหลังจากนั้นไม่ทำให้เกิดการปรับปรุงเพิ่มเติม agent ยังมีข้อจำกัดในการหลีกเลี่ยงแนวทางที่ล้มเหลวซ้ำ ๆ และย้อนคืนการเปลี่ยนแปลงที่เลือกใช้ผิดพลาด งานวิจัยเกี่ยวกับการนำผลการแก้ไขที่ agent ไม่เลือกไปใช้ในการปรับปรุงครั้งต่อไป TokenPost เคยรายงานไว้ก่อนหน้านี้
รายการตรวจสอบในบทความระบุว่าไม่ได้เปิดเผยโค้ดและข้อมูล ส่วนหัวข้อการรายงานสถิติระบุว่า ‘No’ แม้บทความจะแสดงช่วงความเชื่อมั่นของตัวชี้วัดออนไลน์ แต่นักวิจัยอธิบายว่ายังวัดความผันผวนแบบออฟไลน์ได้ไม่เพียงพอ
ในวันเดียวกัน เมตาเผยแพร่ผลงานอีกชิ้นที่นำ agent ไปใช้กับโมเดลจัดอันดับโฆษณาผ่าน บล็อกด้านเทคนิค บริษัทระบุว่า ในการจับคู่เทคนิคและโมเดลบางแบบ ปริมาณการคำนวณเพื่อฝึกลดลงเหลือราวหนึ่งในสี่เมื่อวัดจากค่ามัธยฐาน ตัวเลขนี้มาจากงานอีกชิ้นหนึ่ง ไม่ใช่การทดลองคำแนะนำคำค้นหา
Comment 0