Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

เซสชันค้นหาเพิ่ม 0.23% ในการทดลอง AI ของ Meta แต่เวลาแสดงหน้าจอนานขึ้น

หน้าจอสมาร์ตโฟนที่แสดงคำแนะนำใต้ช่องค้นหา / TokenPost.ai

โมเดลคำแนะนำคำค้นหาที่สร้างด้วย AI agent ช่วยให้จำนวนเซสชันค้นหาเพิ่มขึ้น 0.23% เมื่อเทียบกับกลุ่มควบคุม แต่หน้าค้นหาใช้เวลาแสดงผลนานขึ้น

ทีมนักวิจัยของเมตา (Meta, META) เปิดเผยผลดังกล่าวในบทความวิจัยที่เผยแพร่เมื่อวันที่ 18 โดย Nullstate ซึ่งเป็นโมเดลที่ใช้จัดลำดับคำแนะนำที่แสดงใต้ช่องค้นหา ก่อนผู้ใช้จะเปิดช่องและเริ่มพิมพ์ตัวอักษร ปริมาณประมวลผลมากกว่า 1 พันล้านครั้งต่อวันที่ระบุในบทความหมายถึงจำนวนคำขอที่ส่งไปยังโมเดล ไม่ใช่จำนวนผู้ใช้หรือเซสชันค้นหา

แคมเปญทดลองดำเนินไป 31 วัน AI agent ปรับโค้ดโมเดล เรียกใช้งานฝึกโมเดล แล้วประเมินผลแบบออฟไลน์ โดยนักวิจัยใช้ Claude Opus 4.8 เพื่อค้นหาการเปลี่ยนแปลงที่อาจนำมาทดลอง

agent ทดลองการเปลี่ยนแปลง 7 รายการพร้อมกันในแต่ละรอบ และตรวจสอบความผันผวนของผลลัพธ์ แคมเปญนี้ทำการทดลองกับตัวเลือกต่าง ๆ เสร็จสิ้น 1,097 รายการ

ในจำนวนนี้ 325 รายการผ่านการประเมินแบบออฟไลน์และถูกรวมไว้ในโมเดลสะสม คิดเป็นอัตราการยอมรับ 29.6% เมื่อนับงานวัดความผันผวนอีก 155 รายการด้วย จะมีงานที่ดำเนินการเสร็จสิ้นรวม 1,252 รายการ

นักวิจัยประเมินว่างานทั้งหมดใช้เวลาประมวลผลบน GPU ราว 360,000 GPU-hours เมื่อนับทั้งงานที่เสร็จสิ้น งานที่ล้มเหลว และการลองใหม่ ในบทความระบุว่างานที่เสร็จสิ้นใช้เวลาราว 5,000 job-hours ส่วนงานที่ล้มเหลวและการลองใหม่ใช้เวลาราว 600 job-hours

บทความยังบันทึกความพยายามที่ล้มเหลวหรือต้องลองใหม่ 2,798 ครั้ง แต่ไม่ได้เปิดเผยค่าใช้จ่ายทางการเงินจากการใช้ GPU

การทดสอบ A/B กับผู้ใช้จริงดำเนินไปนานกว่า 1 สัปดาห์ นักวิจัยระบุว่าจำนวนเซสชันค้นหาเพิ่มขึ้น 0.23% เมื่อเทียบกับกลุ่มควบคุม โดยมีช่วงความเชื่อมั่น 95% ที่ ±0.15 และอธิบายว่าผลนี้มีนัยสำคัญทางสถิติ

ตัวชี้วัดติดตามผล เช่น การมีส่วนร่วมและการรักษาผู้ใช้ มีแนวโน้มดีขึ้นเช่นกัน แต่นักวิจัยไม่ได้ระบุตัวเลข ผลที่รายงานนี้หมายถึงการเปลี่ยนแปลงของจำนวนเซสชันค้นหา และไม่ได้บอกขนาดการเปลี่ยนแปลงของตัวชี้วัดอื่น

เวลาเรนเดอร์หน้าค้นหาแย่ลงในการทดสอบเดียวกัน บทความไม่ได้เปิดเผยว่าความล่าช้าเพิ่มขึ้นเท่าใด

ตัวเลือก 325 รายการที่ผ่านการประเมินแบบออฟไลน์ไม่ได้หมายความว่ามีโมเดล 325 รายการที่ประสบความสำเร็จในการทดสอบกับผู้ใช้จริง ตัวเลขนี้หมายถึงจำนวนการเปลี่ยนแปลงที่นำไปรวมในโมเดลสะสมระหว่างการทดลอง ส่วนการทดสอบกับผู้ใช้ดำเนินแยกต่างหาก โดยใช้โมเดลฉบับสุดท้ายที่รวมการเปลี่ยนแปลงเหล่านั้นแล้ว

รุ่นก่อนหน้านี้รับตัวเลือก 10 รายการจากทั้งหมด 64 รายการ คิดเป็นอัตราการยอมรับ 15.6% นักวิจัยระบุในบทความว่าเป้าหมายและเงื่อนไขการค้นหาของทั้งสองรุ่นแตกต่างกัน จึงไม่สามารถใช้เพียงอัตราการยอมรับมาเปรียบเทียบประสิทธิภาพที่ดีขึ้นได้

AI agent ไม่ได้ดำเนินการทดลองทั้งหมดด้วยตัวเอง นักวิจัยเป็นผู้กำหนดเป้าหมายและทิศทางการค้นหา ตรวจสอบโมเดลฉบับสุดท้าย และจัดการทดสอบกับผู้ใช้แยกต่างหาก

นักวิจัยระบุว่าโมเดลที่ดีที่สุดเกิดขึ้นก่อนแคมเปญสิ้นสุด และการทดลองซ้ำหลังจากนั้นไม่ทำให้เกิดการปรับปรุงเพิ่มเติม agent ยังมีข้อจำกัดในการหลีกเลี่ยงแนวทางที่ล้มเหลวซ้ำ ๆ และย้อนคืนการเปลี่ยนแปลงที่เลือกใช้ผิดพลาด งานวิจัยเกี่ยวกับการนำผลการแก้ไขที่ agent ไม่เลือกไปใช้ในการปรับปรุงครั้งต่อไป TokenPost เคยรายงานไว้ก่อนหน้านี้

รายการตรวจสอบในบทความระบุว่าไม่ได้เปิดเผยโค้ดและข้อมูล ส่วนหัวข้อการรายงานสถิติระบุว่า ‘No’ แม้บทความจะแสดงช่วงความเชื่อมั่นของตัวชี้วัดออนไลน์ แต่นักวิจัยอธิบายว่ายังวัดความผันผวนแบบออฟไลน์ได้ไม่เพียงพอ

ในวันเดียวกัน เมตาเผยแพร่ผลงานอีกชิ้นที่นำ agent ไปใช้กับโมเดลจัดอันดับโฆษณาผ่าน บล็อกด้านเทคนิค บริษัทระบุว่า ในการจับคู่เทคนิคและโมเดลบางแบบ ปริมาณการคำนวณเพื่อฝึกลดลงเหลือราวหนึ่งในสี่เมื่อวัดจากค่ามัธยฐาน ตัวเลขนี้มาจากงานอีกชิ้นหนึ่ง ไม่ใช่การทดลองคำแนะนำคำค้นหา

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1