ข่าว 
ข้อมูลเหรียญ 
แนะนำสื่อ 
Doubao ผู้ช่วย AI ของ ByteDance เปิดตัวฟีเจอร์มัลติโมดัลแบบเรียลไทม์ ที่ประมวลผลเสียงและภาพบนหน้าจอไปพร้อมกัน จุดสำคัญอยู่ที่การโต้ตอบเชิงรุก ระบบสามารถตรวจจับการเปลี่ยนแปลงบนหน้าจอหรือข้อผิดพลาดในการทำงาน แล้วแจ้งเตือนก่อนที่ผู้ใช้จะถาม
Seed องค์กรวิจัย AI ของ ByteDance เปิดตัว SeedRealtime เมื่อวันที่ 5 และนำไปใช้กับแอป Doubao แล้ว BlockBeats รายงานว่าฟีเจอร์ใหม่นี้ประมวลผลทั้งเสียงและภาพไปพร้อมกัน ทำให้เข้าใจฉากที่ผู้ใช้กำลังมองเห็นและตอบสนองได้
เมื่อใช้ SeedRealtime ผู้ใช้สามารถค้นหาสิ่งของที่อยู่หน้ากล้อง ตรวจสอบขั้นตอนการทำงาน หรืออ่านตัวอักษรที่ปรากฏบนหน้าจอได้ เมื่อเป้าหมายปรากฏขึ้น หน้าจอเปลี่ยนแปลง หรือผู้ใช้ทำขั้นตอนผิดพลาด ระบบจะแจ้งเตือนทันทีโดยไม่ต้องรอให้ผู้ใช้ถาม
การอัปเดตครั้งนี้เป็นการขยายฟีเจอร์ของโมเดลเสียงรุ่นก่อนหน้าอย่าง Seeduplex ซึ่งเปิดตัวเมื่อเดือนเมษายนที่ผ่านมา ให้ครอบคลุมด้านการมองเห็นด้วย โดย Seed ของ ByteDance แนะนำ Seeduplex ในบล็อกทางการเมื่อวันที่ 9 เมษายนว่าเป็นโมเดลภาษาขนาดใหญ่ด้านเสียงแบบฟูลดูเพล็กซ์ ที่ประมวลผลการฟังและการพูดพร้อมกัน
ในช่วงที่เปิดตัว Seeduplex ถูกนำไปใช้กับแอป Doubao อย่างเต็มรูปแบบ โดย Seed ของ ByteDance ระบุว่าเทคโนโลยีนี้ช่วยลดอัตราการตอบผิดและอัตราการหยุดชะงักจากความเข้าใจคลาดเคลื่อนในสภาพแวดล้อมเสียงที่ซับซ้อนลงครึ่งหนึ่ง และลดอัตราที่ AI ขัดจังหวะคำพูดของผู้ใช้ในสถานการณ์ซับซ้อนลง 40%
ฟูลดูเพล็กซ์คือรูปแบบการโต้ตอบที่ประมวลผลการฟังและการพูดไปพร้อมกัน ต่างจากระบบฮาล์ฟดูเพล็กซ์ที่ต้องรอให้อีกฝ่ายพูดจบก่อน SeedRealtime นำแนวคิดนี้มาผสานกับความสามารถในการเข้าใจหน้าจอแบบเรียลไทม์ ออกแบบมาเพื่อตีความบริบท เช่น สิ่งของบนโต๊ะ หน้าจอการทำงาน ป้ายต่าง ๆ หรือขั้นตอนการประกอบชิ้นงานได้โดยตรง
การพัฒนาผู้ช่วย AI ที่เข้าใจหน้าจอไม่ได้จำกัดอยู่แค่แพลตฟอร์มจากจีนเท่านั้น แอปเปิล(AAPL) เองก็นำเสนอฟีเจอร์การรับรู้หน้าจอและความเข้าใจบริบทส่วนบุคคลในกระบวนการปรับปรุง Siri เช่นกัน สะท้อนว่าสนามแข่งขันของผู้ช่วย AI กำลังขยายจากการตอบสนองด้วยเสียง ไปสู่การเข้าใจภาพแบบเรียลไทม์และการช่วยเหลือด้านการทำงาน
เมื่อมีการเพิ่มการรับข้อมูลภาพแบบเรียลไทม์ วิธีการจัดการข้อมูลส่วนบุคคลก็กลายเป็นประเด็นสำคัญที่ต้องพิจารณา นโยบายความเป็นส่วนตัวของ Doubao ระบุว่า ระบบจะประมวลผลภาพจากกล้องหรือเนื้อหาหน้าจอที่แชร์ ก็ต่อเมื่อผู้ใช้เปิดใช้งานวิดีโอคอลหรือแชร์หน้าจอด้วยตนเองเท่านั้น ส่วนสิทธิ์การเข้าถึงที่ละเอียดอ่อน เช่น ไมโครโฟน อัลบั้มภาพ และกล้อง จะใช้งานได้ก็ต่อเมื่อได้รับการอนุญาตอย่างชัดเจนจากผู้ใช้
ยังไม่พบความเชื่อมโยงโดยตรงระหว่างฟีเจอร์นี้กับตลาดคริปโตและบล็อกเชน เนื้อหาที่ ByteDance เปิดเผยยังคงเน้นไปที่ฟีเจอร์การโต้ตอบด้วยเสียงและหน้าจอของผู้ช่วย AI เป็นหลัก
ความคิดเห็น 0