เทนเซ็นต์(Tencent, 0700.HK) เปิดให้ทดสอบเบต้าฟีเจอร์ควบคุมคอมพิวเตอร์ใน WorkBuddy ซึ่งอ่านหน้าจอแล้วสั่งคลิก พิมพ์ และเลื่อนได้โดยตรง แม้ซอฟต์แวร์เป้าหมายจะไม่มี API แยกสำหรับเชื่อมต่อ
MarsBit รายงานเมื่อวันที่ 20 ว่า WorkBuddy รองรับ macOS และ Windows ผู้ใช้ต้องอัปเดตไคลเอนต์เดสก์ท็อปเป็นเวอร์ชัน 5.11.0 ขึ้นไป เปิดใช้งานฟีเจอร์ และอนุมัติสิทธิ์ที่เกี่ยวข้อง ผลการอ่านหน้าจออาจแตกต่างกันไปตามซอฟต์แวร์แต่ละตัว
ฟีเจอร์นี้วิเคราะห์หน้าจอปัจจุบัน ระบุตำแหน่งหน้าต่างเป้าหมาย แล้วดำเนินการคลิกเมาส์ ป้อนข้อความ และเลื่อนหน้าจอต่อเนื่องกัน ผู้ใช้สามารถสลับไปมาระหว่างหลายแอปและทำงานบนหน้าจอได้โดยไม่ต้องตั้งค่าการเชื่อมต่อแยกต่างหาก
IT时代网 นำเสนอหน้าจอเวอร์ชันเบต้าเมื่อวันที่ 10 โดยอธิบายว่า WorkBuddy เป็นเอเจนต์ GUI ที่ใช้ภาพหน้าจอเพื่อทำความเข้าใจหน้าจอ และเลียนแบบการ ‘ดู’ กับ ‘กด’ ของมนุษย์ ขณะใช้งาน WorkBuddy อาจจับภาพหน้าจอหรืออ่านข้อความในหน้าต่าง และผู้ใช้สามารถหยุดฟีเจอร์ได้ทุกเมื่อ
คู่มือผลิตภัณฑ์อย่างเป็นทางการของ WorkBuddy อธิบายบริการนี้ว่าเป็นเวิร์กสเปซ AI บนเดสก์ท็อปที่รับคำสั่งภาษาธรรมชาติเพื่อจัดการไฟล์ สร้างเอกสาร ตาราง และงานนำเสนอ รวมถึงวิเคราะห์ข้อมูล โดยสามารถวางแผนและดำเนินการหลายงานได้โดยไม่ต้องระบุขั้นตอนทีละรายการ
ฟีเจอร์ใหม่เพิ่มความสามารถในการกดปุ่มและกรอกข้อมูลในแอปเดิมโดยตรง ผู้ใช้จึงไม่จำเป็นต้องเชื่อมต่อ API ของแต่ละโปรแกรม และสามารถจัดการเอกสาร แอปส่งข้อความ และโปรแกรมงานต่าง ๆ ที่มีอินเทอร์เฟซแตกต่างกันภายในลำดับงานเดียว
ฟังก์ชันนี้แตกต่างจากการควบคุมระยะไกลผ่านโทรศัพท์ การควบคุมระยะไกลให้ผู้ใช้ตรวจดูและสั่งงานหน้าจอคอมพิวเตอร์ผ่านโทรศัพท์ ขณะที่ฟีเจอร์ควบคุมคอมพิวเตอร์ให้ WorkBuddy ทำงานบนหน้าจอตามคำสั่งของผู้ใช้ IT之家รายงานเมื่อวันที่ 28 ตุลาคมว่า ฟีเจอร์ควบคุมระยะไกลของ WorkBuddy เปิดให้ผู้ใช้ตรวจดูและสั่งงานหน้าจอคอมพิวเตอร์จากโทรศัพท์
ก่อนหน้านี้ เทนเซ็นต์ได้นำความเข้าใจภาพและการควบคุมคอมพิวเตอร์มาใช้ใน Hy4 ฉบับเต็มของโมเดลภาษาขนาดใหญ่แล้ว
การใช้งานฟีเจอร์ควบคุมคอมพิวเตอร์ต้องอนุมัติสิทธิ์จับภาพหน้าจอและสิทธิ์การเข้าถึงของระบบปฏิบัติการ หากไม่มีสิทธิ์ดังกล่าว WorkBuddy จะไม่สามารถอ่านหน้าจอหรือสั่งงานเมาส์และแป้นพิมพ์แทนผู้ใช้ได้
เอกสารสำหรับลูกค้าองค์กรของเทนเซ็นต์ คลาวด์(Tencent Cloud) ระบุว่าผู้ดูแลระบบสามารถเปิดใช้ฟีเจอร์นี้ให้สมาชิกทั้งหมด หรือจำกัดเฉพาะสมาชิกและแผนกที่กำหนด รวมถึงบล็อกการใช้งานทั้งหมดได้ โดยนโยบายเริ่มต้นตั้งค่าให้บล็อกสมาชิกทุกคน
บันทึกเวอร์ชันอย่างเป็นทางการของ WorkBuddy ระบุว่า ณ วันที่ 15 พฤศจิกายน มีไฟล์ติดตั้งสำหรับ macOS และ Windows ถึงเวอร์ชัน 5.11.3 ขอบเขตการทำงานจริงขึ้นอยู่กับระบบปฏิบัติการที่รองรับ การอนุมัติสิทธิ์ และระดับการรู้จำหน้าจอของซอฟต์แวร์ที่ใช้งาน
Comment 0