กูเกิล (Google) เริ่มทยอยเปิดฟีเจอร์ในแอป Gemini สำหรับ Mac ที่ช่วยให้ผู้ใช้สั่งงานแอปที่อนุญาตได้ โดย Gemini สามารถทำงานหลายขั้นตอนผ่านไฟล์ในเครื่อง แอปเดสก์ท็อป และเว็บ
กูเกิลระบุในการประกาศอย่างเป็นทางการเมื่อวันที่ 19 ว่าฟีเจอร์นี้มีชื่อว่า Computer Use โดย Gemini จะโต้ตอบกับแอปด้วยการเลื่อนดูเมนูและกรอกแบบฟอร์ม
ตัวอย่างที่กูเกิลยกมา ได้แก่ อ่านข้อมูลจัดส่งจากไฟล์ PDF ในเครื่องแล้วกรอกลงในแบบฟอร์มขอใบเสนอราคา รวบรวมตัวเลขจากแดชบอร์ดเพื่อทำสไลด์นำเสนอใน Google Slides และปรับแต่งรูปภาพหลายไฟล์พร้อมกัน อีกตัวอย่างคือวิเคราะห์ภาพถ่ายเพื่อจัดข้อมูลสินค้ามือสองสำหรับนำไปขาย ทั้งหมดเป็นกรณีตัวอย่างจากกูเกิล ไม่ใช่ผลการทดสอบอัตราความสำเร็จของงาน
งานจะดำเนินการบนหน้าจอเสมือนแยกต่างหาก ผู้ใช้ดูขั้นตอนได้แบบเรียลไทม์ในหน้าสนทนาของ Gemini และหยุดการทำงานได้
เมื่อเข้าถึงแอปเป็นครั้งแรก ผู้ใช้เลือกได้ว่าจะปฏิเสธ อนุญาตครั้งเดียว หรืออนุญาตเสมอ แอปที่เลือกอนุญาตเสมอจะไม่ถามซ้ำจนกว่าผู้ใช้จะเปลี่ยนรายการในการตั้งค่า ส่วนงานที่มีความละเอียดอ่อนจะขอการยืนยันก่อนดำเนินการ หน้าช่วยเหลือของกูเกิลยังระบุว่าผู้ใช้กำหนดได้ว่าจะอนุญาตหรือบล็อกการเข้าถึงแอปใดบ้าง
การใช้ฟีเจอร์บน Mac ต้องเปิดสิทธิ์การช่วยการเข้าถึง รวมถึงสิทธิ์บันทึกหน้าจอและเสียงระบบ ผู้ใช้ตั้งค่ารายการแอปที่อนุญาตหรือบล็อกแยกเป็นรายแอปได้
ช่วงเริ่มต้น ฟีเจอร์นี้เปิดให้ผู้ใช้บัญชี Google ส่วนบุคคลที่มีอายุอย่างน้อย 18 ปี และใช้ Gemini สำหรับ Mac เป็นภาษาอังกฤษในสหรัฐฯ บัญชีที่ทำงานหรือบัญชีโรงเรียนยังไม่อยู่ในกลุ่มผู้ใช้ที่รองรับ ต้องใช้ Mac ที่มีชิป Apple silicon และ macOS Sequoia 15.0 ขึ้นไป ขณะนี้ยังไม่ประกาศกำหนดการเปิดให้ใช้ในไทย
เงื่อนไขการสมัครสมาชิกในเอกสารทางการของกูเกิลไม่ตรงกัน ประกาศอย่างเป็นทางการระบุ Google AI Plus, Pro และ Ultra เป็นแพ็กเกจที่ใช้ฟีเจอร์ได้ แต่หัวข้อ What you need ในหน้าช่วยเหลือปัจจุบันระบุเพียง Pro และ Ultra จึงยังสรุปไม่ได้จากเอกสารทั้งสองฉบับว่าผู้สมัคร Google AI Plus ใช้ฟีเจอร์นี้ได้หรือไม่
กูเกิลเตือนว่า Gemini อาจทำงานผิดพลาดหรือทำสิ่งที่ผู้ใช้ไม่คาดคิดได้ พร้อมระบุว่าฟีเจอร์นี้อาจเข้าถึงบัญชีและเซสชันที่ล็อกอินอยู่ในแอปบนเดสก์ท็อปได้ นอกจากนี้ เนื้อหาที่ไม่น่าเชื่อถือซึ่งปรากฏในแอปที่อนุญาต อาจชักนำให้ Gemini ทำงานในแอปอื่น กูเกิลอธิบายว่าความเสี่ยงลักษณะนี้เกิดขึ้นระหว่างแอปได้
หากผู้ใช้อนุญาตให้เข้าถึงโปรแกรมแก้ไขโค้ดหรือเครื่องมือสำหรับนักพัฒนา การทำงานอาจนำไปสู่การเรียกใช้คำสั่งเชลล์หรือแก้ไขไฟล์ได้ ฟีเจอร์ยังอาจโต้ตอบกับรหัสยืนยันตัวตนหลายขั้นตอนที่มองเห็นบนหน้าจอ
กูเกิลระบุว่าจะพยายามสร้างข้อมูลสำรองชั่วคราวก่อนเปลี่ยนไฟล์ แต่การสำรองอาจทำไม่ได้ในบางแอป และอาจเกิดการกระทำที่ย้อนกลับไม่ได้
เมื่อวันที่ 2 ตุลาคม แอปเปิล (Apple) ระบุในคำแนะนำเรื่องสิทธิ์เข้าถึงดิสก์ทั้งหมดว่า สิทธิ์ดังกล่าวอาจเปิดให้เข้าถึงข้อมูลจำนวนมาก เช่น ไฟล์ อีเมล ข้อความ และประวัติการท่องเว็บ พร้อมเตือนว่าความเสี่ยงที่เกี่ยวข้องเพิ่มขึ้นเมื่อ AI agent มีความเป็นอิสระมากขึ้น อย่างไรก็ตาม หน้าช่วยเหลือของกูเกิลไม่ได้ระบุว่าฟีเจอร์นี้ต้องใช้สิทธิ์เข้าถึงดิสก์ทั้งหมดหรือไม่
เมื่อวันที่ 16 แอปเปิลเปิดตัวตัวเลือกใน macOS 27.3 beta 2 ซึ่งให้ผู้ใช้กำหนดขอบเขตการเข้าถึงแยกตามแอปหรือโฟลเดอร์ และเลือกให้ระบบถามยืนยันทุกครั้งที่ต้องใช้สิทธิ์ นอกจากนี้ยังมีตัวบ่งชี้เมื่อแอปควบคุมแอปอื่น แอปเปิลระบุว่าสิทธิ์ของแอปที่ผู้ใช้อนุมัติไว้ก่อนหน้านี้จะยังคงอยู่
Comment 0