什么是 Computer Use（GUI Agent）？Agent 如何操作图形界面？

返回 Agent 工程 目录

标准回答

GUI Agent 通过看界面并操作鼠标键盘来做事，每一步都需要确认页面真的变成了预期状态。

• 根据截图与界面状态定位目标，执行点击、输入或滚动。
• 每个关键动作后检查实际界面和结果，处理加载、弹窗与焦点变化。
• 限制操作环境、账号权限和任务范围，敏感提交前确认。

通俗例子

填写表单后先检查字段是否正确，再进行提交；窗口移动会让旧坐标失效，网页里出现的指令也不能自动取得权限。

易混淆点

坐标可失效，截图也可能含不可信指令；点击成功不代表业务操作成功。

内容来源

• Android · AI Agent 知识手册 · 原条目 ai-Q38.5