桌面自动化
读完你能：开启桌面控制，先完成一次只观察、不点击的安全试跑。
桌面自动化用于浏览器工具无法覆盖的Windows软件。它可以读取屏幕、控制键盘和鼠标，也可以暂停或停止任务，因此权限高于普通文件和浏览器操作。
- 操作记事本、文件管理器等Windows应用
- 按步骤完成多个窗口中的重复操作
- 读取当前可见界面并返回文字
- 暂停、继续或停止正在执行的桌面任务
- 确认任务确实需要操作Windows软件
- 在 设置 → 必要配置 中保存慧AI 登录令牌并检查连接
- 打开 自动化插件 → 桌面控制
- 点击 一键开启
- Windows出现防火墙、应用控制或安全确认时，只对可信的AIPC UP组件允许
- 先完成只观察试跑，再允许点击和输入
仅使用桌面自动化观察当前界面。描述可见窗口和主要文字。不要点击，不要输入，不要关闭窗口。确认AI描述正确后，再给出范围明确的操作任务。
只操作记事本窗口。输入“Hello World”，不要保存，不要关闭窗口。完成后告诉我你执行了哪些步骤。说明允许操作的窗口、禁止事项和完成标准，避免只写“帮我处理一下”。
| 风险 | 应对方式 |
|---|---|
| 点击到错误窗口 | 开始前关闭无关窗口，并指定允许操作的应用 |
| 输入到错误位置 | 先让AI描述当前窗口，再允许输入 |
| 截图包含隐私 | 关闭聊天、邮箱、密码管理器等敏感页面 |
| 遇到UAC或管理员窗口 | 停止任务，改由人工确认和操作 |
支付、删除文件、修改账号权限和生产环境操作必须人工值守。
| 现象 | 先检查 |
|---|---|
| 服务不可用 | AIPC UP和桌面控制是否正在运行 |
| 点击位置偏移 | Windows显示缩放、多显示器排列是否变化 |
| 输入法吞键 | 切换到英文输入法后重试 |
| 管理员窗口无法操作 | UAC安全桌面通常需要人工处理 |
排障技术参考
Section titled “排障技术参考”助手通过Desktop Automation MCP调用桌面工具，常见本机端口为 38978。工具名和端口只用于诊断，不需要日常手动配置。