computer_use_task)的默认体验,自 2.0.0-beta100 起提供。
何时使用后台模式
在以下情况使用后台 Computer Use:- 希望 Alter 抓取页面、填写表单或在应用中导航,同时你继续自己的工作
- 任务可能需要几分钟,且不想将 QuickHub 附加到目标窗口
- 需要在非前台应用的窗口上运行 UI 自动化
主要界面
从 Computer Use 概览 开始 — 向
computer_use_task 传递 goal。后台运行如何工作
当你(或父智能体)调用 Computer Use 时,Alter 会:- 立即启动 Edge Bar 会话 — 在子智能体解析目标窗口之前
- 应用
edgebarOnly展示 — QuickHub 不附加到目标应用,窗口上不绘制 overlay - 运行专用子智能体,使用 UI 工具(
read_screen_ax、perform、scroll等)循环最多 600 秒(10 分钟) - 通过
BackgroundInputDriver将输入路由到后台目标窗口 - 跟踪活跃目标窗口 并镜像到会话卡片和实时预览
Edge Bar 会话卡片
运行活跃时,Computer Use 会话会出现在 Edge Bar 中(需要 QuickHub 模式)。每张卡片显示:- 目标 — 请求的任务文本
- 状态 — 智能体正在做什么
- 目标应用 — 绑定后的名称、图标和窗口标题
- 停止 — 立即取消子智能体
实时预览窗口
浮动预览 是画中画窗口,显示智能体控制窗口的实时截图(约 15 fps)。自动显示预览
默认情况下,Computer Use 任务启动时会打开预览。在 设置 → Computer use → 自动显示预览 中关闭。Watch preview
预览隐藏时,从运行中任务的 Tool Inspector 打开:选择 Computer Use 运行,点击 Watch preview。预览大小
在 设置 → Computer use → 预览大小 中选择 小、大 或 自定义。预览选择器中最多可同时显示 六 个会话。后台输入路由
BackgroundInputDriver 向目标进程发送鼠标点击、键盘和滚动,而不将该应用激活到前台:
| 路由 | 使用场景 |
|---|---|
| SkyLight | Window Server 能传递事件时优先使用 |
| Per-PID | 直接向目标进程发送事件 |
| HID 回退 | 最后手段 |
后台运行期间的窗口定位
UI 工具按以下顺序解析windowID:
- 工具调用中的显式
windowID - 跟踪目标 — 最近通过
open_app、open_urls或先前工具打开的窗口 - 会话回退 —
edgebarOnly活跃时,绑定到实时预览的窗口 - 前台窗口 — 仅在非后台会话中
智能体浏览器
智能体通过open_urls 打开的网页会进入智能体浏览器(在 设置 → Computer use → 智能体浏览器 中配置)。
启用 完成后清理 时,Alter 会在最后一个会话结束时关闭智能体标签页。
停止、取消和超时
| 操作 | 效果 |
|---|---|
| 停止(预览或卡片) | 取消子智能体;父智能体收到摘要 |
| 600 秒超时 | 子智能体停止 |
| 关闭(已完成会话) | 从 Edge Bar 移除卡片 |
设置
在 设置 → Computer use 中配置:- 智能体浏览器
- 完成后清理
- 自动显示预览
- 预览大小
- Blocked apps
故障排除
预览从不出现
- 检查 自动显示预览 或 Tool Inspector 中的 Watch preview
- Edge Bar 必须可用(QuickHub 模式开启)
智能体操作错误的窗口
- 在目标中指定具体的
windowID - 让智能体调用一次
list_windows