a11y-computer-use 0.4.3 发布:让 AI Agent 点击真实 UI 元素而非猜测像素
Perception Dynamics 开源 a11y-computer-use,让 AI Agent 读取剪枝后的无障碍树并按 ref 点击真实 UI 元素,而非依赖截图坐标猜测,经单一 MCP server 支持 macOS、Windows、Linux 与 Chromium。0.4.3 在 macOS 26 上捕获速度提升 100 倍,0.4.2 关闭首批三个由 Agent 提交的 issue 并加入 user_active 与真实 macOS 弹窗请求授权机制。基准对照中 refs 方式 13/13 完成且 0 误点花费 $7.04,截图坐标 7/13 完成且 27 次误点花费 $11.74;Windows 端 ref 重解析与坐标输入尚未实现。Apache-2.0 协议。
推荐理由:同一规划器下与截图坐标方案的 13 任务对照数据齐全,含成本、误点和完成数,可据此评估无障碍树方案的取舍。