跳到正文
GitHub · 去对齐工具与仓库·· 2 天前精选AI 评分62

a11y-computer-use 0.4.3 发布:让 AI Agent 点击真实 UI 元素而非猜测像素

Perception-Dynamics-Inc/a11y-computer-use

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Perception-Dynamics-Inc/a11y-computer-use

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Perception Dynamics 开源 a11y-computer-use,让 AI Agent 读取剪枝后的无障碍树并按 ref 点击真实 UI 元素,而非依赖截图坐标猜测,经单一 MCP server 支持 macOS、Windows、Linux 与 Chromium。0.4.3 在 macOS 26 上捕获速度提升 100 倍,0.4.2 关闭首批三个由 Agent 提交的 issue 并加入 user_active 与真实 macOS 弹窗请求授权机制。基准对照中 refs 方式 13/13 完成且 0 误点花费 $7.04,截图坐标 7/13 完成且 27 次误点花费 $11.74;Windows 端 ref 重解析与坐标输入尚未实现。Apache-2.0 协议。

推荐理由

同一规划器下与截图坐标方案的 13 任务对照数据齐全,含成本、误点和完成数,可据此评估无障碍树方案的取舍。

来源:GitHub · 去对齐工具与仓库 · github.com