OmOWright 发布:给 AI 智能体用的 Playwright 形态浏览器自动化库
code-yeongyu 发布开源库 OmOWright,为 AI 智能体提供 Playwright 形态的浏览器自动化 API,设计思路来自 Jun 关于 Aside 浏览器智能体登顶 Online-Mind2Web 等榜单的文章。
推荐理由:README 讲清了为何让模型沿用 Playwright 接口、如何压缩快照与处理滚动采集,方法可迁移到其他 GUI 智能体工程。
按兴趣浏览,循来源深入。
code-yeongyu 发布开源库 OmOWright,为 AI 智能体提供 Playwright 形态的浏览器自动化 API,设计思路来自 Jun 关于 Aside 浏览器智能体登顶 Online-Mind2Web 等榜单的文章。
推荐理由:README 讲清了为何让模型沿用 Playwright 接口、如何压缩快照与处理滚动采集,方法可迁移到其他 GUI 智能体工程。
Daggerfall Unity 模组 People of the Iliac Bay 发布 10 月 26 日测试跟进更新,通过持久家庭、日常行程、有限卫兵和可选本地 LLM 对话让 NPC 生动起来。本次更新去除 NPC 物品栏创建时的重复世界拷贝,启动卡顿从 3,097ms 降至 8.92ms,核心测试 2121/2121 通过;对话需单独配置本地模型服务器,默认使用 Gemma + Breeze,项目仍为开发快照,尚无完整安装包。
推荐理由:开发者给出启动卡顿从 3,097ms 降到 8.92ms 等实测数据和明确的未完成清单,读者可据此判断项目当前的真实完成度。
开源项目 Buddy 发布 Android 应用,通过悬浮窗让 Claude Code、Codex、OpenCode、Antigravity 或 Grok 直接操作手机,支持读屏、点按、输入语音等任务,无需 PC、adb、root 或 API key。智能体运行在应用内的 Alpine Linux(proot)中,通过 127.0.0.1 的本地 MCP 服务器调用无障碍服务的手机工具;发送、支付、删除等操作须用户审批,且从不输入密码。要求 64 位 Android 11+,可在 Google Play(封闭测试)下载或获取 APK,版本 2.2,采用 Apache-2.0 许可。
推荐理由:原文讲清了让 Claude Code 等智能体在 Android 上直接操作屏幕的架构与权限做法,含本地 MCP 和审批兜底等可迁移细节。
uotavern 发布 anima3,一个驱动 anima-client 的轻量 System One 大脑:把 Observation 转成文本场景(可访问性树),用代码枚举当前合法动词的闭式菜单,由本地模型按选项字母的 log-probabilities 选择一个,从不生成文本,无需解析且不会答到菜单之外,低置信度时回退到规则自己的首个动词。默认后端为本地 Qwen3-4B(logprob 模式),实测在 M5 上每次决策约 96–150 ms 且 $0;文中给出离线与 ServUO 实机数据,包括 77 个测试、战斗/经济/多人村庄/决斗等场景、置信度门控实测(ECE 0.585)以及实验 3 中 Qwen 自主决策显著差于规则(p < 0.001)的结果。
推荐理由:作者先跑测试再定架构,用闭式动词菜单加 logprob 选择避免文本生成,还给出多场景实测延迟与置信度校准数据,方法可迁移。
Perception Dynamics 开源 a11y-computer-use,让 AI Agent 读取剪枝后的无障碍树并按 ref 点击真实 UI 元素,而非依赖截图坐标猜测,经单一 MCP server 支持 macOS、Windows、Linux 与 Chromium。0.4.3 在 macOS 26 上捕获速度提升 100 倍,0.4.2 关闭首批三个由 Agent 提交的 issue 并加入 user_active 与真实 macOS 弹窗请求授权机制。基准对照中 refs 方式 13/13 完成且 0 误点花费 $7.04,截图坐标 7/13 完成且 27 次误点花费 $11.74;Windows 端 ref 重解析与坐标输入尚未实现。Apache-2.0 协议。
推荐理由:同一规划器下与截图坐标方案的 13 任务对照数据齐全,含成本、误点和完成数,可据此评估无障碍树方案的取舍。
Husk 项目发布 husk-0.2.0.mcpb 公共预览,为 Claude Desktop 等 AI 聊天提供带终端、文件和浏览器的命名本地工作区,结果可保存并在下次会话复用。工具含 8 个工作区工具加 26 个计算机工具,浏览器以 accessibility ref 驱动真实 Chromium,支持 docker、podman、ssh、fly、local 五种隔离提供者并明确说明各档隔离强度;还支持把 Claude Code、ChatGPT、Cursor 等会话记录经 distill 转成可运行的 YAML Agent 规格,不请求 API 密钥、无遥测,Apache-2.0 协议。
推荐理由:README 详细写明了隔离提供者分级、安全模型边界和已知限制,读者可据此判断这条 Agent 计算机工具链的实际可用性。
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB(PCIe 3.0 x16、240W 功耗限制)上实测 Zaggita 发布的 GPU 性能解锁补丁,该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4(fp8 KV cache、MTP 开启)测试,prefill 吞吐提升 20.8% 到 28.6%(提示越长提升越大),TTFT 下降 17.2% 到 22.3%,decode 步速基本不变;MTP 实际接受率约 2,实际生成速度约 45 tok/s。
推荐理由:作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁,给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
fuba 在 GitHub 发布 fuba-browser,这是一个运行在 Docker 中的 Chromium 浏览器自动化工具,通过 REST API 和 CLI(fbb)供 Claude Code 等 LLM 智能体控制浏览器,主打解决 Chrome DevTools MCP 的 token 消耗问题。工具提供 Snapshot/Ref 无障碍树元素定位、Web VNC 远程访问、认证状态保存加载、网络检查与下载捕获 API,可选 NVIDIA/AMD GPU 硬件加速,最新镜像为 ghcr.io/fuba/fuba-browser:3.6.0,MIT 许可,API 设计受 vercel-labs/agent-browser 启发。
推荐理由:面向 LLM 智能体的 Docker 浏览器自动化工具,REST API 配合 Snapshot/Ref 定位,主打降低 Chrome DevTools MCP 的 token 消耗。
Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1
推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。
开发者 Chetan Sroay 在 GitHub 发布 Debutly,用 Playwright 和 Chromium 驱动的 AI 智能体在真实浏览器中模拟首批用户,注册、确认邮箱、选套餐、邀请队友并使用产品,输出带复现步骤和截图的缺陷报告。支持无障碍需求模拟、怀疑型买家评估器、GitHub Actions 定时运行和成本上限,AGPL-3.0 开源;附多种模型对比,z-ai/glm-5.3-flash 每步 3.8 秒、每次运行 $0.004,与更贵的 google/gemini-3.8-flash 找到相同的 5 个种子缺陷中的 4 个。
推荐理由:作者附上了多种模型在同一含种子缺陷测试应用上的对比数据,读者可以据此选驱动模型并控制成本。
研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。
推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。
arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。
推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。
andrewsavio 在 GitHub 开源 AI-World,一个低多边形 3D 世界中十个有需求、性格和偏好的智能体以量子计算为目标自主学习和生活。每个智能体带两个 PyTorch 网络,技能脑用 mini-batch SGD 训练,决策脑用 REINFORCE 策略梯度强化学习,不含任何语言模型;全部在本地运行,无云端、无 API 密钥、无遥测,附 pytest 测试套件与 GitHub Actions CI。
推荐理由:十个自主智能体在本地低多边形世界里用真实 PyTorch 网络学习与决策,全程无语言模型,架构与训练方法都写得清楚。
dmytrome 发布开源项目 Groundhog(MIT 协议),一个 MCP 服务器,让 AI Agent 通过带隐身补丁的真实 Chrome 进行网页搜索、读取和研究,返回干净的 Markdown。核心特性包括默认剥离并报告人类不可见的隐藏文本、每个来源附带 SHA-256 溯源回执、内置 SSRF 防护和域名限速、免模型和 API key。在 28 页隐藏文本基准上,Groundhog 25/28 完全拦截并报告,优于 requests(25/28 但不报告)、Scrapling(16/28)、Jina Reader(15/28)、Firecrawl(7/28);stealth 容器在 sannysoft.com 31/31 项通过。
推荐理由:项目给出了对 requests、Scrapling、Jina Reader、Firecrawl 的隐藏文本检测对比数据与反爬检测实测结果,读者可据此评估这套带溯源的 MCP 阅读方案。
研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。
推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。
riccardogiorato 发布 SurfBench 基准,用 50 个真实任务(分 4 个层级)统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API,检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权,使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板,给出 95% 置信区间与每千个通过任务的成本列,完整结果包、任务检查器与方法论页面随仓库公开,MIT 协议,可自行运行复现。
推荐理由:这是一个可直接复现的网页访问 API 评测基准,方法论、提示词与评分细则全部公开,还给出了置信区间与成本列。
klren0312 发布 pageqa,一个自然语言驱动的网页测试智能体,LLM 解析意图后由 browserskill(bsk)驱动真实浏览器执行,输出文本/JSON 报告和 CI 可用的退出码。通过用例的操作会冻结为回放脚本,可用 --replay 零模型调用复跑,适合在 CI 中做回归。工具提供 TUI 交互模式,可实时查看进度与 token 用量、随时追加场景和切换模型,支持最多 8 并发、每场景独立子进程隔离、pageqa lint 静态检查和运行归档回看,需 Node.js ≥ 22.19,通过 npm install -g pageqa 安装。
推荐理由:作者详述了用例回放免模型复跑、场景进程隔离和 TUI 的设计取舍,方法细节可直接借鉴到网页测试与 CI 场景。
论文《Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models》发布代码与权重,方法只需把训练时间步分布偏向噪声端点 t' = α·t / (1 + (α−1)·t),无需蒸馏、新目标函数或新架构即可训练一步 VLA 策略。论文认为该效应是结构性的:丰富观测 tightly 约束紧凑动作目标,使不可约速度损失在噪声端点坍缩,而非像图像生成那样形成 U 形。
推荐理由:论文给出把训练时间步分布偏向噪声端点即可训练一步 VLA 策略的方法,并附开源代码、配置和 LIBERO 成功率数据,可复现验证。
Hugging Face 与 NVIDIA 宣布推出 SimReady Central Library,汇集超过 2,000 个带物理属性的 SimReady OpenUSD 仿真资产,免费、无门槛开放。资产覆盖机械臂、夹爪、仓储和冷却设备等,由 FANUC、Universal Robots、Vertiv、LG Electronics 等 OEM 提供,可用于机器人训练环境和 AI 工厂数字孪生,并支持 USD Search 自然语言检索与 GPT-6 Astra 辅助搭建 Isaac Sim 场景。
推荐理由:由发布方直接介绍资产库的构成和OEM贡献方式,读者可以了解免下载门槛的仿真资产从哪里找、怎么用。
Provael 发布了一个 Python CLI,在仿真环境中对开源 VLA 机器人策略做红队测试,报告对抗攻击成功率(ASR)并附良性对照、95% 区间和证据标签,Apache-2.0 开源、可经 pip 安装并接入 CI。CPU stub 确定性运行 20 秒内产出报告;实测配置 SmolVLA × LIBERO-Object 在 roleplay 指令下 42/50 离开 keep-out 包络(84%),良性基线 1/50,McNemar p = 9.1e-13,对照显示这是长命令下的脆弱性而非攻击者控制;π0.5 有初步实测,其余注册适配器为脚手架。工具仅限仿真与防御用途,输出 report.json、SARIF、OSCAL、CycloneDX ML-BOM 和签名证明等证据包。
推荐理由:README 给出对抗攻击成功率与良性对照并列的实测数据,可看到纯仿真红队 VLA 策略的完整证据链做法。