跳到正文
  1. arXiv · cs.AI54

    OS-Wizard 论文提出知识引导的自动轨迹采集框架,微调模型在专用桌面任务上超过人类水平

    论文提出 OS-Wizard,一个面向专用桌面软件的自动轨迹采集框架,结合教程引导探索与 GUI 和代码混合动作空间,并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本,微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%,超过报告的人类水平 59.8%;仅用 GUI 动作也能提升通用桌面任务表现。

    推荐理由:论文给出了一条自动化采集专用软件操作轨迹的完整路径,含方法、数据规模和微调后的对比结果,可作同类工作的方法参考。

  1. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  2. arXiv · cs.AI59

    IGG:面向可见性约束的交互式 GUI Grounding 基准

    研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。

  3. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  4. arXiv · cs.AI53

    FocusVLA:面向 VLA 模型的未来意图引导动态视图路由框架

    研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。

    推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。

  1. Hugging Face Blog53

    Hugging Face 与 NVIDIA 推出 SimReady Central 开放仿真资产库

    Hugging Face 与 NVIDIA 宣布推出 SimReady Central Library,汇集超过 2,000 个带物理属性的 SimReady OpenUSD 仿真资产,免费、无门槛开放。资产覆盖机械臂、夹爪、仓储和冷却设备等,由 FANUC、Universal Robots、Vertiv、LG Electronics 等 OEM 提供,可用于机器人训练环境和 AI 工厂数字孪生,并支持 USD Search 自然语言检索与 GPT-6 Astra 辅助搭建 Isaac Sim 场景。

    推荐理由:由发布方直接介绍资产库的构成和OEM贡献方式,读者可以了解免下载门槛的仿真资产从哪里找、怎么用。

  2. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。

  3. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  4. Hugging Face Blog59

    NVIDIA 发布 Cosmos3-H-Dreams 实时生成式外科手术模拟器

    NVIDIA 发布 Cosmos3-H-Dreams,把交互式生成模拟带入临床胆囊切除场景,官方称这是首个基于临床手术录像训练、支持实时运动控制的开源外科手术生成模拟器。模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano,使用 CMR Surgical Versius 平台的视频与机器人运动学数据训练,采用 28 维动作、832 x 480 视频和 10 Hz 动作对齐,经 Self-Forcing 蒸馏出四步和两步去噪两个 checkpoint,并通过 FlashDreams 在单张 NVIDIA RTX PRO 6000 GPU 上交互运行。团队发布了代码、模型、数据集和完整的教师微调与蒸馏适配指南,并强调这是研究模拟器,不是经过验证的临床系统。

    推荐理由:NVIDIA 官方给出了从教师微调到 Self-Forcing 蒸馏的完整细节和四步、两步两个checkpoint,读者可以自己复现到数据集上。

  1. arXiv · cs.AI54

    arXiv 论文提出 PhysRSI-eval:观测性 scaling 定律解析 LLM 作为策略的物理 RSI 能力来源

    一篇 arXiv 技术报告系统研究物理递归自我改进(RSI)的机制、scaling 行为与泛化,提出 PhysRSI-eval,用首次尝试性能、效率、成功率、预算与失败改进五轴指标,在固定交互预算下评测多个 VLM 于 18 个操作任务。分析引出 Physical Barrel 假设,并从公开能力预测相对表现、从早期物理反馈预测后续进展两个角度做观测性 scaling 分析;工作区干预显示移除历史会降低后期成功率,而冻结工作区在未见布局上仍有效,说明场景特定适应与可复用经验可以共存。

    推荐理由:论文用五轴指标量化物理 RSI 并给出观测性 scaling 分析,能帮助读者理解 VLM 智能体自我改进能力的来源边界。

  2. arXiv · cs.CL63

    WildAWM 论文提出计算机使用智能体环境合成流水线

    论文提出 WildAWM,一条用开源模型合成计算机使用智能体(CUA)可执行环境与任务的流水线,环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对,部分需超过 100 步求解,GPT-6-Astra 仅解出 60%;仅在这些合成环境中训练的两个不同规模 Qwen 模型,在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升,代码已公开。

    推荐理由:论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法,训练效果覆盖 8 个域外基准,方法可迁移到环境合成类工作。

  3. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  1. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

  1. arXiv · cs.AI52

    arXiv 论文提出自建实验室 SBL,可按科学目标自主搭建实验室配置

    论文 arXiv:2610.23826 提出自建实验室(SBL),给定高层次科学目标即可自主设计、配置并运行实验室设置,补建实验布局、数字孪生、机器人技能和实验流程。系统已在不同机器人和 setups 上演示,从单一工作站扩展到多机器人协作实验室,并通过真实世界量子点合成实验完成端到端验证。

    推荐理由:论文提出自建实验室概念,把人类角色从配置自动化设备转为只给科学目标,实验灵活性问题有了新解法。

  1. arXiv · cs.AI57

    OS-Helix 论文:统一 GUI 操作与代码执行的端到端原生计算机智能体

    arXiv 论文 OS-Helix 提出端到端训练的多模态计算机使用智能体,把 GUI 操作和代码执行统一到一个动作空间。通过应用与真实文件配对构建可执行 Ubuntu 环境和可验证任务,先 SFT 冷启动再在真实桌面环境做在线 RL,提出 Step-balanced GSPO 按动作步聚合重要性权重;OS-Helix-27B-RL 在 OSWorld-Verified 上成功率达 66.44%,比匹配的 Qwen3.5 混合基线相对提升 42.9%,并在 WindowsAgentArena 上展示跨平台迁移。

    推荐理由:论文给出 GUI 与代码执行统一到单一动作空间的训练方法,以及 Step-balanced GSPO 等具体做法和消融证据,可迁移到同类 Agent 研究。

  2. arXiv · cs.AI56

    LEASH:面向计算机使用智能体的不确定性感知弱到强升级与监督框架

    arXiv 论文提出 LEASH,一个免训练框架,让弱模型默认执行任务,仅在其潜在不确定性升高时把控制权交给强模型,并在交接后用 shadow observer 持续监督黑盒强模型。在 OSWorld 上,LEASH 在相同升级率下比随机升级高 6.55-11.94 分;用 Qwen3.5-35B-A3B 达到 73.66% 任务成功率、每任务 $0.4117,与常驻 Claude Opus 5(72.90%)持平,同时推理成本降低 19.2%。不确定性估计复用动作生成时已产生的激活,无需额外前向传播或专门训练监控器。

    推荐理由:论文给出弱到强按需升级的具体做法和成本对比,弱模型默认执行、仅在不确定性高时交给强模型,成本账算得清楚。

  3. arXiv · cs.AI65

    四个 Gemini 4 Argon 智能体自主通关 Minecraft

    研究者将四个 Gemini 4 Argon 智能体放入沙盒化的 Minecraft 生存世界,目标是击败末影龙,每个智能体通过开源库 Mineflayer 控制一名玩家,靠游戏内聊天和共享记忆协调,没有人类分配角色或编写游戏逻辑。团队从随机生成的 Easy 难度世界出发,编写了 2,783 个程序,死亡 605 次,用 27 小时 14 分钟击败了末影龙。作者称这是据其所知首次由 AI 智能体仅用标准 Mineflayer 库、无预探种子等人类专用工具完成的端到端自主通关,论文还描述了分工、知识共享、互相恢复物品等策略与结果局限。

    推荐理由:论文给出了完整运行数据与协作策略描述,读者可以据此了解多智能体长时程自主任务的实际做法和局限。

  4. arXiv · cs.AI54

    CoDA 论文提出仿真数据引擎与动作策略共同进化框架

    论文提出 CoDA 框架,让仿真数据引擎与动作策略通过共享异构记忆共同进化,记忆将视觉语言评论家的诊断编译为生成程序与训练程序,并用 Text2potential 为动作块价值学习提供密集监督。在四个操作任务族上,分布外成功率从 SFT 后的 5.3% 提升到 27.6%,比最强闭环基线高 9.5 个百分点;LIBERO-Pro 上 15 轮生成与训练使位置扰动下成功率从 25% 升至 84%,指令扰动下从 1% 升至 76%。

    推荐理由:论文提出仿真数据引擎与动作策略共同进化的训练框架,并给出分布外成功率的实测对比,方法思路可迁移到机器人策略训练。

  1. arXiv · cs.AI56

    HiRe-MoMa:基于稀疏人工引导的移动操作真实世界微调框架

    论文提出 HiRe-MoMa 框架,用于移动操作(MoMa)系统的真实世界高效微调。其分层残差架构在冻结基础策略上学习增量修正,并将残差拆分为移动底盘与机械臂两个头以缓解梯度干扰;Expert-Guided Value Alignment 利用覆盖率不足 20% 的稀疏人工干预重塑 critic 价值函数。在 TIAGo++ 平台上的实验显示,约 30 分钟在线交互即可持续提升任务性能,且不依赖基础策略架构。论文被 CoRL 2026 接收。

    推荐理由:论文给出在真实机器人上微调移动操作系统的分层残差框架,用不到20%覆盖度的稀疏人工干预提升样本效率。

  2. arXiv · cs.CL56

    AdaRSI:面向具身智能体的按需递归自我改进框架

    论文提出 AdaRSI,一种具身智能体的按需递归自我改进(RSI)框架,解决 VLA 在未见长程任务中途中失败的问题。编码 agent 先改进技能与 harness,再通过从保存状态重试失败子步骤来归因持续失败,仅对仍不可靠的子步骤用自采演示和先前任务经验做微调。在 RoboCasa365 全部 50 个目标任务上,以 GR00T N1.5 为执行器且无人类演示,AdaRSI 在三个套件上均提升 VLA,将未见复合任务成功率从 4.6% 提至 13.8%;相比微调每个子步骤,成功率略高而仅用 28% 的 GPU 时间和 22% 的自采演示。论文链接 https://arxiv.org/abs/2610.20474v1

    推荐理由:论文给出按需微调与全量微调的对照数据,GPU 时间和自采演示用量都大幅降低,方法细节可直接参考。