跳到正文
  1. arXiv · cs.AI54

    OS-Wizard 论文提出知识引导的自动轨迹采集框架,微调模型在专用桌面任务上超过人类水平

    论文提出 OS-Wizard,一个面向专用桌面软件的自动轨迹采集框架,结合教程引导探索与 GUI 和代码混合动作空间,并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本,微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%,超过报告的人类水平 59.8%;仅用 GUI 动作也能提升通用桌面任务表现。

    推荐理由:论文给出了一条自动化采集专用软件操作轨迹的完整路径,含方法、数据规模和微调后的对比结果,可作同类工作的方法参考。

  1. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  2. arXiv · cs.AI59

    IGG:面向可见性约束的交互式 GUI Grounding 基准

    研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。

  3. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  4. arXiv · cs.AI53

    FocusVLA:面向 VLA 模型的未来意图引导动态视图路由框架

    研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。

    推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。

  5. GitHub · 灵魂体仓库59

    SurfBench 基准发布:用 50 个真实任务评测各网页访问 API

    riccardogiorato 发布 SurfBench 基准,用 50 个真实任务(分 4 个层级)统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API,检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权,使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板,给出 95% 置信区间与每千个通过任务的成本列,完整结果包、任务检查器与方法论页面随仓库公开,MIT 协议,可自行运行复现。

    推荐理由:这是一个可直接复现的网页访问 API 评测基准,方法论、提示词与评分细则全部公开,还给出了置信区间与成本列。

  1. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。

  2. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  1. arXiv · cs.CL63

    WildAWM 论文提出计算机使用智能体环境合成流水线

    论文提出 WildAWM,一条用开源模型合成计算机使用智能体(CUA)可执行环境与任务的流水线,环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对,部分需超过 100 步求解,GPT-6-Astra 仅解出 60%;仅在这些合成环境中训练的两个不同规模 Qwen 模型,在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升,代码已公开。

    推荐理由:论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法,训练效果覆盖 8 个域外基准,方法可迁移到环境合成类工作。

  2. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  1. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

  1. arXiv · cs.AI52

    arXiv 论文提出自建实验室 SBL,可按科学目标自主搭建实验室配置

    论文 arXiv:2610.23826 提出自建实验室(SBL),给定高层次科学目标即可自主设计、配置并运行实验室设置,补建实验布局、数字孪生、机器人技能和实验流程。系统已在不同机器人和 setups 上演示,从单一工作站扩展到多机器人协作实验室,并通过真实世界量子点合成实验完成端到端验证。

    推荐理由:论文提出自建实验室概念,把人类角色从配置自动化设备转为只给科学目标,实验灵活性问题有了新解法。

  1. arXiv · cs.AI57

    OS-Helix 论文:统一 GUI 操作与代码执行的端到端原生计算机智能体

    arXiv 论文 OS-Helix 提出端到端训练的多模态计算机使用智能体,把 GUI 操作和代码执行统一到一个动作空间。通过应用与真实文件配对构建可执行 Ubuntu 环境和可验证任务,先 SFT 冷启动再在真实桌面环境做在线 RL,提出 Step-balanced GSPO 按动作步聚合重要性权重;OS-Helix-27B-RL 在 OSWorld-Verified 上成功率达 66.44%,比匹配的 Qwen3.5 混合基线相对提升 42.9%,并在 WindowsAgentArena 上展示跨平台迁移。

    推荐理由:论文给出 GUI 与代码执行统一到单一动作空间的训练方法,以及 Step-balanced GSPO 等具体做法和消融证据,可迁移到同类 Agent 研究。

  2. arXiv · cs.AI56

    LEASH:面向计算机使用智能体的不确定性感知弱到强升级与监督框架

    arXiv 论文提出 LEASH,一个免训练框架,让弱模型默认执行任务,仅在其潜在不确定性升高时把控制权交给强模型,并在交接后用 shadow observer 持续监督黑盒强模型。在 OSWorld 上,LEASH 在相同升级率下比随机升级高 6.55-11.94 分;用 Qwen3.5-35B-A3B 达到 73.66% 任务成功率、每任务 $0.4117,与常驻 Claude Opus 5(72.90%)持平,同时推理成本降低 19.2%。不确定性估计复用动作生成时已产生的激活,无需额外前向传播或专门训练监控器。

    推荐理由:论文给出弱到强按需升级的具体做法和成本对比,弱模型默认执行、仅在不确定性高时交给强模型,成本账算得清楚。

  3. arXiv · cs.AI54

    CoDA 论文提出仿真数据引擎与动作策略共同进化框架

    论文提出 CoDA 框架,让仿真数据引擎与动作策略通过共享异构记忆共同进化,记忆将视觉语言评论家的诊断编译为生成程序与训练程序,并用 Text2potential 为动作块价值学习提供密集监督。在四个操作任务族上,分布外成功率从 SFT 后的 5.3% 提升到 27.6%,比最强闭环基线高 9.5 个百分点;LIBERO-Pro 上 15 轮生成与训练使位置扰动下成功率从 25% 升至 84%,指令扰动下从 1% 升至 76%。

    推荐理由:论文提出仿真数据引擎与动作策略共同进化的训练框架,并给出分布外成功率的实测对比,方法思路可迁移到机器人策略训练。

  1. arXiv · cs.AI56

    HiRe-MoMa:基于稀疏人工引导的移动操作真实世界微调框架

    论文提出 HiRe-MoMa 框架,用于移动操作(MoMa)系统的真实世界高效微调。其分层残差架构在冻结基础策略上学习增量修正,并将残差拆分为移动底盘与机械臂两个头以缓解梯度干扰;Expert-Guided Value Alignment 利用覆盖率不足 20% 的稀疏人工干预重塑 critic 价值函数。在 TIAGo++ 平台上的实验显示,约 30 分钟在线交互即可持续提升任务性能,且不依赖基础策略架构。论文被 CoRL 2026 接收。

    推荐理由:论文给出在真实机器人上微调移动操作系统的分层残差框架,用不到20%覆盖度的稀疏人工干预提升样本效率。

  1. arXiv · cs.AI56

    UniW(A)M:统一世界模型与世界动作模型的 MoE 框架

    论文提出 UniW(A)M,一个基于扩散 Transformer 的混合专家框架,统一动作条件世界建模与多种世界动作模型变体,以共享专家捕捉共同物理动态、原子能力专家跨接口复用。在 LIBERO、RoboTwin 2.0 及三个真实操作任务上,真实世界平均成功率达 88.3%,最强基线为 76.7%;WorldArena 上动作条件世界建模三项任务均领先;PAIR 路由将 OOD 成功率从 63.3% 提至 76.7%,且部署时主干冻结。论文正在 ICLR 2027 评审中,共 34 页。

    推荐理由:论文统一了世界模型与世界动作模型的训练,真实操作任务成功率比最强基线高出 11.6 个百分点,并给出 PAIR 的 OOD 数据。

  2. arXiv · cs.AI53

    Steertuning:从少量人类视频让机器人 5 分钟内学会新任务

    arXiv 论文提出 Steertuning 系统,让机器人从 5 条人类示教在 5 分钟内学会新任务。该系统先在 100 小时带密集标注的自我中心人类交互数据上预训练 400M 参数扩散策略,再对新任务仅做 2 分钟微调(2000 次更新),并在反向采样时用观测最接近部署环境的示教引导动作。在 12 个新环境的 12 项任务上达到 71% 成功率,数据、权重、代码和机器人视频将公开。

    推荐理由:原文给出了从人类视频微调机器人策略的完整方法与量化结果,读者可以据此评估少样本示教方案的可行路径。

  3. arXiv · cs.AI54

    AXIS-Bench:VLA 预训练中演示质量用法的基准与实证研究

    研究者发布 AXIS-Bench 并系统研究演示质量在 VLA 预训练中的用法,基于 5000 条自然次优人类演示和 24 个目标任务,在三个 VLA 内匹配演示与训练预算。结果显示感知方法的片段级条件化在普通行为克隆之外提升平均成功率,条件化偏好 episode 标签而过滤偏好 chunk 标签(因模型而异),恒定标签微调可进一步提升条件化预训练后的平均成功率;真实世界实验中仿真预训练把成功率从 9.6% 提到 31.7%。该基准基于众包仿真演示构建,记录物体与接触状态以便在共享轨迹上重算质量标签,轨迹可回放并支持工作区对齐渲染与自定义真实目标任务。论文:https://arxiv.org/abs/2610.18869v1

    推荐理由:论文用 5000 条次优人类演示和 24 个目标任务,系统比较演示质量在 VLA 预训练中的用法,并放出可复算质量标签的 AXIS-Bench。

  4. arXiv · cs.AI55

    Thinker-WM:共享多模态表示的统一世界模型用于具身智能

    Thinker Team(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。同一套参数化支持视频-动作联合生成、世界预测、策略推理、逆动力学等多种功能;训练数据约含 2 万小时第一视角视频、1 万小时真机数据和 1 千小时仿真数据,其中约 4 千小时真机数据带对齐深度监督。模型在 EWMBench、WorldOlympiad 和 WorldArena 上排名第一,消融实验验证了动作条件化、几何交互与多功能训练的收益。论文链接 https://arxiv.org/abs/2610.18447v1。

    推荐理由:论文把外观、几何和动作放进共享动态表示统一建模,并列出在 EWMBench 等三个评测上的具体排名与训练数据构成。