跳到正文
今天10月27日周二6 条
  1. arXiv · cs.AI40

    OpTTA:面向规划而非仅预测的乐观测试时世界模型自适应

    论文提出 OpTTA(Optimistic Test-Time Adaptation),在预测损失之外引入规划器的目标达成代价项,引导测试时世界模型自适应向乐观于达成目标的方向更新,无需额外环境交互。在操控、抓取和导航任务的视觉与环境分布偏移实验中,仅自适应预测器时,OpTTA 平均将规划成功率较冻结模型提升 13.5 个百分点,而仅预测目标(AdaJEPA)为 6.9 个百分点;同时自适应编码器时两者分别为 13.5 和 7.5 个百分点。实验覆盖三个不同编码器与训练目标的 JEPA 世界模型,并测试了 CEM 与梯度两种规划器。

  2. arXiv · cs.AI34

    TrySee:模块化感知增强的 VLM 闭环机器人任务规划方法

    研究者提出 TrySee,一个将通用 VLM 推理与领域专用感知及机器人组件结合的模块化闭环机器人任务规划管线。系统采用反应式循环规划、领域模块化视觉预处理和动态预处理选择机制,无需 VLM 微调或端到端演示,可通过可替换感知模块与运动规划进行适配。该方法在 5 个差异显著的领域(含真实机器人拆解任务)上完成评估,并在 brownfield 环境实地验证了在领域训练数据有限情况下集成 VLM 规划的可行性。

  3. arXiv · cs.AI51

    ZAP:27B 视觉语言模型经仿真训练实现 96.7% 真实机器人任务成功率

    论文提出 Zero-real Agent Policy(ZAP),用预训练 27B 视觉语言模型配合工具控制框架,在仿真任务上做监督微调和 GRPO,训练全程不使用真实机器人数据。ZAP 在真实任务上达到 96.7% 成功率,与 GPT-6 Astra 相当且运行快 3 倍、成本低 17 倍,超过 MolmoAct2 VLA 的 33.3%;对训练数据中未出现的物体、目标和语言具备组合泛化能力,并迁移到未见过的单臂 Franka 上,在 RoboLab-120 达 55.9%。

  4. arXiv · cs.AI44

    用 EBench 评测前沿 Agent:GPT-6-Astra 从直接控制到结合策略的 Harness

    研究团队用 EBench 评测了 GPT-6-Astra 在两种 Agent 配置下控制机器人的能力。直接控制模式下,其整体表现与后训练的 VLA/WAM 策略相当,在短程任务和泛化维度上领先,但在长程任务、桌面操作和高精度接触任务上不及后者。在结合策略的 harness 模式下,调用后训练 VLA 或 WAM 可发挥两者互补优势,将整体任务成功率提升至与最强后训练策略相当的水平,同时显著降低 token 成本,但因策略调用欠佳、执行缺少子目标及恢复控制时干扰抓取,仍低于各独立组件的逐任务上限。

  5. arXiv · cs.AI43

    FLORE:学习力反应式人形机器人移动操作

    研究者提出 FLORE 框架,用于学习力反应式人形机器人移动操作。该框架用两只力感知 UMI 式手持夹爪采集无机器人演示,结合扩散策略输出动作与每只手的力指令,再由带力跟踪的混合柔顺全身控制器执行。在机器人上三个接触密集任务中,力反应式策略成功率达 80%,而仅位置策略为 26.7%。

  6. arXiv · cs.AI28

    SR-BEVS:提升相机式 3D 目标检测鲁棒性的稀疏恢复 BEV 模型汤

    研究者提出 SR-BEVS,一种无需额外数据和架构修改即可同时提升干净精度与腐蚀鲁棒性的稀疏恢复学习方法。该方法按层级权重大小选出剪枝候选,随机剪枝生成多个稀疏模型并各用随机采样学习率重训练,再平均为单个稠密模型,推理开销为零。在 nuScenes 上的实验显示,相比 Fast-BEV 基线腐蚀鲁棒性最高提升 33.8%,干净精度提升 1.8%。

10月25日周日
  1. arXiv · cs.AI48

    Scan2Instruction 与 PRPT-KS 实现免示例语言引导导航适配,一次扫描即可

    Scan2Instruction 将一段 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航片段,PRPT-KS 则通过从重建场景直接读取的闭式 Pareto 效用适配策略,无需学习 critic 和人工标注。在五个真实环境中,RealNav 真机成功率达 85%,高于用人工示教后训练基线的 49%;在同建筑未扫描区域仍达 82%,基线为 41%。

  2. arXiv · cs.AI39

    RoboReason:通过可扩展数据生成提升 VLM 机器人相关推理能力

    研究者提出 RoboReason 方法,用真实机器人立体相机与腕部相机的时空排序任务评测 VLM 视觉推理,发现多个 SOTA 模型在帧排序、深度排序和左右排序任务上表现不佳。团队设计了可扩展的自主训练数据生成流水线,对该数据做监督微调和强化学习,显著提升了模型在时空排序任务及下游机器人与视觉推理任务上的表现。

10月24日周六
  1. arXiv · cs.AI51

    DexPort:面向灵巧手数据采集的手持技能接口

    研究团队发布 DexPort,一种面向高自由度灵巧手的便携式数据采集接口,采集与部署使用相同手部硬件以避免 embodiment 差异,无需机器人臂即可在非结构化环境采集演示。操作者只控制机械腕运动并选择或调整技能来协调手指,共采集超 2,500 条演示;行为克隆训练的 visuomotor 策略在 4 项任务上评测,使用记录的机器人命令替代状态使成功率从 11% 提升到 64%,加入真实环境数据后从 36% 提升到 78%。论文地址 https://arxiv.org/abs/2610.32969v1

10月23日周五
  1. arXiv · cs.AI27

    AWARE:面向机器人动力学预测与内省的自适应世界模型异常识别框架

    AWARE 是一个仅需外部摄像头监控即可进行异常检测的世界模型框架,通过系统动力学估计与状态预测识别异常,适用于缺乏车载传感器或禁止接入的旧有硬件。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上评测,其异常分类效果比较强基线提升 26%,且动力学参数可解码定位故障源,电机退化定位准确率达 88%。

  2. arXiv · cs.AI23

    Conditional Neural Processes 用于动作模仿中的自监督目标发现

    受婴儿通过模仿学习新任务的能力启发,该研究评估了 Conditional Neural Processes 能在多大程度上自主学到蕴含潜在目标的动作表征。结果表明,在隐空间引入 attention 机制可促使鲁棒的目标表征在动作序列观察早期即涌现。该工作在 IROS2023 认知机器人世界模型与预测编码研讨会以海报形式发表,被视为机器人自监督通用学习器的一个有前景的方向。

  3. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  4. arXiv · cs.AI28

    何时停止惩罚动作?MART-GRPO:面向 VLA 强化学习的鞅 GRPO 方法

    论文提出 MART-GRPO,用 VLM(LoRA 微调)在 OpenVLA-OFT 的 rollout 中定位最后一次可见错误,对 GRPO 的失败反馈做事件引导截断,避免有价值的恢复动作被一并惩罚。该截断在理想停止点保持参考 GRPO 梯度估计的期望并可降低协方差。在 RoboTwin 2.0 上的实验显示,MART-GRPO 在多个任务上成功率超过全轨迹 GRPO。

  5. arXiv · cs.AI33

    ChoreoStudio:音乐驱动群舞编舞中的“编什么、何时变、谁来动”规划

    ChoreoStudio 是一个音乐驱动群舞生成框架,将编舞规划显式化:音乐解耦器提取帧级节奏与段级结构特征,冻结的 omni-modal 模型充当编剧生成全局语义描述,Director 则输出队形选择、切换时机与舞者分配三项耦合决策。在 AIOZ-GDance 上,ChoreoStudio 在动作质量、群组组织与队形动态方面达到 SOTA。

  6. arXiv · cs.AI53

    FocusVLA:面向 VLA 模型的未来意图引导动态视图路由框架

    研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。

    推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。

  7. arXiv · cs.AI31

    机器人系统多工具选择研究:语义检索与大语言模型路由策略对比

    一项arXiv研究对比了机器人工具路由的四种策略:三种基于ChromaDB的语义检索方法(固定阈值、相对距离、子句感知聚合检索)与一个云端托管的1200亿参数LLM基线。在164条人工标注提示词上,检索方法CDB-v3取得最佳macro-average分数0.7822,LLM基线为0.8869。研究显示大模型路由质量更高,但CDB-v3延迟更低且可本地部署,适合隐私敏感和连接受限的机器人系统。

10月22日周四
  1. arXiv · cs.AI44

    SP-HLM:稀疏位姿驱动的人形机器人移动操作运动生成与全身控制框架

    研究者提出 SP-HLM 框架,用稀疏位姿接口连接高层任务策略与人形机器人全身控制。其中 SP-VLA 模型基于多模态观测和语言指令异步推理预测任务关键稀疏位姿与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身协调运动,SP-GMT 融合显式目标与隐式运动先验完成全身控制。仿真和真机实验显示其在运动跟踪、全身协调与移动操作成功率上优于现有方法。

  2. arXiv · cs.AI51

    arXiv 论文在 LIBERO-10 上评测六个前沿 AI 模型的机器人操作能力

    May Espinola 与 Qifan Zhang 在 arXiv:2610.30051 提出统一闭环评测框架,在不做任务微调的情况下测试六个前沿模型对 LIBERO-10 机器人操作任务的能力,共 18 种配置、1800 次评估。GPT-6 Astra 以 44% 成功率居首,Gemini-4 Argon 为 43%;提高推理程度普遍有助表现但增加推理成本,模型在物体放置任务上较好,在精确空间排布和复杂多步交互上较弱。

  3. arXiv · cs.AI43

    AtomicRL:面向长时序机器人操作的原子化强化学习框架

    AtomicRL 是一个面向 VLA 模型的 RL 后训练框架,通过原子任务结构实现可靠的 credit assignment 与自适应探索。其引入 Semantic-Aware Policy Optimization(SAPO)和 Bottleneck-Adaptive Target Exploration(BATE),并配套 Real2Sim2Real 流水线。在 LIBERO-LONG 上较 PPO 提升 3.6% 和 4.0%,CALVIN ABC-D 上最高提升 9.5%,真实任务平均提升 21.3%。

  4. arXiv · cs.AI43

    ASTEROID:非对称在线策略蒸馏学会上下文内探索

    研究者提出 ASTEROID,一种学生—教师监督学习框架,通过在学生在线策略采集的历史上下文上蒸馏特权专家动作,让部分可观测下的学生学会测试时探索。在 11 个环境(离散探索基准、机械臂操作、导航、Procgen 等)中,ASTEROID 在固定探索预算下回报约提高 2x,交互次数比 RL 基线少约 100x,并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。

10月21日周三
  1. arXiv · cs.AI37

    TaskWAM:解决世界-动作模型中的阶段混淆问题

    研究者提出 TaskWAM,一个闭环、阶段感知框架,用 Mode Tokens 表示细粒度任务要求、用 State Tokens 追踪执行进度,解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的 Stage Confusion 问题。论文同时发布多阶段操作基准 StageBench。实验显示 TaskWAM 在仿真与真实任务上有效减少混淆并达到与 SOTA 方法相当的性能,且可即插即用迁移到单臂、双臂、灵巧手和人形机器人等异构 WAM 架构与机器人本体。

  2. arXiv · cs.AI33

    G-JEPA:在潜在世界模型中探索时序上下文感知的物理接地

    研究者提出 G-JEPA,将时序上下文显式引入 JEPA 世界模型的物理接地,并结合先验引导的动作规划。该方法用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,规划时通过以当前与目标潜在表征及其差异为条件的生成式动作分布进行动作推理。实验显示该模型在操作任务上规划性能提升,包括初始与目标观测时序间隔增大的任务,代码已公开。

  3. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。

  4. arXiv · cs.AI51

    UniWALM 论文提出统一世界动作语言模型用于机器人操控

    Rahul Sajnani 等人在 arXiv 发布 UniWALM,一个在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言的模型,各模态扩散头同步去噪,生成的文本记忆在下一步被重新消费,无需外部规划器或记忆库;并引入 Flow Matching with Correction(FMC)训练目标,在不增加推理开销下教模型从受扰动作轨迹恢复。UniWALM 在 MolmoSpaces 组合抓放和 RLM... 在 RMBench 记忆子集达 34.5%,超过带关键帧的 Mem-0 设置(28.5%);真实世界 Find-the-Item 任务中生成文本记忆把成功率从 11.1% 提到 61.1%,而现有 VLA 不高于 33.3%。

10月20日周二
  1. arXiv · cs.AI28

    VaDar:基于价值分解的隐式目标条件化方法

    研究者提出 Value Disaggregation(VaDar),训练单一不依赖子目标的策略来最大化各子目标 critic 值的线性组合,从而在部署时免去子目标选择。实验显示 VaDar 始终与 goal-conditioning 等基线相当且常更优,并能处理非顺序目标和多优化目标。它是首个解决 RoboCasa 中长程任务难题的算法,即使从行为克隆预训练、初始成功率近零的策略出发也能成功。

  2. arXiv · cs.AI37

    CoopUQ:基于不确定性感知协作预测的多机器人社交导航框架

    研究者提出多机器人社交导航框架 CoopUQ,通过跨机器人时空特征融合预测未来占用网格地图,并利用预测及其不确定性,以约束多智能体强化学习引导策略,惩罚穿越预测被占用或高不确定性区域的动作。在基于 Unity3D 的多种仿真环境(含 OOD 场景)及真机实验中,该方法在预测性能和安全性上优于代表性基线,代码已开源。

10月17日周六
  1. arXiv · cs.AI52

    arXiv 论文提出自建实验室 SBL,可按科学目标自主搭建实验室配置

    论文 arXiv:2610.23826 提出自建实验室(SBL),给定高层次科学目标即可自主设计、配置并运行实验室设置,补建实验布局、数字孪生、机器人技能和实验流程。系统已在不同机器人和 setups 上演示,从单一工作站扩展到多机器人协作实验室,并通过真实世界量子点合成实验完成端到端验证。

    推荐理由:论文提出自建实验室概念,把人类角色从配置自动化设备转为只给科学目标,实验灵活性问题有了新解法。

10月16日周五
  1. arXiv · cs.AI41

    AWAM:主动轨迹条件视角想象,实现更稳健的机器人操作

    研究提出 AWAM(Active World-Action Model),一种主动规划观察位置并在执行前沿规划轨迹想象所见画面的虚拟主动感知范式。该模型将任务相关虚拟相机运动作为结构化查询输入几何条件世界模型,生成可复用空间先验,压缩为固定记忆后通过 cross-attention 与实时观测融合,进行基于扩散模型的动作预测。AWAM 在 LIBERO-Occ 上达 75.9%、LIBERO-Plus 上 62.4%、RLBench-OG Occlusion1 上 76.5%、真机实验中 94.4% 成功率。

  2. arXiv · cs.AI42

    DSP:从监督式 Play 中学习灵巧操作

    研究者提出 DSP(Dexterity from Supervised Play)框架:机器人通过行为克隆从几分钟人类 play 数据中学习 play 策略,再自主部署收集数小时交互数据训练世界模型,并引导 MPC 规划。真实世界实验中,该方法成功率比 hindsight 行为克隆高 69.6%,以少 490 倍的交互数据达到与强化学习相当的成功率,且无需任务特定演示或 sim-to-real 迁移。

  3. arXiv · cs.AI54

    CoDA 论文提出仿真数据引擎与动作策略共同进化框架

    论文提出 CoDA 框架,让仿真数据引擎与动作策略通过共享异构记忆共同进化,记忆将视觉语言评论家的诊断编译为生成程序与训练程序,并用 Text2potential 为动作块价值学习提供密集监督。在四个操作任务族上,分布外成功率从 SFT 后的 5.3% 提升到 27.6%,比最强闭环基线高 9.5 个百分点;LIBERO-Pro 上 15 轮生成与训练使位置扰动下成功率从 25% 升至 84%,指令扰动下从 1% 升至 76%。

    推荐理由:论文提出仿真数据引擎与动作策略共同进化的训练框架,并给出分布外成功率的实测对比,方法思路可迁移到机器人策略训练。

  4. arXiv · cs.AI51

    T2-z 提出机器人世界模型的环境隐变量测试时优化方法

    Chenyuan Zhou 等人发布 arXiv 论文 T2-z,通过可学习的环境隐变量在测试时优化机器人世界模型,适应不可观测的摩擦、质量等环境因素。在 7 个仿真设置和 4 个真实机器人任务上,物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 升至 72.96%,且仅需一条测试时交互轨迹即可推断环境隐变量。

  5. arXiv · cs.AI45

    LIBERO-PeRM:个性化机器人操作基准发布

    LIBERO-PeRM 是一个面向具身智能体偏好学习的基准,将任务完成与偏好满足分离评估,涵盖动作、技能和用户画像三类偏好,包含 5 个任务套件、312 个任务及成对演示数据。实验显示当前 VLA 策略零样本个性化表现不佳,SFT 可使偏好可学习;混合训练比顺序适应更好保留无偏好性能,但偏好泛化、分解与冲突处理仍然困难。代码、数据集和演示已在项目网站公开。

10月15日周四
  1. arXiv · cs.AI43

    人类演示作为任意机器人本体的后训练数据:重定向物体而非手部

    arXiv 论文提出一种方法,让手机等设备录制的人类演示可作为结构不同机器人的后训练数据,核心是重定向物体运动而非手部动作。采集生成无本体记录(物体位姿、接触区间与重建 3D 物体),机器人以 URDF 和简短描述文件在仿真中求解并评分。在 8 台机器人、42 次采集共 157 对样本中,31.2% 通过、52.2% 失败、14.0% 被拒;被拒的 13 对实际运行全部失败。

  2. arXiv · cs.AI56

    HiRe-MoMa:基于稀疏人工引导的移动操作真实世界微调框架

    论文提出 HiRe-MoMa 框架,用于移动操作(MoMa)系统的真实世界高效微调。其分层残差架构在冻结基础策略上学习增量修正,并将残差拆分为移动底盘与机械臂两个头以缓解梯度干扰;Expert-Guided Value Alignment 利用覆盖率不足 20% 的稀疏人工干预重塑 critic 价值函数。在 TIAGo++ 平台上的实验显示,约 30 分钟在线交互即可持续提升任务性能,且不依赖基础策略架构。论文被 CoRL 2026 接收。

    推荐理由:论文给出在真实机器人上微调移动操作系统的分层残差框架,用不到20%覆盖度的稀疏人工干预提升样本效率。

  3. arXiv · cs.AI33

    不确定性驱动的自博弈方法提升多智能体驾驶策略的鲁棒性

    一项 arXiv 研究提出不确定性驱动的自博弈训练方案:一半智能体以提升邻居的认知不确定性为奖励,另一半学习安全驾驶,从而自动生成高难度训练课程。该方法在 nuplan Val14 上实现 99.12% 的零样本迁移(对比标准自博弈 97.97%),在 Argoverse 2 上达 82.39%(对比 78.03%),且无需微调;LSTM 隐状态覆盖率比基线高 85%,行为多样性显著提升。

10月14日周三
  1. arXiv · cs.AI56

    UniW(A)M:统一世界模型与世界动作模型的 MoE 框架

    论文提出 UniW(A)M,一个基于扩散 Transformer 的混合专家框架,统一动作条件世界建模与多种世界动作模型变体,以共享专家捕捉共同物理动态、原子能力专家跨接口复用。在 LIBERO、RoboTwin 2.0 及三个真实操作任务上,真实世界平均成功率达 88.3%,最强基线为 76.7%;WorldArena 上动作条件世界建模三项任务均领先;PAIR 路由将 OOD 成功率从 63.3% 提至 76.7%,且部署时主干冻结。论文正在 ICLR 2027 评审中,共 34 页。

    推荐理由:论文统一了世界模型与世界动作模型的训练,真实操作任务成功率比最强基线高出 11.6 个百分点,并给出 PAIR 的 OOD 数据。

  2. arXiv · cs.AI53

    Steertuning:从少量人类视频让机器人 5 分钟内学会新任务

    arXiv 论文提出 Steertuning 系统,让机器人从 5 条人类示教在 5 分钟内学会新任务。该系统先在 100 小时带密集标注的自我中心人类交互数据上预训练 400M 参数扩散策略,再对新任务仅做 2 分钟微调(2000 次更新),并在反向采样时用观测最接近部署环境的示教引导动作。在 12 个新环境的 12 项任务上达到 71% 成功率,数据、权重、代码和机器人视频将公开。

    推荐理由:原文给出了从人类视频微调机器人策略的完整方法与量化结果,读者可以据此评估少样本示教方案的可行路径。

  3. arXiv · cs.AI40

    RoboSimStudio:面向机器人操作任务快速 Real2Sim 的交互式工具包

    研究者推出 RoboSimStudio(RSS),一个交互式工具包,可将求解器、接触模型和物理参数显式化并支持编辑,供人类与编码智能体基于观测到的物理行为迭代优化仿真。RSS 基于开源 Newton 物理仿真系统实现,并通过视觉评估、力反馈和 agentic Real2Sim2Real 三种方式验证了人机协同的 real2sim 流程。

  4. arXiv · cs.AI50

    LIBERO-RIG:面向视觉-语言-动作模型的硬件配置鲁棒性基准

    LIBERO-RIG 是一个仅扰动机器人硬件与配置、任务保持不变的基准,覆盖相机安装与光学、相机-机械臂标定、控制频率、本体感知噪声等 11 个扰动轴、各 5 个严重程度,共 210 种条件。对 9 个视觉-语言-动作模型的评测显示,汇总成功率从 0.932 降至中等严重度的 0.767 和最高严重度的 0.509。视觉扰动训练无法缓解相机图像不变的故障,基准连同各 episode 的扰动参数清单已发布。