跳到正文
10月23日周五
  1. arXiv · cs.AI33

    ChoreoStudio:音乐驱动群舞编舞中的“编什么、何时变、谁来动”规划

    ChoreoStudio 是一个音乐驱动群舞生成框架,将编舞规划显式化:音乐解耦器提取帧级节奏与段级结构特征,冻结的 omni-modal 模型充当编剧生成全局语义描述,Director 则输出队形选择、切换时机与舞者分配三项耦合决策。在 AIOZ-GDance 上,ChoreoStudio 在动作质量、群组组织与队形动态方面达到 SOTA。

  2. arXiv · cs.AI29

    Part-DINO:用图像结构补充 DINO 特征以实现部件发现

    Part-DINO 是一个免训练部件发现框架,将低层图像分割得到的边界与 DINO 的语义特征结合,先按边界划分图像区域、池化区域内 DINO 特征再聚类发现部件。论文指出 DINO 特征因 ViT 刚性 patch 网格导致跨边界 patch 熵更高、分配置信度更低,边界模糊。在 CUB、CelebA、PartImageNet-OOD、PartImageNet-Seg 四个基准上,Part-DINO 超越免训练基线,并与弱监督、无监督方法保持竞争力。

  3. arXiv · cs.CL32

    SyncPro:面向主动式流视频理解的推理与响应同步框架

    研究者提出 SyncPro,一个同步双流框架,用 Inner 与 Response 两条分支分别负责证据跟踪和面向用户的响应,两条分支共享因果历史且可独立激活,使响应能与进行中的推理并行。该框架通过 189K 双流样本进行监督微调和轨迹级强化学习训练,在三个主动式 benchmark 上提升了响应时机和回答准确率。

  4. arXiv · cs.AI53

    FocusVLA:面向 VLA 模型的未来意图引导动态视图路由框架

    研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。

    推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。

  5. arXiv · cs.AI34

    PhysTrace:视频生成模型物理一致性的可解释时序评估框架

    研究者提出 PhysTrace,一个无需训练的框架,将 MLLM 生成的历史条件预期与观测视频窗口对齐,以时序定位视频生成模型中的物理违规并给出可解释描述。配套发布的 IntPhys2-Timing 基准为 IntPhys2 加入违规时间区间,PhysTrace 在其上的 Hit Rate 最高达 70.7%,并在 IntPhys2 的可能-不可能判别总准确率上优于对比方法。应用于 diffusion/flow 视频模型的重建视频时,该框架可跨时间步揭示属性与噪声相关的物理违规定位模式。

  6. arXiv · cs.AI36

    MoG-VLM:基于运动引导视觉语言模型的高效视频异常检测

    MoG-VLM 是一个运动自适应视频异常检测框架,用时间梯度幅度(TGM)做内容感知采样,仅在异常可能性升高的帧附近触发 VLM 推理。该方法在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 四个基准上分别取得 91.91%、84.30%、87.88% 和 78.96% 的 AUC-ROC,其中三个基准在 zero-shot、免训练设置下刷新 SOTA。在 XD-Violence 上较此前最佳提升 +0.57%,同时推理提速 1.31x,代码已在 GitHub 开源。

  7. arXiv · cs.AI41

    DuoCook:一个受 Overcooked 启发的视觉规划与协调 benchmark

    研究者推出 DuoCook,一个基于 Unreal Engine、受 Overcooked 启发的视觉规划与协调评测 benchmark,由单一视觉语言模型通过俯视视觉观察同时控制两名玩家。benchmark 包含 5 类共 20 张地图,评估任务得分、订单完成率、交付精度、动作接受率和 API 花费,并对共享自写笔记记忆做了消融实验。表现最强的模型 gpt-6-astra 平均订单完成率仅为 26.2%;笔记记忆对 Claude 和 Qwen 平均加分,对 GPT 和 Gemini 则为负向。

  8. arXiv · cs.CL18

    PRISM:通过步骤序列推理识别程序性视频中的错误操作

    研究者提出 PRISM(Procedural mistake Recognition via Interpretable Semantic Modeling),用于程序性视频的操作错误识别:它将视频片段与语言对齐,并用在正确执行样本上训练的轻量级隐马尔可夫模型映射到程序状态,通过参考对齐和语义检查发现步骤内容与顺序错误。该方法将数据集标注统一映射为插入、删除、替换、移位四类错误,在三个 benchmark 上验证,语义角色标注在全部六组匹配的 grounded 对比中提升了 Any-F1。

  9. arXiv · cs.AI44

    通过反事实干预测量驾驶视觉-语言-动作(VLA)模型的推理与行为耦合度

    一项arXiv研究通过因果反事实干预,对四个驾驶VLA模型在不同benchmark上的可解释性进行检验。扰动模型自身推理文本仅引起较小轨迹变化,其影响远小于清空摄像头输入;移除推理中提及的关键物体后,推理与轨迹对场景变化跟踪也不一致。结果表明这些模型给出的驾驶解释与实际行为仅弱耦合,暴露了其可解释性的局限。

  10. arXiv · cs.AI31

    LAST-V2X:基于大语言模型自适应场景合成的 V2X 通信故障安全测试框架

    LAST-V2X 是一个由大语言模型(LLM)驱动的 V2X 应用自动化场景合成与安全测试框架,可将自然语言测试描述转译为可执行场景。框架结合交通仿真、通信语义建模与消息级故障注入,通过降级信息与真实信息的匹配执行来判定安全失效是否由通信引起,并利用参数搜索与 LLM 自反思的执行引导优化生成最小可复现失败案例。在多种 CARLA 环境和 V2X 安全应用上的实验表明,该框架能生成可靠场景、区分通信致因失效并显著提升失败发现能力。

  11. arXiv · cs.AI31

    机器人系统多工具选择研究:语义检索与大语言模型路由策略对比

    一项arXiv研究对比了机器人工具路由的四种策略:三种基于ChromaDB的语义检索方法(固定阈值、相对距离、子句感知聚合检索)与一个云端托管的1200亿参数LLM基线。在164条人工标注提示词上,检索方法CDB-v3取得最佳macro-average分数0.7822,LLM基线为0.8869。研究显示大模型路由质量更高,但CDB-v3延迟更低且可本地部署,适合隐私敏感和连接受限的机器人系统。

  12. arXiv · cs.AI45

    Dual Exam:多模态智能体与世界模型的受控评测

    arXiv 论文提出 Dual Exam 评测框架,在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置,GPT 6 Astra 以 31.3 的 Agent Index 居首;World Model 赛道含 400 个案例、8 个场景,GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零,揭示了任务表现不均与任务相关状态保持失败的问题。

  13. arXiv · cs.AI48

    ProductWebBench:超越任务完成度的网站连续性评测基准

    论文提出 ProductWebBench 基准,在真实前端仓库上同时评分需求完成与网站连续性,包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行,通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查,18.3% 破坏了已验证状态。此外,静态 DOM 通过的运行中有 29.5% 在交互环节失败。

10月22日周四
  1. arXiv · cs.AI45

    ToM2Vec:用于多智能体协作的连续心智理论 token

    研究者提出 ToM2Vec,通过固定预算的连续推理 token 让 LLM 智能体在潜在空间中形成抽象心智理论。在 Overcooked-AI、Hanabi、多方谈判等合作、竞争与混合动机环境中,其表现持续优于基线模型,且能泛化到训练时未见过的模型家族(包括 GPT-5.4)。分析显示潜在 token 编码的是心智理论而非任务特定信息,且以文本表达推理时性能会下降。

  2. arXiv · cs.AI30

    FaultGene:LLM 辅助的故障增强测试生成,用于自动驾驶系统硬件在环(HIL)验证

    FaultGene 是一个 LLM 辅助框架,可自动生成可执行的故障增强测试,用于自动驾驶系统的硬件在环(HIL)故障韧性验证。它基于给定的 Scenic/CARLA 基线场景和结构化故障规范生成测试用例,并通过语义一致性检查和执行反馈进行离线微调。部署后无需人工构造参考执行或反复迭代即可直接生成测试。

  3. arXiv · cs.AI44

    SP-HLM:稀疏位姿驱动的人形机器人移动操作运动生成与全身控制框架

    研究者提出 SP-HLM 框架,用稀疏位姿接口连接高层任务策略与人形机器人全身控制。其中 SP-VLA 模型基于多模态观测和语言指令异步推理预测任务关键稀疏位姿与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身协调运动,SP-GMT 融合显式目标与隐式运动先验完成全身控制。仿真和真机实验显示其在运动跟踪、全身协调与移动操作成功率上优于现有方法。

  4. arXiv · cs.AI51

    arXiv 论文在 LIBERO-10 上评测六个前沿 AI 模型的机器人操作能力

    May Espinola 与 Qifan Zhang 在 arXiv:2610.30051 提出统一闭环评测框架,在不做任务微调的情况下测试六个前沿模型对 LIBERO-10 机器人操作任务的能力,共 18 种配置、1800 次评估。GPT-6 Astra 以 44% 成功率居首,Gemini-4 Argon 为 43%;提高推理程度普遍有助表现但增加推理成本,模型在物体放置任务上较好,在精确空间排布和复杂多步交互上较弱。

  5. arXiv · cs.AI43

    AtomicRL:面向长时序机器人操作的原子化强化学习框架

    AtomicRL 是一个面向 VLA 模型的 RL 后训练框架,通过原子任务结构实现可靠的 credit assignment 与自适应探索。其引入 Semantic-Aware Policy Optimization(SAPO)和 Bottleneck-Adaptive Target Exploration(BATE),并配套 Real2Sim2Real 流水线。在 LIBERO-LONG 上较 PPO 提升 3.6% 和 4.0%,CALVIN ABC-D 上最高提升 9.5%,真实任务平均提升 21.3%。

  6. arXiv · cs.AI43

    ASTEROID:非对称在线策略蒸馏学会上下文内探索

    研究者提出 ASTEROID,一种学生—教师监督学习框架,通过在学生在线策略采集的历史上下文上蒸馏特权专家动作,让部分可观测下的学生学会测试时探索。在 11 个环境(离散探索基准、机械臂操作、导航、Procgen 等)中,ASTEROID 在固定探索预算下回报约提高 2x,交互次数比 RL 基线少约 100x,并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。

  7. arXiv · cs.AI34

    多模态具身智能体综述:从 computer-use 到 robot-use 的统一能力视角 PAPAV

    一篇 arXiv 论文提出多模态具身智能体(MMEAs)概念及统一能力框架 PAPAV,涵盖感知、预判、规划、执行、验证五项能力,用于对比多模态智能体与机器人系统从 computer-use 到 robot-use 的差异。分析 64 个 benchmark 发现,显式评估集中在 Act,仅 5 个评估 Anticipate、3 个评估 Verify;文中还梳理了从部分可观测到结果不可验证等五项物理约束带来的开放挑战。

  8. arXiv · cs.AI44

    PhysiCalWorld:面向世界模型的上下文物理校准方法

    PhysiCalWorld 提出一种上下文提示的物理校准方法,将测试场景中的探索性交互片段编码为紧凑的物理描述符 token,使动作条件世界模型校准到实例特定的动力学,无需微调或解析物理建模。该方法仅用潜在预测损失端到端训练、无需物理标签,描述符在推理时提取一次即可跨 rollout 复用且计算开销可忽略。在覆盖多样物理变化的四个环境中,它显著提升了 rollout 预测精度和视觉规划成功率。

  9. arXiv · cs.AI43

    SpatialBrain:从经验中生长空间智能

    arXiv 论文提出 SpatialBrain,一个在视觉语言主干保持固定的前提下积累空间推理经验的框架。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验;完成的轨迹被抽象为过程记录并在任务块之间整合。在五个空间推理 benchmark 上,SpatialBrain 在四个上优于同主干的直接回答,在第五个上持平。

  10. arXiv · cs.AI40

    LLMSeg:免训练的 B 样条文本提示图像分割

    研究者提出 LLMSeg,一种免训练管线,将支持视觉的多模态大语言模型直接变成文本提示图像分割器,无需分割头、mask 解码器或专门训练。方法将分割分解为 detect、segment、refine 三个 LLM 驱动阶段,用闭合周期 B 样条勾勒边界并迭代修正。基于现成的 Gemini-3.7-Flash,LLMSeg 在 ReasonSeg val 上达到 71.5 cIoU,与专门的 SAM 3 相当甚至更优,代码已开源。

  11. Hugging Face Blog51

    Hugging Face 教程:用 NVIDIA Isaac Lab 3.0 训练 Microduck 步行策略并部署到真机

    Hugging Face 与 Pollen Robotics 发布教程,介绍在 NVIDIA Isaac Lab 3.0 中用 Newton 物理引擎训练开源双足机器人 Microduck 的步行策略,并导出 ONNX 部署到真机。训练使用 4096 个并行环境、MJWarp 求解器与 BAM 执行器建模,通过质量、摩擦、编码器偏移和齿轮间隙等域随机化实现 sim-to-real 迁移,多 GPU 配置下可达每秒 1.25M 步;策略接口为 61 维观测、14 维动作,可在 Microduck Arena 排行榜验证并部署到实体机器人。

10月21日周三
  1. Hugging Face Blog53

    Hugging Face 与 NVIDIA 推出 SimReady Central 开放仿真资产库

    Hugging Face 与 NVIDIA 宣布推出 SimReady Central Library,汇集超过 2,000 个带物理属性的 SimReady OpenUSD 仿真资产,免费、无门槛开放。资产覆盖机械臂、夹爪、仓储和冷却设备等,由 FANUC、Universal Robots、Vertiv、LG Electronics 等 OEM 提供,可用于机器人训练环境和 AI 工厂数字孪生,并支持 USD Search 自然语言检索与 GPT-6 Astra 辅助搭建 Isaac Sim 场景。

    推荐理由:由发布方直接介绍资产库的构成和OEM贡献方式,读者可以了解免下载门槛的仿真资产从哪里找、怎么用。

  2. arXiv · cs.AI37

    TaskWAM:解决世界-动作模型中的阶段混淆问题

    研究者提出 TaskWAM,一个闭环、阶段感知框架,用 Mode Tokens 表示细粒度任务要求、用 State Tokens 追踪执行进度,解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的 Stage Confusion 问题。论文同时发布多阶段操作基准 StageBench。实验显示 TaskWAM 在仿真与真实任务上有效减少混淆并达到与 SOTA 方法相当的性能,且可即插即用迁移到单臂、双臂、灵巧手和人形机器人等异构 WAM 架构与机器人本体。

  3. arXiv · cs.AI33

    G-JEPA:在潜在世界模型中探索时序上下文感知的物理接地

    研究者提出 G-JEPA,将时序上下文显式引入 JEPA 世界模型的物理接地,并结合先验引导的动作规划。该方法用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,规划时通过以当前与目标潜在表征及其差异为条件的生成式动作分布进行动作推理。实验显示该模型在操作任务上规划性能提升,包括初始与目标观测时序间隔增大的任务,代码已公开。

  4. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。

  5. arXiv · cs.AI35

    AnomalyAgent:基于视觉语言模型的智能体集成视觉异常检测方法

    研究者提出 AnomalyAgent,一种用于视觉异常检测的后训练融合框架。该框架对齐异构检测器的分数与异常图,将融合建模为有限动作选择问题,用受约束的 VLM 检查高冲突样本并选择分数动作和图动作。在 MVTec AD 与 VisA 上,AnomalyAgent 相比等权融合持续提升,取得了对比融合方法中最优的 mean image AUROC 和 pixel AP。

  6. arXiv · cs.AI32

    SceneRig:从单张图像重建可仿真 3D 场景的智能体系统

    SceneRig 是一个智能体系统,可将单张图像转化为可编辑、仿真就绪的 3D 场景。它结合几何、视觉与物理工具进行重建,并让智能体在物理仿真器内执行"编辑-验证"循环以确保物理稳定性。相比基线方法,其场景能更准确预测真实机器人策略结果,并更可靠地支持录屏操作的回放而无需轨迹适配。

  7. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  8. arXiv · cs.AI45

    MindView:生成式多视角空间智能基准发布

    研究者推出 MindView 基准,包含来自 513 个场景的 1,500 个样本,涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间,微调 BAGEL 后整体分数提高 24.3 分,且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue,可逆转扩展上下文下的分数下降并超过标准上下文基线。

  9. arXiv · cs.AI45

    Industrial ReMEmbR:将时空记忆扩展到机器人机群

    IndustrialRemembr 将 NVIDIA ReMEmbR 扩展到仓库机器人机群,构建共享时空记忆系统,通过按需生成场景描述降低服务器端计算。每台机器人上的 NVIDIA Jetson 用 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 编码视频,不上传原始画面,并在图像补丁中置零人物以支持符合 GDPR 的 PII 抽象。Cosmos3-Edge 在视觉-语言边界切分,缓存 token 解码在全部 450 次测试解码中复现了未切分模型的输出。

  10. arXiv · cs.AI51

    UniWALM 论文提出统一世界动作语言模型用于机器人操控

    Rahul Sajnani 等人在 arXiv 发布 UniWALM,一个在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言的模型,各模态扩散头同步去噪,生成的文本记忆在下一步被重新消费,无需外部规划器或记忆库;并引入 Flow Matching with Correction(FMC)训练目标,在不增加推理开销下教模型从受扰动作轨迹恢复。UniWALM 在 MolmoSpaces 组合抓放和 RLM... 在 RMBench 记忆子集达 34.5%,超过带关键帧的 Mem-0 设置(28.5%);真实世界 Find-the-Item 任务中生成文本记忆把成功率从 11.1% 提到 61.1%,而现有 VLA 不高于 33.3%。

  11. arXiv · cs.AI41

    Joints, Camera, Action! 面向任意骨架的 3D 运动与视频联合生成模型

    一篇 arXiv 论文提出可对任意骨架(rig)联合生成视频与 3D 运动的模型,并通过 cross-attention 层将独立的运动模型连接到预训练视频模型,同时学习关节定位以恢复相机、把运动注册到 3D 场景。训练借助生成式视频编辑器将动画资产放入合适场景,结合人类和机器人视频共构建近 200K 训练对。评测显示其从文本驱动多样骨架比视频优先管线更忠实,运动可响应场景,并支持视频转骨架运动、骨架运动转视频及关键帧控制。

  12. arXiv · cs.CL39

    CAPSafe:面向具身智能体情境动作与规划安全的基准

    CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理,其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示,部分模型识别不安全动作的准确率超过 90%,但安全长程规划难度显著更高:Gemini-3-pro 最高安全成功率为 78.19%,其余模型低于 65%。

  13. arXiv · cs.CL45

    GPT-6-Astra 理解触觉并超越视觉-触觉-语言-动作模型

    研究者提出 GPT-as-Tactile-Policy 方法,让 GPT-6-Astra 将专家演示总结为任务指导与触觉参考,结合多模态观察与交互历史生成控制指令。无需机器人专用预训练或按任务微调,该方法在五项 UniVTAC 任务上达到 93.8% 平均成功率;在 Insert Hole 任务中,触觉反馈将成功率从 31% 提升至 99%。

  14. arXiv · cs.CL48

    CUA-Recovery:面向长时程计算机使用智能体错误恢复的基准测试

    研究者提出 CUA-Recovery 基准,用 ReRail 框架在持久桌面环境中合成多应用长时程任务,评估计算机使用智能体(CUA)的错误检测与恢复能力。测试集含 2,250 个经人工验证的错误状态(100 个任务),训练集含 8.6K 轨迹(377 个任务);六款智能体错误感知率(EAR)最高仅 44.0%,Pass@3 最高 25.5%。用训练集微调 Qwen3.5-35B-A3B 后,其平均 EAR 从 19.9% 升至 35.2%,Rubric Score 从 5.0% 升至 16.1%,并在 MyPCBench 和 Odysseys 上分别提升 15.3 和 10.8 分。

  15. arXiv · cs.CL44

    CovNav:用 Conformal Prediction 引导自适应推理的目标导航框架

    CovNav 是一个 training-free 框架,用 Conformal Prediction(CP)判断物体目标导航中何时启用慢思考:本地 LLM 快速模式判断目标是否可能在附近,仅模糊查询升级到慢速 chain-of-thought 推理。在 Gibson 和 HM3D 上,CovNav 在 HM3D v1 和 v2 的成功率分别超过最强 zero-shot 基线 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理;TurtleBot 4 实机实验进一步验证了该方法。

  16. arXiv · cs.CL27

    SciDiagBench:面向科学图表的按类型对齐人类评估基准

    研究者推出 SciDiagBench,将科学图表系统分为 11 种类型,覆盖 10 个大领域的 165 张图表,类型包括图形摘要、技术路线图和示意案例等。该基准通过偏好引导的校准过程,把人类评估偏好融入按类型定制的评估标准,弥补现有 VLM 评估基准缺乏图表分类和未对齐人类偏好的不足,实现更贴近人类评审的自动化评估。