跳到正文
今天10月27日周二9 条
  1. arXiv · cs.AI51

    ZAP:27B 视觉语言模型经仿真训练实现 96.7% 真实机器人任务成功率

    论文提出 Zero-real Agent Policy(ZAP),用预训练 27B 视觉语言模型配合工具控制框架,在仿真任务上做监督微调和 GRPO,训练全程不使用真实机器人数据。ZAP 在真实任务上达到 96.7% 成功率,与 GPT-6 Astra 相当且运行快 3 倍、成本低 17 倍,超过 MolmoAct2 VLA 的 33.3%;对训练数据中未出现的物体、目标和语言具备组合泛化能力,并迁移到未见过的单臂 Franka 上,在 RoboLab-120 达 55.9%。

  2. arXiv · cs.AI44

    用 EBench 评测前沿 Agent:GPT-6-Astra 从直接控制到结合策略的 Harness

    研究团队用 EBench 评测了 GPT-6-Astra 在两种 Agent 配置下控制机器人的能力。直接控制模式下,其整体表现与后训练的 VLA/WAM 策略相当,在短程任务和泛化维度上领先,但在长程任务、桌面操作和高精度接触任务上不及后者。在结合策略的 harness 模式下,调用后训练 VLA 或 WAM 可发挥两者互补优势,将整体任务成功率提升至与最强后训练策略相当的水平,同时显著降低 token 成本,但因策略调用欠佳、执行缺少子目标及恢复控制时干扰抓取,仍低于各独立组件的逐任务上限。

  3. arXiv · cs.AI43

    FLORE:学习力反应式人形机器人移动操作

    研究者提出 FLORE 框架,用于学习力反应式人形机器人移动操作。该框架用两只力感知 UMI 式手持夹爪采集无机器人演示,结合扩散策略输出动作与每只手的力指令,再由带力跟踪的混合柔顺全身控制器执行。在机器人上三个接触密集任务中,力反应式策略成功率达 80%,而仅位置策略为 26.7%。

  4. arXiv · cs.CL48

    iPrefBench:面向个性化移动使用 Agent 的用户中心评测基准

    研究者提出 iPrefBench,在可执行的 iOS 环境中通过交互式模拟用户,评测个性化移动 Agent 的推断与提问能力。基准基于含 3,051 条历史活动事件的 persona,涵盖 26 个应用中的 130 个欠明确任务。对 7 个前沿 Agent 的评测显示,行动完成率最高达 91.6%,但完整任务成功率仅最高 47.7%,Agent 尤其难以主动向用户询问必要信息。

  5. arXiv · cs.AI19

    CoDeRNet:异构监督下的选择性跨任务路由,用于变化检测与描述

    研究者提出统一框架 CoDeRNet,将变化检测与描述(CDC)重构为异构任务分支间的选择性信息路由问题,并引入 Confidence-Decomposed Routing(CoDeR)机制,把路由条件分解为接收方需求和发送方可靠性线索。在 LEVIR-MCI 和 WHU-CDC 上,CoDeRNet 取得较强的整体 CDC 性能,尤其提升描述生成同时保持有竞争力的变化定位。分析表明收益来自显式建模选择性跨任务信息路由,而非单纯联合学习。

  6. arXiv · cs.AI43

    Qualcomm 提出 AIPC:基于证据引导的 Agent 工作流实现 PyTorch 项目部署

    Qualcomm 团队提出 AIPC(AI Porting & Conversion),一种结合结构化 Skills 与工具链、运行时和 profiling 证据的 Agent 方法,用于在端侧 NPU 上部署 PyTorch 推理项目,覆盖模型适配、构建、执行、精度修复与性能优化全流程。在 Qualcomm QAIRT 的 NPU 路径评测中,Whisper-Small 优化案例 6/7 Skill-arm 达到精度与延迟标准(对照组 0/6),YOLO-Worldv2 端到端加速 2.791x(对照组 1.599x),部分运行实现零人工干预(0-HITL)。团队还考察了 Qwen3.8-27B 作为本地部署的 Agent 驱动模型。

  7. arXiv · cs.AI46

    PhysEvolve:基于验证器的可执行世界自进化物理推理框架

    arXiv 预印本提出 PhysEvolve,一种基于验证器的自进化框架,通过模型自提议的可执行世界程序和物理引擎模拟的反事实分支,训练 VLM 进行因果物理推理。从 Qwen3-VL-8B-Instruct 出发,无需人工干预数据,PhysBench Throwing 提升 8.8 分,ContPhy Counterfactual Removal 和 Goal-Pit 分别提升 7.4 和 24.4 分,并对布料、流体、软体等未见动力学和真实视频实现零样本迁移。

  8. arXiv · cs.AI45

    GUIFlow:面向 GUI 智能体的时序冗余感知增量推理框架

    清华团队(Ye Li 等)提出 GUIFlow,一个面向多图像 GUI 交互全流程增量推理的框架,可在视觉编码、prefill 和解码各阶段跨步复用计算状态,无需额外训练或草稿模型。历史 KV 状态按位置对齐注入当前上下文,变化信号引导视觉编码器和语言模型的选择性更新,并用先前动作响应作为草稿由目标模型验证。该方法在离线多图像 benchmark 上获得最高 3.39x 几何平均加速,在 OSWorld 在线闭环交互中最高加速 3.49x,任务性能与稠密基线大致相当。

  9. arXiv · cs.AI28

    SR-BEVS:提升相机式 3D 目标检测鲁棒性的稀疏恢复 BEV 模型汤

    研究者提出 SR-BEVS,一种无需额外数据和架构修改即可同时提升干净精度与腐蚀鲁棒性的稀疏恢复学习方法。该方法按层级权重大小选出剪枝候选,随机剪枝生成多个稀疏模型并各用随机采样学习率重训练,再平均为单个稠密模型,推理开销为零。在 nuScenes 上的实验显示,相比 Fast-BEV 基线腐蚀鲁棒性最高提升 33.8%,干净精度提升 1.8%。

10月25日周日
  1. arXiv · cs.AI36

    WebViSE:从开放网络提取视觉设计技能以增强 LLM 网页生成

    研究者提出 WebViSE 框架,自动将成熟网站实现抽象为可复用的 Visual Skills,并以多父 DAG 组织技能库。基于 Qwen3.8-Max 的自动演化结构在仅约 39.09% 检索成本下超越非层次化 LLM 检索基线。该框架可作为即插即用指导提升多种模型的网页视觉质量,并可为开源模型构建数据合成管线,相关技能库与代码已开源。

  2. arXiv · cs.AI54

    OS-Wizard 论文提出知识引导的自动轨迹采集框架,微调模型在专用桌面任务上超过人类水平

    论文提出 OS-Wizard,一个面向专用桌面软件的自动轨迹采集框架,结合教程引导探索与 GUI 和代码混合动作空间,并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本,微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%,超过报告的人类水平 59.8%;仅用 GUI 动作也能提升通用桌面任务表现。

    推荐理由:论文给出了一条自动化采集专用软件操作轨迹的完整路径,含方法、数据规模和微调后的对比结果,可作同类工作的方法参考。

  3. prompts.chat · 每日 prompt24

    新增 prompt:蒸汽火车穿越石制高架桥(图生视频动画)

    prompts.chat 新增一条图生视频动画 prompt,以「蒸汽火车穿越秋日河谷石制高架桥」图像为精确首帧,生成 6 秒电影感镜头。prompt 规定火车头沿桥面向左匀速行驶并牵引四节栗色车厢,蒸汽与烟雾持续冒出并向右飘散,镜头缓慢左移,要求运动符合物理、无切换、无新增物体、无人物与文字。

  4. Hugging Face · 新模型:uncensored35

    mr-sus 发布 Minecraftism 4B Thinking Uncensored GGUF 量化版本

    mr-sus 在 Hugging Face 发布 Minecraftism 4B Thinking Uncensored 的 GGUF 量化版本,该模型是 Minecraft 玩家机器人 PyMC Bot 的"大脑",基于 huihui-ai 的 Qwen3-4B-Thinking-2507-abliterated 微调,共 4.02B 参数。Q4_K_M 量化为 2.5 GB,留出集评测中 100% 输出有效 JSON、68.8% 动作正确;模型先写思考再输出 JSON 动作,采用 abliterated 无审查基座,可通过 Ollama 或 llama.cpp 运行,微调采用 PolyForm Noncommercial 1.0.0 许可。

  5. arXiv · cs.AI41

    XLand-MiniGrid 记忆优势审计:是记忆还是时钟?

    一项 XLand-MiniGrid 审计研究发现,LSTM 智能体对无记忆 MLP 的 25 个百分点优势,大部分来自知道时间步——回合在固定上限截断且奖励随时间衰减。分离训练 seed、地图与评估噪声的 60 次运行显示,"任务习得"二值判定中 76% 是评估噪声,检测 10 点差距需约 10 个配对 seed。给无记忆基线提供时间步后差距缩至 3.3 点内,作者已发布协议、工具与全部 checkpoint。

  6. arXiv · cs.CL46

    IntentDelta:一个人工构建的用户意图演化基准

    研究者推出 IntentDelta,一个人工构建的多轮对话基准,涵盖 WebShop 和 TravelPlanner 上 638 条轨迹、3,766 轮交互,每轮配对用户话语、累积意图状态与人工参考动作。评测显示 11 个智能体平均 Intention Recovery 在 TravelPlanner 为 33.1%、WebShop 为 44.7%,平均 Action Score 分别为 31.6% 和 41.0%。智能体难以保留早期需求、区分软偏好与硬性约束,且意图恢复正确也不保证执行成功。

  7. arXiv · cs.AI34

    ProMo3D:探测冻结 3D 基础模型中的运动线索

    ProMo3D 论文提出基于探测的运动蒸馏方法(PMD),发现冻结的 3D 基础模型 token 中已编码可解码的运动相关信息。PMD 将相对固定锚点 token 的成对运动状态兼容性分数转化为密集运动掩码,仅用 160 段 YouTube-VOS 视频和单张 16 GB GPU 训练。该方法零样本迁移至 DAVIS、SegTrackv2 和 FBMS-59,优于免训练启发式方法,接近更重的监督与自监督方法。该论文已被 NeurIPS 2026 主会接收。

  8. arXiv · cs.AI48

    Scan2Instruction 与 PRPT-KS 实现免示例语言引导导航适配,一次扫描即可

    Scan2Instruction 将一段 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航片段,PRPT-KS 则通过从重建场景直接读取的闭式 Pareto 效用适配策略,无需学习 critic 和人工标注。在五个真实环境中,RealNav 真机成功率达 85%,高于用人工示教后训练基线的 49%;在同建筑未扫描区域仍达 82%,基线为 41%。

  9. arXiv · cs.AI39

    RoboReason:通过可扩展数据生成提升 VLM 机器人相关推理能力

    研究者提出 RoboReason 方法,用真实机器人立体相机与腕部相机的时空排序任务评测 VLM 视觉推理,发现多个 SOTA 模型在帧排序、深度排序和左右排序任务上表现不佳。团队设计了可扩展的自主训练数据生成流水线,对该数据做监督微调和强化学习,显著提升了模型在时空排序任务及下游机器人与视觉推理任务上的表现。

  10. arXiv · cs.AI37

    InfiniteWorld 基准:将视觉证据与熟悉物理规律分离

    InfiniteWorld 是一个物理推理基准,通过模拟器视频系统性改变物理参数来生成配对问题,涵盖定律识别、参数估计、时序推理、反事实比较和定律归纳五项任务。对多款视频-语言模型的评测显示,模型普遍偏好熟悉物理规律,即使在观测物理改变时仍常给出 Earth-normal 答案;视频帧能提升多数模型表现,但增益因任务而异。

  11. arXiv · cs.AI23

    C-DFF:面向自动驾驶感知仿真验证的机制对等概念级诊断方法

    研究者提出 C-DFF,一种用于真实-合成配对评估的概念级机制对等诊断方法,可判断自动驾驶系统在仿真中是否依赖与真实图像相同的视觉证据。该方法从冻结的被测系统提取决定性证据,经分割模型映射到语义概念空间,比较概念重要性向量。在 KITTI 与 Virtual KITTI 2 的 2126 组匹配对上对三个冻结 SUT(转向回归、YOLOP 可行驶区域、YOLOP 车道线)的评估显示,输出一致并不等于机制对等,C-DFF 可支持验证分诊与仿真器调试。

10月24日周六
  1. arXiv · cs.CL49

    PreView:用预处理视图与线索增强 GUI Grounding

    PreView 是一种辅助预处理器,无需再训练即可提升现有 GUI grounding 模型的输入质量,提供任务相关视图和候选-specific 线索(红圈标记与文字提示)两类特征。轻量辅助模型预测并微调中心点、裁剪局部视图并放大,冻结的 grounding 模型据此输出最终点击。在五个 benchmark 上,PreView 提升了 Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均 grounding 准确率。

  2. prompts.chat · 每日 prompt31

    新增 prompt:喜马拉雅悬崖修道院场景概念简报生成器

    prompts.chat 收录新 prompt「Himalayan Cliffside Monastery Scene Concept Brief Builder」,让 AI 扮演电影级环境设计师,为悬崖修道院场景生成可用于静态图像生成及后续视频动画的制作简报。该 prompt 通过自定义变量设定山景、时间天气、修道院外观、视觉风格和氛围,先询问相机视角等缺失信息,再产出包含场景概述、修道院与悬崖、经幡等分节的简报,重点加入经幡飘动、云雾流动、香烟升起等易动画元素。

  3. arXiv · cs.AI51

    SceneBloom 提出 Agent 式室内环境生成框架,服务具身学习

    论文提出 SceneBloom,一个结合视觉布局采样与契约引导 3D 编译的 Agent 式室内环境生成框架:分层采样器用扩散先验在功能区生成家具布局,编译器再做几何拟合与局部姿态校正。在五类房间中视觉质量与物理稳定性最高,且是对比方法中唯一没有网格碰撞和越界物体的方法;在这些场景中训练的目标导航策略在 held-out 真实扫描上的成功率高于用同等数量真实训练扫描训练的策略。代码已开源。

  4. arXiv · cs.AI33

    RobustRLlib:面向鲁棒强化学习算法的统一库与基准

    RobustRLlib 是一个面向鲁棒强化学习的算法库与基准,以统一接口集成 17 种代表性在线、离线与安全 RL 算法。其评测平台覆盖多样真实扰动及人形与视觉-语言-动作任务,并基于 273 种扰动配置给出当前鲁棒 RL 算法的能力地图,揭示仍存在显著鲁棒性缺口之处。项目以开源形式提供可复现、可扩展的代码库。

  5. arXiv · cs.AI51

    DexPort:面向灵巧手数据采集的手持技能接口

    研究团队发布 DexPort,一种面向高自由度灵巧手的便携式数据采集接口,采集与部署使用相同手部硬件以避免 embodiment 差异,无需机器人臂即可在非结构化环境采集演示。操作者只控制机械腕运动并选择或调整技能来协调手指,共采集超 2,500 条演示;行为克隆训练的 visuomotor 策略在 4 项任务上评测,使用记录的机器人命令替代状态使成功率从 11% 提升到 64%,加入真实环境数据后从 36% 提升到 78%。论文地址 https://arxiv.org/abs/2610.32969v1

10月23日周五
  1. arXiv · cs.AI27

    AWARE:面向机器人动力学预测与内省的自适应世界模型异常识别框架

    AWARE 是一个仅需外部摄像头监控即可进行异常检测的世界模型框架,通过系统动力学估计与状态预测识别异常,适用于缺乏车载传感器或禁止接入的旧有硬件。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上评测,其异常分类效果比较强基线提升 26%,且动力学参数可解码定位故障源,电机退化定位准确率达 88%。

  2. arXiv · cs.AI22

    Agentic Hazard Mapper:用 AI 智能体模拟专家制图流程生成灾害风险地图

    研究者提出 Agentic Hazard Mapper,一个多智能体系统,通过模拟专业制图工作流程与迭代设计权衡,自动化生成适配不同数据、地点和灾害情境的灾害风险地图。用户研究与专家访谈显示,系统生成的地图提升了参与者的空间理解与疏散规划表现,降低了工作量感知和任务完成时间,且总体上比市政地图更受青睐。

  3. arXiv · cs.AI23

    Conditional Neural Processes 用于动作模仿中的自监督目标发现

    受婴儿通过模仿学习新任务的能力启发,该研究评估了 Conditional Neural Processes 能在多大程度上自主学到蕴含潜在目标的动作表征。结果表明,在隐空间引入 attention 机制可促使鲁棒的目标表征在动作序列观察早期即涌现。该工作在 IROS2023 认知机器人世界模型与预测编码研讨会以海报形式发表,被视为机器人自监督通用学习器的一个有前景的方向。

  4. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  5. arXiv · cs.AI28

    SemGeo-Gen:无监督生成跨实例近似语义-几何对应关系

    SemGeo-Gen 是一种无监督方法,从弱对齐的 3D 物体集合中自动生成近似的跨实例语义-几何监督,无需人工标注即可产出 3D-3D、3D-2D 和 2D-2D 对应关系。该方法将多视角 DINOv2 特征提升至 3D 并用连续分段仿射配准对齐实例,在 KeypointNet 稀疏人工标注上达到 93% PCK@0.10 和 97% PCK@0.15。用其合成预训练可使 SPair-71k 上的语义对应模型在微调后最多提升 5 PCK@0.10 点。

  6. arXiv · cs.AI24

    WiMoT:基于矩传输的无回放持续 Wi-Fi 感知方法

    论文提出 WiMoT(Wi-Fi Moment Transport),通过存储各旧域类别的特征均值与协方差并对统计量做仿射变换传输,替代依赖样本回放的持续 Wi-Fi 感知。在 3DO、WiMANS、Widar3.0 上平均最终准确率分别为 94.02%、89.61%、95.16%,遗忘最多 0.58 pp,在 3DO 与 Widar3.0 上领先 21 个回放基线中最强者 3.77 和 13.11 pp。将协方差存储为 rank-32 因子可把矩内存压缩至 6.4%,精度损失最多 0.49 pp。

  7. arXiv · cs.AI28

    AI 智能体能帮到机器人工程师吗:来自工业界两次 Focus Day 的案例研究

    一项针对一家工业机器人编程中小企业的案例研究发现,AI 智能体基本没有提升工程师生产力,唯一例外是生成高度重复代码的任务。但随着工程师学会使用智能体、智能体被适配到领域,效果逐步改善,且使用智能体的成败更取决于 AI 经验而非机器人工程经验。研究表明 AI 智能体并非即插即用方案,企业需培训工程师、预留学习曲线时间,且生产力研究应采用纵向设计。

  8. arXiv · cs.AI59

    IGG:面向可见性约束的交互式 GUI Grounding 基准

    研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。

  9. arXiv · cs.AI28

    何时停止惩罚动作?MART-GRPO:面向 VLA 强化学习的鞅 GRPO 方法

    论文提出 MART-GRPO,用 VLM(LoRA 微调)在 OpenVLA-OFT 的 rollout 中定位最后一次可见错误,对 GRPO 的失败反馈做事件引导截断,避免有价值的恢复动作被一并惩罚。该截断在理想停止点保持参考 GRPO 梯度估计的期望并可降低协方差。在 RoboTwin 2.0 上的实验显示,MART-GRPO 在多个任务上成功率超过全轨迹 GRPO。

  10. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  11. arXiv · cs.AI19

    FOCUS:基于 Mamba-2 的轻量级 EEG 认知负荷分类模型

    FOCUS(Frequency-band Optimized Cognitive-load Ultralight SSM)是一个基于 Mamba-2 的紧凑模型,用于 EEG 二分类认知负荷,采用固定 FFT 分解编码五个经典 EEG 频段,仅 0.04 million 参数、0.11 GFLOPs。在 11 名参与者、leave-one-subject-out 交叉验证的试点研究中,模型在全数据集上达到 74.75% 准确率,GPU 前向延迟 0.08 ms。权重共享配置比非共享版本高 4.55 个百分点,但差异未达统计显著性(p=0.083)。

  12. arXiv · cs.AI33

    ChoreoStudio:音乐驱动群舞编舞中的“编什么、何时变、谁来动”规划

    ChoreoStudio 是一个音乐驱动群舞生成框架,将编舞规划显式化:音乐解耦器提取帧级节奏与段级结构特征,冻结的 omni-modal 模型充当编剧生成全局语义描述,Director 则输出队形选择、切换时机与舞者分配三项耦合决策。在 AIOZ-GDance 上,ChoreoStudio 在动作质量、群组组织与队形动态方面达到 SOTA。

  13. arXiv · cs.AI29

    Part-DINO:用图像结构补充 DINO 特征以实现部件发现

    Part-DINO 是一个免训练部件发现框架,将低层图像分割得到的边界与 DINO 的语义特征结合,先按边界划分图像区域、池化区域内 DINO 特征再聚类发现部件。论文指出 DINO 特征因 ViT 刚性 patch 网格导致跨边界 patch 熵更高、分配置信度更低,边界模糊。在 CUB、CelebA、PartImageNet-OOD、PartImageNet-Seg 四个基准上,Part-DINO 超越免训练基线,并与弱监督、无监督方法保持竞争力。

  14. arXiv · cs.CL32

    SyncPro:面向主动式流视频理解的推理与响应同步框架

    研究者提出 SyncPro,一个同步双流框架,用 Inner 与 Response 两条分支分别负责证据跟踪和面向用户的响应,两条分支共享因果历史且可独立激活,使响应能与进行中的推理并行。该框架通过 189K 双流样本进行监督微调和轨迹级强化学习训练,在三个主动式 benchmark 上提升了响应时机和回答准确率。