JevGAG:面向因果视频生成的 Jev 自适应时间粒度研究
JevGAG 研究因果视频生成与视频世界模型中的自适应时间粒度:逐帧细粒度与分块粗粒度生成的切换时机。该方法用离线设备外的 Jev 1.14 作为图像接地 oracle 路由每个片段,配合恢复+滞回控制器和独立图像端点,在 Tesla T4 与 A100 上验证,E9 审计 18/18 PASS。
新闻、仓库与研究,按时间排列。
JevGAG 研究因果视频生成与视频世界模型中的自适应时间粒度:逐帧细粒度与分块粗粒度生成的切换时机。该方法用离线设备外的 Jev 1.14 作为图像接地 oracle 路由每个片段,配合恢复+滞回控制器和独立图像端点,在 Tesla T4 与 A100 上验证,E9 审计 18/18 PASS。
论文提出 SceneBloom,一个结合视觉布局采样与契约引导 3D 编译的 Agent 式室内环境生成框架:分层采样器用扩散先验在功能区生成家具布局,编译器再做几何拟合与局部姿态校正。在五类房间中视觉质量与物理稳定性最高,且是对比方法中唯一没有网格碰撞和越界物体的方法;在这些场景中训练的目标导航策略在 held-out 真实扫描上的成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
RobustRLlib 是一个面向鲁棒强化学习的算法库与基准,以统一接口集成 17 种代表性在线、离线与安全 RL 算法。其评测平台覆盖多样真实扰动及人形与视觉-语言-动作任务,并基于 273 种扰动配置给出当前鲁棒 RL 算法的能力地图,揭示仍存在显著鲁棒性缺口之处。项目以开源形式提供可复现、可扩展的代码库。
研究团队发布 DexPort,一种面向高自由度灵巧手的便携式数据采集接口,采集与部署使用相同手部硬件以避免 embodiment 差异,无需机器人臂即可在非结构化环境采集演示。操作者只控制机械腕运动并选择或调整技能来协调手指,共采集超 2,500 条演示;行为克隆训练的 visuomotor 策略在 4 项任务上评测,使用记录的机器人命令替代状态使成功率从 11% 提升到 64%,加入真实环境数据后从 36% 提升到 78%。论文地址 https://arxiv.org/abs/2610.32969v1
AWARE 是一个仅需外部摄像头监控即可进行异常检测的世界模型框架,通过系统动力学估计与状态预测识别异常,适用于缺乏车载传感器或禁止接入的旧有硬件。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上评测,其异常分类效果比较强基线提升 26%,且动力学参数可解码定位故障源,电机退化定位准确率达 88%。
研究者提出 Agentic Hazard Mapper,一个多智能体系统,通过模拟专业制图工作流程与迭代设计权衡,自动化生成适配不同数据、地点和灾害情境的灾害风险地图。用户研究与专家访谈显示,系统生成的地图提升了参与者的空间理解与疏散规划表现,降低了工作量感知和任务完成时间,且总体上比市政地图更受青睐。
SP-Guide 是一个基于 transformer 的无人机视觉语言导航(AVLN)目标预测框架,通过空间先验跨模态编码器、指令增强解码器和目标收敛过滤器改善跨模态空间对齐。在 CityNav 基准上的实验显示,SP-Guide 相比代表性基线提升了成功率,在未见环境中增益最大。
受婴儿通过模仿学习新任务的能力启发,该研究评估了 Conditional Neural Processes 能在多大程度上自主学到蕴含潜在目标的动作表征。结果表明,在隐空间引入 attention 机制可促使鲁棒的目标表征在动作序列观察早期即涌现。该工作在 IROS2023 认知机器人世界模型与预测编码研讨会以海报形式发表,被视为机器人自监督通用学习器的一个有前景的方向。
Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1
推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。
SemGeo-Gen 是一种无监督方法,从弱对齐的 3D 物体集合中自动生成近似的跨实例语义-几何监督,无需人工标注即可产出 3D-3D、3D-2D 和 2D-2D 对应关系。该方法将多视角 DINOv2 特征提升至 3D 并用连续分段仿射配准对齐实例,在 KeypointNet 稀疏人工标注上达到 93% PCK@0.10 和 97% PCK@0.15。用其合成预训练可使 SPair-71k 上的语义对应模型在微调后最多提升 5 PCK@0.10 点。
论文提出 WiMoT(Wi-Fi Moment Transport),通过存储各旧域类别的特征均值与协方差并对统计量做仿射变换传输,替代依赖样本回放的持续 Wi-Fi 感知。在 3DO、WiMANS、Widar3.0 上平均最终准确率分别为 94.02%、89.61%、95.16%,遗忘最多 0.58 pp,在 3DO 与 Widar3.0 上领先 21 个回放基线中最强者 3.77 和 13.11 pp。将协方差存储为 rank-32 因子可把矩内存压缩至 6.4%,精度损失最多 0.49 pp。
一项针对一家工业机器人编程中小企业的案例研究发现,AI 智能体基本没有提升工程师生产力,唯一例外是生成高度重复代码的任务。但随着工程师学会使用智能体、智能体被适配到领域,效果逐步改善,且使用智能体的成败更取决于 AI 经验而非机器人工程经验。研究表明 AI 智能体并非即插即用方案,企业需培训工程师、预留学习曲线时间,且生产力研究应采用纵向设计。
研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。
推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。
论文提出 MART-GRPO,用 VLM(LoRA 微调)在 OpenVLA-OFT 的 rollout 中定位最后一次可见错误,对 GRPO 的失败反馈做事件引导截断,避免有价值的恢复动作被一并惩罚。该截断在理想停止点保持参考 GRPO 梯度估计的期望并可降低协方差。在 RoboTwin 2.0 上的实验显示,MART-GRPO 在多个任务上成功率超过全轨迹 GRPO。
arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。
推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。
FOCUS(Frequency-band Optimized Cognitive-load Ultralight SSM)是一个基于 Mamba-2 的紧凑模型,用于 EEG 二分类认知负荷,采用固定 FFT 分解编码五个经典 EEG 频段,仅 0.04 million 参数、0.11 GFLOPs。在 11 名参与者、leave-one-subject-out 交叉验证的试点研究中,模型在全数据集上达到 74.75% 准确率,GPU 前向延迟 0.08 ms。权重共享配置比非共享版本高 4.55 个百分点,但差异未达统计显著性(p=0.083)。
ChoreoStudio 是一个音乐驱动群舞生成框架,将编舞规划显式化:音乐解耦器提取帧级节奏与段级结构特征,冻结的 omni-modal 模型充当编剧生成全局语义描述,Director 则输出队形选择、切换时机与舞者分配三项耦合决策。在 AIOZ-GDance 上,ChoreoStudio 在动作质量、群组组织与队形动态方面达到 SOTA。
Part-DINO 是一个免训练部件发现框架,将低层图像分割得到的边界与 DINO 的语义特征结合,先按边界划分图像区域、池化区域内 DINO 特征再聚类发现部件。论文指出 DINO 特征因 ViT 刚性 patch 网格导致跨边界 patch 熵更高、分配置信度更低,边界模糊。在 CUB、CelebA、PartImageNet-OOD、PartImageNet-Seg 四个基准上,Part-DINO 超越免训练基线,并与弱监督、无监督方法保持竞争力。
研究者提出 SyncPro,一个同步双流框架,用 Inner 与 Response 两条分支分别负责证据跟踪和面向用户的响应,两条分支共享因果历史且可独立激活,使响应能与进行中的推理并行。该框架通过 189K 双流样本进行监督微调和轨迹级强化学习训练,在三个主动式 benchmark 上提升了响应时机和回答准确率。
研究者提出 FocusVLA,一个基于阶段感知的 VLA 多视图动态路由框架,从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp,真实世界评测成功率从 71.7% 提至 85.0%;其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架,已被 CoRL 2026 接收。
推荐理由:论文指出 VLA 模型普遍过度依赖腕部视角,给出的动态视图路由方法可迁移到现有 VLA 框架,改动成本较低。
研究者提出 PhysTrace,一个无需训练的框架,将 MLLM 生成的历史条件预期与观测视频窗口对齐,以时序定位视频生成模型中的物理违规并给出可解释描述。配套发布的 IntPhys2-Timing 基准为 IntPhys2 加入违规时间区间,PhysTrace 在其上的 Hit Rate 最高达 70.7%,并在 IntPhys2 的可能-不可能判别总准确率上优于对比方法。应用于 diffusion/flow 视频模型的重建视频时,该框架可跨时间步揭示属性与噪声相关的物理违规定位模式。
MoG-VLM 是一个运动自适应视频异常检测框架,用时间梯度幅度(TGM)做内容感知采样,仅在异常可能性升高的帧附近触发 VLM 推理。该方法在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 四个基准上分别取得 91.91%、84.30%、87.88% 和 78.96% 的 AUC-ROC,其中三个基准在 zero-shot、免训练设置下刷新 SOTA。在 XD-Violence 上较此前最佳提升 +0.57%,同时推理提速 1.31x,代码已在 GitHub 开源。
研究者推出 DuoCook,一个基于 Unreal Engine、受 Overcooked 启发的视觉规划与协调评测 benchmark,由单一视觉语言模型通过俯视视觉观察同时控制两名玩家。benchmark 包含 5 类共 20 张地图,评估任务得分、订单完成率、交付精度、动作接受率和 API 花费,并对共享自写笔记记忆做了消融实验。表现最强的模型 gpt-6-astra 平均订单完成率仅为 26.2%;笔记记忆对 Claude 和 Qwen 平均加分,对 GPT 和 Gemini 则为负向。
研究者提出 PRISM(Procedural mistake Recognition via Interpretable Semantic Modeling),用于程序性视频的操作错误识别:它将视频片段与语言对齐,并用在正确执行样本上训练的轻量级隐马尔可夫模型映射到程序状态,通过参考对齐和语义检查发现步骤内容与顺序错误。该方法将数据集标注统一映射为插入、删除、替换、移位四类错误,在三个 benchmark 上验证,语义角色标注在全部六组匹配的 grounded 对比中提升了 Any-F1。
一项arXiv研究通过因果反事实干预,对四个驾驶VLA模型在不同benchmark上的可解释性进行检验。扰动模型自身推理文本仅引起较小轨迹变化,其影响远小于清空摄像头输入;移除推理中提及的关键物体后,推理与轨迹对场景变化跟踪也不一致。结果表明这些模型给出的驾驶解释与实际行为仅弱耦合,暴露了其可解释性的局限。
LAST-V2X 是一个由大语言模型(LLM)驱动的 V2X 应用自动化场景合成与安全测试框架,可将自然语言测试描述转译为可执行场景。框架结合交通仿真、通信语义建模与消息级故障注入,通过降级信息与真实信息的匹配执行来判定安全失效是否由通信引起,并利用参数搜索与 LLM 自反思的执行引导优化生成最小可复现失败案例。在多种 CARLA 环境和 V2X 安全应用上的实验表明,该框架能生成可靠场景、区分通信致因失效并显著提升失败发现能力。
一项arXiv研究对比了机器人工具路由的四种策略:三种基于ChromaDB的语义检索方法(固定阈值、相对距离、子句感知聚合检索)与一个云端托管的1200亿参数LLM基线。在164条人工标注提示词上,检索方法CDB-v3取得最佳macro-average分数0.7822,LLM基线为0.8869。研究显示大模型路由质量更高,但CDB-v3延迟更低且可本地部署,适合隐私敏感和连接受限的机器人系统。
arXiv 论文提出 Dual Exam 评测框架,在物理、数字、社会和科学领域分别固定环境响应测试多模态智能体、固定动作干预测试世界模型。Agent 赛道含 1,088 项、15 类报告维度的 10 种配置,GPT 6 Astra 以 31.3 的 Agent Index 居首;World Model 赛道含 400 个案例、8 个场景,GPT-Image-2 以 21.7 的全覆盖总分领先。150 个案例的耦合试点任务成功为零,揭示了任务表现不均与任务相关状态保持失败的问题。
论文提出 ProductWebBench 基准,在真实前端仓库上同时评分需求完成与网站连续性,包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行,通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查,18.3% 破坏了已验证状态。此外,静态 DOM 通过的运行中有 29.5% 在交互环节失败。
riccardogiorato 发布 SurfBench 基准,用 50 个真实任务(分 4 个层级)统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API,检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权,使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板,给出 95% 置信区间与每千个通过任务的成本列,完整结果包、任务检查器与方法论页面随仓库公开,MIT 协议,可自行运行复现。
推荐理由:这是一个可直接复现的网页访问 API 评测基准,方法论、提示词与评分细则全部公开,还给出了置信区间与成本列。
研究者提出 ToM2Vec,通过固定预算的连续推理 token 让 LLM 智能体在潜在空间中形成抽象心智理论。在 Overcooked-AI、Hanabi、多方谈判等合作、竞争与混合动机环境中,其表现持续优于基线模型,且能泛化到训练时未见过的模型家族(包括 GPT-5.4)。分析显示潜在 token 编码的是心智理论而非任务特定信息,且以文本表达推理时性能会下降。
FaultGene 是一个 LLM 辅助框架,可自动生成可执行的故障增强测试,用于自动驾驶系统的硬件在环(HIL)故障韧性验证。它基于给定的 Scenic/CARLA 基线场景和结构化故障规范生成测试用例,并通过语义一致性检查和执行反馈进行离线微调。部署后无需人工构造参考执行或反复迭代即可直接生成测试。
研究者提出 SP-HLM 框架,用稀疏位姿接口连接高层任务策略与人形机器人全身控制。其中 SP-VLA 模型基于多模态观测和语言指令异步推理预测任务关键稀疏位姿与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身协调运动,SP-GMT 融合显式目标与隐式运动先验完成全身控制。仿真和真机实验显示其在运动跟踪、全身协调与移动操作成功率上优于现有方法。
May Espinola 与 Qifan Zhang 在 arXiv:2610.30051 提出统一闭环评测框架,在不做任务微调的情况下测试六个前沿模型对 LIBERO-10 机器人操作任务的能力,共 18 种配置、1800 次评估。GPT-6 Astra 以 44% 成功率居首,Gemini-4 Argon 为 43%;提高推理程度普遍有助表现但增加推理成本,模型在物体放置任务上较好,在精确空间排布和复杂多步交互上较弱。
AtomicRL 是一个面向 VLA 模型的 RL 后训练框架,通过原子任务结构实现可靠的 credit assignment 与自适应探索。其引入 Semantic-Aware Policy Optimization(SAPO)和 Bottleneck-Adaptive Target Exploration(BATE),并配套 Real2Sim2Real 流水线。在 LIBERO-LONG 上较 PPO 提升 3.6% 和 4.0%,CALVIN ABC-D 上最高提升 9.5%,真实任务平均提升 21.3%。
研究者提出 ASTEROID,一种学生—教师监督学习框架,通过在学生在线策略采集的历史上下文上蒸馏特权专家动作,让部分可观测下的学生学会测试时探索。在 11 个环境(离散探索基准、机械臂操作、导航、Procgen 等)中,ASTEROID 在固定探索预算下回报约提高 2x,交互次数比 RL 基线少约 100x,并在视觉受限的真实机器人操作上比标准蒸馏成功率提升 +40%。
一篇 arXiv 论文提出多模态具身智能体(MMEAs)概念及统一能力框架 PAPAV,涵盖感知、预判、规划、执行、验证五项能力,用于对比多模态智能体与机器人系统从 computer-use 到 robot-use 的差异。分析 64 个 benchmark 发现,显式评估集中在 Act,仅 5 个评估 Anticipate、3 个评估 Verify;文中还梳理了从部分可观测到结果不可验证等五项物理约束带来的开放挑战。
PhysiCalWorld 提出一种上下文提示的物理校准方法,将测试场景中的探索性交互片段编码为紧凑的物理描述符 token,使动作条件世界模型校准到实例特定的动力学,无需微调或解析物理建模。该方法仅用潜在预测损失端到端训练、无需物理标签,描述符在推理时提取一次即可跨 rollout 复用且计算开销可忽略。在覆盖多样物理变化的四个环境中,它显著提升了 rollout 预测精度和视觉规划成功率。
arXiv 论文提出 SpatialBrain,一个在视觉语言主干保持固定的前提下积累空间推理经验的框架。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验;完成的轨迹被抽象为过程记录并在任务块之间整合。在五个空间推理 benchmark 上,SpatialBrain 在四个上优于同主干的直接回答,在第五个上持平。
研究者提出 LLMSeg,一种免训练管线,将支持视觉的多模态大语言模型直接变成文本提示图像分割器,无需分割头、mask 解码器或专门训练。方法将分割分解为 detect、segment、refine 三个 LLM 驱动阶段,用闭合周期 B 样条勾勒边界并迭代修正。基于现成的 Gemini-3.7-Flash,LLMSeg 在 ReasonSeg val 上达到 71.5 cIoU,与专门的 SAM 3 相当甚至更优,代码已开源。