跳到正文
10月22日周四
  1. arXiv · cs.AI44

    PhysiCalWorld:面向世界模型的上下文物理校准方法

    PhysiCalWorld 提出一种上下文提示的物理校准方法,将测试场景中的探索性交互片段编码为紧凑的物理描述符 token,使动作条件世界模型校准到实例特定的动力学,无需微调或解析物理建模。该方法仅用潜在预测损失端到端训练、无需物理标签,描述符在推理时提取一次即可跨 rollout 复用且计算开销可忽略。在覆盖多样物理变化的四个环境中,它显著提升了 rollout 预测精度和视觉规划成功率。

  2. arXiv · cs.AI43

    SpatialBrain:从经验中生长空间智能

    arXiv 论文提出 SpatialBrain,一个在视觉语言主干保持固定的前提下积累空间推理经验的框架。其 3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用工具流程,Spatial Cognition 关联任务条件与经验;完成的轨迹被抽象为过程记录并在任务块之间整合。在五个空间推理 benchmark 上,SpatialBrain 在四个上优于同主干的直接回答,在第五个上持平。

  3. arXiv · cs.AI40

    LLMSeg:免训练的 B 样条文本提示图像分割

    研究者提出 LLMSeg,一种免训练管线,将支持视觉的多模态大语言模型直接变成文本提示图像分割器,无需分割头、mask 解码器或专门训练。方法将分割分解为 detect、segment、refine 三个 LLM 驱动阶段,用闭合周期 B 样条勾勒边界并迭代修正。基于现成的 Gemini-3.7-Flash,LLMSeg 在 ReasonSeg val 上达到 71.5 cIoU,与专门的 SAM 3 相当甚至更优,代码已开源。

  4. GitHub · 灵魂体仓库64

    pageqa 发布自然语言驱动的网页测试智能体,支持零模型回放与 CI 接入

    klren0312 发布 pageqa,一个自然语言驱动的网页测试智能体,LLM 解析意图后由 browserskill(bsk)驱动真实浏览器执行,输出文本/JSON 报告和 CI 可用的退出码。通过用例的操作会冻结为回放脚本,可用 --replay 零模型调用复跑,适合在 CI 中做回归。工具提供 TUI 交互模式,可实时查看进度与 token 用量、随时追加场景和切换模型,支持最多 8 并发、每场景独立子进程隔离、pageqa lint 静态检查和运行归档回看,需 Node.js ≥ 22.19,通过 npm install -g pageqa 安装。

    推荐理由:作者详述了用例回放免模型复跑、场景进程隔离和 TUI 的设计取舍,方法细节可直接借鉴到网页测试与 CI 场景。

  5. GitHub · 去对齐工具与仓库49

    Sulla 桌面版:AI 高管助理,一次设置自动化后无需再维护

    Sulla 是一款运行在本地电脑上的 AI 高管助理,用自然语言描述任务后自动构建工作流、按计划执行,并在应用或网页变化时保持运行。它内置 Chromium 浏览器、提供 300+ 集成(Gmail、Slack、HubSpot、Stripe 等),凭据采用 AES-256 加密,代理在隔离虚拟机中运行,支持 macOS 11+、Windows 10+ 和 Ubuntu 20.04+,最低 8 GB 内存。

  6. GitHub · 灵魂体仓库40

    Website-Intelligence-Agent:用 LLM 智能体对授权网站做只读技术侦察

    Website-Intelligence-Agent 是一个 GitHub 开源项目:用户就自己有权测试的网站提出技术问题,LLM 智能体驱动隔离的 Playwright 浏览器,捕获请求、脚本和 WebSocket 帧数据。它会索引并解析 JavaScript(暴露 source maps 时使用),跨文件追踪引用,最终返回附有逐字、可验证证据的发现。整个调查过程为只读操作。

  7. Hugging Face Blog51

    Hugging Face 教程:用 NVIDIA Isaac Lab 3.0 训练 Microduck 步行策略并部署到真机

    Hugging Face 与 Pollen Robotics 发布教程,介绍在 NVIDIA Isaac Lab 3.0 中用 Newton 物理引擎训练开源双足机器人 Microduck 的步行策略,并导出 ONNX 部署到真机。训练使用 4096 个并行环境、MJWarp 求解器与 BAM 执行器建模,通过质量、摩擦、编码器偏移和齿轮间隙等域随机化实现 sim-to-real 迁移,多 GPU 配置下可达每秒 1.25M 步;策略接口为 61 维观测、14 维动作,可在 Microduck Arena 排行榜验证并部署到实体机器人。

10月21日周三
  1. GitHub · 3D 生成新仓库5

    MagicKeys 官网仓库 fencemate2026-pixel/magickeys.com.au 发布

    fencemate2026-pixel/magickeys.com.au 仓库上线了 MagicKeys 门禁与 CCTV 平台的广告官网,将原授权归档中的 logo、字体、视频和 3D 硬件模型拆分为 /、/platform/、/gate-control/、/anti-tailgating/、/cctv/ 等独立页面,并保留共享导航与跳转规则。构建需 Node 22+、无 npm 依赖,`npm run check` 可逐页校验媒体链接、锚点、canonical URL 与 sitemap,并比对原媒体字节。站点包含 15 摄像头 atlas、OPTEX ACCURANCE OV-102 防尾随演示,所有画面均为模拟,未连接真实摄像头。

  2. Reddit · r/LocalLLaMA48

    Taalas ChatJimmy:8B Llama 模型在单芯片上跑出 17,000 tok/s

    Taalas 的 ChatJimmy 项目将 8B Llama 模型直接烧录进硅片,实现单芯片 17k tok/s 推理速度,约为 RTX 5070 上 80 tok/s 的 213 倍。其原理是把模型权重固化到芯片中,算力全部用于模型矩阵运算。该项目仍是实验性概念验证,尚未成为产品,且模型烧录后无法更换,更新需购买新芯片。

  3. GitHub · 3D 生成新仓库62

    Let It Be Simple 开源一步动作生成 VLA 模型代码与权重

    论文《Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models》发布代码与权重,方法只需把训练时间步分布偏向噪声端点 t' = α·t / (1 + (α−1)·t),无需蒸馏、新目标函数或新架构即可训练一步 VLA 策略。论文认为该效应是结构性的:丰富观测 tightly 约束紧凑动作目标,使不可约速度损失在噪声端点坍缩,而非像图像生成那样形成 U 形。

    推荐理由:论文给出把训练时间步分布偏向噪声端点即可训练一步 VLA 策略的方法,并附开源代码、配置和 LIBERO 成功率数据,可复现验证。

  4. Hugging Face Blog53

    Hugging Face 与 NVIDIA 推出 SimReady Central 开放仿真资产库

    Hugging Face 与 NVIDIA 宣布推出 SimReady Central Library,汇集超过 2,000 个带物理属性的 SimReady OpenUSD 仿真资产,免费、无门槛开放。资产覆盖机械臂、夹爪、仓储和冷却设备等,由 FANUC、Universal Robots、Vertiv、LG Electronics 等 OEM 提供,可用于机器人训练环境和 AI 工厂数字孪生,并支持 USD Search 自然语言检索与 GPT-6 Astra 辅助搭建 Isaac Sim 场景。

    推荐理由:由发布方直接介绍资产库的构成和OEM贡献方式,读者可以了解免下载门槛的仿真资产从哪里找、怎么用。

  5. GitHub · 灵魂体仓库62

    Provael 发布:仿真中对开源 VLA 机器人策略做红队评测的 CLI 工具

    Provael 发布了一个 Python CLI,在仿真环境中对开源 VLA 机器人策略做红队测试,报告对抗攻击成功率(ASR)并附良性对照、95% 区间和证据标签,Apache-2.0 开源、可经 pip 安装并接入 CI。CPU stub 确定性运行 20 秒内产出报告;实测配置 SmolVLA × LIBERO-Object 在 roleplay 指令下 42/50 离开 keep-out 包络(84%),良性基线 1/50,McNemar p = 9.1e-13,对照显示这是长命令下的脆弱性而非攻击者控制;π0.5 有初步实测,其余注册适配器为脚手架。工具仅限仿真与防御用途,输出 report.json、SARIF、OSCAL、CycloneDX ML-BOM 和签名证明等证据包。

    推荐理由:README 给出对抗攻击成功率与良性对照并列的实测数据,可看到纯仿真红队 VLA 策略的完整证据链做法。

  6. GitHub · 3D 生成新仓库44

    text-to-ui-html 发布候选版本 1.0.0-rc.3

    GitHub 新仓库 ahai66666/text-to-ui-html 发布 1.0.0-rc.3 候选版本,用于按需求生成动态 HTML、规范化已确认 Demo 样式及精确修改页面。技能支持交接协议 schemaVersion 1、共享数据 1.0.1,内置三层路由与 49 个标准组件,使用需 Node.js 22+ 和 pnpm。完整视觉、外部模型及异步业务模块生命周期验收未通过,正式版需另行完成。

  7. arXiv · cs.AI37

    TaskWAM:解决世界-动作模型中的阶段混淆问题

    研究者提出 TaskWAM,一个闭环、阶段感知框架,用 Mode Tokens 表示细粒度任务要求、用 State Tokens 追踪执行进度,解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的 Stage Confusion 问题。论文同时发布多阶段操作基准 StageBench。实验显示 TaskWAM 在仿真与真实任务上有效减少混淆并达到与 SOTA 方法相当的性能,且可即插即用迁移到单臂、双臂、灵巧手和人形机器人等异构 WAM 架构与机器人本体。

  8. arXiv · cs.AI33

    G-JEPA:在潜在世界模型中探索时序上下文感知的物理接地

    研究者提出 G-JEPA,将时序上下文显式引入 JEPA 世界模型的物理接地,并结合先验引导的动作规划。该方法用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,规划时通过以当前与目标潜在表征及其差异为条件的生成式动作分布进行动作推理。实验显示该模型在操作任务上规划性能提升,包括初始与目标观测时序间隔增大的任务,代码已公开。

  9. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。

  10. arXiv · cs.AI35

    AnomalyAgent:基于视觉语言模型的智能体集成视觉异常检测方法

    研究者提出 AnomalyAgent,一种用于视觉异常检测的后训练融合框架。该框架对齐异构检测器的分数与异常图,将融合建模为有限动作选择问题,用受约束的 VLM 检查高冲突样本并选择分数动作和图动作。在 MVTec AD 与 VisA 上,AnomalyAgent 相比等权融合持续提升,取得了对比融合方法中最优的 mean image AUROC 和 pixel AP。

  11. arXiv · cs.AI32

    SceneRig:从单张图像重建可仿真 3D 场景的智能体系统

    SceneRig 是一个智能体系统,可将单张图像转化为可编辑、仿真就绪的 3D 场景。它结合几何、视觉与物理工具进行重建,并让智能体在物理仿真器内执行"编辑-验证"循环以确保物理稳定性。相比基线方法,其场景能更准确预测真实机器人策略结果,并更可靠地支持录屏操作的回放而无需轨迹适配。

  12. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  13. arXiv · cs.AI45

    MindView:生成式多视角空间智能基准发布

    研究者推出 MindView 基准,包含来自 513 个场景的 1,500 个样本,涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间,微调 BAGEL 后整体分数提高 24.3 分,且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue,可逆转扩展上下文下的分数下降并超过标准上下文基线。

  14. arXiv · cs.AI45

    Industrial ReMEmbR:将时空记忆扩展到机器人机群

    IndustrialRemembr 将 NVIDIA ReMEmbR 扩展到仓库机器人机群,构建共享时空记忆系统,通过按需生成场景描述降低服务器端计算。每台机器人上的 NVIDIA Jetson 用 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 编码视频,不上传原始画面,并在图像补丁中置零人物以支持符合 GDPR 的 PII 抽象。Cosmos3-Edge 在视觉-语言边界切分,缓存 token 解码在全部 450 次测试解码中复现了未切分模型的输出。

  15. arXiv · cs.AI51

    UniWALM 论文提出统一世界动作语言模型用于机器人操控

    Rahul Sajnani 等人在 arXiv 发布 UniWALM,一个在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言的模型,各模态扩散头同步去噪,生成的文本记忆在下一步被重新消费,无需外部规划器或记忆库;并引入 Flow Matching with Correction(FMC)训练目标,在不增加推理开销下教模型从受扰动作轨迹恢复。UniWALM 在 MolmoSpaces 组合抓放和 RLM... 在 RMBench 记忆子集达 34.5%,超过带关键帧的 Mem-0 设置(28.5%);真实世界 Find-the-Item 任务中生成文本记忆把成功率从 11.1% 提到 61.1%,而现有 VLA 不高于 33.3%。

  16. arXiv · cs.AI41

    Joints, Camera, Action! 面向任意骨架的 3D 运动与视频联合生成模型

    一篇 arXiv 论文提出可对任意骨架(rig)联合生成视频与 3D 运动的模型,并通过 cross-attention 层将独立的运动模型连接到预训练视频模型,同时学习关节定位以恢复相机、把运动注册到 3D 场景。训练借助生成式视频编辑器将动画资产放入合适场景,结合人类和机器人视频共构建近 200K 训练对。评测显示其从文本驱动多样骨架比视频优先管线更忠实,运动可响应场景,并支持视频转骨架运动、骨架运动转视频及关键帧控制。

  17. arXiv · cs.CL39

    CAPSafe:面向具身智能体情境动作与规划安全的基准

    CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理,其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示,部分模型识别不安全动作的准确率超过 90%,但安全长程规划难度显著更高:Gemini-3-pro 最高安全成功率为 78.19%,其余模型低于 65%。

  18. arXiv · cs.CL45

    GPT-6-Astra 理解触觉并超越视觉-触觉-语言-动作模型

    研究者提出 GPT-as-Tactile-Policy 方法,让 GPT-6-Astra 将专家演示总结为任务指导与触觉参考,结合多模态观察与交互历史生成控制指令。无需机器人专用预训练或按任务微调,该方法在五项 UniVTAC 任务上达到 93.8% 平均成功率;在 Insert Hole 任务中,触觉反馈将成功率从 31% 提升至 99%。

  19. arXiv · cs.CL48

    CUA-Recovery:面向长时程计算机使用智能体错误恢复的基准测试

    研究者提出 CUA-Recovery 基准,用 ReRail 框架在持久桌面环境中合成多应用长时程任务,评估计算机使用智能体(CUA)的错误检测与恢复能力。测试集含 2,250 个经人工验证的错误状态(100 个任务),训练集含 8.6K 轨迹(377 个任务);六款智能体错误感知率(EAR)最高仅 44.0%,Pass@3 最高 25.5%。用训练集微调 Qwen3.5-35B-A3B 后,其平均 EAR 从 19.9% 升至 35.2%,Rubric Score 从 5.0% 升至 16.1%,并在 MyPCBench 和 Odysseys 上分别提升 15.3 和 10.8 分。

  20. arXiv · cs.CL44

    CovNav:用 Conformal Prediction 引导自适应推理的目标导航框架

    CovNav 是一个 training-free 框架,用 Conformal Prediction(CP)判断物体目标导航中何时启用慢思考:本地 LLM 快速模式判断目标是否可能在附近,仅模糊查询升级到慢速 chain-of-thought 推理。在 Gibson 和 HM3D 上,CovNav 在 HM3D v1 和 v2 的成功率分别超过最强 zero-shot 基线 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理;TurtleBot 4 实机实验进一步验证了该方法。

  21. arXiv · cs.CL27

    SciDiagBench:面向科学图表的按类型对齐人类评估基准

    研究者推出 SciDiagBench,将科学图表系统分为 11 种类型,覆盖 10 个大领域的 165 张图表,类型包括图形摘要、技术路线图和示意案例等。该基准通过偏好引导的校准过程,把人类评估偏好融入按类型定制的评估标准,弥补现有 VLM 评估基准缺乏图表分类和未对齐人类偏好的不足,实现更贴近人类评审的自动化评估。

  22. GitHub · 去对齐工具与仓库35

    worldbench 开源 awesome-vla-for-ad:自动驾驶 VLA 模型综述资源库

    GitHub 仓库 awesome-vla-for-ad 汇总了自动驾驶视觉-动作(VA)与视觉-语言-动作(VLA)模型研究,配套论文《Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future》(arXiv:2512.16760)。内容将现有方法分为 End-to-End VLA 与 Dual-System VLA 两大范式,按时间线整理 Action-Only、Perception-Action 等分类下的模型、数据集与 benchmark,并提供 HuggingFace Leaderboard。

  23. GitHub · 灵魂体仓库62

    Simile 开源村庄模拟:NPC 依托 Claude Code 与 Qwen3-TTS 本地运行

    GitHub 项目 mentaldesk/simile 发布了一个等距像素风小村庄模拟,NPC 由核心价值、关系指标和事件记忆日志驱动行为与对话,思考通过本机 Claude Code 登录完成,无需 API key。语音用 Qwen3-TTS 在本地生成,Apple Silicon 上经 mlx-audio 推理,句子文本到达后 0.2–0.4 秒出声,生成速度约为播放的 3 倍,只对玩家可闻的对话配音。村庄新闻由 Claude Haiku 分析六个 RSS 源,每源最多 10 条。

    推荐理由:仓库文档写清了 NPC 核心数值、关系四指标和记忆日志的设计,读者可以照此复现带记忆的村庄智能体。

  24. arXiv · cs.AI47

    何时经验记忆能帮助闭环 LLM 驾驶智能体?带重采样热身池与 token 匹配对照的受控评估

    一项基于 HighwayEnv 测试床、以 gpt-4o-mini 运行的受控评估研究了经验记忆何时能帮助闭环 LLM 驾驶智能体。结果显示:10 个重采样热身池中,检索式记忆仅在 1 个池优于 No-Memory(sign test p=0.011),且任何被测检索设计都未超过 token 匹配的无关填充对照,仅一条 15-token 谨慎指令即达碰撞合并上限。研究表明单池比较会得出被对照反转的记忆增益结论,作者已开源测试床、审计端口、种子与缓存。

  25. arXiv · cs.AI38

    World2HOSI:面向长时程人-物-场景交互生成的多专家编排框架

    World2HOSI 是一个多专家编排框架,可从 3D Gaussian Splatting(3DGS)场景和自然语言指令生成长时程人-物-场景交互(HOSI)数据。它围绕持久化场景状态构建闭环,通过各专家的原生条件接口调用模型并回写动作效果,再用有界残差优化和接触驱动物理仿真保证人体运动与物体操作的物理合理性。实验和感知用户研究显示,其在评测的 HOSI 任务上取得最佳的任务完成度与交互质量,并生成更多样化的数据。

  26. arXiv · cs.AI44

    给模型一根手指:视觉语言模型计数能力的发展对齐评估

    一项 arXiv 研究借鉴儿童点数时的认知动作(逐项指点、移动物品),以无训练的 Agent 循环让 9 个视觉语言模型在 682 张图片、7 种测试条件下执行计数并留下可审计的标记轨迹。结果显示各模型精确计数范围差异巨大(R80 从 3 到 150 个点),指标记数大多不能提升准确率,但可作为串行视觉推理的审计手段:标签扰动探测表明精确指点的模型是照标签读出答案,且模型很少在看自己的标记后修正答案。

  27. arXiv · cs.AI21

    强化学习训练的 Pointer Networks 如何在无人机配送路由中增强跨规模泛化

    一项以带容量约束的 CVRP 为代理的研究,分析了基于注意力的 Pointer Networks 在问题规模变化时解质量退化的三个因素:节点密度变化、注意力分散和均值池化图上下文稀释。熵基注意力缩放将 CVRP20-to-CVRP100 的性能差距缩小 1.41 个百分点,新提出的置换不变图上下文聚合方法在 CVRP100-to-CVRP20 上提升约 0.9 个百分点。结合两者的方法选择器在全部 9 个已见训练-测试对和 9 对中 8 个未见规模对上降低成本,最高提升 3.2%。

  28. GitHub · Blender AI 插件56

    ViperMesh for Blender 开源:为 AI 助手提供预置 Blender 场景操作的 MCP 服务器与插件

    OpenRootdev 发布开源免费的 ViperMesh for Blender,一个 Blender MCP 服务器和插件,让兼容的 AI 助手直接在 Blender 场景中操作,用预置编辑动作替代为常见修改生成 Python 代码,目标是减少 token 消耗并提升结果可校验性。项目基于 Siddharth Ahuja 的 BlenderMCP,内置场景检查(悬浮物、朝向、间距),覆盖建模、材质、灯光、UV、绑骨等操作,保留 execute_code 供自定义;需 Blender 5.2、Node.js 20+ 和支持 stdio 的 MCP 客户端,提供 v1.3.0 MCPB 包或源码构建,MIT 协议开源。