跳到正文
#具身智能
10月16日周五
  3. GitHub · 去对齐工具与仓库60

    BAR AI Sub-Commanders 开源：把 Beyond All Reason 部队交给自主子指挥官

    rusenask 发布开源项目 bar-ai-sub-commanders，让玩家在 Beyond All Reason 中把建造者、工厂或小队划区委托给自主子指挥官，角色涵盖经济、防御、防空、陆军和情报。可选的 LLM 策略师通过 opencode agent 会话和 MCP 工具每 30 秒调整各子指挥官的姿态、角色和区域，支持任何 OpenAI 兼容的工具调用模型；另有毫秒级决策模型负责工厂出兵选择。规则引擎每半秒处理所有单位级操作，不依赖 AI。实测中纯规则子指挥官对 BARbarian medium 多数能存活但未获胜，对 hard 为 6 局 1 胜，单位交换约 1 杀 4 损。项目采用 GPL-2.0 许可。

    推荐理由：原文给出了规则引擎与 LLM 策略师的分工设计和实测战绩，读者可以据此判断这套自主指挥架构的实际强度与局限。

10月15日周四
  1. GitHub · 去对齐工具与仓库44

    BarotraumaLLMAI：让 Barotrauma 船员机器人变成 LLM 智能体的开源 C# 模组

    开源 C# 服务端模组 BarotraumaLLMAI 将《潜渊症》每个船员机器人变成独立 LLM 智能体：机器人定期接收 JSON 观察，通过 tool calling 让 LLM 选择行动，由游戏原生指令执行，走路、焊接、治疗和战斗仍由原版 AI 处理。支持 OpenAI 兼容 API（Ollama、vLLM、OpenRouter 等）和 Anthropic，机器人可互相通信、记笔记、跨回合记忆玩家偏好，玩家可用聊天文本下达指令。代码含 217 个测试并通过模拟器验证，尚未在真实游戏中运行。

  3. GitHub · 去对齐工具与仓库31

    GitHub 开源 applied-pytorch-bootcamp：PyTorch 实战练习训练营

    GitHub 上的 applied-pytorch-bootcamp 项目提供一套动手式 PyTorch 练习，覆盖模型训练、计算机视觉、语言模型、强化学习、世界模型、多模态、具身 AI 与分布式训练。练习通过补全代码并运行检查来学习，不含现成答案，需 Python 3.12 及以上，早期练习 CPU 即可，较大练习建议 CUDA GPU，支持 uv 和 pip 安装。

  4. GitHub · 灵魂体仓库33

    Chexsa：开源个人 AI 助手，可操作你的电脑

    开源项目 Chexsa 是一个能直接操作电脑的 AI 助手，可逐步查看屏幕、决策并执行任务。目前已支持浏览器操作（打开网页、点击输入、搜索、多标签页、上传文件）和"Hey Chexsa"语音唤醒，语音经 SpeechRecognition 包用 Google Speech Recognition 转写；Windows 应用控制仍在开发中。项目目前主要面向 Windows，处于早期实验阶段，通过 pip 安装并支持 OpenAI 兼容接口或 Gemini 作为模型提供方。

  5. arXiv · cs.AI43

    人类演示作为任意机器人本体的后训练数据：重定向物体而非手部

    arXiv 论文提出一种方法，让手机等设备录制的人类演示可作为结构不同机器人的后训练数据，核心是重定向物体运动而非手部动作。采集生成无本体记录（物体位姿、接触区间与重建 3D 物体），机器人以 URDF 和简短描述文件在仿真中求解并评分。在 8 台机器人、42 次采集共 157 对样本中，31.2% 通过、52.2% 失败、14.0% 被拒；被拒的 13 对实际运行全部失败。

  6. arXiv · cs.AI37

    PhySGA：基于物理空间锚定的智能体框架，实现可泛化、可交互的 3D 组合

    PhySGA 是一个通过智能体探索与物理仿真实现 3D 物体组合的框架，支持刚性、铰接和可变形物体的交互式装配。其采用 Assembly Agent 负责全局规划、Critic Agent 基于接触动力学做闭环纠错的双智能体架构，并配自进化技能库复用试错经验。在 Isaac Sim 中的实验显示，其在关系保真度、物理合理性和视觉质量上显著超越现有方法。

  7. arXiv · cs.AI49

    Player-1：从合成经验中学习游戏操作的后训练框架

    研究团队提出 Player-1，一个通过合成经验进行游戏控制后训练的框架，扩展了计算机操作智能体的动作空间，并在 6,044 条精选游戏轨迹上做监督微调。其配套的 Player-1-Gym 提供 16 个可编程验证奖励的 2D/3D 合成环境，支持基于 PPO 的多环境强化学习。Player-1-9B 在 MineDojo-300 上达到 38.33% 成功率，比最强基线 12.63% 高出 27.8 个百分点。

  8. arXiv · cs.AI56

    HiRe-MoMa：基于稀疏人工引导的移动操作真实世界微调框架

    论文提出 HiRe-MoMa 框架，用于移动操作（MoMa）系统的真实世界高效微调。其分层残差架构在冻结基础策略上学习增量修正，并将残差拆分为移动底盘与机械臂两个头以缓解梯度干扰；Expert-Guided Value Alignment 利用覆盖率不足 20% 的稀疏人工干预重塑 critic 价值函数。在 TIAGo++ 平台上的实验显示，约 30 分钟在线交互即可持续提升任务性能，且不依赖基础策略架构。论文被 CoRL 2026 接收。

    推荐理由：论文给出在真实机器人上微调移动操作系统的分层残差框架，用不到20%覆盖度的稀疏人工干预提升样本效率。

  9. arXiv · cs.AI42

    用扩散模型建模人形机器人策略的神经网络权重

    研究者提出用 latent diffusion 框架直接生成人形机器人控制网络权重：线性自编码器将 actor 网络参数压缩到潜空间，Diffusion Transformer 建模其分布。模型在 Unitree G1 强化学习训练得到的网络上训练，生成的网络可在真实世界执行行走、跳舞、回旋踢等动作。分析发现第一层权重结构在 RL 与模仿学习训练下均反映机器人运动学先验。

  10. arXiv · cs.CL56

    AdaRSI：面向具身智能体的按需递归自我改进框架

    论文提出 AdaRSI，一种具身智能体的按需递归自我改进（RSI）框架，解决 VLA 在未见长程任务中途中失败的问题。编码 agent 先改进技能与 harness，再通过从保存状态重试失败子步骤来归因持续失败，仅对仍不可靠的子步骤用自采演示和先前任务经验做微调。在 RoboCasa365 全部 50 个目标任务上，以 GR00T N1.5 为执行器且无人类演示，AdaRSI 在三个套件上均提升 VLA，将未见复合任务成功率从 4.6% 提至 13.8%；相比微调每个子步骤，成功率略高而仅用 28% 的 GPU 时间和 22% 的自采演示。论文链接 https://arxiv.org/abs/2610.20474v1

    推荐理由：论文给出按需微调与全量微调的对照数据，GPU 时间和自采演示用量都大幅降低，方法细节可直接参考。

  12. arXiv · cs.AI33

    不确定性驱动的自博弈方法提升多智能体驾驶策略的鲁棒性

    一项 arXiv 研究提出不确定性驱动的自博弈训练方案：一半智能体以提升邻居的认知不确定性为奖励，另一半学习安全驾驶，从而自动生成高难度训练课程。该方法在 nuplan Val14 上实现 99.12% 的零样本迁移（对比标准自博弈 97.97%），在 Argoverse 2 上达 82.39%（对比 78.03%），且无需微调；LSTM 隐状态覆盖率比基线高 85%，行为多样性显著提升。

  13. arXiv · cs.AI32

    LiFi：通过几何与语义协同引导从多视角图像生成 LiDAR 点云

    NeurIPS 2026 论文提出 LiFi（LiDAR From images）框架，从多视角相机图像生成视觉与几何对齐的 LiDAR 点云。该方法通过几何分支（结合 DepthAnything3 的不确定性感知编码器）与语义分支双路引导 latent diffusion，并引入双分支平衡的 classifier-free guidance（CFG）策略，生成质量超越现有 SOTA 方法，代码将开源。

  14. arXiv · cs.AI44

    One Agent per Zone：基于主动推理的去中心化多区域 HVAC 边缘控制方法

    该研究提出一种去中心化 HVAC 控制方案，每个空调区域分配一个独立的主动推理（active inference）智能体，通过最小化期望自由能在线学习区域动态，智能体间不通信，仅借助潜在扰动和其他楼层电表推导的拥塞信号应对共享风系统的耦合。在 EnergyPlus 的 Sinergym 办公楼中用 15 个智能体对比 3 种规则控制器和 3 组 MADDPG，5 个未见噪声天气年份下取得最低平均建筑峰值 88.3 kW（比基线低 3-17%），相似舒适度下每月峰值总和每年降低 33 kW（4%），代价是约 10% 的额外能耗。整套系统运行在一台 Raspberry Pi 5 上，经 MQTT 完成观测到动作闭环的 p95 延迟为 442 ms。

  15. arXiv · cs.AI46

    StateCraft：用抽象状态推理增强视频世界模型

    arXiv 论文提出 StateCraft，一种将语言模型与视频扩散模型配对的架构，把可持久更新的抽象状态与视觉状态解耦，用于跟踪实体随世界演化的变化并条件化生成当前视图。在生成式界面基准上，其生成质量、记忆与可控性超越 SOTA 基线，并在长轨迹上保持高自一致性；抽象状态可被直接编辑，生成会遵循数据中从未观测到的状态修改。

  17. GitHub · 3D 生成新仓库24

    isaacbitran 开源用 NumPy 和 PyGame 实现的自动驾驶汽车神经网络模拟器

    isaacbitran 在 GitHub 发布了一个完全基于 NumPy 和 PyGame 构建的自动驾驶汽车模拟器。每辆车由一个小型前馈神经网络（6→4→2）控制，输入 5 个距离传感器和当前速度，输出转向与加速指令，并通过进化算法在每代 60 辆车的世代中演化权重和偏置，保留前 50% 个体并配合变异与可选交叉。项目支持可变变异率、传感器可视化、动态渲染和自定义赛道生成。

  18. GitHub · 3D 生成新仓库38

    Dmitry-dev-pet/apatch-blender-demo 开源：基于验收契约的 Blender 智能体自动化参考演示

    Dmitry-dev-pet 在 GitHub 开源 apatch-blender-demo，一个契约驱动的 Blender 自动化最小参考演示，由独立冻结验证器检查生成的 .blend 文件。演示契约 BLENDER-RUBIK-001 要求构建由 27 个 cubie 组成的 3x3x3 魔方、54 个贴纸、执行 +90 度 U 层旋转并用 Eevee 输出 768x768 渲染；另有 480x480 序列演示和 BLENDER-SCENE-EDIT-001 受限场景编辑示例，GitHub Actions 使用固定的 Blender 5.2.2 LTS 运行同一流水线并发布工件。

10月14日周三
  1. GitHub · 灵魂体仓库36

    DOFLAB 陌生設備接手與連續取放實驗 V7.0 發布（dofliu/deviceCntCtrlLLM）

    dofliu/deviceCntCtrlLLM 推出 V7.0 開發版本，新增模擬設備 VLAB-G3 與二進位幀通訊協定，支援手冊不提供驅動範本以及產生 XY 控制程式。離線 Node 與無頭 Chromium 驗證中，真實 Claude 無範本驅動＋產生控制程式在 P2、G3 的 seed 42、2026、3140、8675 共 10 組均 5/5，仍非統計結論。

  3. Reddit · r/LocalLLaMA43

    Galaxy S21 本地运行 Gemma 4 E2B 与 Qwen3.5-0.8B 双模型完成 Amazon 购物任务

    在 Samsung Galaxy S21 上本地运行 Gemma 4 E2B（Q3_K_M）作推理模型、Qwen3.5-0.8B（Q4_K_M）作执行模型，无微调完成 Amazon 上 200 美元内组装 Instax Mini 12 套装任务。两次运行分别以 2 件商品 190.98 美元和 4 件商品 143.86 美元结束于 READY_FOR_HUMAN_REVIEW，未实际下单。原始会话约 51 分钟，日志、脚本与 SHA-256 哈希已公开于 GitHub 的 e2llm/edge-browser-agent。

  4. arXiv · cs.AI40

    GTP：通过生成式轨迹规划实现基于模型的在线决策

    提出生成式轨迹规划（GTP），一种基于模型的在线决策框架，用扩散模型作为动作序列的提议分布，再结合学习到的动力学、奖励和价值模型进行精炼，避免每步从头求解高维优化。在连续控制与长时域操作任务上，GTP 达到或超过 model-free、diffusion policy 和 model-based 基线，且在强基线退化的场景中保持稳定。

  5. arXiv · cs.AI36

    RadarGSOcc：基于 4D 雷达张量与几何-语义特征提取的 Doppler 感知 3D 语义占用预测

    RadarGSOcc 是一个直接处理 4D 雷达张量的 3D 语义占用预测框架，通过分离提取含 Doppler 信息的几何与语义特征，并采用可变形注意力几何精化模块。该模型在 51.2m 范围内预测 15 类，取得 38.2% IoU、7.6% mIoU 与 25.5% weighted mIoU，较 RadarOcc 相对提升 17%（25.5 vs 21.9），且参数与计算量更低。作者还提出首个基于 4D 雷达张量的 K-Radar 3DSemOcc 基准及 EBKL 代理指标，数据集与代码将公开。

  6. arXiv · cs.AI56

    UniW(A)M：统一世界模型与世界动作模型的 MoE 框架

    论文提出 UniW(A)M，一个基于扩散 Transformer 的混合专家框架，统一动作条件世界建模与多种世界动作模型变体，以共享专家捕捉共同物理动态、原子能力专家跨接口复用。在 LIBERO、RoboTwin 2.0 及三个真实操作任务上，真实世界平均成功率达 88.3%，最强基线为 76.7%；WorldArena 上动作条件世界建模三项任务均领先；PAIR 路由将 OOD 成功率从 63.3% 提至 76.7%，且部署时主干冻结。论文正在 ICLR 2027 评审中，共 34 页。

    推荐理由：论文统一了世界模型与世界动作模型的训练，真实操作任务成功率比最强基线高出 11.6 个百分点，并给出 PAIR 的 OOD 数据。

  7. arXiv · cs.AI53

    Steertuning：从少量人类视频让机器人 5 分钟内学会新任务

    arXiv 论文提出 Steertuning 系统，让机器人从 5 条人类示教在 5 分钟内学会新任务。该系统先在 100 小时带密集标注的自我中心人类交互数据上预训练 400M 参数扩散策略，再对新任务仅做 2 分钟微调（2000 次更新），并在反向采样时用观测最接近部署环境的示教引导动作。在 12 个新环境的 12 项任务上达到 71% 成功率，数据、权重、代码和机器人视频将公开。

    推荐理由：原文给出了从人类视频微调机器人策略的完整方法与量化结果，读者可以据此评估少样本示教方案的可行路径。

  8. arXiv · cs.AI67

    SEAR：自进化智能体机器人框架与基准发布于 arXiv

    Xinyi Wang 等在 arXiv 发布 SEAR（Self-Evolving Agentic Robotics）框架与基准，语言模型智能体通过编写控制代码并在真实与仿真任务中保留有效经验实现自我进化。框架含 code-as-policy、agent-as-policy、auto-research 三种模式，基准覆盖 7 个前沿模型、330 个仿真任务与 5 个真机任务、累计超四年智能体运行时间。主要发现包括任务更难时延长会话更划算、控制代码与共享例程可跨任务和模拟器迁移而任务特定方案不能、真机上智能体设计的练习与新颖人类设计场景存在性能差距，且纯文本模型可媲美可比多模态模型；基准与代码库已开放。

    推荐理由：该基准专门设计对照组区分真实学习与重复尝试和运气，并给出跨模拟器与真机迁移的实测发现，方法可复用。

  9. arXiv · cs.AI40

    RoboSimStudio：面向机器人操作任务快速 Real2Sim 的交互式工具包

    研究者推出 RoboSimStudio（RSS），一个交互式工具包，可将求解器、接触模型和物理参数显式化并支持编辑，供人类与编码智能体基于观测到的物理行为迭代优化仿真。RSS 基于开源 Newton 物理仿真系统实现，并通过视觉评估、力反馈和 agentic Real2Sim2Real 三种方式验证了人机协同的 real2sim 流程。

  10. arXiv · cs.AI36

    谁来改进机器人？迈向物理递归自我改进（Physical RSI）的研究框架

    arXiv 论文提出 Physical Recursive Self-Improvement（Physical RSI）概念，指物理经验驱动机器人能力及其改进过程的持久更新。作者给出 L0-L5 分级框架，区分能力层与元层更新、任务内与跨任务收益，并指出在噪声观测、连续动态、试错成本高与不可逆后果下，现有文献尚未真正实现该定义下的 Physical RSI。研究优先级包括可靠反馈、因果归因、安全保持与基准评测。

  11. arXiv · cs.AI50

    LIBERO-RIG：面向视觉-语言-动作模型的硬件配置鲁棒性基准

    LIBERO-RIG 是一个仅扰动机器人硬件与配置、任务保持不变的基准，覆盖相机安装与光学、相机-机械臂标定、控制频率、本体感知噪声等 11 个扰动轴、各 5 个严重程度，共 210 种条件。对 9 个视觉-语言-动作模型的评测显示，汇总成功率从 0.932 降至中等严重度的 0.767 和最高严重度的 0.509。视觉扰动训练无法缓解相机图像不变的故障，基准连同各 episode 的扰动参数清单已发布。

  12. arXiv · cs.AI54

    AXIS-Bench：VLA 预训练中演示质量用法的基准与实证研究

    研究者发布 AXIS-Bench 并系统研究演示质量在 VLA 预训练中的用法，基于 5000 条自然次优人类演示和 24 个目标任务，在三个 VLA 内匹配演示与训练预算。结果显示感知方法的片段级条件化在普通行为克隆之外提升平均成功率，条件化偏好 episode 标签而过滤偏好 chunk 标签（因模型而异），恒定标签微调可进一步提升条件化预训练后的平均成功率；真实世界实验中仿真预训练把成功率从 9.6% 提到 31.7%。该基准基于众包仿真演示构建，记录物体与接触状态以便在共享轨迹上重算质量标签，轨迹可回放并支持工作区对齐渲染与自定义真实目标任务。论文：https://arxiv.org/abs/2610.18869v1

    推荐理由：论文用 5000 条次优人类演示和 24 个目标任务，系统比较演示质量在 VLA 预训练中的用法，并放出可复算质量标签的 AXIS-Bench。

  13. arXiv · cs.AI49

    ChunkAct：面向智能体机器人（Agentic Robotics）的动作分块方法

    ChunkAct 将动作分块引入智能体机器人，一次 LLM 调用即可启动一段链式原语自主执行，仅在失败时交还控制，并把记忆离线编译成块，使 LLM 计算随决策数而非原语数扩展。在 LIBERO-Pro 上，ChunkAct 比当前最先进的智能体机器人方法任务成功率高 5.0 个百分点，同时 LLM 调用减少 2.9x、输入 token 减少 4.4x、输出 token 减少 2.3x。

  14. arXiv · cs.AI48

    Orchestra：面向长程机器人操作的多模态指令跟随智能体框架

    研究者提出 Orchestra，一个将任务规划与执行管理从动作生成中分离的机器人智能体框架，可把多模态指令分解为有序子任务并跟踪进度。Orchestra 在九项 RMBench 任务上平均成功率达 68.22%，超出 Mem-0 26.22 个百分点；在 RMBench-Compose 上 ASL 达 7.35 个子任务，为 HarnessVLA 的 2.46 倍。代码与项目页已开源。

  15. arXiv · cs.AI42

    ABot-ER：通过智能体数据-模型协同进化实现统一具身推理

    ABot-ER 是一个统一具身推理基础模型，在单一模型内同时覆盖感知、规划、执行三项能力，达到专家级深度。其 Agentic Data-Model Self-Evolution Engine 持续调整数据策略，Task-Conditioned Adaptive Training Strategy 用任务 token 在共享骨干上激活轻量低秩残差。在覆盖 12 个 benchmark 的评测中，ABot-ER 在感知、规划、执行上取得 SOTA 总体表现。

  16. arXiv · cs.AI24

    Urbex：面向城市级 3D 场景的智能体空间定位框架

    Urbex 是一个智能体视觉-语言框架，将城市级 3D 定位从候选排序改为主动空间搜索，让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并提交边界框。该方法在 CityRefer 上用强化学习优化工具使用策略，取得最佳 Hit@1 和 IoU，无需候选框和真值框，且显著快于最强城市级排序基线；在 STPLS3D-Refer 上的零样本结果也显示跨场景鲁棒性提升。

  17. arXiv · cs.AI26

    路侧 RGB 相机与 3D 雷达的资源高效道路使用者 3D 形状与朝向估计方法

    研究者提出一种低成本两阶段方法，利用路侧 RGB 相机与 3D 雷达实时估计行人、自行车和汽车等道路使用者的 3D 形状与朝向，避免端到端模型依赖大量特定点位数据。第一阶段用现成方法提取 2D 相机边界框和对应 3D 雷达点，第二阶段由雷达确定 3D 位置、预定义模板确定尺寸，并用微型神经网络预测针对具体点位优化的 yaw 角。该方法在带行人路口的弯道完成验证，在 NVIDIA Jetson ORIN 上达到 25 fps。

  18. arXiv · cs.AI55

    Thinker-WM：共享多模态表示的统一世界模型用于具身智能

    Thinker Team（Ubtech）发布统一多模态世界模型 Thinker-WM，通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。同一套参数化支持视频-动作联合生成、世界预测、策略推理、逆动力学等多种功能；训练数据约含 2 万小时第一视角视频、1 万小时真机数据和 1 千小时仿真数据，其中约 4 千小时真机数据带对齐深度监督。模型在 EWMBench、WorldOlympiad 和 WorldArena 上排名第一，消融实验验证了动作条件化、几何交互与多功能训练的收益。论文链接 https://arxiv.org/abs/2610.18447v1。

    推荐理由：论文把外观、几何和动作放进共享动态表示统一建模，并列出在 EWMBench 等三个评测上的具体排名与训练数据构成。

  19. arXiv · cs.AI42

    MemoryVLN：从自我感知记忆表示到跨上下文记忆复用的视觉语言导航

    MemoryVLN 是一个面向视觉语言导航（VLN）的记忆驱动导航系统，通过遗忘曲线式时间采样压缩长轨迹历史，并用 2D 语义 token、3D 几何 token 和 6D 位姿构建自我感知记忆表示。系统采用分层记忆库与 Top-K 记忆检索实现跨上下文记忆复用，在 R2R-CE 和 RxR-CE 上成功率分别超过 SOTA 基线 2% 和 6.5%。