强化学习驱动的扩散模型:语言、视觉与更多领域的综述
一篇被 TPAMI 接收的综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),涵盖扩散式语言、多模态、机器人和科学模型,重点分析扩散轨迹优化与奖励工程。作者通过多任务 benchmark 实验对比了不同 RL 后训练策略的优势,并指出三大瓶颈:奖励设计脆弱、高维生成空间中的探索-利用权衡,以及稀疏奖励下的训练不稳定。团队还建立了公开仓库持续追踪该领域进展。
新闻、仓库与研究,按时间排列。
一篇被 TPAMI 接收的综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),涵盖扩散式语言、多模态、机器人和科学模型,重点分析扩散轨迹优化与奖励工程。作者通过多任务 benchmark 实验对比了不同 RL 后训练策略的优势,并指出三大瓶颈:奖励设计脆弱、高维生成空间中的探索-利用权衡,以及稀疏奖励下的训练不稳定。团队还建立了公开仓库持续追踪该领域进展。
一项 arXiv 理论研究考察了 Isotropic Curvature Model(ICM)对 Muon 优化器极分解更新解释的稳定性,提出 Random-Radius ICM(RR-ICM)与 Polar-Factor Admissibility Set。结果证明所有非标量可容许响应仅来自与曲率折点对齐的径向原子,任何无原子径向律下都呈现零容量刚性,精确缩放极分解最优只在梯度本身为缩放列等距时成立。研究进一步引入 Minimax RR-ICM,证明非零全局极小值点必位于梯度极射线上,其尺度由一维凸问题确定,揭示了平均曲率解释的径向脆弱性。
研究者提出一种面向分类任务的成对差分学习(PDL)版本,通过元学习技术让模型以两个实例为输入预测结果差异,并对查询实例的各训练样本预测取平均。他们进一步基于总不确定性分解为偶然不确定性与认知不确定性的近期工作,提出多种将相应度量扩展到 PDL 场景的方法。大规模实证研究分析了该 PDL 分类器的预测精度与不确定性感知能力。
一项 arXiv 基准研究在单张 A100 GPU 上,以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%,20 组主要配对全部降低测试损失;但 Muon 优化器调用耗时占训练时间 56.1–69.6%,AdamW 仅 6.1–9.1%,时间归一后 Muon 在视觉任务上领先 19.68–22.31%,语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现,不能推广到更大模型或优化实现。
研究者提出 DialFork,首个在原始对话文本上衡量“程序性幻觉”的 benchmark,即智能体语句流畅且事实合理但偏离预期对话流程。该基准通过在受控轮次分叉对话并注入四类幻觉,构建了覆盖 12 个领域 24 个任务的 36,278 段对话,由 30 名人类标注者验证;并提出 FlowKL 与 FlowScore 两个对话流感知指标,其中 FlowScore 在七个编码器上均显著超越基线。DialFork 以 MIT 许可证开源发布。
论文提出 BiShield-TEE,针对端侧 TEE 部署 LLM 中仅混淆输出维度的权重保护方法发现 Solution Determinacy Property(SDP)漏洞,使 GroupCover 和 ArrowCloak 等代表性方法的攻击准确率超过完全防护黑盒基线 2.4 倍并近乎完整恢复模型。BiShield-TEE 通过输入输出双向联合混淆引入 Ambiguous Solutions,将攻击准确率压回黑盒基线水平,同时在真实设备上推理效率高于已有方法,代码已开源。
arXiv 论文提出一个 LLM 覆盖率收敛 agent,用 cocotb-coverage YAML 从仿真报告读取覆盖率,并由独立于模型的 scoreboard 检查数据完整性。在异步 FIFO、UART 发射器和 AHB2APB bridge 三种 RTL 设计上,该 agent 在 8 次迭代预算内将覆盖率从 91.7%、88.9% 和 67.4% 提升至 100%。作者承认证据存在局限:仅三种设计、无基线、无消融实验,且 LLM 生成测试的数据完整性尚未经独立校验。
arXiv 论文 2610.21571 在九个模型和两个基准上评估工具图记忆(tool graph memory),发现其很少显著优于基线,且有限收益需付出两倍以上的 LLM 调用成本。其引导往往不正确,随机或无引导也能保留大部分收益,表明收益源于额外计算而非记忆本身;将同样经验存为文本洞察几乎不增加调用且效果更好,作者据此建议记忆宜作为软先验而非规定下一步工具。
SemDraft 是首个能从成对“前后”服装打版样片中学习搜索可执行打版程序的框架,无需记录的编辑步骤。其通过有界搜索恢复编辑动作程序,并经重编译、动作顺序分类、独立重放三项检查后才认证;认证程序再训练模型对候选动作排序。在 80 个顺序敏感案例中,学习排序器在 1,000 次搜索内认证 63 和 64 例,优于非学习排序器的最多 53 和 52 例。
arXiv 论文提出 ClaimScope,一个包含 72 个任务的基准,通过裁决、范围、反例和修复审计数学智能体提出的命题,并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示,验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39,安全完成数从 20/72 提升至 25/72,而严格完成保持 17/72,裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop(Mathematical Reasoning and AI)接收。
AVALON 是一个面向"人类熟悉但机器人未见过"场景的零样本室内导航框架,无需预先建图或场地训练,仅需楼层平面图、地点线索和初始拓扑-里程计对齐即可部署,并通过人机记忆协同更新融合人类指定的任务约束与机器人实地验证证据。在 Unitree Go2 上的实验显示,AVALON 结合 X-NavDP 完成 12.81 m 的Intersection-to-Dining任务仅用时 46.4 s(5/5 成功),比 DimOS-Go2(78.5 s,4/5)节省 40.9% 机器人时间,而仅用策略的 X-NavDP 在 5 次运行中全部超时。
研究者推出 LOADBench,一个基于 SkyWater130 PDK 的大型开源模拟 IC 设计数据集与标准化基准,包含超过 100 种运算放大器拓扑(1、2、3 级),每拓扑附结构/功能标注、尺寸约束、Ngspice testbench 及 NSGA-II 优化产生的约 10³ 个 Pareto 最优与 10⁶ 个中间尺寸-性能数据对。数据集定义了六项基准任务,涵盖逆向尺寸设计、拓扑选择、多目标优化等,全部以开放许可发布,以解决模拟设计 ML 研究缺乏可比较评测的问题。
LoopAhead 是一个面向 Looped Transformer 的推测解码框架,用轻量级 lookahead drafter(LAD)基于 early-loop 状态提前起草多个未来 token,并结合 deeper-loop 反馈决定草稿分支的继续或暂停,由全深度模型做最终决定。该框架相比自回归解码最高实现 7.82x 解码加速,同时保持目标模型的输出分布。
一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema,发现多数结果含严重错误且难以察觉,不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor,可从 Apple 二进制文件可靠恢复 protobuf schema,并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8(iOS 16.7.11)的定位服务网络流量。
一项发表于 EMNLP 2026 (Findings) 的工作提出统一交互式评估框架,将 Countdown 任务扩展为数学环境,让 LLM 智能体通过操纵变量、收集观测来推断变量间关系。跨 7 个 LLM 和多种提示策略的实验显示,模型内在探究能力有限,发现底层表达式的成功率低;借鉴教育脚手架的结构化指导可显著提升表现。
一项 arXiv 研究(cs.AI)提出动作可预测性(从连续 latent 状态重建动作)能防止世界模型表征丢弃内在动力学信息,并用 Concat IDM 从拼接的 latent 状态预测动作、利用离线轨迹中已有的动作标签更新共享编码器。在 Push-T 的 24 种外观设置下,Concat IDM 经三次独立训练将规划成功率从 9.1% 提升至 77.2%,配对改进比单一外观条件下高 52.9 个百分点,且不改变测试时规划器。
研究者在 Qwen-Audio-3.1-ASR-Flash-Next 基础上加入专用 Jev 决策头,推出 Qwen-Audio-Jev,通过 CHOICE、NOUL、SCORE 三种决策原语统一音频选择、二值判断与评分。模型在 MMAU-mini 上达到 78.70% 准确率、MMSU 上 84.06%,VoxCeleb1-O 等错误率 6.50%,NISQA 归一化平均绝对误差 0.1062。相比原模型推理速度提升约 20 倍,适用于大规模音频筛选、说话人验证和自动质量评估等高吞吐场景。
PUC-RIO 课程项目开发并评估了一个审计 Power BI PBIP 格式项目的工具,从 model.bim 读取模型定义,应用九条建模、性能与 DAX 规则,并由本地运行的 7B 参数语言模型结合 1,420 页 Microsoft Learn 语料生成解释。在七个公开项目上评测:规则精确率和召回率达 0.88,61 条解释全部引用了相关文档段落;但仅 52% 的解释忠实于文档、38% 可直接使用。结论是可信度应放在确定性部分,生成的解释仅作分析师复核的草稿。
GitHub 开源项目 M.U.T.E(Middle-layer Uncertainty Threshold Engine)在 LLM 生成前检查内部表示,用线性探针估计缺失上下文风险,超过阈值即中止解码并弃答。实验基于 Qwen/Qwen3.5-0.8B,用逻辑回归探针在 40 个构造样本上做五折交叉验证,多个中间层(含 Layer 23)达到 100% 准确率;反事实测试显示补入缺失信息后风险分数从 0.879 等降至约 0.01。项目为实验性概念验证,不微调基座模型,也非通用幻觉检测器。
GitHub 上线 awesome-text-to-motion 仓库,汇总文本驱动人体动作生成的综述、数据集与模型,聚焦无人物-物体/场景交互的单人场景。仓库收录 HumanML3D、KIT、Motion-X 等数据集及多篇 2025 年新工作,并支持通过 data/arxiv.csv 或 JSON 文件提交论文参与贡献。
一个 ECE 5424 课程项目,比较检测小模型错误答案的两种方法:基于隐藏状态训练探针(单次运行)与语义熵(多次采样)。项目使用 Llama-3.2-3B-Instruct,在 TriviaQA 和 GSM8K 数据集上先以 200+200 题做试点,并人工核查约 30 条评分结果。
GitHub 仓库 ai-inventor-papers 下的 ai-invention-8d19e3 研究当参数量 ≥1B 的指令微调开源权重 LLM 面对开放设计任务(如实现路径搜索算法)时会选择哪种方案(BFS、DFS、Dijkstra、A*、双向搜索等),以及温度参数对这一选择的影响。仓库目前 0 stars、0 forks。
GitHub 项目 sducf/zaklang 推出一种面向 LLM 代码生成的省 token 编程语言,并配套基准测试,由 Guilherme Oliveira、Fernando Crespo Vazquez 等人开发。该项目已在 GitHub 开源,旨在降低代码生成中的 token 消耗。
北京工业大学团队提出 SABCS,一种面向长代码摘要的结构感知稀疏注意力方法,将 AST 与 CFG 融合构建代码逻辑图,结合 Global-local 与 Top-k 注意力建模长距离依赖。研究文稿尚未发表,相关技术已形成中国发明专利申请(申请号 202511202527.7,公开号 CN121029230A),仓库收录文稿 PDF 与专利资料。
GitHub 上的 LaclauGPT-Data-Analysis 仓库当前仅用于 AI26 Phase 2 的数据分析实现,EP24、Hungary26 和 Brazil26 将迁往独立仓库。LaclauGPT 是赫尔辛基大学 HEPPsinki 相关团队开发的开源社会科学研究框架,用 LLM 辅助对大型文本和多模态语料做计算话语分析,强调人机协同验证,机器生成的分析结果须经人类研究者核实后方可作为研究结论。
grainot-bot 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的代码仓库,论文正在 COAI 2025 审稿中。该工作提出优化策略以增强 LLM 跨多任务的上下文推理,实验结果显示在动态环境中适应性更优。仓库即将发布实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。
GitHub 仓库 YYTbit/DEEPG 开源了论文配套代码,研究多智能体 LLM 系统中共享 transcript 的消息长度如何影响通信成本与后续智能体可用的上下文。更长的早期消息会把下游通信推向更弱的位置,项目通过抽序轮换与长度定价作用于位置与边际激励,支持用 Qwen3-8B 在 hotpotqa 数据集上训练与评测 slot 定价策略。代码基于 Python 3.10+,采用 MIT License。
GitHub 新仓库 WaveStitch 提供基于扩散模型与 TimeGAN 的条件时间序列合成框架,可依据标签、元数据等辅助特征和部分观测等信号锚点生成逼真时间序列数据。代码库包含训练、合成、消融实验脚本及自相关、互相关分析工具,实验基于 Python 3.12、PyTorch 2.2.2 + CUDA 12.1 和 RTX 3090 复现。
GitHub 上的探索性深度学习项目 mgachi/renewable-energy-forecasting,对德国归一化光伏与陆上风电发电量做 24 小时预测,比较了 persistence、Ridge 回归基线与 GRU、LSTM 及 encoder-decoder Transformer 模型。数据管道使用 SMARD 小时级发电数据和 Open-Meteo Archive API 的九点气象网格,按 2019–2022 训练、2023 验证、2024 测试做时序切分,以 MSE、MAE、RMSE 评估。项目仍在进行中,结果为初步性质,数据对齐与泄漏检查尚未完成。
GitHub 开源研究系统 RAG-NetTwin,用 GraphRAG、多厂商知识图谱和三层验证从自然语言意图生成网络 CLI 配置,降低 LLM 幻觉。在 Cisco IOS-XE 17.6 与 Juniper JunOS 21.4 共 35 个意图上评测,严格语法有效率 94.3%、幻觉率 2.9%、GNS3 命令准确率 82.9%,token 消耗较基线 RAG 降低 16.4 倍(57,533 → 3,503 tokens/query)。系统采用 MIT 许可证,需 Python 3.10+、Groq API key 和 Docker。
GitHub 上的 optimization-vuln-analysis 项目研究 GCC 优化和实际符号剥离如何影响静态基线与本地 LLM 在匹配的 x86-64 二进制函数中识别已知 CWE-121 和 CWE-122 实例的能力。仓库包含 corpus、data、llm、pipeline、tests 等目录及 compile.sh、config.json 等配置文件。
GitHub 上的 hybridquant 仓库研究混合线性注意力 LLM(Qwen3.5、Falcon-H1)中 KV cache 与循环状态(Gated DeltaNet / Mamba-2)的联合量化,在固定内存预算下比较两者位宽分配及误差交互。它采用 fake quantization 测量 decode 阶段 NLL,对比 RTN 与带 error feedback 的方案,并用噪声匹配对照检验超可加性,每格 20 文档 × 3 seeds 并报告 paired bootstrap 95% CI。
论文 Significant According to Which Judge?(在审)发布代码、判定输出与结果,测量用 LLM 相关性判定替代人工标注时检索实验显著性结论的变化。
GitHub 新开源仓库 PLICDiff 提供一个 PLI 条件化的 3D 扩散框架,用于蛋白质口袋配体生成,采用 classifier-free guidance(CFG),用 PLIP 衍生的蛋白原子相互作用标签驱动图注意力编码器与几何扩散骨干。代码已在 Linux x86_64 上以 Python 3.11、PyTorch 2.4.0、PyG 2.7.0 验证,预训练 checkpoint(默认 checkpoint/9430000.pt)需另行下载,数据预处理基于 CrossDocked 并遵循 TargetDiff 流程。
研究者推出 Read-Parse-Describe 统一文档解析数据集,要求模型对页面图像输出含边界框、语义标签、阅读顺序、识别文本及视觉元素替代描述的布局元素列表。数据集基于 2,402 份文档,含 18,163 页、125,218 个布局元素和 11,338 个视觉实例,并提出可插拔的空间感知增强器。实验显示现有端到端 VLM 与流水线解析器仍难以同时恢复阅读顺序与视觉语义,增强模型取得较强联合表现,数据集与代码将公开。
中科院研究团队提出 Doc2Harness,首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建,GPT-6 Astra 以 53.05% 通过率居首,最弱模型为 27.44%;即使最强模型也失败近半数用例,失败集中在跨模块功能划分上。
一篇 arXiv 论文研究了强化学习中平均奖励形式下带 options 的 Q-learning 算法的有限样本收敛性,覆盖 inter-option 与 intra-option 两种设定。作者证明两类多步 option Bellman 算子在 unichain 假设下满足 span 收缩,并提出同步估计器得到两种算法变体,首次给出均方意义下 $\tilde{O}(1/\text{iterations})$ 的收敛速率保证。
研究者提出 Lifted State Policy Optimization(LSPO),将有限、成本调整后的状态转移作为学习基本单元,为文本答案学习连续坐标并用能量函数排序,通过塑形奖励与内化损失把低能量答案吸收进直接生成器。在 Qwen3.5-27B 上,单次推理策略在数学、科学、代码与逻辑基准上达到 71.8% 总准确率,接近测试时反思的 71.9%,同时延迟降低 28%、token 减少 25.8%。该模式在稠密与 MoE 骨干上均成立,代码已开源。
arXiv 论文提出一种方法,让手机等设备录制的人类演示可作为结构不同机器人的后训练数据,核心是重定向物体运动而非手部动作。采集生成无本体记录(物体位姿、接触区间与重建 3D 物体),机器人以 URDF 和简短描述文件在仿真中求解并评分。在 8 台机器人、42 次采集共 157 对样本中,31.2% 通过、52.2% 失败、14.0% 被拒;被拒的 13 对实际运行全部失败。
一篇 arXiv 论文提出渐进式验证框架,解决 LLM 智能体零样本工具选择中的“迁移有效性缺口”——语义相关的工具在迁移后仍可能不满足功能或上下文要求。该框架在语义相关性之外引入基于端点的功能兼容性与任务条件上下文证据,在跨域和跨数据集迁移中持续提升能力排序,消融实验证实两类验证的互补贡献。