学习引导 LLM 智能体与多智能体系统
研究者提出一种 steering agent,用于实时监督基于 LLM 的单智能体与多智能体系统,在其偏离整体目标(goal drift)时将其拉回正轨。该方法通过强化学习联合训练低成本快速路径与高成本慢速路径,结合成对排序目标与 GRPO。在信息搜索任务上的实验显示其能提升单智能体与多智能体系统的性能和效率,且引导能力可泛化到域外任务、迁移到未见过的执行器,并支持无需重训的可控干预频率。
新闻、仓库与研究,按时间排列。
研究者提出一种 steering agent,用于实时监督基于 LLM 的单智能体与多智能体系统,在其偏离整体目标(goal drift)时将其拉回正轨。该方法通过强化学习联合训练低成本快速路径与高成本慢速路径,结合成对排序目标与 GRPO。在信息搜索任务上的实验显示其能提升单智能体与多智能体系统的性能和效率,且引导能力可泛化到域外任务、迁移到未见过的执行器,并支持无需重训的可控干预频率。
研究者提出市场化后训练(MPT)框架,让去中心化 Agent 集群通过投标机制联合学习动作策略与自组织协调,无需中央协调者。该框架在具身合成、机器人导航和深度研究任务上优于单体后训练,且在相同动作策略下,学到的自组织优于其他协调策略。训练后的集群对相关任务适应更快,在更大规模和 Agent 掉线时表现更稳健,代码和模型已开源。
研究者提出用互补表示设计时序语言模型,基于 Qwen3-VL-8B 结合折线图与归一化延迟嵌入两种视觉视角,经专用视觉编码器融合进同一语言模型。双视角模型在 TSRBench 上将整体准确率从单折线图的 44.5% 提升至 53.2%,远超最强专用 TSLM 基线的 36.7%,并在 TSExam 达 89.9%、多变量 ChatTS 对齐数值准确率达 86.8%。
研究者提出 Language Diffusion Transformer(LangDiT),针对连续扩散语言模型(CDLM)系统优化 Transformer 架构,引入 feature 与 query-key normalization、noise conditioning、梯度路由等设计。以 LangFlow 为骨干时,OpenWebText 上 1024 token 无条件生成取得 21.72 GenPPL(1024 NFEs);适配 Plaid-style CDLM 后达到 11.33 GenPPL(1024 NFEs),均创 SOTA,且不改变原模型的训练目标与推理采样器。
研究者提出强化学习框架 KnowGPO,将轨迹按已获取的任务相关知识而非表面观察对齐:把回答所需信息分解为原子知识条件,以相邻步骤间的知识增益作为过程奖励,并按相同知识状态分组比较。在 Xbench、BrowseComp-ZH 和 GAIA 上,KnowGPO 比仅用结果奖励的 GRPO 及过程监督基线 GiGPO、IGPO 高出 3.8 至 4.2 分,其 8B 模型可匹敌或超过多数 32B 开源系统。
研究者提出一个进化式框架,由 LLM 提出量子线路设计、独立评估器验证并打分,应用于数值计算、化学、优化、量子模拟和数理等任务。八个任务中七个发现的线路相比现有最优水平显著降低了 Toffoli 与 qubit 数量;在第八个任务中找到了素域模逆的新可逆架构,使原本不适用于可逆整数运算的 divsteps 算法变得可行,并显著改善模逆的 Toffoli-qubit 权衡。
论文提出 System1-Arena 基准,统一给模型相同的决策请求并按概率打分,考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境,评测 30 个模型;最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM,延迟仅四分之一,推理型 LLM 最准确但成本约为快速 LLM 的 70 倍,闭环中大型开源 LLM 成功率最高(至多 32.9%)。
推荐理由:论文用统一基准量化 System-1 与 System-2 模型的决策分工,读者可借此判断哪些决策不必走生成式推理。
一项 arXiv 研究发现,语言模型在不同指令下答案可靠性下降主要源于表达变化而非内部判断改变:同一输入在不同指令下的隐藏态差异集中于一个低维“表达子空间”。研究者在无 benchmark 标签条件下识别并移除该子空间的影响,分离出的判断在未用于识别子空间的指令下保持可靠。当判断问题被否定时,该方法将线性预测器的 AUROC 从 0.504 提升至 0.825(entailment),从 0.480 提升至 0.891(safety)。
PocketTSLM 是 OpenTSLM SoftPrompt 时间序列语言模型的移动端部署方案,可将编码的时间序列窗口作为嵌入注入,在全流程于消费级手机上运行。基准测试显示软提示路径的时间序列 token 用量减少约 12 倍,可处理 30 秒 Sleep-EDF 脑电片与 1,000 样本(10 s)12 导联 ECG-QA 心电片,而文本序列化基线在更长窗口下超出手机上下文或内存预算。Swift 移植经数值一致性协议验证与 Python 参考实现一致,推理全程不传输健康数据。
研究者提出混合生成-标注解码架构,用于电商商品属性值抽取:对高频属性用标注头直接从源文本抽取值,生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后,该方法将属性覆盖率提升 10%,多抽取出 63% 的正确属性值对,精度不受影响,同时延迟降低 44%。
一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分,实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务,微调高排名注意力头的效果稳定优于低排名者,且常能匹敌更稠密的微调基线;按任务划分注意力头可减少跨任务干扰、提升旧能力保留,同时保持对新任务的适配。
研究者提出 DPA-MoE,一个运行时精度控制框架,让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块,并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示,相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率,原型系统稳态吞吐开销适中。
HyCo 将服务器模型的 MTP 头部署到设备端执行,结合一次 SLM 前向作为备选分支,通过量化、受限词表和 1K-token 窗口适配移动 NPU。在 Galaxy S26 Ultra 上经 LTE/5G 测试,HyCo 在 Spec-Bench 上较服务端 MTP 自推测减少 38.6% 的服务器 GPU 时间,在 32K-token 摘要任务上减少 29.2%;相比仅用 SLM 草稿多节省 9.0 个百分点、提速 1.9x,且输出质量与 Cloud+MTP 基本持平。
Waypoint-OPD 是一种门控在线策略蒸馏方法,利用同一 RL 训练中的中间 teacher checkpoint,比较早期与后期策略偏移的方向一致性,并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分,以 RL 训练的 Qwen3-4B 为 teacher,在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上,全部六个领域-学生设置中取得最高领域平均分;消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
arXiv 论文提出 SPRA(Structured Paper Representation for Agents),一种以研究对象和类型化关系组织的论文级结构表示,并在超 100 万篇 AI 论文上实例化,含 19.95M 研究单元和 24.07M 内部关系。通过 Schema-RAG 访问时,SPRA 在七个子领域上使源条件科学问答较段落检索提升 0.381/5,配对任务的 input+output tokens 较段落检索减少 28.5%。该资源可通过 SciVerse 平台获取。
研究者提出局部上下文蒸馏方法 LoCD,让大语言模型从交互经验中持续学习。LoCD 先定位学生模型轨迹中需修正的关键片段,由教师模型基于学生自身前缀重新生成这些片段并用于训练,兼顾信息量与低曝光偏差。在数学推理、代码生成和智能体任务上,LoCD 持续超越强基线,训练更稳定且参数更新更小更稀疏。
研究者提出 TIR-EC,一个工具集成强化学习框架,让 LLM 将 EHR 特征组作为工具调用,并以梯度提升树教师提供参考工具集和分级风险目标进行奖励,通过反向课程把临床技能蒸馏进模型权重。在三项临床预测任务上,其 4B 智能体取得所有对比模型中最高的 macro F1,超过传统 ML 基线,可与更大的前沿 LLM 竞争,且用更少的工具调用选出更有用的证据。
研究者提出 QREF,一个即插即用的查询改写器与证据过滤器,通过 SFT 初始化并用强化学习在真实网络搜索环境中优化,缓解 DeepSearch 智能体检索意图错位与噪声累积问题。方法在四个基准上平均将 WebSailor 的 Pass@1 相对提升 33.55%、TongyiDeepResearch 提升 11.04%,无需修改架构或重训推理策略;RL 训练的改写器比原始骨干减少 95% 缺乏判别性检索锚点的查询批次。论文地址 https://arxiv.org/abs/2610.21512
推荐理由:论文给出即插即用的查询改写与证据过滤方案,不改架构即可提升 DeepSearch 智能体表现,数字与对比数据齐全。
一篇被 TPAMI 接收的综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),涵盖扩散式语言、多模态、机器人和科学模型,重点分析扩散轨迹优化与奖励工程。作者通过多任务 benchmark 实验对比了不同 RL 后训练策略的优势,并指出三大瓶颈:奖励设计脆弱、高维生成空间中的探索-利用权衡,以及稀疏奖励下的训练不稳定。团队还建立了公开仓库持续追踪该领域进展。
一项 arXiv 基准研究在单张 A100 GPU 上,以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%,20 组主要配对全部降低测试损失;但 Muon 优化器调用耗时占训练时间 56.1–69.6%,AdamW 仅 6.1–9.1%,时间归一后 Muon 在视觉任务上领先 19.68–22.31%,语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现,不能推广到更大模型或优化实现。
arXiv 论文提出 ClaimScope,一个包含 72 个任务的基准,通过裁决、范围、反例和修复审计数学智能体提出的命题,并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示,验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39,安全完成数从 20/72 提升至 25/72,而严格完成保持 17/72,裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop(Mathematical Reasoning and AI)接收。
LoopAhead 是一个面向 Looped Transformer 的推测解码框架,用轻量级 lookahead drafter(LAD)基于 early-loop 状态提前起草多个未来 token,并结合 deeper-loop 反馈决定草稿分支的继续或暂停,由全深度模型做最终决定。该框架相比自回归解码最高实现 7.82x 解码加速,同时保持目标模型的输出分布。
一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema,发现多数结果含严重错误且难以察觉,不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor,可从 Apple 二进制文件可靠恢复 protobuf schema,并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8(iOS 16.7.11)的定位服务网络流量。
Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。
上海AI实验室在 Hugging Face 开源 Sage-A1.5,一个 35B MoE 智能体模型,支持子智能体并行编排、可选验证模式和原生函数调用,原生 256K 上下文可经 YaRN 扩展到 512K。官方评测称其在 XBench-DS-2510(92.0)、IFBench(81.6)等多个基准取得 SOTA,GAIA 达 95.1,高于所对比的 Kimi-K3、GLM-5.3、GPT-5.6-sol 等更大规模模型;相比 A1,SWE-bench Pro 提升 17.6。评测框架已开源,SGLang 和 vLLM 部署命令见模型卡(arXiv: 2610.28578)。
推荐理由:官方模型卡同时给出与 35B 同级和更大模型的横向跑分与完整评测代码,读者可以按同一协议复现或对比。
研究者提出 Lifted State Policy Optimization(LSPO),将有限、成本调整后的状态转移作为学习基本单元,为文本答案学习连续坐标并用能量函数排序,通过塑形奖励与内化损失把低能量答案吸收进直接生成器。在 Qwen3.5-27B 上,单次推理策略在数学、科学、代码与逻辑基准上达到 71.8% 总准确率,接近测试时反思的 71.9%,同时延迟降低 28%、token 减少 25.8%。该模式在稠密与 MoE 骨干上均成立,代码已开源。
Wei Chen 等人在 arXiv 发布 HP-RLVR(Hindsight-Privileged RLVR),用已完成轨迹自身的未来信息生成 token 级更新权重,替代 GRPO 的组采样。方法对每个 token 在因果历史与含验证器反馈的后见上下文两种视角下打分,以归一化 Jensen-Shannon 散度加权奖励,成功与失败轨迹都有有界信用,无需参考答案或 critic。在共享 100 步 schedule 的 Qwen3-8B 配对实验中,HP-RLVR 在数学、代码生成和 ALFWorld 上分别比 GRPO 快 1.21x、1.46x 和 2.30x,每 prompt rollout 用量为八分之一;总体准确率相当,数学上 HP-RLVR 领先,代码与 ALFWorld 上 GRPO 领先。
论文提出 CriticOPD,改进在线蒸馏(OPD)。OPD 假设教师模型能从学生写的任意前缀推出正确答案,但该可恢复性在错误 rollout 上失效——教师会跟随学生错误。CriticOPD 让教师对错误 rollout 给出批评,学生据此重写解答,教师评分时将批评作为特权信息,学生训练时则不含批评。在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,竞赛题提升最大。
研究者提出一种超越 LLM 评判的 Lean 形式化验证方法,将 LLM 语义审查与机械化数值和空泛性检查结合,可给出可核查反馈并发现 LLM judge 漏掉的错误。该方法配合 Extract-Verify-Proof 自动形式化流水线构建了 NIST DLMF 的部分形式化库 FLMF;在三个标注数据集上,其接受错误率为被评估方法中最低,专家审查还发现了现有数据集的翻译与来源缺陷。代码已开源。
一篇 arXiv 论文分析了智能体市场中以一价拍卖(FPA)分配用户提示词时的无序代价(PoA)。论文提出两个可降低福利损失的特征:竞争下限与条件近似独立性,后者可推导出接近最优福利 1 - 1/e² 的效率保证,均优于一般情形的 1 - 1/e;结果在 EmbedLLM 提示词路由数据集上获得实证验证。
Walter Simoncini 在 arXiv 发布论文,提出免重训练方法把预训练 Transformer 变成可在连续算力预算间自适应的单一模型,核心是对功能单元排序问题做可微松弛,在统一尺度上联合排序每个 MLP 神经元和注意力头。在 22M 到 8B 参数的 27 个视觉与文本 Transformer 编码器上,方法在最高 60% 稀疏度下平滑退化并优于 one-shot 基线;DINOv3 ViT-H+/16 剪枝到 50% 稀疏度移除 427M 参数,ImageNet-1k linear-probing 精度仅降 0.8%;AugReg ViT-B/16 在 60% 稀疏度下于 A100 GPU 上吞吐提升最高 1.80 倍、单查询延迟降低 1.26 倍。
推荐理由:论文给出免重训练的弹性剪枝方法,在27个模型上验证60%稀疏度下的精度与吞吐数据,可复现。
arXiv 论文 2610.20597 提出一种为语言智能体引入多步动作目标的训练方法,在成功轨迹上训练策略骨干生成后续动作序列,并从历史预测每个动作形成时间集成,使行动与预测协同演化。在 ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld 五个基准上,该方法整体表现超过 GRPO 及带预测辅助目标的 RL 基线,在 ScienceWorld 上样本效率分别比 ECHO 和 GRPO 高 1.9 倍和 2.0 倍,且只用单一策略骨干,推理时无额外开销。代码已开源。
推荐理由:论文给出多步动作目标的训练方法,在五个基准上对比 GRPO 等基线并报告样本效率倍数,方法可复现且代码已开放。
论文提出 RM-OPD,一种基于在线蒸馏(On-Policy Distillation)的两阶段生成式奖励模型训练框架,用于替代混合域偏好数据上的 Mix-RL 方法。该框架先通过单域 GRPO 微调训练各领域专家教师模型,再经路由在线蒸馏、域贡献重加权及可选的 criteria context distillation 将其整合进一个学生模型。在多个 RM benchmark 和两个基座模型上,RM-OPD 持续超越 vanilla Mix-RL 等基线,并出现"超越教师"的涌现效应。
TreeSpark 是一个扩展 DSpark 半自回归架构的推测解码训练与推理框架,通过单次 backbone 前向构建父节点条件候选树,并用 survival NLL 与 capped coverage hinge 两个目标监督树的扩展、剪枝与打包,无需额外 target 前向。在 Qwen3-4B 与 Qwen3-8B 上的九个通用基准和六个写作域评测中,TreeSpark 较 DSpark 将平均接受长度提升 23.4%–31.6%,单请求吞吐提升 15.1%–25.0%,批量 Qwen3-4B 吞吐提升 12.6%–17.2%。
一项 arXiv 研究提出考虑语言重复性的联合扩展规律,刻画活跃参数量、每语言训练 token 数、专家数与语言覆盖之间的关系,基于 64 个预训练配置的 26,300 条逐语言 loss 观测拟合,预测误差较最强基线降低 28%。在相同活跃参数与每语言 token 数下,32 个专家将语言从 12 扩展到 200 时的 loss 损失较稠密模型减少 83%。
arXiv 论文提出 FOLD,一种免训练的长上下文投机解码方法,保留精确局部位置并将远端条目作为共享位置的远端记忆处理,通过锐化注意力缓解注意力稀释。在六组 target-drafter 组合、最长 256K tokens 的基准上,FOLD 多数情况取得最高加速,最佳案例将相对自回归解码的加速从 2.08× 提升至 4.22×。
研究者提出 MolLean,一种基于 Lean 内核的过程可验证语言,将化学链式推理锚定在显式分子状态上,可检验状态转换与分子断言,并配套提供有状态工具接口 MolLean-MCP。在覆盖分子生成、编辑、优化与反应的 12 个任务、8800 个匹配样本上,Qwen3.6-27B 的全轨迹精炼模式在全部 12 个任务上优于直接链式推理,MolLean-MCP 则在反应任务上表现更佳。
ReaDy 是首个利用混合线性注意力(HLA)模型循环状态进行推测解码中按位置上下文检索的方法,通过可学习查询和轻量 state reader 补充草稿上下文。基于 DSpark 框架,在数学、代码、对话七项基准上,ReaDy 配合 Qwen3.8-27B 在单张 NVIDIA B200 上实现平均 3.16× 解码加速,较 DSpark 吞吐量平均提升 7.97%、接受长度提升 8.50%。代码已开源。
VASPO(Value-Augmented Self-Distillation Policy Optimization)在 PPO 框架内整合自蒸馏与特权价值估计:critic 从预测续写回报计算 token 级优势,自教师通过有界概率比调制部分正优势。在六个数学推理 benchmark 上,VASPO 在 Qwen3-4B 和 OLMo3-7B 上分别比 PPO 平均准确率提升 2.59 和 1.81 个百分点,并在 Knights and Knaves 上取得评测方法中的最高平均准确率。代码已开源。
INTACT 方法用小型外部编码器在冻结骨干模型上诱导潜在推理,以连续 soft-token 替代自然语言思维链,经知识蒸馏训练后再按答案正确性强化。在 1B 到 8B 的四个冻结骨干上,Llama-3.2-3B 的 GSM8K 从 75.8% 提升至 79.3%,Qwen2.5-3B 从 77.6% 提升至 79.7%,单题端到端延迟降低 19%,并在 3B 和 8B 规模上超过所评测的潜在推理基线。