Dynalize:用动态惩罚缓解偏好奖励模型的 reward hacking
研究者提出 Dynalize,在策略训练过程中在线缓解偏好奖励模型的 reward hacking:一个语言模型定期异步分析训练 rollout 并为不良行为写入惩罚,由 judge 应用于每次 rollout。在临床咨询和创意写作任务中,仅用奖励模型训练会导致外部 benchmark 下降,而 Dynalize 延长了可训练时长并提升下游性能,且收益在多轮训练及重训奖励模型后依然成立。
新闻、仓库与研究,按时间排列。
研究者提出 Dynalize,在策略训练过程中在线缓解偏好奖励模型的 reward hacking:一个语言模型定期异步分析训练 rollout 并为不良行为写入惩罚,由 judge 应用于每次 rollout。在临床咨询和创意写作任务中,仅用奖励模型训练会导致外部 benchmark 下降,而 Dynalize 延长了可训练时长并提升下游性能,且收益在多轮训练及重训奖励模型后依然成立。
arXiv 论文提出 LLM 路由基准 RouterWorld,统一 371k 单轮响应与 76k 多轮智能体轨迹,采用 LLM-as-a-judge 协议和基于硬件的延迟标注,并设计 Cold-Start 与 Voyager 两种部分可观测路由设定。对 13 个路由基线的评估发现,多数路由器在部分可观测条件下过于重视准确率而忽视延迟。代码与基准数据已公开。
一篇 arXiv 论文证明,在同源专家模型的同一盆地里,多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标,其最优解即模型合并。作者据此提出两阶段整合方法 RGBM:Phase 1 将合并限制在任务向量子空间,Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上,仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏,RGBM 在零额外联合训练步骤下进一步提升效果。
ReAnchor 是一种免训练方法,复用投机解码中 target 验证时被丢弃的隐状态,让预训练 drafter 在偏移位置重新锚定并生成并行草稿块,从而扩展草稿覆盖范围。在 T=0 下,该方法在 Gemma 4-12B 上平均提升接受长度 19.4%、解码速度 17.9%;在四个目标模型、八个基准上平均提升接受长度 15.2%、解码速度 13.4%(使用预训练 DFlash drafter)。
研究者提出 ASR_STEP 指标,在保留二元成功判断的同时,对越狱攻击中反复调用受害模型的开销进行惩罚。在 JailBreakBench 上对 GCG、PAIR 和单步 PAP 三个方法跨三个模型家族评测后发现:折算后 GCG 得分下降 7.0–8.7 个百分点,PAIR 下降 3.4–12 个百分点,PAP 不变。同时报告两项指标可让重复调用带来的折扣显性化。
一项 arXiv 研究表明,BERT 等掩码语言模型(MLM)经去噪预训练后,无需扩散训练即可实现条件生成:冻结 BERT 在 15%/45%/60% 掩码下可分别重构 61.0%/37.5%/24.4% 的 token,但在 ARC-Easy 上仅达 11.0%、MMLU 上仅 4.2%;经普通 MLM 微调后分别提升至 28.2% 和 24.6%,RoBERTa-large 更达 44.2% 和 33.8%。结论是显式扩散训练并非获得有效迭代条件生成的必要条件。
一项 arXiv 研究提出结合现成 ASR 输出与少量人工标注样本,依据 Prediction Powered Inference 和 Design-based Supervised Learning 框架对 ASR 系统性错误做事后校正。在巴尔的摩和芝加哥警方无线电通讯数据上,可获统计有效置信区间的领域关键词比例从仅用 ASR 的 43.0%、仅用人工标注的 27.2% 提升至 56.2%。
论文研究 Agent harness 跨轮次处理上下文(丢弃、摘要、回放模型推理)何时改变 Agent 成败,而非只看成本。预注册合成实验显示,所需事实可重新查回时截断上下文几乎无损失,事实不可再观察时成功率降至随机水平,两种惩罚相差 92.5 个百分点(90% CI [89.5, 95.5]),第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上,Standard harness 与 Provider Adapter harness 存在 63 分差距,改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%,不保留提示恢复 43%,叠加供应商原生推理回放再恢复 57%;这些为单次运行的点估计。
推荐理由:论文用预注册实验拆解 harness 对 Agent 成败的影响,给出可量化的组件归因,对理解上下文管理设计有直接参考。
一项 arXiv 研究提出反事实评估框架,将 LLM 生成的修复动作拆分为目标记录与数值更新两部分逐组合执行。在 114 个交通修复动作中,76 个的联合修正收益超过单独修正收益之和;数据库修复中,仅替换为参考更新使 108 个动作中的 17 个恶化,这些动作均选择了未受影响的记录。在留存观测上,候选方案重组后的目标-更新配对选择可恢复参考动作损失降幅的 61.6%,高于仅在方案间选择的 58.0%。
一项 arXiv 研究追踪 30 个开源模型谱系的 741 个检查点,通过在道德场景中植入初始判断并测量模型随用户意见摇摆的程度,发现多数谱系在预训练阶段已出现谄媚行为。但具体在哪些问题上让步主要在后训练阶段形成,监督微调检查点能预测部分、偏好优化检查点预测大部分;Tülu-3 8B 自身的偏好阶段检查点可消除 85% 的剩余预测误差,而同底座的另一训练路线兄弟模型只能消除 19%。
推荐理由:论文用 741 个检查点追踪谄媚行为的形成阶段,指出偏好优化阶段是主要来源,对模型审计有参考价值。
研究者推出 SpatialScout 基准,评测 VLM 智能体在主动物体级 3D 建图上的能力,基准包含 80 个室内场景和 3,140 个目标物体。最强的 Claude Opus 5.5 平均重叠分数仅 41.71%,47.23% 的目标 IoU 超过 0.5,仅 3.25% 超过 0.9。结果显示模型在从粗略布局到精确度量地图构建上仍有明显差距,代码已开源。
arXiv 论文提出 Cost-Coupled Gittins(CC-Gittins),一种多目标扩展的 Pareto 推荐方法,利用评估与部署成本耦合为 LLM 智能体工作流中的角色寻找质量与成本兼顾的模型分配。在 2 到 5 个角色、最多 1,681 个候选分配的八个质量-成本矩阵上,CC-Gittins 以约 10% 的穷举评估成本恢复相当比例的真实 Pareto 前沿,到 30% 成本时基本恢复前沿且误报很少,还可将延迟作为第三个目标。初版已被 NeurIPS 2026 资源感知智能体 AI(RAAAI)研讨会接收。
一项 arXiv 研究揭示基于规则评分的强化学习中存在 Intra-Rubric Reward Divergence 现象:总评分上升时部分子维度分数系统性下降,模型为优化聚合目标牺牲特定质量维度。研究提出 FRDA(维度内分别竞争缓解维度失衡)和 RSDC(挖掘整体偏好信号中隐含的评估维度补全规则覆盖)。在 chat、science、medical 领域实验中,FRDA 更稳定地缓解 rubric hacking,RSDC 优于单奖励训练与朴素多奖励聚合。
一篇 arXiv 论文提出 Parallel Language Models(PLM),通过潜在辅助变量路由依赖关系,在单次前向传播中生成相互一致的 token,训练目标为自回归损失加并行解码损失的变分边界。预训练 PLM 在 80M 至 3B 参数规模上达到接近自回归的预训练损失,加速比随模型规模呈幂律增长。后训练后的 1.3B 模型在数学、代码和指令遵循基准上匹敌或超越同等训练的自回归模型,推理加速 2.3-5.7 倍。
一项研究提出层次化 token 合并自编码器,通过变分信息瓶颈递归合并相邻 token,并用动态规划在二元树上边缘化,实现无监督语法归纳。在合成歧义语法上,模型在留出序列上达到 93% 语法解析有效性和 93% 精确重构,而最强平凡基线解析有效性仅 42%,验证了仅靠压缩即可涌现层次结构。
HoloCosm 是一种多指标基准压缩方法,通过联合最小化归一化分数重建误差并约束排序失真,解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上,80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236,平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。
一篇 arXiv 论文证明,采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer,借助 RoPE 风格的 VO-rotation 结合中国剩余定理,可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果:NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化,与前沿 LLM 的终止错误相似。合成实验中,训练后的 VO 模型在长度约 5005(所选素数周期之积)内保持近乎完美的外推精度。
研究者推出 EpiLens,一个轻量级开源 RAG 包,用固定检索模板和输出模式处理文献语料并将输出链接到原文段落。该工具基于 2,297 篇论文构建语料,在 214 篇人工标注论文上评测,无需任务特定训练数据即在四项任务上匹配或超过监督式和零样本基线。结果显示,与再生数相关的论文中被标为模型研究的比例为 54%,高于 fatality risk 的 22%;模型类论文占比还因病原体而异,SARS-CoV-2 为 55%,mpox 仅 6%。
研究者将递归预训练引入掩码蛋白质语言模型,提出 recAMPLIFY,一个 155M 独特参数、基于权重共享 Transformer 核心的模型,使用与 AMPLIFY-350M 相同的 2T token 训练。参数减少 56%,却在 CASP 接触位恢复和四分之三监督任务上更优,fold 准确率提升 22.5%。进一步提出的 Gated Mixture Recurrence(GMR)可将期望层深度最多降低 37%,但精度权衡因任务而异。
TokenGate 是一个即插即用的小组件,通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝,用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失,较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍,可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型,代码已开源。
推荐理由:论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比,适合关注长上下文 prefill 效率的读者参考。
论文提出 HarnessPro,一种无标注方法,通过 LLM 生成的测试评估候选框架,并用 Pareto 优化同时提升任务性能、降低执行成本。在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上,用 GPT-5.5 加 Codex 时 heavy 模式相对 RHO 平均 pass-rate 提升 2.0 个百分点、单任务成本降低 26.1%,用 GLM-5.2 加 Claude Code 结果一致,并输出 lite、medium、heavy 三档框架供不同部署预算选用。
推荐理由:论文用无标注测试加 Pareto 选择同时优化 Agent 框架的性能与成本,给出与 RHO 的对照数据,方法可迁移到类似的框架自改进场景。
Monsoon 是一个大规模收集自发语音数据的框架,用于解决低资源语言 ASR 缺少准确转写数据的问题,已收集 50 种语言的语音,并分析了七个共 3,500 小时的语料库。同等数据量下,其质量流程使语义 WER 相对降低 10-39%;Whisper 在 Monsoon 数据上微调后,在对话基准上语义 WER 降低 20-44 点。框架、质控模型和微调模型均已开源。
研究者提出一个博弈论框架,让 LLM 通过上下文经验(无需微调)学习反制电话诈骗的策略。框架将骗子与"baiter"的交互建模为双人博弈,以 Nash equilibrium 作为评估基准。在 300 段模拟对话和三种 LLM 架构上,自适应策略选择比非自适应基线更接近 Nash equilibrium 28.9-79.7%,相关代码及带策略标注的数据集已开源。
RESIN(Reasoning with Entity Structured Indexing)提出一种多链推理方法,将问题分解为单跳需求,检索源文本证据并放入紧凑推理缓冲区,保留多个候选依据直至最终组合。在 HolisQA 基准全量测试中,RESIN 取得 82.92 context recall 和 76.70 answer relevancy,五个领域的 CR 与 AR 均高于已发表基线。消融实验表明类型化证据多样性和逐跳分解都不可或缺。
论文在 Gaussian 替代模型下精确计算候选评分决策模型(如 Jev 与开源的 JevAny)的有限样本风险,分析教师软目标、冻结预训练骨干和温度校准三种训练要素。学生模型会继承教师偏差,更多数据无法消除;固定表示只在明确样本量阈值以下降低风险;温度校准仅在教师系数方向正确时消除全部超额风险。在 CFPB 的 231,521 条信用卡投诉数据上,用结果训练的学生比教师决策成本低 8%,30B 模型 zero-shot 经重校准后仍逊于教师,且偏离 Luce 公理性条件 17.5 decibans。
研究提出安全中期训练(safety mid-training),在预训练与后训练之间利用与通用任务共享的推理结构联合培养安全与通用推理能力。在 Qwen3-1.7B、4B 和 8B base 模型上,平均攻击成功率(ASR)相对降低 72% 至 81%,同时通用能力有所提升。经过纯通用 SFT 或无安全奖励的 GRPO 后,安全收益仍保留,且后续 RL 能达到更优的安全-效用前沿。
研究者提出 ASTOR,一种推理时框架,先将自然语言决策问题映射为文法引导的抽象语法树(AST),再确定性地编译为可执行的优化代码,用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR,ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率,且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。
研究者推出 AfriBED,一个用于检测 ASR 系统性别与说话人类型偏见的评测数据集,覆盖 Bemba 和 Nyanja 两种低资源非洲语言。其中 Bemba 部分含 3928 条语音、约 9 小时、80 名说话人;Nyanja 部分含 6260 条语音、约 18 小时、127 名说话人。基线实验表明该数据集可有效检验目标语言中的属性偏见。
研究者提出 SpecMRL,通过按特征重要性组织的参数谱基扩展 Matryoshka 表示学习(MRL),使前缀读取在学习的谱空间中进行。在 MTEB 上,SpecMRL 在所有评估的降维尺寸上都优于 MRL,压缩越激进收益越大。仅用一半嵌入维度即可超过全维度的 MRL。
研究团队发布 MemT-1.0 记忆基础模型架构,基于 Metis 和 Gated DeltaNet-2,通过 Mixture-of-Storage 扩展原生记忆容量,采用继续预训练加后训练的两阶段训练流程,训练数据 34B tokens,提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当,在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减,论文链接 https://arxiv.org/abs/2610.26825v1。
推荐理由:原文给出记忆基础模型的架构设计、训练数据和评测对比,读者可以据此了解把记忆内化为模型计算的具体做法与代价。
arXiv 论文提出 RefCraft 基准,包含 300 个多模态网页开发任务,将自然语言指令与 1-5 个参考网页截图结合,评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿(M)LLM 上,最强系统总分仅 52.12/100,表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。
KEEP-Bench 是一个诊断性基准,通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示,即使输入平均仅 3.1K token,最强开源模型(31B)保留全部所需证据的比例也只有 66.8%,最强闭源模型为 61.6%。论文还提出 EPR 指标,发现证据召回在 4B-8B 中等规模达到峰值,主张未来研究应在小计算预算下提升信息保留能力。
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象:不同 mixer 层竞争学习同一函数,胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数,导致 attention 多数情况下学不到检索;在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由:论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制,提出的分阶段训练方法在 1B 参数规模上验证有效。
研究者提出 LatComm,一种大语言模型间潜在通信接口:冻结的编码器 LLM 将上下文压缩为固定大小数据包,接收方 LLM 通过 cross-attention 按问题读取。在 12 个多选题问答数据集上,其平均准确率比单向量基线最高提升 10.2 分;在 QuALITY 上将接收方输入减少 57x,回答同一文章的多个问题速度快 3x。
Rui Shi 等发布 arXiv 论文 WeAct,在冻结骨干上训练能力专属 LoRA 适配器,并把适配器选择加入 Agent 动作空间,用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上,Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少,比最强静态 LoRA 合并方法高 27.5%,并支持不改动骨干的模块化持续扩展。
推荐理由:把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘,在 8 个 deep-research 基准上给出了与全量微调的对比数字。
针对 LLM 智能体生成的 CAD 装配体往往徒具外观、无法实现物理功能的问题,研究者提出 FunCAD-Harness,将抽象需求转化为针对候选设计的物理测试,并利用仿真反馈迭代修正设计。团队同时发布覆盖 46 个机构族的 FunCADBench 基准。实验显示,该框架能发现视觉检查难以察觉的机械失效,功能成功率显著超过标准仿真增强基线。
论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。
一项已被 EMNLP 2026 主会接收的研究提出 21 种基于嵌入向量的文本多样性度量方法的分类体系,按计算方式划分为四个家族,并发布 EmbDivBench 基准,从 variety、balance、disparity 三个维度在模拟与自然文本上评测。实验显示,最常用的 Mean Pairwise Distance 在三个维度上均被多种替代方法超越,Graph Entropy 综合表现最佳,研究还给出了度量选择的实用建议。
研究者提出 RAFT,一个针对 TGNN 训练的冗余感知输入过滤框架,通过追踪节点记忆变化,用根事件过滤器和支持事件过滤器在训练前剔除冗余预测目标和历史事件。在 3 个 TGNN 模型和 5 个数据集上,RAFT 平均减少 35.23% 的训练输入(最高 97.11%),训练时间最多降低 52.56%,模型精度几乎不变。
论文提出 one-relation attack(ORA),通过定位证据到结论之间的隐式论证关系,用一句有来源依据的话将其扭曲,使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上,best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%,开放权重模型 80.0%;攻击无需受害者反馈即可迁移,多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。
推荐理由:论文量化了单句攻击隐式论证关系如何误导智能体,并给出 18 个模型的翻转率和多智能体辩论的对照数据。