新闻、仓库与研究，按时间排列。
扩散多模态大语言模型（dMLLM）依赖近似 KV 缓存加速解码，但会引发相邻位置重复同一 token 的「Repeat Curse」。研究者从信息流视角定位了步内注意力分散、跨步过期状态解码和深层熵不收敛三类扰动，提出免训练即插即用的 CoTA++，包含注意力重锚定、Decode-Aware Refresh 和熵引导投票三个组件。在三个 dMLLM 和两个缓存后端上，CoTA++ 将长回复重复率从最高 99.6% 降至至多 17.0%，在九个 benchmark 上挽回大部分精度损失，且缓存加速仅增加不到 15% 开销。
研究者提出 PrefMind，一个在线双智能体强化学习框架，用响应 Generator 和偏好 Critic 两个可训练智能体替代基于打分的 RLHF 流程，让模型通过显式判断与纠错学习人类偏好的内在原因。人类标注监督两个智能体的判断与修正，双方在交互中联合更新。三个模型规模上的实验显示，偏好判断能力和下游响应生成都得到提升。
arXiv 论文 2610.23255 提出 SPLIT，用小规模标注试点通过经验贝叶斯拟合精确公式，在固定预算下规划采样数量、模型选择与验证开销，覆盖接受/拒绝和最高分选择两类验证方式。在七个基准、26 个模型、175 个智能体系统和六类真实验证器上，SPLIT 距事后最优分配仅差 0.02-0.8 个百分点，而所有测试的固定规则在部分场景至少损失 2.5 个百分点；该公式还解释了何时增加 LLM judge 反而降低精度，代码将发布。
推荐理由：论文提出用小规模标注试点来规划测试时算力分配，覆盖26个模型和六类真实验证器的实验规模可作方法参考。
一项 arXiv 研究系统评测了基于置信度的小到大 LLM 路由，覆盖 3 个模型家族、4 种语言、3 类任务、72 种配置和 42,288 条预测。在 Belebele 与 SIB-200 上，50% 升级率下比随机路由分别提升 1.40–4.67 和 2.54–5.63 个百分点；但在 MMLU-ProX-Lite 上平均 AUC 仅 0.510，无一致收益。全局置信度路由存在高达 30.33 个百分点的语言升级差距，而等额配额路由能消除该差距且整体精度损失很小。
一项 arXiv 研究提出 token-budget 理论，形式化建模多智能体辩论与自我细化中“读与推理共享固定 token 窗口”的权衡，并由单智能体测量预测最优智能体数量。跨 5 个开源模型和 4 个推理任务，self-consistency 在 980 组匹配的窗口与组规模设置中 93% 的情况下持平或超过已部署的辩论方法，窗口越紧张差距越大。结论是共享窗口下模型剩余的思考空间比其阅读内容更重要。
论文提出 MGE-PO，通过结合验证正确性与 rollout 生成熵的四象限（4Q）优势塑形，改进 GRPO 对同等奖励响应不做区分的问题，并辅以在线熵问题课程。在 Qwen3-8B-Base 上训练八个 epoch 后，4Q 使六基准 macro avg@32 绝对提升 3.23-3.69%、macro pass@32 提升 4.24-11.06%；在 Qwen2.5-7B-Base 上将四基准 macro avg@32 从 41.5% 提升至 45.4%。
Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0，主打防御安全场景，以 GGUF 格式开源，可在本地硬件离线运行，支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens，内置 MTP 投机解码并支持 DFlash2 draft 文件，主权重 15.70 GB，另有适配 16 GB 显卡的 12.99 GB 版本；基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%，可直接在 llama.cpp 中加载。
论文提出 ReLaDrift，用共享的 Drifting Model 从噪声生成初稿，并在连续潜在空间中迭代精炼，训练时仅在最终轮施加 drifting loss、只回传一轮梯度。与一步生成、无法通过迭代提升精度的 Drifting Model 不同，ReLaDrift 可在测试时计算量与生成质量间权衡。在 Sudoku Hard 和 GSM8K 上，它在多种推理预算下达到与扩散、流语言模型相当或更优的性能，代码已开源。
研究人员提出 qGAMMA 框架，用于探索和优化混合精度深度神经网络（DNN）模型在支持多种定点与浮点精度的通用空间加速器上的映射。该框架采用领域特定遗传算法和基于硬件综合结果的解析性能模型来搜索设计空间，找出最小化目标指标的最优映射与加速器配置。在多类 DNN 工作负载上的评估表明，它有助于在性能、能效和资源利用率之间取得更好的权衡。该工作被 SAMOS XXV 接收。
arXiv 论文指出，同一推理模型的重复采样、不同推理深度和自评估之间存在错误相关性，因此同模型更多算力并不等于更多独立证据。作者提出 DIA（Disagreement-triggered Independent Arbitration），当中间阶段与最终阶段预测不一致时，由一组异构模型独立求解并聚合答案。在七个基准、两个基础模型上，DIA 在 14 个设置中的 12 个优于完整 chain-of-thought，MuSiQue 提升 7.00%，仅激活约 17% 的样本，token 用量比多智能体基线最多减少 47.2%。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
一项新研究提出 DarkLens，通过将隐藏状态投影到 unembedding 矩阵弱组合的"暗空间"，以 Dark Matter Ratio（DMR）衡量模型的上下文利用程度，仅需单次前向传播即可检测忠实性幻觉。该方法结合参数知识分数，在三个 QA 与摘要基准、六个 4B-13B 开源权重 LLM 上评测，表现持平或优于多种基线，且无需额外前向传播或探针训练。
研究者提出 TreeOPSD，一个无需 critic 的树感知后验自蒸馏框架，用于长程智能体强化学习。该方法将每轮交互视为树节点，从共享前缀分支备选续写，并将终止奖励递归回传为隐式轮级信用，映射为有界的闭式教师分布。在 Deep Research 设定下，TreeOPSD 使 Qwen3-30B-A3B-Thinking-2507 的平均准确率较 GRPO 提升 4.97 分。
LongForge 将长上下文指令数据质量形式化为文档、问题与答案之间的对齐结构，包含分析器与合成器两部分。分析器把样本逆向重建为证据-断言推理图，计算广度、深度、正确性、完整性四个维度，对七个主流数据集的测量发现广度几乎不随文档长度增长、深度普遍偏低。合成器将其嵌入生成过程，LongForge-1 与 LongForge-2 两个混合数据在两个骨干模型上于六个长上下文 benchmark 中平均超出最强基线 2.2-4.7 分。
研究者提出基于国际象棋引擎评估的自动指标来衡量语言模型的象棋解释质量，发现现有 SOTA 模型表现很差，多依赖棋盘表面观察而非可迁移的象棋概念。他们进而提出免训练方法 BinProp，让模型发现可复用的象棋概念并用自然语言解释走法，平均得分较直接提示提升近 3 倍。该方法无需额外调参即可在围棋、西洋跳棋和将棋中发现有用概念。
研究者提出 Cross-Centaur 模型，利用跨任务个体级数据预测人类决策，并发布 Cross-Psych-101 数据集，涵盖 591 名参与者、12 个任务中的 261,551 个有效决策。该模型在留出参与者上的表现超过现成 LLM 和 Centaur，探测分析显示其隐藏状态编码了可跨任务迁移的参与者级行为倾向。论文已被 EMNLP 2026 主会接收为口头报告，数据集已公开。
一项 arXiv 研究提出在 Transformer 每个模块训练局部代理网络，通过知识蒸馏预测全局网络输出，使梯度无需存储全部激活值即可独立回传，理论上对深层线性网络精确成立，非线性残差模型中梯度误差有界。该方法在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的准确率/内存权衡，用于小内存预算下微调大语言模型时，比 zeroth-order 学习算法训练更快、性能更高。
arXiv 论文提出 Lookahead Editing（LED），在掩码扩散模型的解码中加入可重写的提案状态，让模型在提交 token 前多次前瞻更新以提升表达能力，同时保留易于优化的掩码转移调度。作者基于 Qwen2.5-7B 和 Qwen3-8B 微调得到 LED-7B 和 LED-8B，在八项基准上 LED SFT 平均比标准 MDM SFT 提升 +11.4 和 +7.7 分，且 LED-8B 仅用 SFT 就超过了经持续预训练、SFT 和强化学习训练的 LLaDA2.1-16B Q-mode。
研究者在大量合成关系数据库上预训练基于消息传递的图关系基础模型 Griffin，将编码器潜表示输入冻结的 in-context 预测器，不在目标任务上训练任何组件。在 16 个真实世界关系分类任务、五组随机种子评估中，从 schema 引导过渡到 schema 无关的纯合成课程学习取得最强的冻结 in-context 性能，超过仅用真实数据预训练及各种无序单阶段混合方案，且在真实数据预训练后追加该课程可获得整体最佳编码器。结果表明 PFN 式合成预训练可迁移到基于图的关系基础模型。
研究者提出 ParetoChat，一个基于 LLM 的专家智能体界面，用于交互式多目标优化，可将自然语言输入转换为结构化标量化参数并调用优化系统。仿真研究以基于 LLM 的决策者智能体为基准，与 DESDEO 中的 reference-point 和 NIMBUS 方法对比，在多目标二进制背包和集合划分实例上验证了其能高效引导搜索以匹配用户偏好。
arXiv 论文提出错误截断事后蒸馏方法，解决轨迹级技能蒸馏与 GRPO 结合时错误动作后监督与当前状态失配的问题。该方法按轨迹结果与错误边界路由两类事后技能：Positive skills 强化成功轨迹及错误前决策，Negative skills 针对关键错误进行修正，错误后缀则仅由 GRPO 优化。实验显示其在任务表现与细粒度 credit 分配上有竞争力。
ornith-ai 发布 Ornith-1.5-122B，一个 122B MoE 模型，将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout，通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文（YaRN 缩放后约 1M），可单张 80GB GPU 部署，并提供量化 Mobile 变体。基准中 SWE-bench Verified（non-hack）84.5、TerminalBench 2.1 为 81.2，评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。
推荐理由：模型卡同时给出多基准成绩与防 reward hacking 的评测细节，读者可对照同参数量级模型比较编码与智能体表现。
研究者提出 Prism Attention，一种提案-精化的稀疏注意力框架，用粗到细策略替代跨层稀疏索引的静态复用，兼顾层间适配性与共享效率。该方法在推理与长上下文基准上达到主流稀疏注意力方法的 SOTA 性能，并在 128K 上下文长度下实现相对 FlashAttention 3.4× 的端到端解码加速。
研究者构建了一个围绕围棋术语 atari 及其与 sente 关系的受控评测集，考察模型在局部棋盘变化下的术语识别与不同战略条件下的走子评估。团队对围棋语言模型 LoGos 进行术语与解说监督的微调后测试，发现其难以识别 atari 关系变化并评估其战略含义，术语预测关联的走子偏好甚至与参考评估相矛盾。
一项 arXiv 研究通过合成财报 announcement 独立操纵 20 日动量、非信息性评论基调与 EPS 是否超出共识，考察大语言模型金融预测究竟依赖哪些输入。来自四个模型族的 6 个 instruction/chat checkpoint（基础参数 0.49-7.61B），每个在 Q8_0 直答协议下接受 2,016 条提示词。结果显示：6 个模型中有 5 个的有符号基调对比幅度超过 EPS，5 个模型动量超过 EPS，主 EPS 对比范围为 -0.19 至 86.80 个百分点，自然词数值诊断准确率为 51.0-95.8%；研究测的是输入依赖与数值识别，不确立内部推理机制或实际收益可预测性。
一项 arXiv 研究测试了 4B 和 8B 推理模型的隐状态探针能否区分三类推理失败并定位失败步骤。在 8B 的错误轨迹上，置信度探针漏检 81% 的单步不可恢复案例和 47% 的重试可成功案例；探针的失败类型排序取决于训练设计。两个规模下，没有任何探针定位失败步骤的准确率超过仅基于轨迹长度的规则。
研究提出 novelty patching，借鉴 LZ77 式压缩思路，让 Byte Latent Transformer（BLT）等字节级模型在即将出现不重复内容处开启新 patch，替代基于下一字节熵的分块规则。在 1.9 GB 数学语料上从头训练的 BLT 风格模型中，该方法在 12M 参数时将最终答案准确率从 47% 提升到 72%，50M 参数时计算结果准确率从 21% 升至 57%、最终答案从 60% 升至 90%；该规则只需在前两字节上拟合查找表，秒级完成且无需标签。在散文、代码等数学之外场景优势缩小。
一项 arXiv 研究提出“变体碎片化”问题，指出混合纳瓦特语（Nawatl）多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础，用 2,665 平行对和 192 句长者转写句子，将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa（nhn）变体，所得 LoRA-v9c-b 模型取得 58.46 dev chrF++；有限状态分析器将未分析表层形式从 82.0% 降至 19.9%，CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒，支持低成本 Cloud Run 部署。
EMO 是一个免训练的闭环测试时计算框架，借鉴 EM 思想交替进行 E 步上下文估计和 M 步分布引导。在 8 个模型、6 个基准的 greedy decoding 测试中，EMO 在 40 组设置中的 39 组超过 zero-shot 基线，平均提升 9.10 个百分点；与仅上下文优化的 TextGrad 相比，使用相同 judge 平均再提升 1.53 个百分点，在 MMLU-Pro 上跨模型保持一致增益。
研究者提出 CLUE，一个结合监督式证据推理与 GRPO（以 Grounded Information Utilization 为奖励）的两阶段训练管线，让模型自主发现对话中支持语用理解的关键线索。相比基础 Qwen，CLUE 在平均加权 F1 上域内相对提升 17.3%、域外提升 9.3%，且推理 token 平均减少超过 80%。人类评估显示其解释更多锚定于具体对话内容，引用证据与人类所选语境更一致。
arXiv 论文 2610.22249 通过中文纠偏构式"不是X，而是Y"诊断 LLM 写作腔调，提出基于 Gricean 语用学的决策树，将用法分为实质性、可选性和缺陷性三类。研究发现五个商业模型使用该构式的密度是人类参照的 2.5 至 9.2 倍；307 个标注用例中仅 1.30% 有缺陷，但 52.8% 属于正确却不需要的可选用法。多个奖励模型即使对质量匹配的变体也偏爱该构式，LLM 裁判在语境不允许时仍偏爱它，监督微调和偏好优化都会推高开源模型中的使用频率。
推荐理由：论文把"不是X而是Y"的滥用归因于模型不知何时该用，给出了从正确性转向语用恰当性的诊断框架，可迁移到其他模型腔分析。
研究者推出 Grid-Bench，一个可执行基准，用二维、三维和四维网格上的八类操作测试大语言模型预测离散空间状态变化的能力。对六款 LLM 的评测显示，随着事件历史变长，完整状态准确率急剧下降，单事件表现相近的模型差异明显，且 Exact-match 相似的模型在错误单元格数量上也存在显著差异。
arXiv 论文 OmniVerifier-C1 提出一种分解式分级视觉验证器，可将复杂提示或环境规则自动分解为细粒度组件并给出逐点评分，替代传统 True/False 二元判断。训练采用 Decoupled RL 策略，联合优化子问题级二元判断与全局对齐评分，实验显示其在文生图场景显著优于二元验证器，并在 Maze、Sudoku 等结构化世界建模任务上验证有效。论文还从理论上证明有真值图像时成对验证比逐点验证更准确。
SCOPED（Skill-Decoupled On-Policy Expert Distillation）是一种面向视觉语言模型的训练方法，先分别训练能力专属专家并通过奖励引导反思提取显式技能，再进行在线蒸馏，让统一模型在推理时无需显式技能也能内化程序性知识。在八个多模态 benchmark 上，SCOPED 持续优于骨干模型和混合能力 RL。分析还发现联合优化存在能力间干扰，技能增强有助于专家轨迹更一致、更关注任务相关视觉证据。
一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。
推荐理由：给出免训练合并多个专家模型的具体方法，层式最小二乘解只需几百条 rollout 的前向计算即可落地。
一项 arXiv 研究（arXiv:2610.22245）提出用模型间分歧信号指导弱模型到强模型的路由，无需正确性真值标注。该方法先刻画最优弱到强路由策略，再基于多个弱模型本地推理响应推导出近似方案，且强模型越接近真值分布近似越准确。在智能体与单轮任务上，该方法能平衡路由成本与响应准确率，即使有真值信号可训练，分歧路由也可优于直接预测正确性的方法。
X-RIC 是一个将智能体 AI 融入 O-RAN 架构的新框架，把响应式强化学习与策略性智能体推理结合，包含基于领域启发式的自动化 Behavioral Cloning、Telecom Language Model 推理模块，以及 Near-RT RIC 控制环内的闭环协同适应。配套的 BARX 评测框架从延迟、合规性和确定性等指标评估智能体控制。在 SLA 感知网络切片的仿真与 O-RAN 兼容测试床验证中，X-RIC 实现 89% 运营成本下降，收敛快 75%、训练步数减少 50%、方差降低 46%，且保持 SLA 合规。
一项研究用 Codex 智能体在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上对比两种几乎相同的提示词变体，仅改动一条“报告困难并交还控制权”的指令即可提升前两个环境的平均分。但即使搭配 GPT-5.6-sol，通用智能体仍低于 ARC-AGI-3 专用参考方案，把 reset 决策交给脚本控制器可挽回部分差距，额外教程经验反而可能降低 AGI Maze 表现。收益同时带来更高的 token 成本，作者发布了 EnvTraverse 框架与基线智能体。
EliteReplay 是一种将 GRPO 与质量多样性搜索构建的"精英"档案回放损失相结合的后训练方法，可在提升 LLM 可验证任务准确率的同时保留基础模型的解法多样性。在多个 text-to-SQL 任务上，其 pass@128 超过所有基线，比最强基线多产出最多 77% 的不同正确策略；在 AmbiQT 模糊问题上覆盖两种解释的频率接近最强基线的两倍。
一项 arXiv 研究区分了语言模型中的“活性事实”与“惰性事实”：前者能在微调后泛化到共享答案的保留主体，后者只能被召回却无法支持泛化。研究通过在既有关系上构造任意重标注的新关系来检验泛化，覆盖 11 个语言模型和 70 个关系，原始关系在预训练表示中的线性可读性与之强相关，模型内 Pearson r 为 0.87 至 0.92。结论是新关系能否泛化，更多取决于其共享结构能否被线性读出，而非事实本身能否被召回。