新闻、仓库与研究，按时间排列。
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象：不同 mixer 层竞争学习同一函数，胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数，导致 attention 多数情况下学不到检索；在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由：论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制，提出的分阶段训练方法在 1B 参数规模上验证有效。
Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端，自 2026 年 10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。
推荐理由：官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本，便于评估是否迁移到 Trainium。
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本，仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快（代码 69.4 tok/s、散文 58.2 tok/s，比 Huihui 快约 5–7%），德语困惑度略低，通过 88.6K 上下文与全部 6 项工具调用测试，但多占 1.1 GB 显存导致 n-max 3 无法启动；MTP 草稿深度 n-max 2 是综合最优设置，MTP 对 prefill 无帮助反而约损失 5%。
论文提出把有界 Agent 工作流中的决策当作优化问题，先离散化状态、求解马尔可夫决策过程再复用解，称为 Bellman language model（BLM）。在 τ²-bench telecom 上，无模型控制器解决 79% 任务；Qwen3.8-27B 作为 BLM 从 29% 升至 96%，模型调用减少 93%；Claude Opus 5.5 作为 BLM 时每任务调用与成本约降 98%，并多解决 2 个任务；在 InventoryBench 上无模型求解策略胜过所有已发表方法。但内容生成为主的场景（如解决 SymPy 问题）收益很小。
推荐理由：论文把有界工作流中的重复决策先求解再复用，给出多个基准上降低调用成本与提升成功率的具体数据，方法可迁移。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
研究者提出可编程搜索框架 Retrieval Program Learning（RPL），让策略通过强化学习把搜索原语组合成带局部状态与控制流的程序。针对稀疏反馈下的探索难题，其 program mutation 方法将次优程序的局部变体转为训练轨迹蒸馏回策略。在开放域问答与语料级推理任务上，RPL 训练的 4B 模型超越所有 8B 基线，多跳任务提升显著，同时降低上下文消耗与检索轮次。
扩散语言模型（dLLMs）的采样器在决定何时提交 token 时会引入模型之外的偏见。研究在 LLaDA 和 Dream 上发现，常见的 peeking 提交规则会放大职业性别刻板印象、坍缩观点分布，且并行解码越快偏移越明显。论文提出 Fork-First Sampling，在生成任何内容前先决定分歧点，可跟随目标分布、提升流畅性，代价仅为一次前向传播。
研究者分析了随机组合树（random composition trees）这一递归切分文本的随机模型的信息论性质，证明其熵随根节点规模线性增长，并给出熵率与分支因子的解析表达式，同时证明大树具有典型性。该模型与语言作为平稳遍历随机过程建模时共享线性熵增长与典型性两个关键性质。
论文提出 ECHO（Efficient Causal Self-Recursion），用主干模型自身最后一层预测所有未来 horizon，并以 Dynamic Depth Sampling（DDS）按深度衰减概率采样训练深度，省去辅助 MTP 模块的额外开销。预训练中增加的深度转化为下游准确率，集中在推理与代码任务上，训练开销仅为训练每个深度的一半；推理时模型自任 drafter，可在超出训练深度的范围起草，并在开放式高熵生成中保持 draft-target 对齐。该优势在翻倍 token 预算、重复预训练和 SFT 后仍然保持。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
SinapisAI 团队提出实现集体模型智能的系统方案，包含 Model Eval、Mio（Models in One）和 Mos（Model Serving OS）三个组件，分别解决能力刻画、模型选择协作与高效执行。在九个公开 benchmark 上，Mio 1.0 Lite 取得最高平均分和最低平均成本，单请求成本比最佳替代方案低 73.7-97.5%；预热共享缓存将模型文件检索加速最高 23.3 倍。
PV-Decoding 是一种面向扩散语言模型的置信度驱动投机解码框架，用两个置信度阈值把被遮蔽位置划分为直接解码、投机与未决 token，并采用渐进式验证策略。在三个扩散语言模型的 GSM8K、MBPP 和 HumanEval 实验中，其将顺序模型前向传播（MFP）较置信度解码降低 8%–37%，最大精度损失仅 1.3%；在 Dream-7B-Instruct/GSM8K 上，1-batch 与 2-batch 版本在同硬件下吞吐提升 7.0%–13.6%。
研究者提出 DiffuPlan，一种维护单一可编辑规划状态的扩散搜索智能体，当后续证据确定实体或改变搜索路线时仅重建受影响步骤，并引入 Expansion-Partition Marginalization（EPM）支持变长修订，还将扩散轨迹 RL 适配到多轮搜索。在四个多跳 QA 基准上，DiffuPlan 取得 50.24 平均 F1，超过强 AR 搜索智能体；同等数据与训练下，可编辑规划状态为扩散智能体带来 2.44 F1 提升，而其 AR 源模型仅提升 0.47。
语言模型有时会逐字重复直到生成上限，一项研究分析循环的逃逸条件：给定某片段已重复 n 次，逃逸何时仍可能。研究发现有界惩罚可导致位置锁死，并预测广泛部署的 DRY 采样器存在盲点——在 11 个开源模型上，66% 的 g=6 锁死单元在 DRY 下保持锁死，自由生成中存活于 DRY 的 109 个循环全部满足 g≤7。作者提出 DRY-C，720 次结构化输出生成均未循环到长度上限，任务完成率与 DRY 接近。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。
推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。
研究者提出 RareCipherFT，将训练目标与含相同稀有术语的上下文示例配对，并用字符乱序密码替换该术语，迫使模型只能从上下文中复制学习，从而强化大语言模型的 in-context term learning（ICTL）能力。在英语与泰米尔语等五种语言间的七个翻译方向、4 个 1B 至 7B 参数模型上，RareCipherFT 将术语召回率较标准 IC-Train 提升 5-15 个绝对百分点，且不降低 COMET 分数，也无需词汇资源。
一项发表于 SPECOM 2026 的研究在单说话人病理语音场景下，对 Whisper 中的 LoRA 适配做了组件级分析。结果显示：全注意力层的 LoRA 提供最可靠的准确率和最佳时间-准确率权衡；模型扩容虽能降低错误，但无法消除说话人失配；中等长度语音受益最大，短和长语音仍是难点。研究强调适配器位置与依赖时长的评估在数据稀缺个性化场景中的重要性。
DeepSeek 发布 DeepSeek-V4.1-Flash-1017，是 DeepSeek-V4.1-Flash 的小版本更新，在推理、编码、Agent 任务和视觉基准上大幅提升，同时缩短任务执行时间和输出长度，推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3（上一版 31.2），Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板，改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包，支持 1M tokens 上下文窗口、max_tokens ≥ 256K，推荐 temperature 1.0、top_p 1.0，采用 MIT 许可证。
推荐理由：技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据，并附推荐采样参数与推理工具链，方便本地复现。
一篇 NeurIPS 2026 论文提出 RLAWM（基于公理化世界建模的强化学习），通过惩罚模型内部公理化世界模型与题目真实物理世界的偏离（建模漂移），在建模和求解两个层级分别给予物理奖励，且仅在训练时使用、推理无额外开销。该方法在 PhysReason 上较基线最高提升 12.2 分、在 PHYSICS 上提升 5.2 分，并在奥赛级物理和数学上零样本泛化，较最强基线取得 2.45 倍增益和 10 分提升。
研究者提出 ProbePO，一种无 Critic 的 LLM 强化学习方法，通过无奖励不确定性分数选择部分解答状态、在有限续写预算下估计期望验证器奖励，将 GRPO 的轨迹级优势重分配到 token 层面。在 1.5B-7B 参数的三个 DeepSeekMath 与 Qwen 系列模型上，ProbePO 在 18 组模型-基准对比中的 16 组取得四种方法中最高准确率；对比 VinePPO，在 DeepSeekMath-7B 上六个基准全部领先且端到端训练时间减少 76%。
MiniMax 发布 MiniMax-M3.1-Flash，一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型，总参数约 428B、每 token 激活 23B，支持文本、图像、视频输入，上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练，以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。
推荐理由：官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比，并说明评测设置，读者可据此自行评估实际水平。
一项对照研究在 Qwen2.5-3B 上以 6B token 持续训练预算比较上下文扩展的长文档选择方法，发现随机采样长文档优于 repacking，而按 LongPPL 关键 token 密度选文档效果更好。其提出的 truncLongPPL 通过截断前缀计算密度，获得 2.28× 端到端评分加速，在验证 HELMET 上超过 random-long 4.54 分、held-out RULER 上 3.28 分。在 Qwen2.5-3B、Qwen3-8B、OLMo 3-7B 的短长混合训练及 SFT 后，该方法的 LongBench v2 提升 1.13–1.67 分、MRCR 提升 0.62–1.44 分。
NVIDIA 在 Hugging Face 发布 4B 参数的循环（latent-recurrent）模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，采用 normalized-GPT 架构，通过重复应用共享 Recurrent 块（8 层输入、20 层循环、8 层输出）让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环，无需重训即可权衡算力与精度，官方推荐默认 2 循环，并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。
推荐理由：同一个 checkpoint 可调循环次数换精度，作者还给出各 loop 数的实测对比与 KV cache 省显存方案，适合关注小模型推理成本的人。
arXiv 论文提出 ReDiST，一种面向证据丰富推理的学生条件化轨迹构建与知识蒸馏框架。该框架从学生自身尝试出发，结合证据修订正确草稿、借助验证答案修复失败草稿，并由冻结的学生匹配 reader 依据答案恢复率和验证答案概率筛选候选轨迹。在问答 benchmark 上，ReDiST 超越仅答案监督、原始轨迹及所评估的轨迹选择与改写基线，且源任务与跨基准迁移表现排名可能不一致。
一项 arXiv 研究指出，有损投机解码的松弛验证虽然每轮平均多接受 1.34× 的 token，但会通过延长推理轨迹使补全长度膨胀 1.54×，抵消表面加速。对十二组 target-drafter 组合的评测显示，部分规则降低验证轮数时准确率显著下降，原因之一是持续推理耗尽输出预算。因此评估解码效率还须同时报告补全长度与验证轮数。
研究者提出 Paired-Residual Subspace Removal（PRSR），一种免训练的推理时干预方法，从多语言平行句构建成对残差、逐层估计低秩子空间并加以抑制，将 LLM 表示导向更语言无关的语义空间。该方法在 MTEB 和 MMTEB 上覆盖 18 种语言的 200 多项单语评测，以及英语与 200 多种语言间的跨语 bitext 挖掘中，均一致优于现有免训练基线。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
研究团队推出 DrugHarness，一个面向计算药物发现的可进化智能体框架，集成超 80 种科学操作，并可通过条件化技能进化持续改进。在 MolBench 上，无进化状态下其亲和力比较准确率超过 MolClaw-CC 报告结果 10.8 个百分点；技能进化使 Qwen 的亲和力比较准确率从 62.2% 升至 81.1%。在 HPK1 前瞻性研究中，合成化合物的细胞 IC50 达 14.19 nM，较最佳输入参考提升 2.64 倍效力。
arXiv 论文提出 DLite，一种面向智能体工作负载的免历史投机解码框架，直接复用目标模型的上下文隐藏状态做局部预测，无需维护历史 KV cache。针对智能体长上下文中 draft 模型接受长度最高衰减 80% 的问题，DLite 用轻量级 sequential head 恢复块内因果依赖，并配合两阶段训练策略，实验中达到 2-6 的接受长度，最高比 SOTA 方法 DSpark 快 70%。
研究者用经人工标注验证的 LLM 抽取流程，把意大利议会非结构化文本转为带日期的有序事件（法案提出、委员会审议、全会审议、批准等），构建了覆盖 1985 至 2026 年、第 IX 至 XIX 届议会全部 5346 部法律、共 101413 个事件的数据集。该数据集可用于计算法律与立法研究及过程导向的数据科学方法。
一项 arXiv 研究发现，LLM 在医学证据核验中能正确识别同一临床试验的多篇发表，却在汇总证据时过度采信同试验报告。基于 14 个经来源审计的临床试验族和五种模型条件测试，GPT-5.5 在每个溯源任务族中 10/10 次识别调用正确，但 5/5 次汇总调用均过度采信；Qwen3-4B 与 Ministral-3-8B 的选定条件呈现同样反差。加入研究分组指令后，GPT-5.5 的过度采信从 4/5 降至 0/5。
GEMS（Guided Editing of Molecular Structures）通过学习的 2-switch 键编辑，从分子式与串联质谱出发迭代修正候选分子结构，保持分子式和原子价态不变。在 NPLIB1 上 Hit@1/Hit@10 达 29.64%/50.81%，MassSpecGym 上达 30.22%/41.33%，超过可比设置的已发表基线；NPLIB1 端到端约 3.3 分钟，对比 FRIGID 的 26.2 小时。实验还指出指纹预测误差是目标恢复的瓶颈，更深搜索无需重训练即可找回更多目标。
研究提出稀疏协作解码，由草稿模型生成大部分 token，仅短暂调用目标模型进行纠正，核心是何时调用目标模型。实验显示局部不确定性指标预测失败近乎随机（AUC 0.50-0.53），而基于草稿置信路径的轨迹形状特征配合轻量逻辑回归可达 AUC 0.86。在线使用时，该方法在五个 GSM8K 草稿-目标对上比最佳开环调度提升 +5.3 至 +20.0 个准确率点，在 StrategyQA 上提升 5.0-8.3 个点。
ConvexLLM 是一个通用语音与音频语言模型，其 C-Gate 接口将音频表示为冻结文本嵌入的连续凸组合。该模型在 VoiceBench 十一项任务上取得 75.36 的聚合分数，是对比的开源权重模型中最高，MMAU Test-mini 准确率为 62.50%。与 2B 参数解码器的对比显示，C-Gate 在语音任务聚合表现上优于 MLP 和 Q-Former 接口，文本任务表现接近 MLP，语音知识与推理任务优势最大。
一篇 arXiv 论文提出 Contrastive Factual Evidence（CFE）及其概率对应 Contrastive Factual Posterior（CFP），通过比较同一事实性陈述在事实与非事实条件下的似然度来评估 LLM 事实置信度。CFP 在保持与最强竞争者相当的事实判别能力的同时显著改善校准；但低资源语言中判别能力普遍偏弱。作者进一步沿事实证据方向将目标语言陈述与更强的英文证据对齐，无需目标语言标签即可提升判别和开放式事实生成。
HydraLLM 是一种基于 MQA 的弹性架构，通过激活注意力头数量动态调整嵌入、注意力投影、FFN 与输出头的有效宽度，并在单一参数集内形成嵌套子网络家族，配有静态转弹性转换流程（重要性驱动脉冲重排、随机子网络训练与知识蒸馏）。75% heads 激活时 TriviaQA 准确率比参数多 17.25% 的 SOTA 嵌套基线高 2.2 个百分点；50% 激活时多模态模型 CLIPScore 与大 7 倍的 Gemma 3 4B 相当；25% 激活时 token 生成吞吐量较全宽配置提升 75.3%。
Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源，为 501B 参数 MoE（每 token 激活 23B），支持 1M token 上下文，采用 Apache 2.0 许可，主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点，transformers、vLLM、SGLang 均已 day-0 支持，并附 LoRA SFT 与 Miles GRPO 训练配方；Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。
推荐理由：官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方，便于评估上手成本。
Reflection 首个开放权重模型 Beam 于10月16日发布，Ollama 作为 day-zero 合作伙伴限时免费提供，Beam 端点全程零数据保留（ZDR）。Beam 是 MoE 模型，总参数约501B、每 token 激活23B，上下文窗口100万 token，采用 Apache 2.0 许可，面向软件工程、推理和长程 Agent 任务，可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。
推荐理由：官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表，读者可直接比较 Beam 在各编码基准上的位置。
ScoutRoute 是一种轻量级事后路由框架，通过对低成本 scout 模型的单次前向传播提取内部语言模型信号，用 logistic 探针结合 logit 置信度估计异构专家模型的能力，无需修改底层模型。该方法在 5 个开源语言模型和 4 个覆盖数学推理、代码生成、常识推理与多学科知识的基准数据集上评测，一致优于单一路由信号，且能力探针的校准优于传统置信度度量。
研究者提出自监督学习方法 OliO，通过线性常微分方程（ODE）导出的转移算子，将双向时间流建模为连续且结构一致的动力学系统，以对齐任意时间跨度上的潜在表征。对转移矩阵施加严格上三角约束，确保数值稳定并防止无约束 ODE 模型的指数发散。实验显示 OliO 在多种骨干架构与基准上取得显著提升，MSE 较最强 SOTA 基线最多降低 5.75%，代码已开源。