新闻、仓库与研究，按时间排列。
arXiv 论文 2610.27583 提出 TeCoP，一种无需训练的解码器，通过错开的块级流水线与 draft-and-verify，将稳定但未提交的预测作为临时跨块上下文，解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP，TeCoP 将前向评估次数最多减少 87%，无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍，在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB，同时有 cache 的平均精度与原解码器差距在一个百分点以内。
推荐理由：论文提出训练-free 的扩散语言模型解码方案，给了跨 12 个模型基准设置的吞吐与精度对比数据，方法可复现。
一项 arXiv 研究提出将验证损失分解为近似、估计与记忆三项的方法，分析随机 token 替换这一输入破坏式增强的收益与代价。在熵率已知的受控数据源上，替换将预测向语料均值收缩；在其有效的场景中可减少最小验证损失后损失上升约 60%。在十个真实语料实验中，替换降低了九个语料的最终损失，仅对最冗余的普查类程序生成 JSON 语料有害。
WORTH Benchmark 让模型阅读无线索标注的原版推理小说，自主筛选关键线索句、识别案件参与者并解释推理过程，故事由专业作者设计，使有助于推理的证据与延迟真相揭示的叙事并存。试点实验对模型进行两集共 70 次正式运行，其中 67 次可评分；Episode 02 的 37 次可评分运行中有 31 次选择了同一组错误参与者，怀疑导向与开脱导向句分别被选中 25 次和 0 次。该研究仅覆盖两集的全文条件，不建立稳定模型排名，也未报告人机对比。
SDDC（Self-Decomposing Diffusion for Code）提出先由扩散语言模型生成程序分解契约、再据此并行实现各单元的代码生成框架。在五个 benchmark 和两个 7B 扩散骨干上，SDDC 的 pass@1 最高提升 31.1 个百分点，解码比基座模型快 7.5–13.7 倍，并比微调基线最高高出 23.5 分且延迟更低。
论文提出 Progress-Aligned Recurrence（PAR），通过让第 k 次迭代的预测对齐前 k 步操作后的状态、并将循环状态重缩放至首轮范数，提升循环语言模型的长度泛化能力。基于 Qwen2.5-0.5B、仅在最多 32 步上训练的模型，在 swap-S₅ 任务外推到 512 步时达到 95.5% 平均全状态准确率，为训练长度的 16 倍，显著高于 RLT 的 55.7% 和显式思维链的 0.8%。消融实验显示去掉范数锚定会使外推倍数降至 2.2 倍以下，无中间标签时可借助前缀自蒸馏从最终答案学习对应关系。
论文提出 Bayes-Consistent Tempering（BCT），解决后验诱导流语言模型中温度缩放作为事后处理导致的两处不匹配：中间含噪状态分布改变而去噪器未相应训练，以及温度调节后的后验权重与未调节动力学的组合。BCT 将温度显式纳入生成流的分布与动力学，并提供无需训练的变体。在超球面流 LM、von Mises–Fisher 流 LM 及 Sudoku 任务上，BCT 在宽温度范围内提升 GSM8K 生成表现，极低温度下学习版比免训练变体更稳健，代码与模型权重已公开。
研究者提出一个下钻式评测框架，将 Text-to-SQL 查询分解为逐步更复杂的可执行子查询，沿生成路径考察基于规则的幻觉类别，区分“复现性幻觉”与“涌现性幻觉”。在 BIRD-mini 扩展基准上对五个 LLM 的评测显示，多个类别有可观的复现概率，clause abuse 的条件涌现相对更高；加入对话历史后复现概率普遍升高、涌现概率普遍降低。代码与评测工件已在项目仓库开源。
一项机制可解释性研究利用电路发现方法，在五个 LLM 中比较语言任务与算术任务的神经回路重叠及因果效应。结果显示回路相似性主要由任务领域（语言 vs. 算术）解释，而非输入输出词表或句法相似性，表明 LLM 可能以 largely separate 的回路分别处理语言与算术信息，呈现按能力划分的模块化组织。该论文已被 AACL-IJCNLP 2026 主会接收。
arXiv 论文提出 ProVe（Proposer-Verifier decoding），将投机解码的角色反转：把 32B 大模型微调为一次前向传播预测一个 token 块的 proposer，再用额外一次前向传播验证。块大小为 16 时，GSM8K 上平均有 6.6 个 token 的前缀与 AR 一致；ProVe-lossless 在六个基准上平均达到 2.5x AR 吞吐，无需训练单独的 draft head。使用 3B 小模型验证时吞吐达 2.7x，准确率较 AR 低 2.6 个百分点，提供速度与精度的可控权衡。
阿姆斯特丹大学 UvA-MT 团队提交 WMT26 通用机器翻译共享任务无约束赛道，覆盖全部 23 个翻译方向。方案采用带精炼提示词的顺序采样生成候选译文，并让 LLM 以循环投票的成对评审方式选出最佳候选，WMT25 基准离线评测显示其明显优于 point-wise best-of-N 选择。
一项研究通过 SilCC 与 PixCC 两个数据集，从原创性和有效性两个维度对比人类与多模态大语言模型（MLLM）对抽象视觉刺激的联想创造力。结果显示，人类的联想描述在语义距离、熵值和相对参考词库的新颖性上均高于 MLLM。随着难度提升，SilCC 中有效性下降，PixCC 中人类逐渐从整体联想转向描述低层视觉特征。
一项 arXiv cs.CL 研究在 12 个模型上检验心理语言学因素如何影响大语言模型对泛型陈述的判断。结果显示模型像人一样权衡属性的常见性与区分度、偏好典型属性，但忽略显著性高的属性；对模型影响最大的是陈述是否事实为真，人类因素的影响大多经由该判断传导。在 6 个 7-9B 模型中，沿各因素方向移动隐藏状态可按预测改变判断。
研究者对比 LLM 解题前（FOK）与解题后（JOL）置信度信号的可靠性，涵盖两个前沿模型、多个推理领域及英语与马拉地语基准。解题前的低成本信号校准较弱，解题后置信度认知对齐更强但推理成本更高；英语与马拉地语间校准趋势可经翻译迁移，但在本地化马拉地语知识上明显退化，幻觉回答在生成后仍保持高置信度。
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
一项基于 δ-SNLI 数据集的研究测试了 LLM 收到单条新信息时概率估计的移动幅度，涵盖 Qwen3-8B、OLMo-2-7B 两种本地模型及五种 agent 命令行配置。在直接陈述引导下，全部七种配置均朝标注方向移动 18-28 个百分点；改用“有人说”转述则降低移动幅度 2-5 个百分点。研究还发现，五次加权估计虽减少极端值，但在两个本地模型中使敏感度分别下降 43% 和 68%。
研究者提出 CrystalAR，一个统一的自回归框架，在单一生成序列中同时建模 Wyckoff 对称性模板与完整晶体结构，把连续坐标生成重构为对称性条件下离散空间定位决策的层级化过程。该方法支持对晶体模板和几何实现的约束感知搜索，在保持对称模板生成能力的同时，取得了有竞争力的 de novo 生成性能与无模板晶体结构预测（CSP）精度。
该 arXiv 论文提出在客户端本地将文本转为向量，并经 55.6M 参数的训练网络变换后，再交给托管方运行冻结的 Qwen3.8-27B 模型，托管方始终收不到文本或 token id。在 1,490 道训练外的 MMLU 问题上，该变换仅损失 1.5 个百分点准确率（80.7% vs. 82.3%），同时 30.1% 的内容 token 经最近邻查找已无法还原为原始 token。
arXiv 论文提出 COMPASS，一种智能体式 LLM 路由方法，由 LLM 依据路由配方通过工具收集性能与成本证据，无需路由专用训练即可选择模型。在 LLMRouterBench 上以 $139.57 达到 69.85% 准确率（对比 RLCascadeRouter 的 69.14%、$180.22）；在 DeepSWE 五折交叉验证下以 $215 达到 78.1%，优于最佳单模型的 74.1%、$500。该方法可通过读取新评测记录适配扩展的模型池，无需更改路由器权重或提示词。
SAPD（Step-Advantage Policy Distillation）是一种从离线轨迹学习训练 LLM 智能体的方法，它将多轮轨迹拆解为单个决策上下文做 on-policy 蒸馏，并引入相对步骤优势信号稳定训练，全程无需新的环境观测或多轮交互。在 ALFWorld、WebShop 和 Search-based QA 上的实验显示，SAPD 在不同教师配置下均提升性能，比 SFT 缓解灾难性遗忘，每个训练步速度比在线 OPD 快至少 4.7×。代码即将开源。
一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现，在五个文本输入基准上评估后发现各阶段相互影响呈非加性：纯数学蒸馏会覆盖先前获得的金融知识，领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识，却损失数值推理增益，因此最佳 checkpoint 取决于任务本身。
一项以带容量约束的 CVRP 为代理的研究，分析了基于注意力的 Pointer Networks 在问题规模变化时解质量退化的三个因素：节点密度变化、注意力分散和均值池化图上下文稀释。熵基注意力缩放将 CVRP20-to-CVRP100 的性能差距缩小 1.41 个百分点，新提出的置换不变图上下文聚合方法在 CVRP100-to-CVRP20 上提升约 0.9 个百分点。结合两者的方法选择器在全部 9 个已见训练-测试对和 9 对中 8 个未见规模对上降低成本，最高提升 3.2%。
Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上，用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持，batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×；transformers 测试套件在 TPU 上 96.5% 通过，已报告 34 个问题并修复 19 个。
推荐理由：官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法，还附带 kernel 加速倍数和 CI 通过率等实测数据。
hotocooo 发布针对 DavidAU/Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF（IQ3_S）微调的 DFlash2 草稿模型，基于 incoai/Qwen3.8-Flash-Next-DFlash2 训练 3000 步，每 7-token 块接受草稿数从 3.568 提升至 3.796。该草稿模型非独立语言模型，输出与目标模型 greedy 结果完全一致。
Hugging Face 发布 AnyLanguageModel 1.0，它是 Apple Foundation Models 框架的 drop-in 替代，可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成，托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点；同日发布 swift-huggingface 1.0 与 swift-xet 1.0，并可运行于 Linux。
推荐理由：官方回顾了一年迭代脉络，并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法，对 Swift 开发者有直接参考价值。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进：新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 提速 5 到 6.5 倍，M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核（几何平均 1.23 倍），词表 softmax 约 8 倍加速；Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB，并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由：Hugging Face PyTorch 团队亲述 MPS 后端改进细节，给出各模型的实测吞吐数字，Mac 上跑模型的读者可以对照评估升级收益。
arXiv 论文提出“推理感知多校准”框架，在按提示词话题分组的基础上，加入基于链式推理（CoT）可观测属性派生的分组，用于改进大语言模型响应可靠性的预测。在幻觉预测和不安全响应检测任务上，加入 CoT 分组均降低了 Brier score；且仅用 CoT 分组（不含话题信息）也能提升跨话题校准，表明预测误差取决于模型的推理方式而非提问内容。
研究者提出 Tandem，一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时，通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上，Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%，文本每步能耗降低 33%，模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。
SOMA（System One Metacognitive Awareness）提出用 Jev 这类 S1 决策模型持续监控 S2 推理模型并在需要时干预，含场景、感知、控制三层，无需训练即可跨任务共享同一 S1 模型。在两个推理模型上，SOMA 将过度思考场景的推理 token 削减最多 36% 且平均准确率提升，并把不可回答问题的弃答率从 70.5% 提高到 87.2%。
论文提出视觉可归因的同策略自蒸馏强化学习范式，解决特权教师 token 级纠错中“特权纠错污染”问题。其核心组件 Visual-Attribution Gating（VAG）以 verifier 优势为优化锚点，仅保留能被视觉证据对比方向性支持的纠错。在六项视觉推理 benchmark 上，VAG 平均性能超越 GRPO 和 OPSD 方法，创下新的 SOTA 平均成绩。
ReAnchor 是一种免训练方法，复用投机解码中 target 验证时被丢弃的隐状态，让预训练 drafter 在偏移位置重新锚定并生成并行草稿块，从而扩展草稿覆盖范围。在 T=0 下，该方法在 Gemma 4-12B 上平均提升接受长度 19.4%、解码速度 17.9%；在四个目标模型、八个基准上平均提升接受长度 15.2%、解码速度 13.4%（使用预训练 DFlash drafter）。
一项 arXiv 研究提出反事实评估框架，将 LLM 生成的修复动作拆分为目标记录与数值更新两部分逐组合执行。在 114 个交通修复动作中，76 个的联合修正收益超过单独修正收益之和；数据库修复中，仅替换为参考更新使 108 个动作中的 17 个恶化，这些动作均选择了未受影响的记录。在留存观测上，候选方案重组后的目标-更新配对选择可恢复参考动作损失降幅的 61.6%，高于仅在方案间选择的 58.0%。
arXiv 论文提出 Cost-Coupled Gittins（CC-Gittins），一种多目标扩展的 Pareto 推荐方法，利用评估与部署成本耦合为 LLM 智能体工作流中的角色寻找质量与成本兼顾的模型分配。在 2 到 5 个角色、最多 1,681 个候选分配的八个质量-成本矩阵上，CC-Gittins 以约 10% 的穷举评估成本恢复相当比例的真实 Pareto 前沿，到 30% 成本时基本恢复前沿且误报很少，还可将延迟作为第三个目标。初版已被 NeurIPS 2026 资源感知智能体 AI（RAAAI）研讨会接收。
一项 arXiv 研究揭示基于规则评分的强化学习中存在 Intra-Rubric Reward Divergence 现象：总评分上升时部分子维度分数系统性下降，模型为优化聚合目标牺牲特定质量维度。研究提出 FRDA（维度内分别竞争缓解维度失衡）和 RSDC（挖掘整体偏好信号中隐含的评估维度补全规则覆盖）。在 chat、science、medical 领域实验中，FRDA 更稳定地缓解 rubric hacking，RSDC 优于单奖励训练与朴素多奖励聚合。
一篇 arXiv 论文提出 Parallel Language Models（PLM），通过潜在辅助变量路由依赖关系，在单次前向传播中生成相互一致的 token，训练目标为自回归损失加并行解码损失的变分边界。预训练 PLM 在 80M 至 3B 参数规模上达到接近自回归的预训练损失，加速比随模型规模呈幂律增长。后训练后的 1.3B 模型在数学、代码和指令遵循基准上匹敌或超越同等训练的自回归模型，推理加速 2.3-5.7 倍。
一篇 arXiv 论文证明，采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer，借助 RoPE 风格的 VO-rotation 结合中国剩余定理，可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果：NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化，与前沿 LLM 的终止错误相似。合成实验中，训练后的 VO 模型在长度约 5005（所选素数周期之积）内保持近乎完美的外推精度。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
RESIN（Reasoning with Entity Structured Indexing）提出一种多链推理方法，将问题分解为单跳需求，检索源文本证据并放入紧凑推理缓冲区，保留多个候选依据直至最终组合。在 HolisQA 基准全量测试中，RESIN 取得 82.92 context recall 和 76.70 answer relevancy，五个领域的 CR 与 AR 均高于已发表基线。消融实验表明类型化证据多样性和逐跳分解都不可或缺。
论文在 Gaussian 替代模型下精确计算候选评分决策模型（如 Jev 与开源的 JevAny）的有限样本风险，分析教师软目标、冻结预训练骨干和温度校准三种训练要素。学生模型会继承教师偏差，更多数据无法消除；固定表示只在明确样本量阈值以下降低风险；温度校准仅在教师系数方向正确时消除全部超额风险。在 CFPB 的 231,521 条信用卡投诉数据上，用结果训练的学生比教师决策成本低 8%，30B 模型 zero-shot 经重校准后仍逊于教师，且偏离 Luce 公理性条件 17.5 decibans。
研究者提出 ASTOR，一种推理时框架，先将自然语言决策问题映射为文法引导的抽象语法树（AST），再确定性地编译为可执行的优化代码，用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR，ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率，且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。
研究者提出 SpecMRL，通过按特征重要性组织的参数谱基扩展 Matryoshka 表示学习（MRL），使前缀读取在学习的谱空间中进行。在 MTEB 上，SpecMRL 在所有评估的降维尺寸上都优于 MRL，压缩越激进收益越大。仅用一半嵌入维度即可超过全维度的 MRL。