按兴趣浏览，循来源深入。
PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention（VHA）论文，通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量，推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线（+0.05% 至 +0.81%），KV cache 相比 GQA-8 减少 4 倍；在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%，长上下文 RULER 平均分 84.4 对 GQA 的 73.0。
推荐理由：论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据，KV cache 压缩和 FLOPs 降幅都有具体数字可查。
研究者提出 Full-Duplex Long-Horizon Benchmark（FD-LHB），测试五个全双工语音模型的长对话能力，发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction（丢弃首个 KV 条目），重复则受模型自身近期输出强化；提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复，在最长一小时的重放对话中实时运行并显著减少对话崩溃。
推荐理由：论文诊断出全双工语音模型长对话崩溃的两个机制，并给出无需重训练的两项修复方法，具可迁移性。
论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS，使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6（约 1 万亿参数），自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出，在 2026 年日本医师执照考试模拟中得 480/500 分；在 180 道基于医院文档的问题上，交互式工具访问准确率 97.2%，高于固定检索的 81.3%（差距 15.9 个百分点，95% CI 10.9-21.3）。
推荐理由：在医院封闭网络内部署开源大模型智能体的完整实测，对比了三种检索方式的准确率，方法可迁移到其他内网场景。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
arXiv 论文 2610.30882 通过频率、位置、形式与用法等无标注指标及错误注入实验，追溯推理模型中 {wait} 标记的来源，发现 zero-RL 几乎不会创造该词，在缺乏该词的 base 上 RL 大幅提升 MATH-500 准确率而 {wait} 几乎不出现。该标记主要由训练数据引入，如 OLMo-3 的 mid-training 和基于推理轨迹的微调；base 已有该标记时，OLMo-3 与 MiMo 的 RL-Zero 配方会放大其使用，而无 KL 的 GRPO 不会。论文还指出标记频率本身不能指示 RL 引发的推理，并警示 LLM-as-a-judge 修订指标可能逆转人工标注趋势。
推荐理由：论文用无标注指标和错误注入实验区分了 RL 与训练数据对 wait 标记的来源，方法可迁移到其他推理行为的溯源分析。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
arXiv 论文（arXiv:2610.29352）通过五个模型规模、百余种 token 预算配置，建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律，可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议，稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹；128K 上下文扩展和监督微调后增益仍保持，在评测范围内未见饱和，支持继续扩展 LCCP 而非提前停止。
推荐理由：论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律，并用 1.22B 模型轨迹验证了可预测性与增益持续性。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移，即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移，相对排序损失几乎察觉不到其累积；该偏移投影到输出层形成词表井，使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下，同样的坍缩出现在 17 个 base 模型谱系中的 14 个，且注入该偏移可复现坍缩、屏蔽该成分可预防；教科书式 DPO 偏移较弱，而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好，两个公开奖励模型反而越少偏好其样本，揭示了标准排序指标的盲区。
推荐理由：论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来，并给出可在坍缩前预警的表征层信号。
Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。
推荐理由：作者给出完整的量化拆分方案和 KL、接受率等实测数据，还附上可复现的 POC 配方与失败经验，方便他人在此基础上继续实验。
Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果：按每个 token 的成本而非频率重建词表，在不改基座模型、数据和训练配方的前提下，将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token，bench 分数从 0.703 升到 0.810，LM head 从约 152,000 行缩到约 65,000 行；在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中，压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。
推荐理由：作者用同一基座、同一训练配方做对照实验，把成本按读写分别计价，方法思路可迁移到其他单一领域的专用模型。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
Sahil Joshi 等在 arXiv 发布论文，提出 Stratified Sparse Attention（SSA），将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上，SSA 均优于基线；RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下，32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%，分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后，1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍，代码已开源。
推荐理由：论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据，方法可复用，代码已开源。
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由：论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
Lafa 是一个扩到 8B 参数的连续流语言模型，采用块内双向流加因果前缀的块状结构，可通过适配预训练自回归模型来训练，并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型，其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐，优于多 token 预测和离散扩散方法，代码已开源。
推荐理由：论文给出把连续流语言模型扩到 8B 的具体训练与推理方法，并附吞吐对比数据，适合关注非自回归架构的读者。
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由：论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
arXiv 论文提出扩散语言模型（DLM）中的事实访问状态概念，发现其与自回归模型不同，事实查找在第一层注意力与早期前馈层就完成。基于该状态，论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器，且各实体位置的状态可免训练地作为关系特定检索向量，在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。
推荐理由：论文指出扩散语言模型的事实访问状态在首层注意力就组装完成，并据此给出知识编辑与免训练检索两种用法，可作理解 DLM 与 AR 机制差异的对照。
arXiv 论文 2610.27583 提出 TeCoP，一种无需训练的解码器，通过错开的块级流水线与 draft-and-verify，将稳定但未提交的预测作为临时跨块上下文，解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP，TeCoP 将前向评估次数最多减少 87%，无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍，在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB，同时有 cache 的平均精度与原解码器差距在一个百分点以内。
推荐理由：论文提出训练-free 的扩散语言模型解码方案，给了跨 12 个模型基准设置的吞吐与精度对比数据，方法可复现。
FlashMask-3 论文发布，提出掩码感知的 Hopper 内核与分布式注意力扩展，基于 FlashAttention-3 的 TMA/WGMMA 流水线实现三角色 warp specialization，并支持零通信掩码定位、稀疏感知负载均衡与计算通信重叠。单张 H100 在 12 种掩码、4K–128K 上下文下，achieved TFLOPs 较 FlashMask、FlexAttention、MagiAttention 提升 45–141%、34–71%、2–44%；上下文并行度 4–32 时吞吐较 Megatron-Core CP ring 等基线提升 1.80×–3.71×；在 128 张 H100 上训练 118B-A14B MoE 的 128K 端到端场景中吞吐提升 7.3–11.0%。
推荐理由：论文给出了跨 12 种掩码和 4K 到 128K 上下文的实测对比数据，读者可以据此评估该分布式注意力方案的实际收益。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。