新闻、仓库与研究，按时间排列。
NgramRL 从同一提示词的近期 rollout 历史构建逐提示词 n-gram 草稿器，加速 RL 后训练中占比可超 70% 训练时间的 rollout 生成，无需辅助模型或常驻 GPU 草稿状态。在两种模型家族和三种推理、结构化生成任务上，warm-cache 下每次目标模型前向提交 3.60-7.77 个 token，比 SuffixDecoding 最高快 1.99 倍、比 prompt-lookup decoding 快 7.0 倍；Spider 上 prefetcher 以候选预算 16 覆盖 Qwen3-8B 96.6% 的结果，rollout 吞吐提升 1.38 倍。
研究者提出 PICLE-PFN，首个面向纵向因果效应估计、支持动态治疗策略的基础模型。它基于从纵向结构因果模型采样的合成数据预训练，通过 in-context 历史决策示例表示目标策略，一次前向传播即可直接预测条件平均潜在结果，无需任务特定训练或超参数调优。在合成与半合成基准上，其 RMSE 具有竞争力，不确定性校准显著优于逐数据集单独训练的 SOTA 传统估计器，部署运行时间仅为其一小部分。
论文提出 Continuum Attention（CA），一种将离散 key/value 查找替换为连续分段线性记忆曲线积分的因果 Transformer 注意力算子，可通过不超过二阶的矩解析求梯度并支持并行 GPU 实现，保持二次序列复杂度。相比 softmax 与 focal attention，CA 分别降低 0.0200 和 0.0480 nats per byte 的验证负对数似然，在全部配对比较中获胜；独立验证切片上较最强 softmax 基线优势 0.0457 nats per byte（含 95% 置信区间）。
PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention（VHA）论文，通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量，推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线（+0.05% 至 +0.81%），KV cache 相比 GQA-8 减少 4 倍；在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%，长上下文 RULER 平均分 84.4 对 GQA 的 73.0。
推荐理由：论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据，KV cache 压缩和 FLOPs 降幅都有具体数字可查。
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版，体积从 bf16 的 65.8 GB 降到 35.0 GB，KL 0.0134，用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16（22.1 GB）和 W4A16（20.5 GB）4-bit 版本，可在 Ampere GPU 上运行。Heretic 评测协议下（关闭思考，100 条有害提示）各版本拒绝数为 20-26/100，差异不显著；原始 ThinkingCap 拒绝 99/100，bf16 去对齐版降至 21/100。
同一新闻，精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
/u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半，用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理，作者称 RTX 6000 PRO 比 5090 快约 70%；RTX 20/30 系解锁可能性高，40 系已有实测工具，50 系因加入熔丝较难解锁。
推荐理由：作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围，并给出各代解锁可行性与实测对比，可作选购参考。
CounselPlex 是一个压力源感知的全双工语音心理咨询框架，针对现有模型只关注最新话语、丢失求助者核心问题（Stressor Blindness）的缺陷，在求助者沉默时更新短期压力源状态，并在倾听过程中将状态注入相应位置。论文还提出 RoPE Position Shift Augmentation（RPSA）扩展训练时的位置覆盖，LLM-judge 评测显示其咨询质量与压力源关联性优于强基线。
这项 arXiv 研究指出，质量感知解码（QAD）中为每个源句分配相同候选预算 N 的做法并不合理，额外候选带来的质量增益因句子而异。作者通过总扩展增益、边际扩展增益和采样饱和点三个量来衡量搜索效用，发现句子级信号与总扩展增益相关，而候选池统计特性可有效预测边际扩展增益。这些信号能识别出在选择性追加搜索时收益更大的句子。
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
研究者推出开源工具 LGMT，基于一阶逻辑的蜕变关系检测 LLM 推理不一致性，无需 ground-truth 标签即可对比等价测试用例上的预测。工具内置 20 条蜕变关系，支持经 Z3 定理证明器验证的自定义关系，提供 CLI 和 web studio 及离线 mock 模式。对 6 个主流 LLM 在 3,091 个蜕变组上的测试显示，不一致率介于 20.84% 至 29.44%，代码已在 GitHub 开源。
论文提出 LLaCO，一个基于竞争感知语义调度的连续扩散文本生成框架。理论层面，它提出竞争阈值理论（CTT），指出嵌入范数衰减导致欧氏距离产生虚假超车，并据此提出语义保留调度（SRS）。LLaCO 通过嵌入方向适配器与基于测地线插值的球面加噪过程改造预训练骨干，8B 版本性能超越此前连续扩散基线，并与同等规模的离散扩散模型相当。
PHYRD 是一个理论物理推理动态基准，包含 63 道 Reproduce 和 43 道 Discover 题，由 FormulaForest 构建并附带子问题级评分标准。五个模型在 Reproduce 上整体准确率为 49.21%–68.25%，闭卷 Discover 为 18.60%–74.42%，使用工具后四 个模型完成更多 Discover 题。FormulaForest 作合成数据可将 Qwen-35B-A3B 在 OpenAI 的 FrontierScience 上的准确率从 61% 提升至 72%。
GitHub 仓库 lecyberbill/aurora-rust-engine 发布了一个完全用纯 Rust 编写的 AI 推理引擎，零 Python 依赖，支持图像（SDXL、FLUX.1/FLUX.2、Z-Image Turbo）、文本（Qwen、Llama、DeepSeek 等的 CausalLM）、语音（Whisper、Parler-TTS/Kokoro）和音乐（ACE-Step 1.5）四类生成。
推荐理由：README给出了 RTX 4070 Ti 与 AMD RDNA4 上的实测吞吐和显存数据，可以借此评估纯 Rust 零 Python 推理栈的可行性。
论文提出 Accordion，一种基于 MoE、通过 fixed-prefix layer looping 支持五种推理预算的大语言模型。经过 3.6T tokens 预训练后，增加推理深度使 Accordion-6B-A0.5B 在 37 项任务上的五档宏平均提升 3.01 个百分点，中间档以一半的额外层执行获得其中 89% 的收益。最终模型在对应任务-预算平均上超越各领域专家，并在数学推理与代码生成中保留随深度变化的增益。
AndrewAvery7 在 GitHub 开源 PromptSpend，一个每天由 GitHub Action 自动重取价格目录的 LLM 成本估算工具，免费、无需账号。它提供 Receipt 成本审计、多模型月/年费用对比、免费额度清单和价格变更提醒（Atom feed、浏览器推送、邮件等四种方式），并指出多数计算器的常见错误：输出单价是输入的 3–5 倍、聊天历史按轮数平方增长、272K token 以上长上下文加价、隐藏 reasoning token 计费。
研究者提出 PILOT 框架，将推理建模为潜变量，用先验-后验协同演进方式引导多模态嵌入模型的推理探索。在 78 项任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数下均超越主要基线，整体得分分别提升 3.2 和 3.3 分，其中视觉文档检索提升最大（+6.1 和 +6.4 分）。结果表明关系监督更适合作为塑造训练中推理探索的信号，而非事后奖励。
SCI-AGENT-EXAM 是一个面向科研工作流的智能体评测基准，包含 120 个专家标注任务，覆盖 11 个科学领域和 7 种研究任务类型。它采用程序化验证与经校准的 LLM 评审相结合的混合评估协议，并对执行轨迹的进展与稳定性进行分析。对 10 个前沿 LLM 智能体的实验显示，GPT-6 Astra 以 80.9 的总分领先，但仅 26.0% 的运行超过 0.95 成功阈值。
研究者提出 ProfileSim，一个面向金融营销外呼的场景化用户模拟框架，联合建模用户画像（人口属性与大五人格）和业务画像，基于真实语音对话数据微调，并用 GRPO 配合对话与话语两级分层奖励优化。搭配集成 SOP 约束与 RAG 的客服 Agent，ProfileSim 在口语自然度和用户画像一致性上最优，生成的话语更短且业务合规度相当，可支持意图识别训练、Agent 评测与冷启动部署。
研究者提出 Self-RefineVQA，一个免训练的推理时自我纠错框架，让单个 VLM 迭代扮演生成者、批评者和精炼者，改进表格视觉问答。该框架无需额外标注数据或模型更新，在单语与跨语言表格 VQA 基准上均带来一致的准确率提升，尤其显著提升小模型表现，使 2B-7B 参数的轻量模型可媲美大得多的模型。推理成本呈线性增长，但省去了 SFT 所需的专家标注瓶颈，累计成本更低。
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现：以视听输入为对象，发现检索头在新模态中保持稀疏并跨模态大量共享，在 18 个语言、视觉语言与全模态模型中，全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%，但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分，并在三个模型族上改善文档检索。
研究者提出 Full-Duplex Long-Horizon Benchmark（FD-LHB），测试五个全双工语音模型的长对话能力，发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction（丢弃首个 KV 条目），重复则受模型自身近期输出强化；提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复，在最长一小时的重放对话中实时运行并显著减少对话崩溃。
推荐理由：论文诊断出全双工语音模型长对话崩溃的两个机制，并给出无需重训练的两项修复方法，具可迁移性。
研究者提出 Outcome-Conditioned Visual Credit（OVC），一个即插即用框架，将视觉关联度量与 token 级信用分配分离，解决 RLVR 中统一响应级优势分配忽视视觉观察作用的问题。OVC 复用现有 rollouts，无需辅助奖励模型、过程标注或推理时模块。基于 GSPO-token 实例化后，OVC 在三个模型上使六项基准平均准确率较 GSPO 提升 1.86-2.39 个百分点。
研究者推出 8B 大语言模型 Solvent，将长程推理扩展到多步逆合成任务。通过两轮后训练课程，模型学会交替进行迭代合成规划、外部可得性验证与自适应路线修订。经 RL 带来 2.1 倍性能提升后，Solvent 在四个 benchmark 上取得 61.86%，超过中规模语言模型和已有搜索式逆合成系统，媲美前沿万亿参数 LLM。
论文提出 LatentLoop，通过压缩循环 MoE 模型第一次访问的序列、在第二次保留全分辨率并重新分配算力扩大隐藏层维度，降低验证 NLL。在 1.3B–7B 的 15 个配置上，拟合 NLL 1.988 时相对 vanilla MoE 和循环基线分别节省 19.0% 和 7.9% 计算量，并在九个基准的 0-shot 和 5-shot 设置下平均分更高。代码、权重与项目页已开放。
一项预训练至 1.3B 参数的实验发现，循环语言模型中的 halting head 存在两个问题：混合所有迭代的训练无法预测 token 真正停在哪次迭代，需加入偏向早停的强惩罚才有效；且按 batch 生成时序列要等到最慢 token 停止，无头的模型在同等成本下表现几乎相当，平均迭代次数指标会高估节省。作者建议报告 token 实际迭代数、停止阈值与 batch size，并提出训练前可预估收益上限的测试。
论文提出跨层共享的 Meta Expert，替代主流分层架构中各层独立的 Local Expert，以降低专家间冗余。在激活数量与专家粒度不变的情况下，模型仅用 70-80% 的专家即可匹配 Vanilla MoE 的性能，并取得更低的 cross-entropy loss 和更高的下游任务准确率；理论分析还显示 Meta Expert 为隐状态提供了更灵活的残差通路，提升信息检索效率。
论文提出投机解码方法 ReaDy，首次利用混合线性注意力（HLA）模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略，在数学、代码生成与对话七项基准上，ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速，吞吐较 DSpark 提升 7.97%，接受长度提升 8.50%，代码已在 GitHub 和 HuggingFace 开源。
论文提出 PN-Mix，一种面向 RoPE decoder-only LLM 的混合精度 key cache 量化方法，通过 RoPE 通道对的 query-key pair-norm 乘积识别显著通道对，在 prefill 阶段分配一次高精度并在解码全程复用。2.26-bit 平均精度下，PN-Mix 在推理、代码生成和 AIME 基准上达到与 2.32–2.39 bit 先前方法相当或更好的准确率，且可平滑降至 1.5 bit。
一项 arXiv 研究发现，在固定模型规模下，更宽的注意力头维度能提升长上下文检索性能，而预训练损失和短上下文非检索任务几乎不受影响。更宽的头拥有更高比例的检索头，将更多参数用于检索。即使冻结注意力模块的投影权重，继续预训练中检索性能仍随头宽提升，表明宽头还促进了嵌入向量和 MLP 等组件的有效适配。
研究者提出多轮 RL 框架 SOPO，通过教师模型在 rollout 中依据 ground truth 提供间接提示的苏格拉底反馈机制，缓解片段级幻觉检测中的奖励稀疏问题，并以 Turn-based Advantage Scaling 惩罚冗长偏置。SOPO (4B) 在 RAGTruth 上达到 SOTA，超过 GPT-5 等专有模型和标准 RL 基线，在四个域外基准上的平均分高于 GRPO，与 CAPO 互有胜负。1.7B 和 4B 模型及训练、评估代码已开源。
论文提出 PACE，一种后置（post-hoc）4-bit 循环状态量化方法：它每隔若干 token 才做一次舍入并缓存中间 token，并按列共享量化 scale、对误差最大的 head 保留 8-bit。在 4B 到 35B 的四个混合模型上，混合 4/8-bit 的 PACE 以约三分之二的内存达到与 8-bit DAMP 相当的表现，全 4-bit 版本在同等内存下得分高于 Q-Mamba，并保持解码加速。
研究者提出 DIVA，一种免训练的 LLM 信息获取方法，让模型基于证据的决策价值决定何时查询、何时停止，避免为无法改变决策的"检查"付费。其变体 DIVA-U 进一步考虑 LLM 对证据影响概率估计的不确定性。在 4 个领域、20 个 LLM 上，DIVA-U 的 regret 低于所有 LLM 基线；在各检查可靠性已知的合成场景中，DIVA 将最佳基线的 regret 降低 75%。
有用户反馈，在 Android 的 Termux 上通过 Chutes 在 SillyTavern 中使用 DeepSeek V3.2 时，近期随机出现空白回复，其他模型正常。日志显示模型已生成内容，但全部写入了 reasoning_content 字段而非 content，导致 SillyTavern 收到空回复。作者已尝试切换连接方式、调整采样参数和推理设置均无效，怀疑与约 60k tokens 的长对话、Chutes 端点或 SillyTavern 的响应处理有关。
开发者 XiaoCheng991 在 GitHub 开源了 LLM-gateway，一个手写 Java（JDK 21+ / Spring Boot 4.x）实现的多 Provider 大模型 API 统一网关，解决多模型管理混乱、切换成本高和调用不可观测的问题。当前支持 Nvidia（deepseek-ai/deepseek-v4-flash）和 OpenRouter（owl-alpha）两个 Provider，非流式调用已可用、SSE 流式开发中，提供 OpenAI 兼容的 /api/chat/completions 端点、工厂模式路由、多轮对话、SQLite 会话持久化及 ReAct Agent 能力，模型映射配置在 yml 白名单中，换模型只改配置不改代码。
论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS，使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6（约 1 万亿参数），自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出，在 2026 年日本医师执照考试模拟中得 480/500 分；在 180 道基于医院文档的问题上，交互式工具访问准确率 97.2%，高于固定检索的 81.3%（差距 15.9 个百分点，95% CI 10.9-21.3）。
推荐理由：在医院封闭网络内部署开源大模型智能体的完整实测，对比了三种检索方式的准确率，方法可迁移到其他内网场景。
一项研究在六语言因子设计中用 10 个开源模型（3B-14B）检验多语言 P(True) 自我评估，基准为 LSQA、MMMLU 和 TriviaQA。三种语言各自影响评估的不同方面：对齐回答与问题或验证器语言可提升区分度但不改善校准，仅验证器语言就可使校准误差变化达 0.04；未经验证的评分器会把 MMMLU 英-印地语准确率差距从 0.198 缩到 0.038。因此多语言置信度结果只在三种语言均报告且评分器经过验证时才具可比性。
研究者提出 SyncPro，一个同步双流框架，用 Inner 与 Response 两条分支分别负责证据跟踪和面向用户的响应，两条分支共享因果历史且可独立激活，使响应能与进行中的推理并行。该框架通过 189K 双流样本进行监督微调和轨迹级强化学习训练，在三个主动式 benchmark 上提升了响应时机和回答准确率。
arXiv 论文发现，2021–2026 年的 11 个冻结文本编码器普遍存在解耦现象：线性探针能以最高 91.3% 准确率从嵌入中解码句子情感极性，但余弦相似度的极性分离边际仅 0.003–0.064，Qwen3-Embedding-4B 探针准确率 91.3% 而 retrieval MAP 仅 64.3。作者提出 SISE 方法，用 0.13M–0.69M 参数的监督对比头在 CPU 上数秒训练，可将 retrieval MAP 提升最高 +26.0，但 128 维头在 STS-B 上损失 38–41 个 Spearman 点，属于专精化而非免费收益。论文同时开源 CPU 可复现管线和 Attribute Alignment Gap 诊断工具。
研究者提出 EDWARD-NMT，一种面向神经机器翻译的 MoE 编码器-解码器架构，支持“一次训练、随处部署”。它结合 Matryoshka 式弹性维度、带可学习阈值的自适应 sigmoid 路由和双一致性目标，可在推理时提取一系列子网络。在 PhoMT（En-Vi）、WMT-14（En-De）和 OPUS-16 等基准上，完整模型匹配或超过强 MoE 基线，子网络无需再训练即可稳定优于同等规模的稠密 Transformer。该工作已被 EMNLP 2026（Findings）接收。