新闻、仓库与研究，按时间排列。
论文提出 Bayes-Consistent Tempering（BCT），解决后验诱导流语言模型中温度缩放作为事后处理导致的两处不匹配：中间含噪状态分布改变而去噪器未相应训练，以及温度调节后的后验权重与未调节动力学的组合。BCT 将温度显式纳入生成流的分布与动力学，并提供无需训练的变体。在超球面流 LM、von Mises–Fisher 流 LM 及 Sudoku 任务上，BCT 在宽温度范围内提升 GSM8K 生成表现，极低温度下学习版比免训练变体更稳健，代码与模型权重已公开。
研究者提出一个下钻式评测框架，将 Text-to-SQL 查询分解为逐步更复杂的可执行子查询，沿生成路径考察基于规则的幻觉类别，区分“复现性幻觉”与“涌现性幻觉”。在 BIRD-mini 扩展基准上对五个 LLM 的评测显示，多个类别有可观的复现概率，clause abuse 的条件涌现相对更高；加入对话历史后复现概率普遍升高、涌现概率普遍降低。代码与评测工件已在项目仓库开源。
一项机制可解释性研究利用电路发现方法，在五个 LLM 中比较语言任务与算术任务的神经回路重叠及因果效应。结果显示回路相似性主要由任务领域（语言 vs. 算术）解释，而非输入输出词表或句法相似性，表明 LLM 可能以 largely separate 的回路分别处理语言与算术信息，呈现按能力划分的模块化组织。该论文已被 AACL-IJCNLP 2026 主会接收。
arXiv 论文提出 ProVe（Proposer-Verifier decoding），将投机解码的角色反转：把 32B 大模型微调为一次前向传播预测一个 token 块的 proposer，再用额外一次前向传播验证。块大小为 16 时，GSM8K 上平均有 6.6 个 token 的前缀与 AR 一致；ProVe-lossless 在六个基准上平均达到 2.5x AR 吞吐，无需训练单独的 draft head。使用 3B 小模型验证时吞吐达 2.7x，准确率较 AR 低 2.6 个百分点，提供速度与精度的可控权衡。
阿姆斯特丹大学 UvA-MT 团队提交 WMT26 通用机器翻译共享任务无约束赛道，覆盖全部 23 个翻译方向。方案采用带精炼提示词的顺序采样生成候选译文，并让 LLM 以循环投票的成对评审方式选出最佳候选，WMT25 基准离线评测显示其明显优于 point-wise best-of-N 选择。
一项研究通过 SilCC 与 PixCC 两个数据集，从原创性和有效性两个维度对比人类与多模态大语言模型（MLLM）对抽象视觉刺激的联想创造力。结果显示，人类的联想描述在语义距离、熵值和相对参考词库的新颖性上均高于 MLLM。随着难度提升，SilCC 中有效性下降，PixCC 中人类逐渐从整体联想转向描述低层视觉特征。
一项 arXiv cs.CL 研究在 12 个模型上检验心理语言学因素如何影响大语言模型对泛型陈述的判断。结果显示模型像人一样权衡属性的常见性与区分度、偏好典型属性，但忽略显著性高的属性；对模型影响最大的是陈述是否事实为真，人类因素的影响大多经由该判断传导。在 6 个 7-9B 模型中，沿各因素方向移动隐藏状态可按预测改变判断。
jobski 在 GitHub 发布 Hangar，一个在单 GPU 的 Windows PC 或 Mac 上启动、停止、切换、更新和监控本地 LLM 引擎的管理器，可通过网页、MCP 服务器、REST API 和 hangar 命令行操作。内置 llama.cpp（llama-server）和 Strata 引擎，支持 MLX，引擎以插件形式添加；启动前按估算并在运行后按实测峰值检查空闲 VRAM 和 RAM，支持 exclusive、coexist、refuse 三种资源策略。
研究者对比 LLM 解题前（FOK）与解题后（JOL）置信度信号的可靠性，涵盖两个前沿模型、多个推理领域及英语与马拉地语基准。解题前的低成本信号校准较弱，解题后置信度认知对齐更强但推理成本更高；英语与马拉地语间校准趋势可经翻译迁移，但在本地化马拉地语知识上明显退化，幻觉回答在生成后仍保持高置信度。
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
一项基于 δ-SNLI 数据集的研究测试了 LLM 收到单条新信息时概率估计的移动幅度，涵盖 Qwen3-8B、OLMo-2-7B 两种本地模型及五种 agent 命令行配置。在直接陈述引导下，全部七种配置均朝标注方向移动 18-28 个百分点；改用“有人说”转述则降低移动幅度 2-5 个百分点。研究还发现，五次加权估计虽减少极端值，但在两个本地模型中使敏感度分别下降 43% 和 68%。
研究者提出 CrystalAR，一个统一的自回归框架，在单一生成序列中同时建模 Wyckoff 对称性模板与完整晶体结构，把连续坐标生成重构为对称性条件下离散空间定位决策的层级化过程。该方法支持对晶体模板和几何实现的约束感知搜索，在保持对称模板生成能力的同时，取得了有竞争力的 de novo 生成性能与无模板晶体结构预测（CSP）精度。
该 arXiv 论文提出在客户端本地将文本转为向量，并经 55.6M 参数的训练网络变换后，再交给托管方运行冻结的 Qwen3.8-27B 模型，托管方始终收不到文本或 token id。在 1,490 道训练外的 MMLU 问题上，该变换仅损失 1.5 个百分点准确率（80.7% vs. 82.3%），同时 30.1% 的内容 token 经最近邻查找已无法还原为原始 token。
arXiv 论文提出 COMPASS，一种智能体式 LLM 路由方法，由 LLM 依据路由配方通过工具收集性能与成本证据，无需路由专用训练即可选择模型。在 LLMRouterBench 上以 $139.57 达到 69.85% 准确率（对比 RLCascadeRouter 的 69.14%、$180.22）；在 DeepSWE 五折交叉验证下以 $215 达到 78.1%，优于最佳单模型的 74.1%、$500。该方法可通过读取新评测记录适配扩展的模型池，无需更改路由器权重或提示词。
SAPD（Step-Advantage Policy Distillation）是一种从离线轨迹学习训练 LLM 智能体的方法，它将多轮轨迹拆解为单个决策上下文做 on-policy 蒸馏，并引入相对步骤优势信号稳定训练，全程无需新的环境观测或多轮交互。在 ALFWorld、WebShop 和 Search-based QA 上的实验显示，SAPD 在不同教师配置下均提升性能，比 SFT 缓解灾难性遗忘，每个训练步速度比在线 OPD 快至少 4.7×。代码即将开源。
一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现，在五个文本输入基准上评估后发现各阶段相互影响呈非加性：纯数学蒸馏会覆盖先前获得的金融知识，领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识，却损失数值推理增益，因此最佳 checkpoint 取决于任务本身。
一项以带容量约束的 CVRP 为代理的研究，分析了基于注意力的 Pointer Networks 在问题规模变化时解质量退化的三个因素：节点密度变化、注意力分散和均值池化图上下文稀释。熵基注意力缩放将 CVRP20-to-CVRP100 的性能差距缩小 1.41 个百分点，新提出的置换不变图上下文聚合方法在 CVRP100-to-CVRP20 上提升约 0.9 个百分点。结合两者的方法选择器在全部 9 个已见训练-测试对和 9 对中 8 个未见规模对上降低成本，最高提升 3.2%。
Fast-swap 发布 v0.3.0（Berth），新功能将引擎驻留在系统内存而非卸载，切回已驻留引擎可跳过从磁盘重新加载。作者招募测试者：需 64/96/128 GB 内存配 24 GB 显卡测试 vLLM 或 ComfyUI 引擎驻留耗时，或多 GPU 用户提供真实拓扑以支持下版多 GPU 租约功能，另征集 Windows NVIDIA 用户运行 contrib/windows/check.ps1 校验 VRAM，以及 Linux AMD 用户。
Reddit r/LocalLLaMA 用户发布 EAGLE-4 推理加速数据：在 Qwen3.8-27B 上相对原始推理提速 3.59×，高于 DFlash 2 的 2.80×、DSpark 的 2.57× 和 MTP 的 2.22×。目前仅支持 Qwen3.8-27B，作者表示将关注其进入 llama.cpp/vLLM 的进展。
AIMultiple 团队推出 AIM System One Index，用于评测以单次前向返回带概率决策的决策模型（System One models），榜单综合浏览器任务、1,655 道单决策分类题和偏差测试三项基准，以 z-score 计分。57 个模型中 AutoJev-27B、d1-ultra 和 decider-12b 并列第一（60 分）；d1-ultra 浏览器任务得分 74%，成本 $0.026 per 1,000 decisions；Decider Flash V1.2 最便宜，为 $0.007 per 1,000 decisions；Laya 最快，每决策 30 ms。
作者发布 open_rknpu2_lm_infer，一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎，上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码，提供终端聊天和 OpenAI 兼容 API（含流式、工具调用、前缀缓存），并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比，512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s，解码 10.61 tok/s 对 5.54 tok/s，约 2 倍速度。
推荐理由：作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比，数据可直接用于评估本地部署收益。
作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。
推荐理由：作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。
用户在单张 RTX PRO 6000 上用 SGLang 部署 Nemotron 3.5 Super，实现 3M token 池，可支持 4 个并发请求、每个约 750k tokens。相比 Qwen3.8-Flash-Next（约 450k token 池），它不占用系统内存、推理速度略快（150-250 tps vs 130-230 tps），并原生支持 1M 上下文。
一位 Reddit r/LocalLLaMA 用户在 RTX 3080（10GB）+ RTX 3060（12GB）双卡上用 llama-server 运行 Qwen3.8-27B-pi Q4_K_M 量化模型，配合 MTP 草稿推理实现 30-40 tok/s 生成速度，平均 MTP 接受率约 0.75，上下文 75776。该配置用于 Kotlin/Android 的 agentic coding，作者称 dflash2 草稿反而比 MTP 更慢，并征求进一步优化建议。
Project A.E.S.I.R. 是一个用 Mojo 编写的实验性本地 AI 推理引擎，目标是让普通 AI 应用直接在自有硬件上运行模型。其速度路线图计划在指定工作负载上比当前 Ollama 快 2 倍（冲刺目标 3 倍），目前缓存 32-token 工作接近持平，长输入和 128-token 输出仍落后。在 Llama 3.2 3B/RTX 2060 子集上，原生 CUDA 路径比上一版本再快 1.60–1.66x，已可运行 Gemma、Llama 3/Stheno 和 Qwen 系列测试模型。
IMROVOID 在 GitHub 发布 OpenCode2API-Proxy，把 OpenCode Zen 与 Go 两条不同线协议的模型桥接为统一端点，同时支持 /v1/chat/completions、/v1/responses 和 /v1/messages。工具提供本地守护进程、预编译包、Cloudflare Workers（82 KB bundle）和 npm 四种部署方式，内置密钥轮换与指数退避冷却、SOTA 轮换组、模型目录自动发现和灰度暗色控制 WebUI。Go 通道需 OpenCode Go 订阅，免费层仅限官方客户端访问，项目以 GPLv3 授权并提醒使用可能违反上游服务条款。
一个用于论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的 GitHub 仓库已创建，论文正投稿 COAI 2025 审稿中，作者为 John Smith 等。论文提出优化策略以增强 LLM 跨多任务的上下文推理能力，实验结果显示在动态环境中具有更好的适应性。仓库代码、benchmark 结果、预训练模型检查点和文档标注为"即将发布"。
panuthept 发布 DecisionUI，一个轻量 Python 服务器，可在 vLLM、SGLang、Ollama 等 Chat Completions 端点前，以 SystemOne API 和 OpenAI Decisions API 两个决策接口暴露模型，返回选项与概率而非自由文本。安装命令为 pip install decision-ui，README 给出 vLLM 起服务的 Quick Start 与工单分类示例，输出如 billing 0.94 / technical 0.03 / other 0.03 的概率分布。
Reddit r/LocalLLaMA 用户实测发现，MiMo 2.6 的推理线程里高频出现 "Hmm"，在分析 AIDL parcel 标记问题时反复猜测、自我纠正，如同碰撞测试假人般不断试错。用户最终定位到 marker + fd 组合会抛错、mk=1 仅在 fd=0 且 nhenv=1 时有效，并调侃满脑子的 "Hmm" 像一首挥之不去的歌。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上，用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持，batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×；transformers 测试套件在 TPU 上 96.5% 通过，已报告 34 个问题并修复 19 个。
推荐理由：官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法，还附带 kernel 加速倍数和 CI 通过率等实测数据。
Google 推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发。开发者可以用熟悉的 PyTorch 工具在 TPU 上部署模型。
hotocooo 发布针对 DavidAU/Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF（IQ3_S）微调的 DFlash2 草稿模型，基于 incoai/Qwen3.8-Flash-Next-DFlash2 训练 3000 步，每 7-token 块接受草稿数从 3.568 提升至 3.796。该草稿模型非独立语言模型，输出与目标模型 greedy 结果完全一致。
/u/OhGeeLIVE 发布 Geezuz kernel，将 L-Forster 的单卡 megakernel 分叉为双卡版本，在两块功耗限制 280W 的 RTX 3090 上以 Q4_K_M 跑 Qwen3.8-27B 达 190 tok/s，8 并发时总吞吐 622 tok/s。整个前向传播运行在单个持久 CUDA kernel 中，双卡经 PCIe 直接交换部分结果，单周期解码最多 8 个请求，并用模型自身 MTP head 做投机解码；与 llama.cpp 相比平均 164 tok/s、代码场景 214 tok/s，KL 散度显示输出质量相当。
推荐理由：作者给出与 llama.cpp 和 vLLM 同条件对比的完整吞吐数据，并说明实现原理与编译成本，便于读者评估是否适用。
一篇论文提出 DLite，一种面向 agentic 工作负载的免历史投机解码框架，直接复用目标模型的上下文隐藏状态做局部投机预测，不维护历史 KV cache。论文指出智能体场景下现有 draft 模型接受长度最多下降 80%，DLite 达到 2-6 的接受长度，最高超越 DSpark 70%，并配套两阶段训练策略；arXiv 链接 https://arxiv.org/abs/2610.23787，代码见 GitHub 和 HuggingFace。
FlashMask-3 论文发布，提出掩码感知的 Hopper 内核与分布式注意力扩展，基于 FlashAttention-3 的 TMA/WGMMA 流水线实现三角色 warp specialization，并支持零通信掩码定位、稀疏感知负载均衡与计算通信重叠。单张 H100 在 12 种掩码、4K–128K 上下文下，achieved TFLOPs 较 FlashMask、FlexAttention、MagiAttention 提升 45–141%、34–71%、2–44%；上下文并行度 4–32 时吞吐较 Megatron-Core CP ring 等基线提升 1.80×–3.71×；在 128 张 H100 上训练 118B-A14B MoE 的 128K 端到端场景中吞吐提升 7.3–11.0%。
推荐理由：论文给出了跨 12 种掩码和 4K 到 128K 上下文的实测对比数据，读者可以据此评估该分布式注意力方案的实际收益。
论文提出 COUNT（Counting Offline Unlocks N-gram Transformers），将预计算的 n-gram 计数存于主机内存，无需新增可学习参数即可构建 n-gram 嵌入。在固定算力预算下，为 1B 参数 LM 添加 COUNT 预训练，验证损失提升相当于多花 57% 算力；还可在推理时换用领域语料的 n-gram 计数表，免训练适配新任务。
Kottos AI 开源了 C++20 编写的亚毫秒级 LLM 网关 llmbridge，客户端以 OpenAI API 接入，网关将请求翻译为 Anthropic、Gemini、Cohere 等上游方言并翻译回响应。单核非流式吞吐约 84k RPS，1000 RPS 下 p99 低于 1ms；第三方基准中其单核开销 0.07ms，对比 LiteLLM 1.99.1 的 10.77ms。支持 OpenAI 与 Anthropic 间的流式 SSE、工具调用与 prompt caching 转发，默认构建无第三方运行时依赖，TLS 构建需 OpenSSL ≥ 3.0。
loxilb-io 在 GitHub 发布 loxilb-inference-gateway，一个面向 LLM 服务的 L4/L7 推理感知负载均衡器，fork 自 loxilb 并保留 Go/eBPF 数据路径。支持 KV-cache 感知路由、Prefill/Decode 分离、按模型名路由、SSE 流式代理、API key/JWT/token 配额治理和 MCP 网关，兼容 vLLM、SGLang、TensorRT-LLM 和 llama.cpp；所有 AI 能力按规则可选，不启用时行为与上游 loxilb 完全一致。项目采用 Apache License 2.0，文档见 https://loxilb-io.github.io/loxilbdocs-inference-gateway/latest/。
ActFold 是一个通过 Branch Folding（分支折叠）降低 Diffusion LLM 投机解码验证阶段算力的研究框架，逐层逐 token 判定复用父分支激活或重计算，目标削减验证阶段 TFLOPs 21%–62%。最新 AR022 交付在 Fast-dLLM-v2-1.5B 真实生成回路上实现贪心锚定批量投机 7.02× 于 baseline，且质量面逐位对齐（post-hoc 置信 gap = 0.0）。AR029 还交付了端侧有界内存金字塔激活缓存，机制基准 E1-E4 全 supported。