新闻、仓库与研究，按时间排列。
arXiv 论文 Specter 提出一种 MoE 推理系统，用量化让轻量 draft 模型在设备上运行，对未来专家使用做多步投机预判，提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x（最高 1.88x）的 TPOT 加速，让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos，论文见 https://arxiv.org/abs/2511.14102。
jsonderulo 是一个可通过 npm 安装的库和 CLI 工具，能把普通提示词自动转换为带 JSON Schema 的结构化提示词，让 LLM 返回更一致的输出。它提供 schema 生成、模板库、校验与自动修复，以及 Strict、Explanatory、Streaming、Validated 四种输出模式。V2 增强版还加入了语义记忆上下文管理、Chain of Thought（CoT）、Tree of Thoughts（ToT）、Self-Consistency 与 A/B Testing 等功能。
austin1997 在 GitHub 发布浏览器测速网站 llm-speedtest，支持 OpenAI 兼容 Chat Completions 与 Ollama 原生接口，可对语言模型、文生图与文生视频部署做 A/B 并发测速，支持 1–16 并发、流式输出、思考模式与多语言界面。所有推理请求从浏览器直连端点，可部署到 Cloudflare Workers 并将汇总结果写入 D1，指标覆盖 TTFT、实时吞吐、服务端 decode/prefill 等，本地运行需 Node.js 24。
推荐理由：作者开源了一个浏览器直连端点的推理测速工具，指标口径写得很细，部署自建模型想对比性能的读者可以拿来直接用。
Qualcomm 开源的 efficient-transformers 库将预训练 LLM 重写为可在 Qualcomm Cloud AI（AI100、AI200 等）上高效推理的优化形式，提供图变换、低精度执行、ONNX 导出、Patcher 与示例应用等能力。最新动态包括 07/2026 新增 Kimi-K2.5 视觉语言模型支持和 QEFFAutoModelForCausalLM.export() 的 dynamo ONNX 导出，06/2026 新增 Gemma4、Qwen3.6、Qwen3 VL、GLM-4.5 MoE 支持等。
DeepSeek 在 PyTorch Conf 期间开源 DeepInfer，即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制，支持 NVIDIA SM100 与华为昇腾 950，并配套发布 deepseek-recipe。
推荐理由：DeepSeek 放出生产级推理栈本身罕见，单集群吞吐与推理毛利数字可作推理成本侧的参照。
一位 Reddit r/LocalLLaMA 用户在 2x5090 + 128GB 内存的本地环境运行 Qwen3.8-27B 做智能体编程，称 vLLM 是唯一不破坏 KV cache 且能高效利用的框架，目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版本。他考虑改用 Flash Next，但未找到针对 2x5090 + vLLM 的平衡配置方案，向社区征求部署经验。
GitHub 新仓库 reversi-c 用 C11 实现了一个可对弈的 Reversi（黑白棋）引擎和终端 CLI，无外部依赖、引擎内不做堆分配。正确性通过 perft 参考值（深度 10 达 24,571,284 局面）和无枝剪参考搜索机械验证；perft(10) 速度为 48 M 局面/秒，探索采用 negamax + αβ、Kogge-Stone 合法手生成和 2^18 条目置换表。引擎在 Cortex-M4 上以 -Os 编译仅 5.0 KB 代码、含置换表 25 KB RAM，项目以 MIT 许可开源。
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
KOIYAL 在 GitHub 发布 local-transcriber，支持 Windows 和 macOS 本地转录音视频文件并生成带时间戳文本与本地 LLM 摘要，全程不联网。转录用 faster-whisper，摘要优先用 Apple Intelligence，其他环境回退到 llama-cpp-python 加载 GGUF 模型；支持 TXT、SRT、VTT、JSON 导出，采用 GNU AGPL-3.0 许可证。
llm-suite 是一套模块化 Rust 工具集，将“调用 LLM”从零散的 HTTP 代码整合为分层的 provider 无关协议栈，由 12 个小型 crate 组成工作区。核心包括协议类型层、wire codec（支持 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini 原生）、reqwest 异步传输（支持 SSE 流式）、嵌入与 rerank 能力、配置层，以及统一编排入口 LlmGateway。crate 间构成无环 DAG，tool-call 解析等功能通过 feature flag 按需编译，供 wf-agent 等宿主项目以 git submodule 方式复用。
tokenparty-net 在 GitHub 开源 llm-xlate，一个 LLM 路由用的跨 API 翻译核心，可在 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种协议方言之间桥接请求、流式与非流式响应、错误体及 stored-response（previous_response_id）链。库是 sans-IO 设计，入口均为纯函数或 push 状态机，相同输入产出字节级一致的输出；每个有损转换都记录为 Degradation 并可通过 x-router-degraded 头呈现，无法表达的请求返回类型化 XlateError。
cloudwalksolutions 在 GitHub 发布 llm-server，提供本地 LLM 推理服务器的安装与远程管理，支持 AMD（Vulkan）与 NVIDIA（CUDA）GPU 的 llama.cpp 安装脚本，并可选通过 Cloudflare Tunnel 暴露公网。架构为每个模型一个 llama-server 实例、各自绑定 loopback 端口，由 nginx njs 路由按请求的 model 字段分发；make deploy 通过 systemd 模板部署，可对比 diff、只重启变更实例并在失败时自动回滚。
推荐理由：这是一个完整的 llama.cpp 多模型推理服务器管理方案，部署、验证、基准与 KV 量化实测工具齐全，方法可直接复用。
Vanisherzd/BlackOps 仓库公开了一个在 DGX Spark（GB10）上完全本地运行的 IT 运维 Agent，目标部署于 Jetson AGX Thor，断网也能自主诊断修复。2026-10-20 起推理引擎从 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B；NemoClaw 路径 5 张舞台卡各跑 3 次 15/15 自主修复，repo 内 host 循环 9 案 26/27。仓库包含 NeMo Guardrails 安全 rail、审核代理、错误注入案例 28 个、离线知识库（1,644 历史案例）与详细踩坑清单，legacy 路线为 TRT-LLM + Nemotron-3-Nano 与 vLLM 0.29 + Qwen3.6-35B。
推荐理由：仓库给出完整的本地部署架构、错误注入 drill 数据和踩坑清单，读者可以照着在 DGX Spark 或 Jetson 上复现离线自修复运维智能体。
Sahil Joshi 等在 arXiv 发布论文，提出 Stratified Sparse Attention（SSA），将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上，SSA 均优于基线；RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下，32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%，分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后，1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍，代码已开源。
推荐理由：论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据，方法可复用，代码已开源。
一项研究提出基于 SSM 的脉冲神经网络（SNN）闭环预测方法，解决 SNN 自回归预测时依赖不可得数值的问题，包括模型级和层级两种策略。在 ETT-small 基准上，两种方法与 S4 的 zero-masking 基线相当或更好，多数情况下可与 SpaceTime 等最先进方法媲美。结果显示连续激活与低比特量化激活之间的权衡，证明 Deep SSM 架构可作为有竞争力的预测框架。
研究者提出 OptScientist，一个从数据中自动发现符号化优化定律的框架，由符号优化问题推断模型和结合文献先验的 LLM 智能体系统组成。在含 99 个物理优化问题的新基准 OptFeynman 上，它对超过 80% 的问题恢复出真实定律，显著优于机器学习、符号方法和 LLM 基线。在人类风险决策与央行货币政策数据上，其发现的定律在留出预测性能上与主流基线相当，且参数更少、token 消耗显著更低。
论文提出混合框架 CoRAL，采用非对称 Planner-Executor（APE）架构：扩散语言模型 Planner 并行生成 K 条推理轨迹，大型自回归模型 Executor 择优并合成最终答案。训练中引入 Reward-Guided Denoising for CoT（RDC），将结果奖励融入扩散过程以引导目标导向推理。视觉语言基准实验显示 CoRAL 显著优于已有扩散方法，并对强 ARM 达到有竞争力的性能，兼顾效率与质量。
研究者提出 Adaptive Multi-Token Prediction（AMTP），将多 token 预测的视野选择建模为在线控制问题，通过验证反馈动态选择最优推测长度，无需重训练且不改动验证器。在基于 Llama-3.1-8B-Instruct 与 Medusa heads、Meta MTP 模型、Qwen3-4B-Inst-2507-MTP 的五组组合上，经 AIME 2025 和 GSM8K 评测，AMTP 解码最高加速 4.1x，在 10 个设置中的 8 个持平或超越固定窗口，吞吐最高提升 10%。
一项 arXiv 研究提出 On-Policy Transition Distillation（OPTD），在传统在线蒸馏只匹配最终层分布的基础上，进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示，正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上，OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩，三域设定下可恢复约 90% 的师生能力差距，而 OPD 约为 75%。
研究者提出 TEPCA 框架，从证据和参数两个层面改进 LLM 在时序知识图谱（TKG）上的推理：证据层采用时间约束的 DRGP 路径剪枝和基于互信息（MI）的剪枝，参数层引入时间戳条件化的 DG-LoRA 低秩适配机制。在两个 TKG benchmark 上达到 SOTA，DG-LoRA 在八个常识问答数据集上进一步验证了输入自适应能力、跨 LLM 骨干的可扩展性与可解释性。
Adaptive Replay Refinement（ARR）是一种无需训练的推理方法，检测修订到达不动点后将算力重新分配给新独立样本。跨 5 个模型族的 7 个模型与 7 个基准测试，ARR 在等算力下于 5 个数学推理基准中的 3 个上追平多数投票，关键路径串行次数最多减少 2.4 倍；在 MATH500 上以 41% 的串行次数达到 84.6% 准确率。代码已开源。
研究者提出 CopyGen，一个面向冻结 LLM 的轻量复制约束解码插件，将复制分解为是否进入复制模式、预测复制长度和逐 token 验证三个决策，并只输出最长有效前缀。在涵盖合同、科学文献、代码和随机序列的 benchmark 上，CopyGen 无需微调即可将平均 exact match 相对提升 35%，与 SFT 结合再提升 4%，同时显著加速生成。代码已开源。
论文提出 Asymmetric Looped Transformer（AsymLoop），将单次上下文编码与循环状态精炼分离：因果编码器生成跨迭代固定的全局 KV cache，权重共享的循环解码器从自身状态生成局部 KV，并在单一 softmax 下联合注意力。在 FineWeb-Edu 上对 60M 至 1B 四种规模训练，验证困惑度低于 Full Loop；1B 规模下七个常识推理基准的平均 zero-shot 准确率从 49.58% 提升至 50.85%，收益同样适用于 OLMo 风格骨干与稀疏 MoE 模型。
一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在：在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上，该数字在最后一个 prompt token 处存在且跨问题共享编码，readout 约 0.9，但常规单样本探测只读到 0.36 和 0.19（即使经过 5,249 个训练问题）。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合，在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号，且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字，而 patch 答案的同一位置可以，说明该值可读但未被使用。
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由：论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
论文提出 Binary Discrete Diffusion，一类连续时间离散扩散过程，其噪声状态以二值成员向量表示每个位置的候选 token 集合，可通过增删逐步丢失和恢复信息。在 Sudoku-Extreme、Boxoban 和图着色任务上，在相同架构与训练、采样、调参预算下，其对称形式持续优于调优过的 masked 和 uniform 扩散基线，最难实例上增益最大；在 Text8、TinyStories、OpenWebText 语言建模上也保持竞争力。结果表明候选集是迭代推理的有效中间表示。
Lafa 是一个扩到 8B 参数的连续流语言模型，采用块内双向流加因果前缀的块状结构，可通过适配预训练自回归模型来训练，并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型，其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐，优于多 token 预测和离散扩散方法，代码已开源。
推荐理由：论文给出把连续流语言模型扩到 8B 的具体训练与推理方法，并附吞吐对比数据，适合关注非自回归架构的读者。
arXiv 论文提出 Rollout-to-Scorer Distillation（R2S），指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差，教师看不到回合结局导致拖延动作通过评分，称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器，再冻结为唯一评分器做标准 OPD，修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法，平均领先最优基线 12.8 个成功点。
推荐理由：论文指出教师评分短视导致智能体蒸馏失效的根因，给出的无奖励修复方法在十二组实验中均有提升。
研究者推出 DAR-MGSM 基准，这是首个用于评估方言阿拉伯语数学推理的人工整理测试集，包含多步推理数学应用题，覆盖五大阿拉伯方言及现代标准阿拉伯语，并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示，本地化版本上性能普遍下降，且各模型敏感度不同；机制可解释性分析表明，翻译与本地化版本常引发不同的内部推理轨迹。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库位于 github.com/vllm-project/humming。该项目定位为通用高性能量化推理内核库，以开源方式提供。
研究者提出 AudiPsy，一个基于证据的 omni-LLM，用于从口语心理咨询对话中评估抑郁。其采用 OAS（观察-评估-总结）范式，整合对话转录、文本与声学情绪及其不一致性进行结构化推理，并构建了合成语料 AudiPsy-Counsel 和三阶段课程训练。在 DAIC-WOZ 上表现优于专业抑郁检测方法与通用语音/omni-LLM，EATD-Corpus 上的补充评测验证了其对自然对话的适用性。
arXiv 论文提出扩散语言模型（DLM）中的事实访问状态概念，发现其与自回归模型不同，事实查找在第一层注意力与早期前馈层就完成。基于该状态，论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器，且各实体位置的状态可免训练地作为关系特定检索向量，在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。
推荐理由：论文指出扩散语言模型的事实访问状态在首层注意力就组装完成，并据此给出知识编辑与免训练检索两种用法，可作理解 DLM 与 AR 机制差异的对照。
arXiv 论文 2610.27583 提出 TeCoP，一种无需训练的解码器，通过错开的块级流水线与 draft-and-verify，将稳定但未提交的预测作为临时跨块上下文，解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP，TeCoP 将前向评估次数最多减少 87%，无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍，在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB，同时有 cache 的平均精度与原解码器差距在一个百分点以内。
推荐理由：论文提出训练-free 的扩散语言模型解码方案，给了跨 12 个模型基准设置的吞吐与精度对比数据，方法可复现。
一项 arXiv 研究提出将验证损失分解为近似、估计与记忆三项的方法，分析随机 token 替换这一输入破坏式增强的收益与代价。在熵率已知的受控数据源上，替换将预测向语料均值收缩；在其有效的场景中可减少最小验证损失后损失上升约 60%。在十个真实语料实验中，替换降低了九个语料的最终损失，仅对最冗余的普查类程序生成 JSON 语料有害。
WORTH Benchmark 让模型阅读无线索标注的原版推理小说，自主筛选关键线索句、识别案件参与者并解释推理过程，故事由专业作者设计，使有助于推理的证据与延迟真相揭示的叙事并存。试点实验对模型进行两集共 70 次正式运行，其中 67 次可评分；Episode 02 的 37 次可评分运行中有 31 次选择了同一组错误参与者，怀疑导向与开脱导向句分别被选中 25 次和 0 次。该研究仅覆盖两集的全文条件，不建立稳定模型排名，也未报告人机对比。
SDDC（Self-Decomposing Diffusion for Code）提出先由扩散语言模型生成程序分解契约、再据此并行实现各单元的代码生成框架。在五个 benchmark 和两个 7B 扩散骨干上，SDDC 的 pass@1 最高提升 31.1 个百分点，解码比基座模型快 7.5–13.7 倍，并比微调基线最高高出 23.5 分且延迟更低。
论文提出 Progress-Aligned Recurrence（PAR），通过让第 k 次迭代的预测对齐前 k 步操作后的状态、并将循环状态重缩放至首轮范数，提升循环语言模型的长度泛化能力。基于 Qwen2.5-0.5B、仅在最多 32 步上训练的模型，在 swap-S₅ 任务外推到 512 步时达到 95.5% 平均全状态准确率，为训练长度的 16 倍，显著高于 RLT 的 55.7% 和显式思维链的 0.8%。消融实验显示去掉范数锚定会使外推倍数降至 2.2 倍以下，无中间标签时可借助前缀自蒸馏从最终答案学习对应关系。