新闻、仓库与研究，按时间排列。
Ava-AgentOne 发布 ollama-intel，一个预配置 Docker 容器，通过 IPEX-LLM 的 SYCL 后端把全部模型层卸载到 Intel 核显（Meteor Lake、Arrow Lake、Arc）上运行 Ollama，无需独立显卡，兼容 Open WebUI 等 Ollama 客户端，主打 Unraid 与迷你主机用户。在 Core Ultra 7 155H 配 64GB 内存上实测，4B 模型约 15+ tok/s，7-8B 约 8-12 tok/s，14B+ 约 4-6 tok/s；镜像每周经 GitHub Actions 重建，NPU 推理暂不支持。
plotarmordev 在 GitHub 发布 The Grill，其中 grill-perf 对已有的 OpenAI 兼容模型服务器做基准测试，改动引擎、flag 或机器后重跑，直接给出 measured faster、measured slower 或 inconclusive 的结论。工具本地运行、不上传数据，已在 vLLM、TensorFold 和 oMLX 上使用；示例中同一 4-bit Qwen3.8-Flash-Next 在 Mac Studio（M5 Ultra）达 246 tok/s，比 DGX Spark 的 118 tok/s 快 108.7%，但作者强调这比较的是整套部署而非芯片本身。
jpsanders 发布 pascal-llm-stack 仓库，给出在 Ubuntu 26.04.1、kernel 7.0 上让 GTX 1060 Mobile 6 GB 运行本地 LLM 的完整脚本，包括给 NVIDIA 570 驱动打 kernel 7.0 补丁、用 CUDA 12.8 runfile 避开 apt 的驱动破坏、回退 torch 2.7.1 获取 Pascal 内核，以及用三个 cmake 参数编译 llama.cpp。
推荐理由：作者在 GTX 1060 上逐层修通驱动、CUDA 和 PyTorch 并给出 llama-bench 实测，方法可迁移到其他老卡本地部署场景。
/u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版，用 llama.cpp PR #30817 构建，散文生成从 12.6 提升到 25.4 tok/s，代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%；DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍，散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。
推荐理由：作者实测给出了四组配置的逐项对比数据，包括 DSpark 投机解码在代码与散文上的接受率差异，可复现性较强。
Hugging Face 发布 AnyLanguageModel 1.0，它是 Apple Foundation Models 框架的 drop-in 替代，可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成，托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点；同日发布 swift-huggingface 1.0 与 swift-xet 1.0，并可运行于 Linux。
推荐理由：官方回顾了一年迭代脉络，并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法，对 Swift 开发者有直接参考价值。
由 IBM、Red Hat 和 Google 等主导的开源项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0。该版本是一个 Kubernetes 原生的分布式推理服务框架，声称支持任意模型、任意加速器和任意云，正式走向生产就绪。
开源项目 Gufo（MIT 协议）发布首篇博客，讲解其 AI 推理引擎如何针对 AMD Strix Halo 芯片大容量统一内存但带宽较低的特性自建缓存方案。该项目约一个月前发布，作者表示博客内容不依赖该硬件，对其他推理引擎项目同样有参考价值。
BigMoeOnEdge 作者发布自适应流式 Planner，作为 llama.cpp 之上的资源调度层，在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型，并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s，16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒；DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进：新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 提速 5 到 6.5 倍，M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核（几何平均 1.23 倍），词表 softmax 约 8 倍加速；Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB，并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由：Hugging Face PyTorch 团队亲述 MPS 后端改进细节，给出各模型的实测吞吐数字，Mac 上跑模型的读者可以对照评估升级收益。
GitHub 新仓库 DSN-exp 发布了一套完全本地运行的智能体底座 AICF（Agent Infrastructure Cybernetics Framework），包含 infra（模型编排、资源池）、harness（Agent 循环、18 个标准工具、记忆与人格）与 apps 三层结构。框架支持 llama.cpp、Strata、LM Studio 及 OpenAI/Anthropic API 四类后端，主入口为基于 FastAPI + SvelteKit 5 的 Web 控制台 dsn_ui。项目总计约 583 个文件、12 万行代码，内置 90 个测试文件，当前基线为 547 通过 / 0 失败，属内部实验性项目、无公开许可证。
RTP-LLM 是阿里巴巴基础模型推理团队开发的 LLM 推理加速引擎，已在淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE 和 Lazada 等业务中广泛使用。2025 年 9 月发布 0.2.0 版本，增强性能并新增功能；2025 年 1 月支持 Prefill/Decode 分离，并在 Yitian ARM CPU 上支持 Qwen 系列模型与 bert 嵌入模型。引擎采用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA kernel，支持 WeightOnly INT8/INT4 量化、自适应 KVCache 量化、Speculative Decoding，以及多机多 GPU 张量并行和单实例多 LoRA 服务。
llm-d 与 vLLM-Omni 通过 llm-d-router 协调器评测多种路由 scorer，scorer 分为 Affinity、Distribution、Balance 三类，按 Σ(score × weight) 加权组合。文档给出前缀缓存、LoRA、KV cache 利用率等 scorer 的参考指南，并针对聊天多轮、PD 分离推理、LoRA 服务、多模态（VLM）等场景推荐配置策略。测试使用 scripts/stream_metrics.py 比较不同 EPP 调度 profile，其内置 map 包含 14 个 profile。
DavidTimar1 发布开源工具 GPUGate（AGPLv3），在 RunPod 和 Verda 上列出可租 GPU 机器与实时价格，一键租用后用 vLLM（RunPod 上 GGUF 模型用 llama.cpp）启动模型服务，并通过固定本地地址 http://<host>:8719/p/<project>/v1 转发 OpenAI 和 Anthropic API 请求，工具看不到机器和密钥。支持空闲或故障时自动销毁机器、在允许范围内自动迁移到更便宜的机器，并统计 token 与费用。作者声明这是业余项目，无维护承诺，租用会产生真实费用，使用前应先读代码。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时，包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
推荐理由：原文列出了该推理框架的核心并行方案与调度特性，读者可以据此评估它在本地部署和大批量推理场景中的适用性。
一位用户计划以约 €550 购入二手 HP Z640（2x E5-2680 v4、64GB ECC 2400），加装两块 3060 跑 Qwen 3.8 Flash Next（Strata）和 llama.cpp，并兼顾 PyTorch CV 训练、PyBullet RL、LLM LoRA 训练与 MiniMax H3 视频生成。其疑问包括双 3060 能否装入 Z640、双路 CPU 是否影响 llama.cpp 的 MoE offload、M6000 作第三卡是否值得保留，以及 PSU 仅两根 6-pin、HP 限双卡各 150W 时用适配器加功率限制是否可行。
GitHub 开源仓库 IntelligentNetworkingLAB/evolvable-dl-platform 提供一个可在分布式边缘节点上用联邦学习构建领域模型的演进式深度学习平台。后端基于 PyTorch 运行 LoRA 适配器的 FedAvg 联邦学习（含分层量化与剪枝，CPU 即可运行），内置内容缓存、推理卸载和信道估计三个应用，训练中可触发数据分布偏移、节点加入、级联过载等事件，采用 Apache-2.0 许可证。
hcd233 开源 Aris，一个面向个人大模型使用的 MaaS 聚合网关、数据治理与 Agent 调用链分析平台，采用 Go + Next.js，Apache 2.0 协议。它统一接入多平台模型与 API 协议，提供 OpenAI/Anthropic 兼容入口与跨协议翻译、模型别名、订阅账号 OAuth（Claude Code/Codex）、会话持久化与 ShareGPT JSONL 导出、调用审计与熔断限流，并通过 aris CLI 采集 Codex/Claude Code hook 事件重建可读调用链。
推荐理由：作者给出与 new-api、LiteLLM 等四个主流网关的逐项对比表，会话持久化与 SFT 导出等结构性差异可直接用于选型参考。
D-sorganization 开源的 Bitnet_Launcher 是一个基于 PyQt6 的桌面 GUI，通过封装 llama-cli 在本地运行 BitNet 大语言模型。它提供模型发现、推理参数设置、逐 token 流式输出的内嵌聊天、Windows Terminal 启动、HuggingFace 目录中全部 16 个 BitNet 兼容模型的下载器，以及从 git clone、pip install 到 cmake 构建的引导式安装管理。
面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术。该团队称 LES 首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码速度超过 20 token/s。
GLM-Edge 系列端侧模型发布，包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型，1.5B/2B 面向手机、车机，4B/5B 面向 PC。在高通骁龙 8 Elite 平台上，1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码，配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载，支持 Transformers、vLLM、OpenVINO 推理。
hchen3807 在 GitHub 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于启动和管理 llama.cpp 服务器实例。功能包括多实例管理、基于 GGUF 张量表的 VRAM 占用估算（与实际加载对比）、HuggingFace 下载、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成及硬件监控。项目地址：https://github.com/hchen3807/LlamaServerLauncherAvalonia
推荐理由：这个 llama.cpp 图形启动器把 VRAM 估算拆到每个张量块，并在加载后与实际占用对比，读者可以据此判断估算是否可信。
ferrum-infer-rs 发布 Rust LLM 推理引擎，单个二进制内置 OpenAI 兼容服务器，无需 Python 运行时，目标是满足 TTFT、TPOT、ITL 尾延迟 SLO 下最大化输出吞吐。支持 macOS Metal、Windows CUDA sm89、Linux CUDA，支持 Llama、Mistral、Qwen2/Qwen3/Qwen3.5、Gemma 3 等 GGUF 与 SafeTensors 权重。RTX 5090 实测 Qwen3.8-27B GGUF Q4_K_M 32 并发下达 666.24 tok/s，为 llama.cpp 的 152.96%；compressed-tensors INT4 相比 vLLM 0.31 为 80.84%，部分测试格未过延迟 SLO。
推荐理由：作者给出了与 llama.cpp 和 vLLM 在 RTX 5090 上的吞吐对比数据，也坦承部分延迟 SLO 未达标，读者可据此自行评估。
arXiv 论文提出“推理感知多校准”框架，在按提示词话题分组的基础上，加入基于链式推理（CoT）可观测属性派生的分组，用于改进大语言模型响应可靠性的预测。在幻觉预测和不安全响应检测任务上，加入 CoT 分组均降低了 Brier score；且仅用 CoT 分组（不含话题信息）也能提升跨话题校准，表明预测误差取决于模型的推理方式而非提问内容。
研究者提出 Tandem，一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时，通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上，Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%，文本每步能耗降低 33%，模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。
SOMA（System One Metacognitive Awareness）提出用 Jev 这类 S1 决策模型持续监控 S2 推理模型并在需要时干预，含场景、感知、控制三层，无需训练即可跨任务共享同一 S1 模型。在两个推理模型上，SOMA 将过度思考场景的推理 token 削减最多 36% 且平均准确率提升，并把不可回答问题的弃答率从 70.5% 提高到 87.2%。
论文提出视觉可归因的同策略自蒸馏强化学习范式，解决特权教师 token 级纠错中“特权纠错污染”问题。其核心组件 Visual-Attribution Gating（VAG）以 verifier 优势为优化锚点，仅保留能被视觉证据对比方向性支持的纠错。在六项视觉推理 benchmark 上，VAG 平均性能超越 GRPO 和 OPSD 方法，创下新的 SOTA 平均成绩。
ReAnchor 是一种免训练方法，复用投机解码中 target 验证时被丢弃的隐状态，让预训练 drafter 在偏移位置重新锚定并生成并行草稿块，从而扩展草稿覆盖范围。在 T=0 下，该方法在 Gemma 4-12B 上平均提升接受长度 19.4%、解码速度 17.9%；在四个目标模型、八个基准上平均提升接受长度 15.2%、解码速度 13.4%（使用预训练 DFlash drafter）。
一项 arXiv 研究提出反事实评估框架，将 LLM 生成的修复动作拆分为目标记录与数值更新两部分逐组合执行。在 114 个交通修复动作中，76 个的联合修正收益超过单独修正收益之和；数据库修复中，仅替换为参考更新使 108 个动作中的 17 个恶化，这些动作均选择了未受影响的记录。在留存观测上，候选方案重组后的目标-更新配对选择可恢复参考动作损失降幅的 61.6%，高于仅在方案间选择的 58.0%。
arXiv 论文提出 Cost-Coupled Gittins（CC-Gittins），一种多目标扩展的 Pareto 推荐方法，利用评估与部署成本耦合为 LLM 智能体工作流中的角色寻找质量与成本兼顾的模型分配。在 2 到 5 个角色、最多 1,681 个候选分配的八个质量-成本矩阵上，CC-Gittins 以约 10% 的穷举评估成本恢复相当比例的真实 Pareto 前沿，到 30% 成本时基本恢复前沿且误报很少，还可将延迟作为第三个目标。初版已被 NeurIPS 2026 资源感知智能体 AI（RAAAI）研讨会接收。
一项 arXiv 研究揭示基于规则评分的强化学习中存在 Intra-Rubric Reward Divergence 现象：总评分上升时部分子维度分数系统性下降，模型为优化聚合目标牺牲特定质量维度。研究提出 FRDA（维度内分别竞争缓解维度失衡）和 RSDC（挖掘整体偏好信号中隐含的评估维度补全规则覆盖）。在 chat、science、medical 领域实验中，FRDA 更稳定地缓解 rubric hacking，RSDC 优于单奖励训练与朴素多奖励聚合。
一篇 arXiv 论文提出 Parallel Language Models（PLM），通过潜在辅助变量路由依赖关系，在单次前向传播中生成相互一致的 token，训练目标为自回归损失加并行解码损失的变分边界。预训练 PLM 在 80M 至 3B 参数规模上达到接近自回归的预训练损失，加速比随模型规模呈幂律增长。后训练后的 1.3B 模型在数学、代码和指令遵循基准上匹敌或超越同等训练的自回归模型，推理加速 2.3-5.7 倍。
一篇 arXiv 论文证明，采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer，借助 RoPE 风格的 VO-rotation 结合中国剩余定理，可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果：NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化，与前沿 LLM 的终止错误相似。合成实验中，训练后的 VO 模型在长度约 5005（所选素数周期之积）内保持近乎完美的外推精度。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
RESIN（Reasoning with Entity Structured Indexing）提出一种多链推理方法，将问题分解为单跳需求，检索源文本证据并放入紧凑推理缓冲区，保留多个候选依据直至最终组合。在 HolisQA 基准全量测试中，RESIN 取得 82.92 context recall 和 76.70 answer relevancy，五个领域的 CR 与 AR 均高于已发表基线。消融实验表明类型化证据多样性和逐跳分解都不可或缺。
论文在 Gaussian 替代模型下精确计算候选评分决策模型（如 Jev 与开源的 JevAny）的有限样本风险，分析教师软目标、冻结预训练骨干和温度校准三种训练要素。学生模型会继承教师偏差，更多数据无法消除；固定表示只在明确样本量阈值以下降低风险；温度校准仅在教师系数方向正确时消除全部超额风险。在 CFPB 的 231,521 条信用卡投诉数据上，用结果训练的学生比教师决策成本低 8%，30B 模型 zero-shot 经重校准后仍逊于教师，且偏离 Luce 公理性条件 17.5 decibans。
研究者提出 ASTOR，一种推理时框架，先将自然语言决策问题映射为文法引导的抽象语法树（AST），再确定性地编译为可执行的优化代码，用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR，ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率，且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。
研究者提出 SpecMRL，通过按特征重要性组织的参数谱基扩展 Matryoshka 表示学习（MRL），使前缀读取在学习的谱空间中进行。在 MTEB 上，SpecMRL 在所有评估的降维尺寸上都优于 MRL，压缩越激进收益越大。仅用一半嵌入维度即可超过全维度的 MRL。
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象：不同 mixer 层竞争学习同一函数，胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数，导致 attention 多数情况下学不到检索；在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由：论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制，提出的分阶段训练方法在 1B 参数规模上验证有效。
作者发布 Berth，一个监控显卡并按需自动换载引擎的系统服务，避免手动切换和 VRAM 残留占用。它可将各引擎作为 API 端点提供，支持在 llama-swap、strata、comfyUI、OpenWebUI 等之间切换，并可在游戏或夜间任务时独占 RTX 4090。仓库地址：https://github.com/T-Crypt/berth。