新闻、仓库与研究，按时间排列。
InferFabric（前身为 Iron Pangu）是一个 Rust 编写的华为 Ascend 推理编译器与运行时，通过 DSL 描述模型并用原生内核执行，全程不参与任何 Python 或 PyTorch 引擎。2026-10-16 达成两个里程碑：92B 模型以 107 行 DSL 定义并编译为 2,109 个 primitive 操作，在 8 张 Ascend NPU（TP8/EP8）上端到端验证，三个完整回答的 33/33 生成 token 与固定参考匹配；activation、路由数据和 KV 状态全程驻留 NPU，24 项 case/rank 审计零 activation 回传。内存复用使每 rank 启动 HBM 增长从 5.79 GB 降至 3.53 GB，约 39%。
zhangjun 在 GitHub 发布 AI Infra PR Tracker，一个面向 vllm、SGLang、verl、Megatron-LM、TensorRT-LLM 等主流 AI 基础设施仓库的 PR/Issue 追踪看板。它提供按日/周/月分组视图、LLM 生成的每周编辑摘要，以及 repo、类型、分类等多维筛选，数据经 GitHub Actions 每日 01:00 UTC 自动刷新。项目基于 Next.js 16 + React 19 构建，支持 OpenAI 兼容 API 的 LLM 增强，裁剪正文后 data.json 从 10.6MB 降至 2.8MB（gzip 后 0.6MB）。
Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。
Reddit 用户 challis88ocarina 首次成功将 Muse Spark Open 816B-A42B 钳制到 ds4 运行 DeepSeek v4.1 Flash 1017，解码速度仅 4 t/s。作者希望后续能提升 4-5 倍，并计划运行更大的 prefill 块，但不预期会有大幅跃升。
vedicreader 开源的 Rishi 库为本地与托管模型提供统一的 Chat API，对话以可移植的 Python 历史保存，可在 LiteRT、Ollama、MLX、llama.cpp、Claude Code、Copilot 等后端间无缝续接。安装基础包即含 LiteRT 与托管 API，也可通过 rishi[llama]、rishi[mlx]、rishi[ollama] 等额外装本地运行时。它支持流式输出、图像与音频输入，示例演示了同一段对话横跨七个后端仍能正确传递暗语。
Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。
推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。
作者在 Basalt 中为 Qwen3.8 Flash-Next 实现原生 NVFP4 支持并加速 prefill，新的 .basalt 包保留原版 NVIDIA experts、dense 层存为 Q6_K。单张 5090（400w）+128GB DDR5 单流下 struct 304 tok/s、prose 183 tok/s，加 5060 Ti 协同后达 479/239 tok/s；64K prompt prefill 达 8,582 tok/s（首 token 7.6 秒）。
推荐理由：作者给出了 NVFP4 量化后的 PPL、KLD 和 top-1 一致性数据，以及与 Infernix 的同机对比，方便自行复现判断。
/u/shayanx45 在 2x DGX Spark（TP=2 经 CX7 线连接）上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017，实测 TensorFold 较 vLLM kit 快 2.1-2.3x：文本解码 27.0→56.8 tok/s，代码 39.9→92.2 tok/s，64K大海捞针 80.4s→35.9s；8K-64K 冷 prefill 约 2.1-2.2x，1M（1,034,753 tokens）达 1,246 tok/s。提示词缓存可跨重启恢复，18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开，引擎来自 bertholomus 的 V4.1 port，host 调优将随下次更新进仓库。
推荐理由：作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据，可复现的部署配方已开源到 GitHub。
wckdboy 在 GitHub 发布 Autobot 1.7，一个隐私优先的 Android/iOS AI Agent，通过 llama.cpp 在设备上运行聊天、Agent 和代码会话，图像走 stable-diffusion.cpp、QNN 或 Core ML，语音用 whisper.cpp。默认离线并带 kill switch 和审计日志，云端请求先做脱敏并附隐私回执；双端共享 Kotlin Multiplatform 核心，支持 Qwen3、Llama 3.2 等本地模型目录、投机解码（M3 Pro 上 Qwen3 4B+0.6B 在代码任务达 1.64x）、MCP 服务器和 .autobot 加密导出。Snapdragon 加速路径针对 8 Elite Gen 5 构建但尚未在真机验证。
推荐理由：README 详细写明了离线默认、审计日志、加密存储等隐私机制和 NPU/GPU 加速路径，读者可据此评估这个双端 AI Agent 的实际可用性。
roylez 在 GitHub 发布 LLM Gateway，一个用 Elixir 编写的 LLM 供应商代理，接受 OpenAI 或 Anthropic 格式请求并自动完成 API 格式互转。支持 OpenAI、Anthropic、OpenRouter、GitHub Copilot、Ollama 等供应商，提供 5xx、超时或限流时的跨供应商故障转移链、虚拟 API 密钥的按模型访问控制、来自 llmdb 的模型元数据、Anthropic 缓存指标归一化、SSE 流式转换，以及 DeepSeek DSML 标记到结构化工具调用的清理；GitHub Copilot 采用全自动设备码授权，支持 Docker 部署和 Elixir Library Mode 直接调用。
推荐理由：README 详细给出了多供应商路由、故障转移链和 API 格式互转的配置方式，可直接照着部署一套自托管网关。
开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl，可在单张 RTX 4090（24GB）加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash，权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3，同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。
推荐理由：作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据，方案可直接复现。
作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next（Unsloth UD-Q4_K_XL 量化）的实测结果，模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制，decode 使用训练出的 lookahead 模型提前从 SSD 取专家；满内存约 29 tks 解码，减 4GB 后约 26 tks，非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。
/u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。
推荐理由：作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。
论文提出把有界 Agent 工作流中的决策当作优化问题，先离散化状态、求解马尔可夫决策过程再复用解，称为 Bellman language model（BLM）。在 τ²-bench telecom 上，无模型控制器解决 79% 任务；Qwen3.8-27B 作为 BLM 从 29% 升至 96%，模型调用减少 93%；Claude Opus 5.5 作为 BLM 时每任务调用与成本约降 98%，并多解决 2 个任务；在 InventoryBench 上无模型求解策略胜过所有已发表方法。但内容生成为主的场景（如解决 SymPy 问题）收益很小。
推荐理由：论文把有界工作流中的重复决策先求解再复用，给出多个基准上降低调用成本与提升成功率的具体数据，方法可迁移。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
GitHub 新开源项目 MMIRAGE（Modular Multimodal Intelligent Reformatting and Augmentation Generation Engine）是一个利用生成模型（含 VLM）处理大规模数据集重排与增强的平台。它支持文本与图像多模态处理、YAML 配置、多节点并行与分布式推理，可对接多种 LLM、VLM 和图像生成模型，并支持任意数据集 schema。项目提供 pip 安装、基于 SGLang 的 GPU 处理器、GHCR 预构建 Docker 镜像（GPU/CPU）以及 `mmirage run/check/merge` 等 CLI 命令。
研究者提出可编程搜索框架 Retrieval Program Learning（RPL），让策略通过强化学习把搜索原语组合成带局部状态与控制流的程序。针对稀疏反馈下的探索难题，其 program mutation 方法将次优程序的局部变体转为训练轨迹蒸馏回策略。在开放域问答与语料级推理任务上，RPL 训练的 4B 模型超越所有 8B 基线，多跳任务提升显著，同时降低上下文消耗与检索轮次。
论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化策略以增强 LLM 在多任务间的上下文推理，实验结果显示在动态环境中适应性更优，目前正投稿 COAI 2025 会议在审。配套 GitHub 仓库标注"To be released"，将包含完整实现、实验代码与配置、benchmark 结果分析、预训练模型 checkpoint 及文档教程。
clocksmith 发布 doppler，一个通过 WebGPU 在本地执行模型的 JavaScript 库，支持生成、嵌入向量、重排序和选择打分，并按模型和主机分别验证。提供 npx --package doppler-gpu@0.6.1 的 quickstart（模型 gemma3-270m），浏览器与 Node 支持分开验证；模型目录涵盖文本与多模态生成、扩散语言模型、翻译、嵌入、重排序、蛋白质与核苷酸编码器，对比记分板将吞吐与加载分开报告，W8A8 仍为实验性，选择分数未校准，许可证为 MIT。
推荐理由：原文给出 quickstart 命令、支持矩阵与按模型和主机限定的验证方式，读者可据此评估在浏览器或 Node 里跑本地模型的可行性。
扩散语言模型（dLLMs）的采样器在决定何时提交 token 时会引入模型之外的偏见。研究在 LLaDA 和 Dream 上发现，常见的 peeking 提交规则会放大职业性别刻板印象、坍缩观点分布，且并行解码越快偏移越明显。论文提出 Fork-First Sampling，在生成任何内容前先决定分歧点，可跟随目标分布、提升流畅性，代价仅为一次前向传播。
GitHub 开源项目 openai-api-bridge 提供一个 OpenAI 兼容的 HTTP 网关，把 ComfyUI、Venice.ai、ImageRouter、OpenRouter、fal.ai 及任意 OpenAI 兼容后端（llama-server、vLLM 等）聚合到单一端点，支持 /v1/{models,chat,embeddings,images,videos,files} 等标准路由，对不兼容的上游做协议翻译，兼容的则直接透传。
推荐理由：仓库文档详细说明了各家非 OpenAI 兼容后端的翻译差异和部署注意事项，可作为自建多后端统一网关时的参考实现。
研究者分析了随机组合树（random composition trees）这一递归切分文本的随机模型的信息论性质，证明其熵随根节点规模线性增长，并给出熵率与分支因子的解析表达式，同时证明大树具有典型性。该模型与语言作为平稳遍历随机过程建模时共享线性熵增长与典型性两个关键性质。
GitHub 仓库 lokah1945/wrappers 为 OpenAI 和 Anthropic 兼容客户端（包括 Claude Code、Codex 和 OpenCode）提供协议代理，支持多 key 轮换、限速、指标与流式传输。2026-10-11 生产范围为 nvidia-python、nous、openrouter 和 model-registry，已验证模型包括 nvidia/nemotron-3-super-120b-a12b、poolside/laguna-xs-2.1:free 和 liquid/lfm-2.5-2.6b:free；BLACKBOX 与 OpenCode 包装器处于冻结待定状态。
一个面向生产环境的开源 LLM 推理平台，可在 RunPod 和 Vast.ai 等廉价 GPU 云上部署 Llama 3.1 8B（AWQ 4-bit，约 10 GB 显存）与 Qwen3 8B（fp8，约 8 GB 显存），同时支持 vLLM v0.30.0 和 SGLang v0.5.20 两种引擎，并通过 LiteLLM 代理网关做流量 A/B 分流。平台基于 KEDA 按 Prometheus 队列深度和 KV-cache 压力自动扩缩容，提供 Prometheus + Grafana + Loki 全套可观测性、机密加密、NVMe 模型缓存（重复启动约 30 秒）以及 Velero 每日集群备份。
GitHub 上的 lario-llms 仓库为 bigcachy、l-dev-ai 和 mini-mobile 三台硬件提供本地 LLM 推理配置，通过编辑 models.json 由 shared/modelctl.py 生成 llama-swap 配置。设备包括 128 GiB 统一内存的 Strix Halo（Vulkan）、RX 7900 XT 20 GiB（ROCm）和 RTX 5080 16 GiB（CUDA），模型权重存放在 XFS 上。提供 geekom、7900xt、rtx5080 等别名切换模型，支持 qwen3.8 系列、Muse 等配置，并通过 MCP 工具暴露 Intel 翻译、嵌入和语音能力。
Phonon 项目将闲置 Android 手机改造成局域网内的私有 OpenAI 兼容推理池，并行度等于手机数量，加手机是加任务槽而非提速。架构为 opencode 主机经 LiteLLM 网关路由到各手机上以前台服务运行的 llama.cpp，单模型单槽位。项目目前处于 pre-alpha，尚无实测数据，首个里程碑是作者两台 Pixel 7 的测量结果，采用 Apache License 2.0。
论文提出 ECHO（Efficient Causal Self-Recursion），用主干模型自身最后一层预测所有未来 horizon，并以 Dynamic Depth Sampling（DDS）按深度衰减概率采样训练深度，省去辅助 MTP 模块的额外开销。预训练中增加的深度转化为下游准确率，集中在推理与代码任务上，训练开销仅为训练每个深度的一半；推理时模型自任 drafter，可在超出训练深度的范围起草，并在开放式高熵生成中保持 draft-target 对齐。该优势在翻倍 token 预算、重复预训练和 SFT 后仍然保持。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核来降低推理延迟。该模式在 NVIDIA GB300 和 AMD MI355X GPU 上均实现显著延迟下降。
Reddit r/LocalLLaMA 用户 Dany0 自测 DeepSeek V4.1 Flash 1017 的 token 效率：最高思考强度下 CoT 长度无变化，高强度下 CoT 明显更短但幅度不大；各强度下 CoT 质量更高、废话更少，解题所需轮数更少。作者认为值得一试，并希望 Artificial Analysis 重新测试。
SinapisAI 团队提出实现集体模型智能的系统方案，包含 Model Eval、Mio（Models in One）和 Mos（Model Serving OS）三个组件，分别解决能力刻画、模型选择协作与高效执行。在九个公开 benchmark 上，Mio 1.0 Lite 取得最高平均分和最低平均成本，单请求成本比最佳替代方案低 73.7-97.5%；预热共享缓存将模型文件检索加速最高 23.3 倍。
PV-Decoding 是一种面向扩散语言模型的置信度驱动投机解码框架，用两个置信度阈值把被遮蔽位置划分为直接解码、投机与未决 token，并采用渐进式验证策略。在三个扩散语言模型的 GSM8K、MBPP 和 HumanEval 实验中，其将顺序模型前向传播（MFP）较置信度解码降低 8%–37%，最大精度损失仅 1.3%；在 Dream-7B-Instruct/GSM8K 上，1-batch 与 2-batch 版本在同硬件下吞吐提升 7.0%–13.6%。
研究者提出 DiffuPlan，一种维护单一可编辑规划状态的扩散搜索智能体，当后续证据确定实体或改变搜索路线时仅重建受影响步骤，并引入 Expansion-Partition Marginalization（EPM）支持变长修订，还将扩散轨迹 RL 适配到多轮搜索。在四个多跳 QA 基准上，DiffuPlan 取得 50.24 平均 F1，超过强 AR 搜索智能体；同等数据与训练下，可编辑规划状态为扩散智能体带来 2.44 F1 提升，而其 AR 源模型仅提升 0.47。
0xShug0 的 audio.cpp 发布 v0.9.2，这是一个基于 ggml 的高性能 C++ 音频推理框架，在 Windows、Linux、macOS 上支持 CUDA、ROCm、Vulkan、Metal 和 CPU 后端，覆盖 TTS、ASR、语音克隆、声源分离等 110+ 模型家族、190+ 变体，通过统一 CLI、server API 和 WebUI 运行。新版本改进 Qwen3 TTS、BreezeTTS2 等流式推理（BreezeTTS2 首音频时间降低约 85-90%），部分 CUDA TTS 路径比 Python 快 1.8-8x，Supertonic 3 在 RTX5090 上 3 分钟生成约 10 小时音频，并已集成进 Unsloth Studio。
语言模型有时会逐字重复直到生成上限，一项研究分析循环的逃逸条件：给定某片段已重复 n 次，逃逸何时仍可能。研究发现有界惩罚可导致位置锁死，并预测广泛部署的 DRY 采样器存在盲点——在 11 个开源模型上，66% 的 g=6 锁死单元在 DRY 下保持锁死，自由生成中存活于 DRY 的 109 个循环全部满足 g≤7。作者提出 DRY-C，720 次结构化输出生成均未循环到长度上限，任务完成率与 DRY 接近。
NVIDIA 在 Hugging Face 上发布 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，总参数 4B，采用 looped（latent-recurrent）normalized-GPT 架构，混合交错滑动窗口注意力（SWA）与全注意力层，通过重复应用共享层块为每个 token 花费更多计算以提升智能。上下文长度最高 256K tokens，精度 BF16，支持英语，采用 OpenMDW License 1.1，可商用或非商用，发布日期为 2026 年 10 月 16 日。
llm-d-incubation 开源了 llm-d Resiliency Operator（IRO），一个可自动检测 llm-d 推理工作负载故障并触发恢复的 Kubernetes Operator，让多节点模型服务器在服务降级后无需人工干预即可恢复健康。项目处于早期开发阶段，采用 Apache License 2.0 许可，需 Go 1.25+ 和 Docker 环境，支持 make build、make test 等常用命令并接受社区贡献。
GitHub 用户 Suniljadaun 开源了 distributed-gpt2-inference 仓库，用于分布式 GPT-2 推理。项目基于 PyTorch，采用 gRPC 构建分布式系统，属于 LLM 推理相关项目，代码已在 GitHub 公开。
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP，使 Qwen3.8-27B（IQ4_XS 权重、Q8_0/Q4_0 KV cache）在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文，解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB，方案将完整缓存保留在主机内存，通过 PCIe SDMA 异步流式传输约 450 MiB（prefill）和约 2,100 MiB（decode）的工作集，并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
推荐理由：作者给出了各上下文长度下的解码与预填充实测数据，以及功耗限制下的对比，可复现到 AMD 单卡本地部署。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。
推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。