新闻、仓库与研究，按时间排列。
作者在 r/LocalLLaMA 分享了把闲置的 Strix Halo XDNA2 NPU 通过 Halogen 0.17.1 接入自建编码智能体的方案，NPU 只负责语义检索、去重、受限决策和注入筛查等定向工作。实测 codebase_search 在无关键词问题上 15/20 优于 grep 的 9/20，搜索延迟从约 4s 降到 0.1s，关键词贫乏任务平均 13.6 分钟对比 18.7 分钟；3.5 小时连续会话完成 119 轮、五次提交并经视觉验证发现三个真实 bug，NPU 调用中sidecar压缩每次约省 80-95 秒。作者强调 GPU 负责推理生成，NPU 只负责指引，并按实测裁掉了评分弱的工具。
推荐理由：作者对 Strix Halo NPU 在编码智能体中的每项用途都给出了实测数据和裁剪依据，方法可以迁移到自己的本地部署评测。
AISimulate 在 GitHub 上作为 AIConfigurator（AIC）的后继项目发布，可在不启动 GPU 服务集群的情况下预测 LLM 服务行为并离线搜索部署配置。它提供 predict 和 recommend 两个统一 CLI 命令，可独立于 Dynamo 安装使用，也保留 aiconfigurator 兼容命令（0.13.0 提供，计划在 0.14.0 移除）；原 AIC 仓库将发布最终 0.12.0 版本后归档。Replay 和 Sweeper 为实验性功能，官方明确其不用于生产容量规划，候选配置仍需在目标硬件上实测验证。
开源项目 eval-connections 提供基于《纽约时报》Connections 谜题的语言推理评测框架，通过 OpenRouter 支持 200+ AI 模型（含 GPT-5、o3、Grok-4 等推理模型）。4.0.0 版新增 one-shot 模式，模型一次提交全部 4 组，含陷阱检测加分，每题最高 5 分、20 题满分 100 分。框架支持并行执行（默认 8 线程）、prompt 缓存、成本追踪和可复现评测，并有人机交互模式。
作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上，用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点，供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测，10 月 7 日新增 Swift 1.5 Qwen3.8-27B，2048-token 微批提升 8K prompt 摄入约 10%，新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%；另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。
推荐理由：原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据，可复现到同类 eGPU 本地推理环境。
GitHub 项目 rustrak/llmtrak 发布了一个 Rust 编写的轻量自托管 LLM 网关，可将任何 OpenAI SDK 指向它，通过团队虚拟密钥统计每人花费，支持 OpenAI、Anthropic、Azure、Gemini、Groq、Mistral、DeepSeek、OpenRouter、Ollama 等 API 方言互译，提供带权重、重试、冷却与回退的路由，密钥哈希存储，预算按日/周/月重置，内置 Management API 与每日价格表计费。
推荐理由：原文附上了与 LiteLLM 同条件容器的延迟和内存实测对比，读者可以据此评估这个自托管网关的实际开销。
araz4111 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本，平均码率 3.04 bpw，总大小 273 GiB，基于 zai-org/GLM-5.3 的权重编辑无对齐变体，架构为 GlmMoeDsaForCausalLM，753B 参数、256 路由专家（8 激活）加 1 共享专家，包含 MTP 层可作投机草稿。作者提供了 wikitext-2 上的 KL 散度与困惑度保真度数据，以及 tau2-bench 智能体评测，与 Z.ai FP8 原版差异不具统计显著性；并提示 TabbyAPI 的 glm4_5 解析器会把字符串参数 JSON 解码为整数，导致零售场景约 70% 工具调用失败，使用前需修复。
Reflection 发布开放权重模型 Beam 1.0，采用 MoE 架构，总参数 501.3B、激活 23.4B，支持 1M 上下文，以 Apache 2.0 许可提供 BF16、FP8、NVFP4 三种精度。官方称其推理 token 用量约省 3 倍，SWEBench Verified 达 81.6%，AIME 2026 达 97.7%，不禁止蒸馏和微调。
推荐理由：官方模型卡给出完整基准表和三种量化版本数据，读者可以据此对比 Beam 与其他开放权重模型在编码和推理任务上的表现。
I3K Technologies 发布 I3K RAG Engine 0.1.x，将原 Python 多容器方案用 Rust 重写为单个二进制，首次运行下载并按 sha256 校验约 12 GB 组件，之后完全离线运行，数据不出本地服务器。系统支持 PDF、Office、邮件、图片（OCR）等多格式文档，用 BAAI/bge-m3 嵌入加 Qdrant 检索，内置 JWT 认证、每日备份和性能基准工具；1.x Python 版保留在 python-legacy 分支，无自动迁移路径，项目以 AGPL-3.0 授权并提供商业许可。
推荐理由：原文完整给出了自托管 RAG 引擎的部署方式、组件架构和安全设计，读者可以据此评估它是否适合本地私有文档场景。
Massed Compute 开源了 gpu-benchmark 仓库，收录多款 LLM 及图像/视频模型在 RTX PRO 6000 Blackwell、H100、H200 NVL、L40S 等 GPU 上的推理速度评测数据，涵盖 Llama 3 系列、DeepSeek V4.1 Flash、Qwen3.8 27B、GLM 5.3 Flash 等模型。2026 年新增测试改用 vLLM 和 SGLang 引擎，固定输入 128 / 输出 128 tokens，并在 concurrency 1 / 8 / 32 下运行，Wave 5 的复现脚本位于 scripts/wave5/。
OrsikTop 是一个用 Rust 编写的终端仪表盘，可在 Linux x86_64 上监控本地 llama.cpp 推理指标、GPU 遥测（NVIDIA/AMD/Intel）以及系统负载和进程，无需浏览器、守护进程、数据库或账号。它通过 --metrics 读取 llama.cpp 的上下文占用、prefill/decode 吞吐、请求与槽位状态等，支持自动发现本地 llama-server 进程，当前版本为 0.2.8，提供独立安装器和 Cargo 两种安装方式，采用 Apache 2.0 许可证。
推荐理由：一个面向 llama.cpp 本地推理的终端监控工具，详细说明了指标读取方式和三大 GPU 厂商的适配做法，便于直接部署使用。
webbertakken 发布 studio-worker，一个自包含的 Rust 单二进制程序，通过 WebSocket 会话从 minis.gg studio API 拉取图像、LLM、音频（STT/TTS）和视频任务，本地运行后将结果回传，并支持任务间自动更新。当前默认使用合成引擎，无需 GPU 和模型下载即可端到端跑通全流程；llama.cpp、whisper.cpp、candle、Piper、ffmpeg 等真实后端已通过 feature flag 接入，留待后续迭代启用。worker 还内置本地图像 API（127.0.0.1:4787，可用 Z-Image 生图）和基于 egui/eframe 的托盘 UI。
Reddit r/LocalLLaMA 用户就 strata、ninfer 这类引擎的命名征集意见，候选缩写为 HOMIE（Hardware-Optimized Model Inference Engine）和 MADE（Model-And-hardware Dedicated Engine）。这类引擎只能运行在特定硬件上，且仅支持 1 个或极少数模型，但作为交换，在对应硬件上的性能超过了 llama.cpp 和 vLLM 等通用引擎。
norton77930 在 GitHub 发布 corpus-ingest-core，可将播客 RSS 或 X / YouTube 视频用本地 faster-whisper 转写，产出带时间戳的字幕、摘要、提及索引和 SQLite 跨集检索，并通过 MCP 服务器（stdio 和 127.0.0.1:8767/mcp）暴露 35 个已审查工具给 Codex / Claude 等 AI 智能体。设计上区分确定性路径与可复现的规则提取、opt-in 的 LLM 语义摘要两条互不替代的路径，LLM 产物需经确定性审查门；所有写操作默认 confirm=false，外发文本需精确确认字符串，项目提供 7 个 Skills 和 synthetic 示例语料，MIT 许可，尚未实现 web UI、调度、嵌入和向量检索。
推荐理由：原文详细说明了确定性提取与 LLM 摘要两条路径的分离设计和 MCP 工具安全边界，读者可以借此了解播客音频转为可引用知识库的可复用架构。
VYOM+ Sense 是一个 Hacktoberfest Track 4 的资格赛提案，用本地开源权重 LLM 对缺少凭证类型的 Excel 交易行进行分类，从 27 个官方凭证类别中预测。方案先用确定性会计信号层提取方向、货物、资金、税务、冲销等事实，再让 LLM 基于证据推理，输出 voucher_type、confidence、reason_codes 和 review 标志。候选模型为量化 Qwen3.5-9B（备选 Qwen3.5-4B、对标 Gemma 4），目前尚未实现或测试。
faisalmumtaz89 在 GitHub 发布 Rust 编写的 Lumen 推理引擎，单个二进制文件即可下载模型并 GPU 常驻推理，不依赖 PyTorch、ONNX 或 Python，使用原生 CUDA C 与 Metal 内核和自研 .lbc 模型格式。当前支持 Qwen3.5 与 Qwen3.8 的 dense 9B、dense 27B 和 MoE-35B-A3B，以及 Qwen-Image-2.1 文生图，提供 OpenAI 和 Anthropic 兼容的 SSE 流式接口；Qwen3.5-MoE 在 A100 上 Q8_0 解码速度 79.2 tok/s，约为 llama.cpp 的 0.567 倍。项目以 MIT 或 Apache-2.0 双许可开源，API 和格式尚未稳定。
WebSlice 发布，可将大语言模型切分到同一房间内多台设备的浏览器标签页，通过 WebRTC 传递 10 KB 激活向量协同推理，无需安装或服务器。支持 Qwen 3.8 27B（15 GB Q4_0 权重），演示在 MacBook 加 iPhone 上以 10.7 tok/s 生成 400 tokens；GB10 上 plain 解码 9.0 tok/s、推测解码 16.1 tok/s，同文件同 GPU 的原生 llama.cpp 为 8.0 tok/s。默认启用 Groq Cloud 模式会把提示词和对话历史发送到 Groq，需手动关闭才走本地 WebGPU 推理。
推荐理由：原文给出 WebGPU 内核设计、与 llama.cpp 同机对照的实测数据，读者可以据此评估浏览器分片推理的实际水平。
GitHub 用户 zptaylor 开源了一组在 Intel Arc B70 上进行本地 LLM 推理的 Podman 容器配置，涉及 vLLM、llama.cpp 和 LiteLLM，并包含 vllm-qwen38 等目录。该仓库为私有仓库的公开脱敏镜像，自动同步，同步说明见 SYNC.md。
该仓库提供在AMD RX 9070 XT（16 GB）上以ExLlamaV3加TabbyAPI运行Qwen3.8-27B EXL3 3.0 bpw的完整脚本，作为OpenAI兼容本地服务器，支持128k上下文、工具调用和图像输入。配合RDNA4补丁和3.0 bpw DFlash2草稿模型做投机解码，短上下文代码生成约130 tok/s，128k下约100 tok/s，对话约55-65 tok/s，WMMA GEMV使草稿验证开销从1.55x降到约1.16x，DeltaNet replay节省约1 GB显存。项目独立，代码由Claude Opus 5.5编写并经GPT-6.1 Sol审阅。
推荐理由：README给出了RDNA4上跑Qwen3.8-27B的完整补丁、基准数字和一键脚本，方法可直接复用到同款AMD显卡。
一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略，以增强 LLM 在多任务间的上下文推理能力，实证结果显示其在动态环境中适应性更优。该论文正在 COAI 2025 会议评审中，其 GitHub 仓库尚未发布，后续将放出实现代码、实验配置、benchmark 结果、预训练模型检查点及文档教程。
Timiku 在 GitHub 发布了为 vLLM 提出 /v1/decisions 类型化决策端点的参考实现，基于 vLLM v0.30.0 的 overlay 补丁，将单次 forward pass 读取选项 logit 概率的决策后端统一到一个 API 下。内置 logit、encoder、canvas 三个可插拔后端，并提供兼容 TypeSafe Jev API 的 /v1/systemone 投影端点；该端点拟提交至 vLLM 上游。
推荐理由：原文给出了在 vLLM 上直接读取选项 logit 概率的完整实现与实测数据，读者可以复用这套部署方法而不必额外模型或服务。
DanyAPI 是一个基于 Python + FastAPI 的 OpenAI 兼容 HTTP 网关，不走付费 API，而是对接 DeepSeek、Qwen、GigaChat 免费额度以及 Yandex Alice、Duck.ai、Mistral Le Chat、Google AI Studio 等免费网页客户端的内部接口。提供 /v1/chat/completions、/v1/embeddings、Anthropic Messages、图像生成等端点，支持 Docker 一键部署、BYOK 模式和服务端 MCP 工具循环。
推荐理由：README对每个免费上游的协议、限制和失败实测都写得很具体，部署前值得一读再决定启用哪些 provider。
spinloop 发布一个零依赖 Go 编写的 CLI，用一个 Spinloop 文件描述模型，通过 llama.cpp、vLLM、oMLX、MTPLX 等引擎在本机、局域网、Tailscale 或 AWS scale-to-zero 云 GPU 上部署，并把 opencode、Pi、lucinate 等编码 Agent 指向所运行的模型。内置 OpenRouter、Bedrock、Vertex AI、Ollama 等 provider 目录，支持 spinloop daemon 节点、fleet.yaml 舰队管理与 dashboard 实时看板，密钥从 .env 读取且合并保留现有配置，MIT 协议开源，可通过 brew 安装。
推荐理由：原文给出一个把本地、局域网与云端 GPU 模型统一接入编码 Agent 的 CLI，部署、舰队管理与配置合并做法都可参考。
/u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu，在六张 3090 纯 PCIe（无 NVLink、无 P2P）上跑 Qwen3.8-Flash-Next，250k 上下文 prefill 从 263 提到 2111 t/s（8 倍），六张 4090 上为 10 倍；单会话 250k decode 提速 2.3-3.3 倍，五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8，提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像，通过环境变量开启；附 n-gram 推测解码，代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试，代码经 LLM 编写并以实测验证，未向上游提 PR。
推荐理由：作者给出同机同模型的上下游对比数据和适用边界，读者可判断自己的 PCIe 多卡长上下文场景是否值得换用这个分支。
Reddit 用户在 128 GB M5 Max Mac 上以 Q2 运行 341 GB 的 DeepSeek V4.1 Flash，将 ds4.c 从 85k 行裁剪到 34k 行、只保留 DeepSeek 和 Metal 后端，配合 kernel 融合与双 SSD 流式读取，解码从 12.1 提升到 24.4 tok/s，8K 上下文后首个 token 时间从 1.38 s 降到 0.18 s。所有改动要求输出 token 与上游逐位一致，仓库为 github.com/Chida82/sf-ds4-1flash，通用流程在另一个仓库 StarForge。
推荐理由：作者给出完整的实测方法和逐项数据，还把裁剪和优化流程整理成可复用的仓库，思路可直接迁移。
Liquid AI 发布 d1-omni-600M 决策模型，开发者将其移植到自己基于 TypeGPU 的纯 TypeScript WebGPU 推理库 runntime 中，无需 WASM，权重直接从 HF safetensors 加载。演示中模型实时审核评论，对每条评论回答 4 个问题，约 180 ms/条、约 45 ms/问题。该移植尚未进入 npm 发布，runntime 其余功能（检测、分割、语音转文字、嵌入向量等）已可用。
作者在 GitHub 开源了 llm-inference-explained，一个图形化、可交互的大模型推理服务教程网站，14 章覆盖生成循环、KV cache、roofline、batching、PagedAttention、FlashAttention、投机解码、量化、并行、服务指标与分离式 prefill/decode，并附带可在浏览器运行的模拟器。每个交互都在浏览器运行经过测试的代码，成本模型移植自 Disaggregated_Inference_Sim，单元测试逐位校验缓存与全量重算的 logits 一致，章节引用的数字均由测试重新计算，在线地址为 llm-inference-explained.vercel.app，采用 MIT 许可证。
推荐理由：原文详细说明了各章交互的数值如何由单元测试与模拟器 fixture 逐位校验，读者可以据此判断这份推理教程的可信度。
Liquid AI 在 Hugging Face 发布开源决策模型 d1-3B 与实验性 d1-omni-600M，模型不做 token 生成而在单次前向传播中给出答案。d1-3B 在 Decision Index 0.2.1 得分 48.57，为 10B 以下最佳，基于 LFM2.5-VL-3B 训练，支持文本与图像输入，在 Jetson AGX Thor 上单问题推理仅需 16 ms，RTX 4090 上 8 ms；在七个公开数据集上均分 82.9，高于 Decider 4B。d1-omni-600M 基于 LFM2.5-Encoder-350M 并加入视觉与音频编码器，均分 78.4 超过参数量四倍于它的 Decider 2B（77.1），目前为早期研究版本。
推荐理由：决策模型不做生成而是单次前向输出答案，原文给出的边缘设备毫秒级延迟数据展示了这一路线的实际可行性。
GitHub 上的 grounded 项目是一个基于 Postgres 的自然语言分析应用案例：LLM 只通过 Structured Outputs 生成结构化 QueryPlan，SQL 由确定性编译器从预批准片段生成，经 allowlist 校验、SQL 安全检查和参数化执行，LLM 从不直接写 SQL 或接触数据库执行权限。所有 LLM 调用强制 temperature=0、max_tokens=500、默认 15 秒超时；示例评测得分为 0.87，其中 executionSuccessRate 0.95、groundingRate 0.90，两个 LLM 接口均可配置为 OpenAI 或 Anthropic 兼容传输。
GitHub 开源仓库 awesome-llm-interview-code 按 13 个模块整理 LLM 面试知识点，覆盖注意力机制、RoPE、MoE、LoRA、KV cache、推理优化等主题。每个题目包含原理描述、核心公式、ASCII 张量流程图、可运行 Python 代码实现和面试要点。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。
Scalytics 在 GitHub 开源了面向企业的私有 AI 运维平台 Scalytics Copilot，主打 GenAI 工作负载的治理、部署控制与可审计性。平台支持本地与外部模型统一接入、多模型路由、基于角色的权限与策略管控、API key 治理、基于 vLLM 的本地推理以及 MCP 工具与 Agent 集成。技术栈包括 Node/Express 后端、React 前端和 Python 推理/深度研究服务，采用 Apache License 2.0，支持包括 GCP 在内的自托管部署。
作者在 RTX 5060 Ti + 3090 + 2x 3060 的混装四卡机上，用 Strata 引擎跑 Qwen3.8 Flash-Next（125B MoE，IQ3_XXS，262k 上下文），发现升级到 0.1.40.1 后约 10.7 GiB 显存空闲。排查显示常驻专家缓存从 0.1.39 的 23,168 降到 17,515（GSQ-RCO，-24%），被弃的是路由流量不足 2% 的冷专家，缓存命中率仅从 99.7% 降到 98.1%，生成速度反而从约 87 tok/s 升至 104 tok/s，空闲显存实为有效余量而非 Bug。
推荐理由：作者用 nvidia-smi 和缓存命中率数据说明闲置显存是被主动放弃的冷专家，可迁移为排查同类 MoE 推理问题的思路。
NVIDIA 的 cuVS 库提供多个在 GPU 上运行近似最近邻和聚类的先进算法实现，可独立使用，也可通过已集成它的数据库和库调用，目标是简化 GPU 向量相似性搜索和聚类。它基于 RAPIDS RAFT 构建，支持 Python、C++、C、Rust 等多语言 API，可通过 conda、pip 或 tarball 安装，CUDA 13 构建的二进制体积约为 CUDA 12 构建的一半，适用于语义搜索、RAG、推荐系统等场景。
bitemyapp 开源 inferrous 项目，用 Rust 编写 LLM 推理引擎，所有 GPU kernel 经 cuda-oxide 编译，不含 CUDA C++ 及厂商 BLAS 或 attention 库。首个引擎 inferrous-qwen3 在 RTX PRO 6000 Blackwell 上以 W8A8 INT8 运行 Qwen3-8B，解码速度 182.3/178.2/170.5 tokens/s（5/129/512-token 提示词），快于 vLLM+Humming INT8（144.4/143.3/142.9）。目前为研究级代码，单请求、greedy 解码、最长 4096 token 上下文，下一目标为 Qwen3.6-35B-A3B FP8。
hi-ogawa 在 GitHub 开源了 llm-music-probe 仓库，通过笔记与实验考察通用 LLM 在文本词汇中具备多少音乐直觉，以及剩余差距有多少源于工具而非直觉。仓库包含 context、notation、tool-plan、toy-midi-playback、directions 等文档，并计划自建 score-to-sound 工具，experiments 目录下每个实验各有 README。
开源项目 mini-infer 是一个用 PyTorch 从零编写的轻量 LLM 推理引擎，用于服务 Qwen2.5 模型，旨在理解 vLLM 等推理服务器的工作原理而非替代它们。项目逐一实现了 KV cache、Continuous batching、Paged KV cache、Speculative decoding 和 int8 weights 等推理优化，每步附 benchmark。测试环境为 RTX 5050 8 GB、Qwen2.5-1.5B、bf16，可在 Linux 或 WSL2 上以 CUDA 12.8+ 运行。
GitHub 开源项目 decisio 发布，它实现 TypeSafe 的 System One 线格式，把文本问题送入模型、每个问题一次前向传播即可输出各选项概率分布，不生成文本。项目提供 Qwen3.6-35B-A3B、Gemma 4 12B 和 31B 三个基座配置，Gemma 4 31B 在 Decision Index 0.2.1 得 57.58 分、每请求中位 56.0 ms；支持任务注册校准、弃权阈值、图像输入，可通过 GPU、Docker、MLX 或 Ollama 部署，最小 Gemma 标签 8.6 GB 可跑在 16 GB 笔记本上。
推荐理由：项目作者自述的决策服务层实现，给出了三个基座模型的实测精度与延迟对照表，读者可据此评估选型。
subactor 发布 subllm（发行包名 subactor-subllm），一个用单个 Python 源码文件集中定义 LLM 提供商、模型、应用路由及优先级的仓库，凭证不入库、本地经被忽略的 subllm/.env 读取。默认路由链为 Z.AI → Cursor → OpenRouter，Z.AI 默认模型 glm-5.3，Cursor 专属 gpt-5.6-sol，OpenRouter 默认 glm-5.2，缺失密钥或 HTTP 400 等不可重试错误一律 fail closed。
MediVault 是一个基于 React、Node.js/Express 与 PostgreSQL 构建的全栈医疗平台，提供基于角色的访问控制、模拟 AES-256-GCM 加密存储与 SHA-256 完整性校验。平台通过 Tesseract OCR 提取化验报告中的生物标志物并标记异常值，调用 Google Gemini 生成带非诊断声明的通俗报告解读，并支持原子化防冲突的预约系统，使用 Docker 部署。
VibeBlade 是一款可在个人电脑上本地运行大语言模型的工具，数据完全保留在本机，无需订阅或联网即可对话。它支持 Windows 10/11（64 位），建议 16GB 内存和 10GB 可用空间，通过 CPU 推理、量化、内存管理和专家卸载技术在普通硬件上运行模型。用户可在内置模型库中下载并随时切换模型，设置界面可调整线程占用和内存上限。