新闻、仓库与研究，按时间排列。
Off Grid AI 开源了 AGPL-3.0 的本地优先 AI 运行时与工作台 OGAD，通过内置 llama.cpp、stable-diffusion.cpp、whisper.cpp 和 Kokoro 在本机运行文本、视觉、图像和语音模型，不经过云端。它提供聊天、RAG 项目、图像生成、语音、artifacts 画布，并暴露一个无需密钥的 OpenAI 兼容端点 http://127.0.0.1:7878/v1，可 headless 只跑网关；Pro 版为付费可选层，提供屏幕 OCR 记忆、本地会议转录、听写和带审批队列的自动化操作，一份许可最多覆盖 5 台设备。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
Tingly Box 开源了统一 AI 网关，支持任意 Agent 对接任意模型，提供协议双向转换、一键配置 Claude Code 与 Codex 等客户端、智能路由和团队密钥管理。支持 OAuth 复用现有配额、vLLM/Ollama 等自托管推理服务器，可通过 Telegram、微信、飞书、钉钉等 IM 远程控制 Agent，通常增加不到 1ms 开销，项目采用 MPL-2.0 许可。
ashu1800 发布 llm-desktop（LLM Gateway），基于 Tauri 2 + Rust + React 18 的本地 LLM API 网关，Windows 优先并兼容 macOS/Linux。
推荐理由：仓库完整记录了三协议互转、熔断 failover 与计费统计的实现细节和拍板决策，可作本地 LLM 网关的工程参考。
token.place 是一个安全的点对点生成式 AI 平台，支持通过 `python relay.py` 快速启动 relay，完整开发环境需 Python 3.11+ 和 Node.js 18+。平台提供 Docker Compose 本地部署、Kubernetes manifests、macOS/Windows 桌面安装器构建，并内置速率限制（默认 API_RATE_LIMIT 60/hour、流式聊天 30/minute、每日配额 1000/day）与可选内容审核（默认 disabled），还支持 USE_MOCK_LLM=1 用模拟模型替代下载。
GitHub 仓库 madhugoutham/architecture 为 llm-d 及周边 AI 推理组件提供静态 HTML 的可视化讲解与架构图，无需构建步骤，内容涵盖 EPP 可视化指南、tenant-identity 公平 ID 机制、agentic-serving 设计探索、ModelExpress 点对点权重加载、pd-rdma 共 17 章 RDMA 指南等主题。所有动效图通过 data-motion 等属性驱动，支持深浅色模式，并提供 Pause motion 按钮与 ?motion=static 停止动画。每次推送 main 分支经 GitHub Actions 发布到 GitHub Pages，仓库声明为独立讲解、非官方文档。
Reddit r/LocalLLaMA 用户称，得益于 Strata、Splash 等优化推理引擎，本地 AI 模型近期表现大幅提升，推理速度可达某些博主演示的 5 倍，且设置基本开箱即用，怀疑有人付费请网红劝退用户尝试本地模型。
Hugging Face 上发布了 zandenAI/GLM-5.2-FP8-Uncensored 的 Colibri int4 独立转换版，供 C 推理引擎 JustVugg/colibri 使用，该引擎将稠密部分保留在内存中并从本地存储流式读取 MoE 专家权重。转换采用行式 int4 量化（嵌入与 LM head 为 int8，norms 与路由权重为 FP32），非标准 Transformers/vLLM/GGUF 格式，须用 Colibri 加载，遵循 MIT 许可。
作者 /u/Distinct-Pie2389 提交的 Berth 工具支持引擎把权重驻留到系统内存，ComfyUI、vLLM、SGLang 等支持 park 协议的引擎可从内存恢复而非从磁盘重载，仅在测得 RAM 覆盖引擎加余量时驻留，内存不足时优先停掉已驻留引擎。在 RTX 4090 加 64 GiB 内存的参考配置上，经 llama-swap 的单次对话请求（含 lease）从请求到回复：21 GB 对话模型文件已在 page cache 时 5.6 秒，ComfyUI 驻留 RAM 后切换不到 1 秒，ComfyUI 切到 27B 对话模型 13.6 至 16.3 秒；数据与方法见 Strata 的 Benchmarks Repo。
pstreet 的 mistral.rs 部署分支在 upstream 的 CUDA/Metal/CPU 路径之外增加了 AMD ROCm（Strix Halo gfx1151）服务支持，支持 cpu、rocm、cuda 等多种构建形态组合。正文给出 v0.8.2 基准：Q8 prefill 在 GB10/B200/H100 上为 7395.7/27705.6/26220.6 TPS，高于 llama.cpp GGUF Q8_0 的 3973.7/11992.4/11702.1；BF16 decode 多数场景快于 vLLM。上游 mistral.rs 引擎本身支持 45+ 架构、ISQ/GGUF 量化、OpenAI 与 Anthropic 兼容 API、MCP 与内置 agentic 运行时。
psewar 在 GitHub 开源了 Skirnir，一个自托管的 LLM 路由器和 AI 网关，部署在多台 GPU 机器的 Ollama 之前，对外同时提供 Ollama API、OpenAI 兼容接口和 Anthropic Messages API（可接 Claude Code）。客户端按角色而非模型名请求，路由器根据 VRAM 占用、游戏检测、速度和错误率选择节点与上下文档位，支持 Wake-on-LAN、熔断、云兜底层级和共享 agent 记忆；auto 角色由本地决策链自动选角色，链路路由准确率 0.947。当前版本 router 0.1.6、agent 0.8.4，自 2026 年 9 月起在一个 homelab 持续运行，作者强调无稳定性保证。
VecSzn 发布 PolyStrata，一个基于 Strata 的本地推理工具，在普通 PC 的显卡、内存和处理器之间分摊计算，可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s，DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s；在 8 GB 显存笔记本上，PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
推荐理由：仓库给出了各模型在不同量化档位下的读写速度实测，并与 llama.cpp 在同一台笔记本上做了直接对比。
ReVolta 维护者发布 vLLM 分支 0.1.2 版，在 4× V100（SM70、无 NVLink）上实现 DFlash2 投机解码，作者称可能是首个在 Volta 上跑通的案例。drafter 使用 incoai 的 DFlash2 checkpoint，从目标模型 hidden states 起草 8-token 块并由目标单次验证；测试模型为 Qwen3.8 Flash-Next（AWQ）、512K 上下文、FP8 KV 加 CPU offload、TP4 + DCP2。实测单请求英文代码 201 tok/s（对比 163）、英文推理 195（对比 163）、中文 85–101（对比 100–105）、8 并发混合 331（对比 357）；KV 池增大约 10% 至 1.27M tokens。
Reddit 用户在名为 lvgale 的拼凑主机（i7-6700K 加 RX 580、RX 570、GTX 1660 Super、GTX 1070，部分仅 PCIe x1/x2）上，用自研 Slipstream 编排引擎以混合厂商 Vulkan 后端并发运行三个视觉模型：Qwen3.8:27b-vision 达 3.82 t/s，Qwen3.5:9b-vision 达 4.75 t/s，Qwen3.5:2b-vision 达 12.47 t/s，同时处理 OCR 与视觉解析。
作者让 Kimi K3.1 与 GPT-6 Astra 各跑一次相同的 Three.js 3D 飞行 Agent 任务并对比数据。K3.1 用时 12:28、20 步、读 725K prompt tokens、输出 49.2K tokens，Astra 用时 9:17、35 步、读 1.2M prompt tokens、输出 22.2K tokens；K3.1 推理占比 56%、成本约 $1.1-1.4（估算），Astra 约 $2.63。作者指出步数少可减少 prefill 负担但 decode 更重，并提醒本地部署需在所有子调用中固定 temperature 为 1；K3.1 因图像审查工具参数错误盲跑，Astra 首跑因工具参数问题被拒 29 次调用。各仅一次运行，成本为估算。
CodesbyFebin 在 GitHub 发布 Open-WebLLM-inference-engine，提供基于 React/TypeScript WebGPU 推理控制台、FastAPI 网关与 vLLM 部署清单的开源推理基础设施，覆盖浏览器、边缘和 GPU 三类运行时。项目内置证据门控基准协议，结果记录在 SQLite（BENCHMARK_DB），24 小时过期，且只有最近三次覆盖简单、推理和代码提示的结果才允许自动服务器路由。WebLLM 适配器目前仍为规划中的独立组件，Transformers.js 浏览器推理已实现但设备验证尚未完成。
Reddit 用户分享在 RTX 3070 + Ryzen 5 5600 平台上用 Strata 引擎运行 Qwen3.8-FN IQ3_S 的配置与结果，达到 1000pp prefill 和 40tps decode，上下文设为 262144。相比默认配置（关闭 mtp），开启 STRATA_HC_Q8 与 CPU 分担 prefill 带来主要提速，GPU unlock 额外带来约 50-100tps prefill。
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB（PCIe 3.0 x16、240W 功耗限制）上实测 Zaggita 发布的 GPU 性能解锁补丁，该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4（fp8 KV cache、MTP 开启）测试，prefill 吞吐提升 20.8% 到 28.6%（提示越长提升越大），TTFT 下降 17.2% 到 22.3%，decode 步速基本不变；MTP 实际接受率约 2，实际生成速度约 45 tok/s。
推荐理由：作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁，给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线，定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens，可在 OpenRouter 直接试用。
推荐理由：正文给出了定价、上下文长度和定位说明，想试用长上下文编码与智能体场景的读者可以直接在 OpenRouter 上体验。
作者在单张 RTX 5090（400 W）加 128GB 内存的 Linux 机器上，对 Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 和 Basalt 七个 Qwen 3.8 FN 推理引擎做了基准测试，每个引擎各自转换 NVIDIA NVFP4 权重后跑相同的七个 greedy 请求，每个请求独立冷启动。
作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next：DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文，而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后，Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似：TF-IDF 相似度 0.572、共享 200 个四词短语，分析方法几乎一致。
一位 Reddit r/LocalLLaMA 用户发帖询问是否有针对消费级 AMD 硬件优化的推理引擎，指出当前 specialized 引擎（如 Strata）的讨论主要集中在 Nvidia 硬件上。他目前在 7800xt 上运行 Swift 1.5 GSQ RCO，速度约 40-45 TPS，希望了解同硬件用户还能挤出多少性能。
研究者提出 SemantEq，用于检验自动形式化生成的 Lean 4 语句是否忠实于原数学陈述，要求双向转换只能经由允许的推理步骤链完成。其无模型搜索 SemantEq-Eval 在 ProofNetVerif 测试集上达到 100% 精确率和 65.6% 召回率（BEq+ 为 95.8% 和 61.8%）；配套的 SemantEq-ProofAudit 审核模型证明时拒绝了全部 104 对非等价语句，并在最佳提示下把 407 对等价语句的召回率从 65.4% 提升至 81.1%。代码与数据已开源。
GitHub 上的 llmdil 是一款基于 Tauri 2 + Rust 的 Windows 桌面应用，用于在单台工作站上安装、配置、监督和监控本地 LLM 服务栈，当前版本 v0.1.40（2026 年 10 月 18 日）。它提供 12 步自动执行的首启设置向导、llama-server 子进程监督、LiteLLM 网关（:4000）统一路由与 OpenRouter 云端故障转移、GPU 遥测监控及带 SHA-256 校验的模型库管理。要求 Windows 11 24H2+、NVIDIA R550+ 驱动、120 GB 空闲磁盘，采用 Apache-2.0 许可证。
llmsyscore 在 GitHub 开源了 llm-systems-manager，一个自托管面板，用于监控、控制、基准测试和调优运行本地 LLM 的机器，采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp，兼容 NVIDIA、AMD（ROCm 与 Vulkan）和 Apple Silicon GPU，支持 Linux 与 macOS，不支持 Windows。
推荐理由：原文完整列出了安装方式和监控、基准、自动调参等功能清单，可用于评估这套自托管面板是否覆盖本地推理运维需求。
Off Grid AI 在 GitHub 开源 OGAM，一套完全在手机和 Mac 本地运行的离线 AI 套件，涵盖文本生成、图像生成、视觉识别、语音转写、工具调用和文档分析。可选 Pro 订阅（$119 买断或 $7.99/月）增加 Kokoro 端侧语音回话、可自定义 system prompt 与持久记忆的人格、需人工批准的操作草拟，以及手机与 Mac 之间无中继的 Personal Mesh 同步。
推荐理由：自述为完全离线本地的 AI 助手套件，人格系统给出了系统提示词、语音与持久记忆的具体构造方式，可作本地部署参考。
作者 /u/shifu_legend 发布纯 CPU 推理引擎 Project Zero 的 v0.2.0，用同一个可执行文件 pz 运行 BitNet/Falcon ternary、Ternary-Bonsai-27B、dense GGUF、DeepSeek-V2 与 Qwen3 MoE 及 Mamba-1，无需 GPU 或 Python。
NgramRL 从同一提示词的近期 rollout 历史构建逐提示词 n-gram 草稿器，加速 RL 后训练中占比可超 70% 训练时间的 rollout 生成，无需辅助模型或常驻 GPU 草稿状态。在两种模型家族和三种推理、结构化生成任务上，warm-cache 下每次目标模型前向提交 3.60-7.77 个 token，比 SuffixDecoding 最高快 1.99 倍、比 prompt-lookup decoding 快 7.0 倍；Spider 上 prefetcher 以候选预算 16 覆盖 Qwen3-8B 96.6% 的结果，rollout 吞吐提升 1.38 倍。
研究者提出 PICLE-PFN，首个面向纵向因果效应估计、支持动态治疗策略的基础模型。它基于从纵向结构因果模型采样的合成数据预训练，通过 in-context 历史决策示例表示目标策略，一次前向传播即可直接预测条件平均潜在结果，无需任务特定训练或超参数调优。在合成与半合成基准上，其 RMSE 具有竞争力，不确定性校准显著优于逐数据集单独训练的 SOTA 传统估计器，部署运行时间仅为其一小部分。
论文提出 Continuum Attention（CA），一种将离散 key/value 查找替换为连续分段线性记忆曲线积分的因果 Transformer 注意力算子，可通过不超过二阶的矩解析求梯度并支持并行 GPU 实现，保持二次序列复杂度。相比 softmax 与 focal attention，CA 分别降低 0.0200 和 0.0480 nats per byte 的验证负对数似然，在全部配对比较中获胜；独立验证切片上较最强 softmax 基线优势 0.0457 nats per byte（含 95% 置信区间）。
PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention（VHA）论文，通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量，推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线（+0.05% 至 +0.81%），KV cache 相比 GQA-8 减少 4 倍；在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%，长上下文 RULER 平均分 84.4 对 GQA 的 73.0。
推荐理由：论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据，KV cache 压缩和 FLOPs 降幅都有具体数字可查。
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版，体积从 bf16 的 65.8 GB 降到 35.0 GB，KL 0.0134，用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16（22.1 GB）和 W4A16（20.5 GB）4-bit 版本，可在 Ampere GPU 上运行。Heretic 评测协议下（关闭思考，100 条有害提示）各版本拒绝数为 20-26/100，差异不显著；原始 ThinkingCap 拒绝 99/100，bf16 去对齐版降至 21/100。
同一新闻，精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
/u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半，用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理，作者称 RTX 6000 PRO 比 5090 快约 70%；RTX 20/30 系解锁可能性高，40 系已有实测工具，50 系因加入熔丝较难解锁。
推荐理由：作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围，并给出各代解锁可行性与实测对比，可作选购参考。
CounselPlex 是一个压力源感知的全双工语音心理咨询框架，针对现有模型只关注最新话语、丢失求助者核心问题（Stressor Blindness）的缺陷，在求助者沉默时更新短期压力源状态，并在倾听过程中将状态注入相应位置。论文还提出 RoPE Position Shift Augmentation（RPSA）扩展训练时的位置覆盖，LLM-judge 评测显示其咨询质量与压力源关联性优于强基线。
这项 arXiv 研究指出，质量感知解码（QAD）中为每个源句分配相同候选预算 N 的做法并不合理，额外候选带来的质量增益因句子而异。作者通过总扩展增益、边际扩展增益和采样饱和点三个量来衡量搜索效用，发现句子级信号与总扩展增益相关，而候选池统计特性可有效预测边际扩展增益。这些信号能识别出在选择性追加搜索时收益更大的句子。
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
研究者推出开源工具 LGMT，基于一阶逻辑的蜕变关系检测 LLM 推理不一致性，无需 ground-truth 标签即可对比等价测试用例上的预测。工具内置 20 条蜕变关系，支持经 Z3 定理证明器验证的自定义关系，提供 CLI 和 web studio 及离线 mock 模式。对 6 个主流 LLM 在 3,091 个蜕变组上的测试显示，不一致率介于 20.84% 至 29.44%，代码已在 GitHub 开源。
论文提出 LLaCO，一个基于竞争感知语义调度的连续扩散文本生成框架。理论层面，它提出竞争阈值理论（CTT），指出嵌入范数衰减导致欧氏距离产生虚假超车，并据此提出语义保留调度（SRS）。LLaCO 通过嵌入方向适配器与基于测地线插值的球面加噪过程改造预训练骨干，8B 版本性能超越此前连续扩散基线，并与同等规模的离散扩散模型相当。
PHYRD 是一个理论物理推理动态基准，包含 63 道 Reproduce 和 43 道 Discover 题，由 FormulaForest 构建并附带子问题级评分标准。五个模型在 Reproduce 上整体准确率为 49.21%–68.25%，闭卷 Discover 为 18.60%–74.42%，使用工具后四 个模型完成更多 Discover 题。FormulaForest 作合成数据可将 Qwen-35B-A3B 在 OpenAI 的 FrontierScience 上的准确率从 61% 提升至 72%。