新闻、仓库与研究，按时间排列。
ashu1800 在 GitHub 开源了个人自用优先的大模型 API 网关 llm-relay，支持多协议入站（OpenAI Chat Completions / Responses、Anthropic Messages、Gemini generateContent、Embeddings）、分组多渠道转发与按渠道 × 模型计价。
推荐理由：开源的 LLM API 网关，README 把故障转移、计价口径和密钥安全等实现取舍写得很细，适合自建转发的人参考。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
作者开源了 LocalRouterLLM，一个运行在 AI 编程客户端与 llama-server.exe 之间的 Windows 智能代理，可在 OpenCode、Continue.dev 等客户端切换模型时自动卸载旧模型并在约 2 秒内加载新 GGUF 模型。
推荐理由：原文给出了与裸跑 llama-server、Ollama、LM Studio 的逐项对比表，读者可据此判断这个代理在显存占用和切换体验上的差异。
Reddit r/LocalLLaMA 一篇讨论提出：在窄域本地任务上，小型推理模型（SRM）可能不需要数十亿参数吸收通用知识，Pathway 基于 BDH 架构的 ARC-AGI-1 结果显示小模型有望触及成本-精度 Pareto 前沿，并声称可在推理时持续学习、避免灾难性遗忘。
OpenMycel 发布 expo-llama，一个基于 Swift 和 llama.cpp 的 Expo 原生模块，可在 iPhone 上完全离线加载 GGUF 模型并逐 token 流式生成。
推荐理由：原文给出完整的 API、会话缓存机制和架构决策说明，开发者可直接评估在 iOS 上离线跑 GGUF 模型的可行性。
BrendanJamesLynskey 在 GitHub 发布本地 LLM 部署系列讲稿，含 11 篇已上线内容，覆盖 Ollama、vLLM、llama.cpp。
推荐理由：作者把 Ollama、vLLM、llama.cpp 等本地部署方案整理成带交互工具的系列讲稿，覆盖量化、多卡并行与生产模式，可按需查阅。
GitHub 项目 snowmerak/llm-provider 发布，通过单一 Go 接口和 OpenAI 兼容 HTTP 网关统一暴露多个 LLM 后端，支持 OpenAI 兼容 API。
一位 Reddit r/LocalLLaMA 用户发帖询问是否有人在为 GLM-5.3-Flash 开发类似 Strata 的定制推理引擎。Strata 在 Qwen3.8-Flash-Next 上相比 llama.cpp 平均带来 2 倍性能提升。
GitHub 上的 Trinity S³AI 是一个三进制计算框架，涵盖 VSA、BitNet LLM 推理与数学恒等式 φ² + 1/φ² = 3。
Matlan1 在 GitHub 开源了 LocaLM，一个将聊天、自主编码 Agent、图像/音乐/视频生成和 RAG 集成在一起的本地工具，默认完全离线，云端服务需主动开启。
推荐理由：原文详细说明了离线优先的架构、插件体系和 GPU 后端选择逻辑，读者可以据此评估这个本地一体化工具是否适合自己的部署场景。
作者发布纯 Rust 从零实现的本地 LLM 推理引擎 minfer，无 ML 框架依赖，支持 GGUF v3 加载、声明式计算图、浏览器交互可视化及 Metal/CUDA 后端。
推荐理由：作者给出与 llama.cpp 同窗口对照的实测数据，包括 7B Q4_K_M prefill 1.080× 和各上下文长度的 decode 对比，可据此评估这个纯 Rust 引擎的性能。
开源项目 CacheRelay 是一个用 Java 25 和 Spring Boot 4.1 构建的 AI 网关，提供单一 OpenAI 兼容的 chat completions 端点，处理认证、限流、上游转发与用量成本核算。
Plainsight Systems 发布自建推理框架 charlotte，可将开放权重模型完全在浏览器内运行，C++ 编译为 WebAssembly，计算由 WebGPU 执行，无服务端推理。
Strata 发布了对 Strix Halo 机器上 Qwen3.8-Flash-Next 的官方支持，长上下文 decode 和 ppts 表现最佳，使用 Unsloth 的 Q4 与 GSQ-RCO 权重，可支持最高 1M 上下文长度且速度损失不大。该支持目前标记为实验性，仅在 Linux 上完成，作者欢迎反馈和 pull request。
gbesse 发布 route-response-canary，用于检测模型路由返回 HTTP 200 但内容为 HTML 或空响应的问题，灵感来自 Magpie issue #1012 报告的路由组故障转移缺陷。
开源项目 PocketLLM 让大语言模型在单个加速器（一块 GPU、边缘开发板或手机）上运行，放不下就进一步量化而非卸载或多卡拆分。其 C 引擎已能运行 Qwen3-0.6B（f16 或 q4_k_m），贪心解码在 cpu 和 cuda 上与 llama.cpp 逐 token 对齐，量化器经线程池优化从 1087 us 降至 55.6 us。
GitHub 仓库 club-3090 提供在 RTX 3090 等 NVIDIA 显卡上本地部署 LLM 的配方，包含可用的 compose 配置、补丁和实测数据，覆盖 vLLM、SGLang、llama.cpp、ik_llama 和 exllamav3 引擎。
kwmaeng91 发布了一套无需 GPU、全部实验在 CPU 上运行的 LLM 推理服务动手课程，后端模拟器 Vidur-Agent 基于 Microsoft 的 Vidur 构建。
Diabolical Labs 在 GitHub 开源 dlabs-toolkit，为多项目共享的 TypeScript 包集合，发布于 npmjs.com 的 @diabolicallabs scope 下。
GPU & Local LLM Rental Platform 是一个生产级 AI 基础设施项目，可在不暴露私有 AI 环境的前提下，把现有 GPU 工作站/服务器变成受控租用节点。
GitHub 用户 ratishjain12 开源了 ai-engineering-notes 仓库，逐个主题记录 AI 工程学习笔记，无固定大纲。目前已覆盖 Attention（Q、K、V、softmax、因果与多头注意力）、KV Cache（PagedAttention、GQA、MQA）和 Speculative Decoding（草稿模型提议、目标模型一次验证）三个主题。
论文提出 WaveFront Decoding（WFD），一种免训练的自推测解码框架，针对循环语言模型（looped language models）每生成一个 token 需多次顺序调用共享权重块导致的解码延迟问题。
gittensor-ai-lab 在 GitHub 开源 SparkInfer，一个面向 Blackwell GPU 的原生 C++/CUDA MoE/LLM 解码运行时，2.5 MB 二进制、无 Python 栈，一条 docker 命令即可起 OpenAI 兼容端点。
推荐理由：原文给出同一 GPU 上与 llama.cpp 和 vLLM 的逐项对比数据，读者可以据此判断这个 Blackwell 原生推理引擎的实际加速幅度。
GitHub 项目 dlroqa/Lightweight 发布 Hermes CPU Inference Gateway，一个仅依赖 CPU 和内存的本地 LLM 推理平台，提供 OpenAI 兼容网关、GGUF 模型管理和桌面 UI，全程不使用 GPU。
推荐理由：原文给出了实测细节，包括无 GPU 的 CPU 推理网关在 Qwen3-1.7B 上跑通完整 agent 循环，以及调度与内存准入的具体设计。
作者发布一个 MoE offloading 研究补丁：路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取，其余用已在 VRAM 的次优专家替换，使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。
推荐理由：作者实测了 MoE 专家缺失时的替换策略，给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据，可复现。
CrossPool 是一个用于共置多个 SGLang 模型的服务系统，解决 KV Cache 需求与 FFN 权重需求不匹配的问题。
GitHub 上的开源 C++ 库 llm-stream 以单头文件 llm_stream.hpp 提供，用于处理来自 OpenAI 和 Anthropic 等大语言模型的流式响应，无需额外依赖。使用时需将头文件加入 C++ 项目，并配合 Visual Studio 或 MinGW 等编译器（需支持 C++17 或更新版本）调用相应 API。
开源项目 Claude Burst 发布，这是一个运行在 Mac 本地的网关，介于 Claude Code 与 Anthropic 之间，面向 Pro/Max 订阅用户，在订阅限额耗尽时先切换到同计划的其他 Claude 模型，再溢出到 Together AI、OpenRouter、Amazon Bedrock 等自付费二级渠道，限额重置后回到订阅。
推荐理由：原文给出了压缩节省的具体账目和按仓库学习最优压缩点的公式，读者可以据此判断这个网关的取舍是否值得照搬。
一位 Reddit r/LocalLLaMA 用户在双 gfx1030（RX 6800/6800 XT）上测试 Qwen3.8 27B（unsloth q6_k）性能。
OpenEverest 发布 provider-kserve 0.1.0（pre-alpha），将 Instance 自定义资源转换为 KServe 的 LLMInferenceService / InferenceService，在 Kubernetes 上以 Standard 模式（纯 Deployment + HPA，无 Knative）部署大语言模型。
Pantograph 是一个本地优先、Rust 原生的 AI pipeline 框架，提供统一本地推理、节点式工作流、资源感知调度、实时可观测性与诊断追踪，并附可选桌面应用。
微软在公开网页上证实 OpenAI 在 GPT-6 系列中使用了 Looped Transformers，印证了 The Information 此前的报道。GPT-6.1 Sol 使用 2 次 inference passes，并顺带提到"而不是三次"。
推荐理由：作者指出微软页面一度证实 GPT-6 系列采用 Looped Transformers，并澄清 6 与 6.1 是同一底座的不同后训练版本，页面随后被修改。
开发者 /u/Physical_Toe_2499 发布 YoungAi，一个原生 C/CUDA 推理引擎，将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件，在单台 NVIDIA DGX Spark（GB10，128 GB 统一内存）上运行。
推荐理由：作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据，还坦陈了后训练文件不泛化等局限，便于读者自行评估这套部署方案。
Devaretanmay 发布开源工具 Ink（Apache-2.0），用于识别生产 AI 智能体中重复且可独立验证的有界决策，如路由、工具选择和分类，经 shadow 对比和统计资格认证后在本地提供 Fast Path 服务，精确匹配延迟 0.18–0.19 ms，本地模型约 48 ms。基准显示 DecisionSite 内模型调用减少 19.9–40.4%，全应用调用减少 3.99–10.10%，检测到策略漂移时自动撤销 Fast Path，注入漂移下撤销前发生 7–8 次错误服务，低于静态缓存的 12.0–18.0% 错误率。
推荐理由：仓库用 18000 次决策的基准数据说明调用减少和延迟收益，也如实列出漂移前误判次数等局限，便于读者自行评估适用性。
MegaQwen 是一款面向 RTX 3090 的 Qwen3-0.6B 解码加速应用，在 RTX 3090 上可达 527 tokens per second，比 PyTorch 快 3.8 倍。该工具支持 Windows 10 及以上和较新版本 Linux，最低建议 8 GB 内存与 1 GB 存储空间，可从 GitHub Releases 页面下载安装。
Sunderrrr 开源了 dgx-spark-llm-platform，一套在单台 NVIDIA DGX Spark（GB10 Grace Blackwell，128 GB 统一内存，aarch64）上自托管的 LLM 推理平台，把一台 GPU 机器变成小型多用户 AI 服务。
推荐理由：作者公开了在单台 NVIDIA DGX Spark 上跑多用户 LLM 服务的完整架构，从 LiteLLM 网关到按需加载的媒体侧车都有细节可查。
Setu 是一个高吞吐、低延迟、带预算保护的 Go 原生 LLM API 网关，位于客户端与 Gemini、OpenAI、Anthropic 等下游 LLM 提供商之间。
kindmanners 在 GitHub 发布 Tether，一个跨私有 Tailscale 网络的分布式本地 LLM 推理桌面控制面，利用 llama.cpp 的 RPC 模式在多台物理设备间池化 GPU 显存，无需云基础设施。
推荐理由：原文明确说明该工具只池化 GPU 显存而非提速，并给出何时能提升吞吐的边界条件，适合评估多机跑大模型的读者。
/u/lkarlslund 发布了面向 RTX6000 96GB 的 NInfer 分支 NInfer6000，在理想条件下对 Qwen 3.8 Flash Next 跑出 400 tok/s 生成与约 13K tok/s 预填充。
推荐理由：作者给出了从 512 到 256K 多档上下文的 decode 与 prefill 实测数据，可据此评估 RTX6000 上该推理方案的实际收益。
作者 ictzft 在 GitHub 开源了一个从零手写的轻量推理引擎，覆盖 KV Cache、两阶段调度和采样全家桶，在 RTX 5070 Ti 上用自训 0.21M 字符级 GPT 和 Qwen3-0.6B（bf16）双平台验证。
推荐理由：作者用逐位全等和手算对账验证每步优化，KV Cache 与两阶段调度的加速数字都附实测协议，方法可迁移到自研推理引擎。