按兴趣浏览，循来源深入。
TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持，支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中，64K executor prefill 达 2,567 tok/s，对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍，server 首字时间从 293.4 秒降至 40.0 秒；64K decode 提升 1.49 倍，短对话 decode 基本持平。
推荐理由：开发者给出两引擎在8× A40上的prefill与decode实测，并解释长上下文差距来自稀疏注意力的实现差异，可复现。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
llmsyscore 在 GitHub 开源了 llm-systems-manager，一个自托管面板，用于监控、控制、基准测试和调优运行本地 LLM 的机器，采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp，兼容 NVIDIA、AMD（ROCm 与 Vulkan）和 Apple Silicon GPU，支持 Linux 与 macOS，不支持 Windows。
推荐理由：原文完整列出了安装方式和监控、基准、自动调参等功能清单，可用于评估这套自托管面板是否覆盖本地推理运维需求。
/u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后，B70 在 SYCL 下投机解码速度大幅提升，测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒，各任务 tok/s 普遍从约 36-53 提升到约 53-88；作者说明因 token 验证成本显著降低而调大了 n-max，接受率从 0.7845 降到 0.363 属预期现象。
推荐理由：作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度，前后总耗时从 46.86 秒降到 26.68 秒，数据完整可复现。
CWHISME 在 GitHub 发布跨平台桌面 AI 助手 UiharuMind，通过 llama.cpp 本地运行 GGUF 模型，也可接入任意 OpenAI 兼容 API。支持 Agent 模式（文件读写、shell、联网搜索与工作区文件夹）、角色扮演角色、群聊托管模式、截图 OCR、剪贴板历史、本地语音合成识别与图像生成，权限分只读、自动编辑、全自动三级，数据存于 ~/.uiharu，采用 Apache-2.0 许可证，当前版本为 -alpha。
推荐理由：README 完整列出了本地推理、Agent 权限分级、群聊托管和快捷工具的实现方式，可按需评估是否引入。
MUSE-CODE-SPACE 发布 toolcall-rescue，一个零依赖的纯标准库 Python 包，用于在结构化 tool_calls 字段为空时，从 qwen2.5、Gemma、Kimi、MiniMax 等本地或小型模型以纯文本输出的消息内容中恢复工具调用，支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容端点。
推荐理由：这是一个可直接落地的本地小模型工具调用抢救库，安全模型讲得清楚，还交代了为何框架核心拒绝收编这一层的取舍。
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
jpsanders 发布 pascal-llm-stack 仓库，给出在 Ubuntu 26.04.1、kernel 7.0 上让 GTX 1060 Mobile 6 GB 运行本地 LLM 的完整脚本，包括给 NVIDIA 570 驱动打 kernel 7.0 补丁、用 CUDA 12.8 runfile 避开 apt 的驱动破坏、回退 torch 2.7.1 获取 Pascal 内核，以及用三个 cmake 参数编译 llama.cpp。
推荐理由：作者在 GTX 1060 上逐层修通驱动、CUDA 和 PyTorch 并给出 llama-bench 实测，方法可迁移到其他老卡本地部署场景。
hchen3807 在 GitHub 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于启动和管理 llama.cpp 服务器实例。功能包括多实例管理、基于 GGUF 张量表的 VRAM 占用估算（与实际加载对比）、HuggingFace 下载、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成及硬件监控。项目地址：https://github.com/hchen3807/LlamaServerLauncherAvalonia
推荐理由：这个 llama.cpp 图形启动器把 VRAM 估算拆到每个张量块，并在加载后与实际占用对比，读者可以据此判断估算是否可信。
Guillaume2561 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于通过图形界面启动和管理 llama.cpp 服务器实例。功能包括 GGUF 模型元数据读取与 VRAM 占用预估、多实例管理、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成，以及 llama.cpp 版本下载与回滚管理。项目地址：https://github.com/Guillaume2561/LlamaServerLauncherAvalonia。
推荐理由：这个跨平台图形启动器把 llama.cpp 服务器的参数配置、VRAM 预估、基准测试和多实例管理整合到一个界面里，适合本地部署用户参考。
Fox 是一个面向并发负载的本地 LLM 服务器，可作为 Ollama 的直接替代，MIT OR Apache-2.0 双许可，改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp，核心优化是并发请求间的共享前缀 KV cache 复用：新请求匹配最长共享前缀跳过 prefill，还能从正在解码的序列复制共享前缀，这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中，16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms，但短独立提示词的单轮请求吞吐约为基线的 96%，反而慢约 4%。
推荐理由：README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本，也坦承短独立请求反而慢约4%，可自行判断适用场景。
作者 /u/msalsas 发布了 llama-doctor，一个 CLI 工具加实时面板，可指向运行中的 llama.cpp 或 Unsloth Studio 服务器，拉取 /metrics、/props 和 /slots，给出按严重度分级的问题诊断，涵盖 prefill 与 decode、队列压力、prefix cache 复用率和内存余量。退出码映射到严重度，可用于 cron 门控；工具只读、仅依赖标准库、需 Python 3.10+，代码在 https://github.com/msalsas/llama-doctor，作者欢迎 PR，尤其是能让工具崩溃的服务器场景。
推荐理由：作者开源了一个读取 llama.cpp 运行指标并按严重度分级诊断问题的 CLI 工具，退出码可直接接入 cron 做自动门控。
Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。
推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP，使 Qwen3.8-27B（IQ4_XS 权重、Q8_0/Q4_0 KV cache）在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文，解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB，方案将完整缓存保留在主机内存，通过 PCIe SDMA 异步流式传输约 450 MiB（prefill）和约 2,100 MiB（decode）的工作集，并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
推荐理由：作者给出了各上下文长度下的解码与预填充实测数据，以及功耗限制下的对比，可复现到 AMD 单卡本地部署。
hokanosekai 发布 llama.kt，一个 Kotlin/Android JNI 绑定，可在设备端加载任意 GGUF 模型运行推理，无需服务器或云端，原生 C++ 引擎提取自 llama.rn 并以纯 Kotlin API 重新暴露。在 OPPO（MediaTek Dimensity 900）上验证，Qwen2.5-0.5B（q4_K_M）CPU 约 20 tok/s；实测显示稠密模型在大核 CPU 上最快，Vulkan 仅对 Gemma 3n/4 更优，8GB 级设备可用上限约 4B 量化模型。多轮对话通过 KV cache 前缀复用，4 轮后 TTFT 保持 1.7–2.4s，而完整重预填充约需 48s。
推荐理由：作者在真机上给出多款模型的 CPU 与 Vulkan 后端实测数据，读者可据此判断这类端侧 GGUF 推理方案的实际可用规模。
Damel91 发布 llama-runtime v0.4.1，一个面向 llama.cpp / llama-server HTTP 服务的 Python 库（发行名 runtime-llama），需 Python 3.11+，唯一运行时依赖为 requests。它为文本生成、流式输出、结构化对话、推理内容分离、工具调用与 MCP 数据契约、嵌入任务前缀与批量调度提供统一客户端 API，支持副本发现、并发准入与背压控制，采用 Apache-2.0 许可证。
推荐理由：为 llama.cpp 推理服务提供统一的 Python 客户端层，把流式输出、工具调用与嵌入批处理封装成可复用接口。
作者发布 Llamaforge v0.16，这是一个驱动上游 llama.cpp 的浏览器控制面板，不改动 llama.cpp 本体。加载模型前按本机实测大小显示模型在各 GPU 上的落位，不合适会提示，支持多模型同时运行且主模型占用最快 GPU、worker 模型避开该卡。v0.16 新增 embers 本地 agent，夜间读取指定来源生成 wiki 和晨间简报，每条论断必须逐字引用来源并由代码对照快照校验，不匹配即丢弃；agent 无浏览器和工具，除非开启推送否则数据不出本机。
推荐理由：作者实测了 llama.cpp 面板的多 GPU 显存预估与本地 agent 引用校验机制，读者可了解其部署与防幻觉做法。
/u/naklitechie 把上周的磁盘流式加载 MoE 专家方案接到 llama.cpp 自带的 WebGPU 后端，Qwen3-Next 80B-A3B（48.4 GB Q4_K_M GGUF）在 Chrome 标签页中成功运行，MacBook Pro M4 Pro 上加载 48 秒、解码 2.9 tok/s，并称是概念验证。方法是把 GGUF 一次性下载到浏览器 OPFS 私有存储，GPU 只保留稠密层、KV cache 和每层固定数量的专家槽位，路由选中的专家不在槽位时从磁盘按 LRU 换入；分页开关下 OLMoE 与 LFM2 各 9 段对话回复完全一致，对 Metal 后端 9 条中 4 至 8 条一致，差异来自 WebGPU 与 Metal 的舍入。
推荐理由：作者给出各模型的加载时间、解码速度和分页正确性对照数据，可据此评估在浏览器标签页里跑 MoE 的实际可用度。
Northlatch Labs 开源 Kestrel，一个面向 Intel Mac 加 AMD 独显（含 Hackintosh）的本地大语言模型应用，内置 AMD 补丁版 llama.cpp 和 SwiftUI 界面。RX 6700 XT 上 Qwen3-8B 生成从 0.6-2.6 t/s 提升到约 61 t/s，支持多会话、Agent 工具与 MCP、OpenAI 兼容 API、图像生成（beta）和多 GPU 拆分；仓库地址 https://github.com/0xda7/kestrel，许可 GPL-3.0。
推荐理由：原文给出 RX 6700 XT 上各模型的实测算速和与 Apple Silicon 的对照数据，可以据此评估 Intel Mac 加 AMD 显卡跑本地大模型的可行性。
JakeATX 发布面向 RTX 3090 / 3090 Ti（SM86）的 llama.cpp 分支 llamAmpere v0.5.4，运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN（4/4、3/3t、3/2t 配置），4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%，262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB；100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%，SJ-KVaRN 4/4 为 +6.77% ± 2.68%。
推荐理由：原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据，读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。