新闻、仓库与研究，按时间排列。
Sparky 让开发团队在 DGX Spark 等 GPU 节点上自助加载和调优 LLM 推理引擎，支持 vLLM 和 llama.cpp 风格的部分 GPU offload，Aphrodite 支持已列入计划。v0.1.0 基本完成 AD/LDAP 认证、RBAC 权限分层、审计日志和 Dashboard UI，v0.2.0 的裸金属后端与 sparky-agent setup 已在真实 DGX Spark 上端到端验证，包括加载推理引擎处理请求后干净卸载。两者唯一剩余项均为 Docker 后端的 GPU passthrough 验证，而 CDI passthrough 属 Podman 专属、不在 Sparky 范围内。
GitHub 项目 moepager 旨在让 llama.cpp 在低内存 Linux 机器上通过 mmap 运行超出 RAM 的 Mixture-of-Eexperts LLM，无需修改推理引擎。它解析 GGUF 头定位各 (layer, expert) 单元，用 eBPF 或 mincore 观测缺页以学习路由统计，进而 pin 高价值专家、用大 readahead 补全部分缺页专家、降级冷专家。目前处于 go/no-go 前的研究原型阶段，尚未在真实模型上做基准测试，也未声称任何加速比。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据（数据来自 Performance of llama.cpp with Vulkan #10879），结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线，结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首，AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s，宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡；Tesla P40 同时出现在最佳与最差榜单中。
推荐理由：作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名，还列出最不值榜单，可直接用于预算装机选卡。
GBR-RL/spec-review 是一个 LLM 辅助的工程需求评审工具，按 INCOSE 和 ISO/IEC/IEEE 29148 规则检查需求质量，识别冲突与重复需求，并恢复追溯链接构建图谱用于影响分析。它以 GitHub Action 形式运行在改动需求文件的 pull request 上，通过 llama.cpp 运行开源权重模型，纯 CPU 运行、无需托管 API，目前仍在开发中。
PradyX 在 GitHub 开源了 Pocket LLM，一个完全在设备端运行的隐私优先本地 AI 助手，使用 GGUF 模型配合 llama_cpp_dart 做本地推理，不需要云端 API。应用支持多模态图像聊天、内置 llmfit 性能基准测试、流式输出、多会话管理、会话内切换模型、推理配置（Balanced、Battery Saver、Maximum Performance）和可复用的 Persona 系统提示词，支持 Android、macOS 和 Linux 桌面，技术栈为 Flutter + Riverpod，采用 GNU GPL v3 许可证。
pyrlyn 在 GitHub 开源本地优先 AI CLI runa，支持下载前用 runa fit 预估 GGUF 模型在本机的内存占用和速度，可通过 ggml / llama.cpp 本地运行或调用 OpenAI 与 Anthropic。单二进制提供 OpenAI 兼容的 runa serve、交互式 runa chat、音频视频处理（含 whisper.cpp ASR）、MCP 工具循环和自适应内存管理，提供 macOS arm64、Linux x86_64、Windows x86_64 安装包及 Metal / Vulkan / CUDA 构建，无遥测，采用 GPLv3 等多许可。项目处于活跃开发中，正在招募测试志愿者。
推荐理由：本地优先 AI CLI runa 开源，下载前可预估 GGUF 在本机的内存和速度，同一套控制打通本地与云端。
Castmates 应用开发者分享在 iPhone 上全本地运行 3B 角色扮演微调模型（Impish Llama 3B，基于 Llama 3.2 3B 加 rank 16 LoRA，Q4_K_M 量化约 2.0 GB）的实测笔记，用 llama.cpp Metal 全层 offload，无需服务器可离线使用。关键结论：历史裁剪预算调至约 0.68 x n_ctx 后长对话事实召回从 25% 升到 75%，逐字历史明显优于有损摘要；BM25 检索会重注入过期事实，过滤窗口内仍含新版本的命中后下降 18.8pp；A18 芯片早期实测约 6 tok/s，4 GB 手机为最低门槛且限 4096 上下文。
推荐理由：作者用固定种子的对照实验给出小模型保持角色的可复用结论，历史裁剪比例和检索过滤做法可直接迁移。
pocket-agent 是一个开源项目，可在 Android 设备上通过 Termux 和 llama.cpp 本地运行具备工具调用能力的 AI 智能体，数据不出设备、支持离线使用。它要求 Android 10 及以上、至少 4GB 内存和 2GB 可用存储，复杂指令会被拆分为单步在本地硬件执行，还能访问本地文件并运行基础脚本。项目提示大模型在移动端会运行缓慢或加载失败，建议用参数量较小的模型换取速度与稳定性。
一位 Reddit r/LocalLLaMA 用户在 8GB VRAM（RTX 4060）+ 32GB DDR5 平台上测试 llama.cpp PR#29887（为主机内存中的 MoE 专家增加 GPU 缓存），使用 Qwen3.6-35B-A3B-IQ4_XS 模型，分别尝试 `-cmoe` 与 `--moe-cache-mib` 1536/2048/4096/8192 等参数组合。实测开启 `-cmoe` 后生成速度仅约 12-23 t/s，而不开启该功能时可达约 24 t/s、prompt eval 约 65 t/s，未达预期。作者求助原因并邀请其他低显存用户分享各自 t/s 数据。
Reddit 用户在租用的 RTX 4090 上用同一任务对比了四款开源决策模型 Laya、d1 3B、Clef-Flash 9B 和 Lev 4B：逐词调用 /v1/systemone 判断 9,534 个词是否为蜈蚣名称。Laya 每词 p50 仅 3.9 ms、32 秒处理 7,980 词，是最快的选择；Lev 准确率最高（98.9%）但每词 51.0 ms，比 Laya 慢 13 倍。
huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF，MTP 与视觉部分未修改。多个系列（UD、GSQ-RCO、UD-DW、Ternary、Swift）仅对第 22-52 层（0 起始索引）做 abliteration，其余层保留原样；Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低，仅建议用于研究与测试，可在最新版 ollama 和 llama.cpp 中运行。
Reddit 用户发现 llama.cpp 的 MTP 配合 GLM 5.3 Flash 在 Apple Silicon 上解码速度首次超过 ds4（含 M3U 调优），pp 速度仍较慢。作者提到 vanilla ds4 目前为 65 t/s（并发 75 t/s），并称 Qwen38FN 将是真正考验。但作者随后补充，MTP 对生成质量影响巨大，结果不可用。
apollo-mg 公开 Project-Apollo，一个本地 LLM 推理 home lab，硬件为 RX 9070 XT 加六张 Tesla P100，实验预注册、结果带 receipt 存于 data/receipts/，覆盖确定性、KV-cache 保真、投机解码、量化格式、MoE offload 等主题。
llama-cpp-windows-manager 是一款为 Windows 提供简单图形界面的本地 AI 模型管理工具，无需技术基础即可运行模型、配置运行时参数并收发提示词。系统要求 Windows 10/11、现代 i5/Ryzen 5 处理器、至少 16GB 内存，建议搭配 8GB 显存的 NVIDIA 显卡和 20GB SSD 空间。软件通过 .exe 安装，模型下载后可完全离线运行以保障隐私。
Reddit r/LocalLLaMA 用户询问当前最适合 R9700 的推理引擎。楼主认为 Radiance VLLM 适合完全放进 GPU 的模型，llama.cpp 变体可能更适合 MOE 模型溢出到内存的场景，目标是想在 6 张 R9700 加系统内存上跑 GLM5.3-Flash，并尝试 Q-FN / DSv4-vision 等大模型。
Outwise 是一个本地优先的开源项目，用 Qwen3.5-2B（Q4_K_M、GGUF）加本地 RAG 在无网络环境下提供急救、失温、迷路等户外指导，MVP 在 Windows 上本地运行。Milestone 1 已完成，M2-05 完成后，M2-06 集成虽已实现，但质量检查发现检索上下文不相关、挪威语建议错误或无依据，尚不适合真实户外决策。项目计划三个里程碑，安全政策与发布审批仍是后续独立检查点。
Elyan Labs 的 Scott Boudreaux 发布 PSE，一种在 IBM POWER8 S824 上用 vcipher AES 指令做 O(1) 预过滤、vec_perm 做 Hebbian 坍缩的注意力机制，替换标准全矩阵点积。该方案集成进 llama.cpp 的 Flash Attention，只对 top 25% K-V 对计算完整点积。TinyLlama 1.1B 在 pp128 达到 147.54 t/s，相比 stock llama.cpp 的 16.74 t/s 实现 8.81x 加速；GPT-OSS 120B MXFP4 达 13.71 t/s。
llama.cpp 合并请求通过为每个 warp 分配四个 GDN state 列，带来 Qwen 3.x 的 prompt 处理提速：pp512 从 3075.24 t/s 提升到 3243.60 t/s（+5.5%），pp4096 提升 +5.3%，而 tg128 仅 +0.1%，文本生成速度基本不变。
Base Compute 在 GitHub 开源了 superfluid，一个面向本地 LLM agent 的 serving 守护进程，在 llama.cpp、MLX 和 baseRT 之上提供统一调度器、可持久化的会话日志，以及 OpenAI、Anthropic、Ollama 兼容 API。在 Apple M5 Pro 上实测，八个 agent 预填 6k token 提示时聊天首 token 为 0.97 s，对比 llama-server 的 67 s、Ollama 的 64 s、mlx_lm.server 的 120 s；会话可在 worker 崩溃或服务器重启后恢复，八个场景全部通过，且经 superfluid 转发的吞吐与直连运行时几乎持平。
推荐理由：原文在八个故障与并发场景下给出四个方案的全部实测数字，读者可以据此判断这个本地 serving 层是否真的解决了调度与会话持久问题。
用户 k8scert 在 Hugging Face 发布 abliterated 版模型 Qwen3.8-27B-ABLITERATED-Q8_0，采用 Q8_0 量化。页面给出通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行该模型的命令，并附 Pi、Hermes Agent、OpenClaw 等接入本地 llama.cpp 服务器的配置示例。
一位用户在 Reddit r/LocalLLaMA 求助：其 2 x DGX Spark 集群上运行 deepseek-flash 正常，但用 unsloth 的 Qwen3.8-Flash-Next-GGUF:Q8_0 配合 mtp-Qwen3.8-Flash-Next-Q8_0.gguf 等 MTP 文件启动 llama-server 时出现 dgx-stall，ctx-size 设为 256000、使用 --spec-type draft-dspark 与 RPC，不知道如何正确加载这两个 MTP 文件。
作者公开了 llm-inference-lab 仓库，做基于 llama.cpp 的端到端推理部署、性能分析与优化，固定基线为 Qwen3-4B / Q4_K_M、单卡 RTX 3090 24G（恒源云 ¥0.98/h）。仓库提供一键环境准备、llama-bench 基准矩阵、SSE 服务压测（TTFT/TPOT）等脚本与 runbook、实验纪律文档，当前 M0 基线尚未跑完，nsys 可用而 ncu counters 受宿主限制无法使用。
作者开源了在 RTX 3060 12GB 与 RTX 3090 24GB 两套本地平台上、用 llama.cpp、ik-llama.cpp、moe-cache 分支、vLLM 0.29.0 容器栈和 Strata 引擎跑本地模型的基准报告，含量化档位、上下文长度、prefill/decode 速度表，以及一个基于 Shoko-WebUI 重写任务的 agentic 编码基准，附完整测量方法与逐引擎参数说明。
推荐理由：作者在两套消费级 GPU 配置上实测多个 llama.cpp 分支与引擎的本地推理速度，方法、参数和完整数据公开，结果可直接对比参考。
adghrera 在 GitHub 发布 llmctl，一个用纯 Go 标准库编写的单二进制管理器，可把 llama.cpp、vLLM、Ollama、LM Studio 等多个推理后端统一挂在同一个 OpenAI 兼容 API 端点之后，面向高并发流量设计。单静态二进制约 10 MB，采用 goroutine-per-connection 和零缓冲 SSE 流式转发，内置认证、令牌桶限流与全局并发上限；go test 含 100 并发流式客户端压测及对真实 1.5B 模型的 8 路同时推理检查，README 提供安装与快速上手命令。
推荐理由：原文给出了架构选择理由、压测数据和完整命令清单，想自建多后端本地 LLM 网关的读者可直接照着部署。
一位 r/LocalLLaMA 用户用 llama.cpp 0.6.0 和 bartowski 的 Q4_K_M 量化版 Cloudflare Clef 模型测试客服工单分类示例，refund 的 noul 值仅 0.57，team 分类 confidence 只有 0.51。换用 Jev 测试时 noul 达 0.99，作者因此质疑该量化版本效果，并询问其他用户的体验。
ch405canova-sudo 发布了 Lex-Bash-Agent v0.2.0，一个仅用 bash、jq、curl 构建的本地 llama-server 终端 Agent，无 Docker、无 Python 运行时、无编译依赖。
推荐理由：原文完整给出了依赖清单、llama-server 启动参数和 16 GB 显存的运行参考，可直接照着在本地搭建这套纯 Bash 终端 Agent。
Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包，权重级降低拒绝行为，附完整 K-quant 阶梯（Q2_K 至 Q8_0）和视觉投影文件。450例拒绝基准（150 AdvBench、150 StrongREJECT、150 XSTest）经人工复核后残留11例真拒绝，占2.4%；W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677，上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头，可单文件在 llama.cpp 运行；可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度，需固定实验性 llama.cpp 实现。
推荐理由：原文给出450例拒绝基准的分阶段残留数据和量化档位清单，读者可据此判断该去对齐版本的拒绝率与部署成本。
huihui-ai 基于 Aleph-Alpha/Kolibri-1-BF16 制作了 abliterated 去审查版本，全程使用 llama.cpp 处理 GGUF 完成，并重新量化上传了 Q2 至 Q8 及 BF16 共多个量化版本。模型需对 llama.cpp（commit 836d571）打 kolibri1 补丁才能运行，且 abliteration 未修改全部专家模块。由于安全过滤大幅削弱，仅建议用于研究与受控环境。
Xeldia 在 Hugging Face 发布 Qwen3.8-27B-ABLITERATED 的 GGUF 版本，提供 Q2_K 到 Q8_0 全部标准 K-quant 及视觉投影器，由 Blackfrost-AI 的 BF16 去对齐权重转换而来，保留 262,144 token 上下文和原生 MTP 投机头。发布页给出 R1-HARMFUL-BENCH-450 拒绝基准：经三阶段筛选后残余 11 例真拒绝（2.4%），并附 WikiText-2 困惑度对比与 DFlash2 投机解码实测中位 109.31 tok/s；DFlash2 路径需固定 llama.cpp PR #27342 实现。
同一新闻，精选展示《Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版，残留拒绝率2.4%》
huihui-ai 发布 Aleph-Alpha/Kolibri-1 的去审查（abliterated）GGUF 版本，完全基于 llama.cpp 对 GGUF 模型完成消融，未修改全部专家模块。原版 llama.cpp 尚不支持 kolibri1 架构，需在 upstream commit 836d571 上应用仓库附带的 kolibri1-llama.cpp.patch 补丁并编译。模型仅建议用于研究与受控环境，用户需自行承担法律与伦理责任。
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
推荐理由：作者在消费级 AMD 双卡上实测多款本地模型，给出吞吐、量化 KLD、投机解码和编码 Agent 的第一手可复现数据。
NusaByte 在 GitHub 发布 JEBAT v8.3.0，一个可完全离线自托管的企业级 AI 平台与 Agent 工作站，提供本地 LLM 推理、多 Agent 编排、持久记忆、MCP 服务器和 WebUI。支持通过 npx 零安装启动，可路由 17 家 provider，包括 OpenAI、Anthropic、Gemini、本地 Ollama 等；默认推理端点为 https://jebat.online/v1，远程 Ollama 提供 qwen2.5-coder:7b 和 qwen2.5:14b 模型。
mmogr 发布了开源工具 GGLib（GitHub：https://github.com/mmogr/gglib），它读取每个 GGUF 的元数据和聊天模板自动确定启动参数、工具调用格式和采样默认值，通过在 llama-server 与客户端之间运行智能代理，让整个本地 GGUF 库以 OpenAI 兼容端点（http://127.0.0.1:8080/v1）的形式供 Cline、Aider、Zed 等客户端使用。
推荐理由：README 写清了工具调用修复的实测数据和采样、上下文、KV cache 各层的处理方式，适合想本地跑智能体客户端的人参考。
John2202 在 Hugging Face 发布 Qwen3-1.7B-abliterated 的 Q4_K_M GGUF 量化版本，由 mlabonne/Qwen3-1.7B-abliterated 通过 llama.cpp 转换而来。用户可通过 llama-cli 或 llama-server 命令直接加载使用，服务器模式默认 -c 2048 上下文。模型也可在 llama.cpp 仓库中按源码编译方式（支持 LLAMA_CUDA 等 GPU 加速编译选项）直接调用。
开发者更新了自托管多人文字 RPG 游戏 Anyworld，由 AI 担任地下城主，新增 Docker Compose 部署和零配置 Cloudflare Quick Tunnel，可直接打印公网 HTTPS 链接供玩家加入。本地推理基于 llama.cpp 与 NVIDIA GPU，从 Hugging Face 下载配置好的 GGUF 模型，提供 16 GB VRAM 系统的推荐设置，也可改用 OpenAI。游戏记录在容器重建后保留，作者称临时隧道 URL 偶发访问失败，欢迎反馈。
作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上，用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点，供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测，10 月 7 日新增 Swift 1.5 Qwen3.8-27B，2048-token 微批提升 8K prompt 摄入约 10%，新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%；另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。
推荐理由：原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据，可复现到同类 eGPU 本地推理环境。
OrsikTop 是一个用 Rust 编写的终端仪表盘，可在 Linux x86_64 上监控本地 llama.cpp 推理指标、GPU 遥测（NVIDIA/AMD/Intel）以及系统负载和进程，无需浏览器、守护进程、数据库或账号。它通过 --metrics 读取 llama.cpp 的上下文占用、prefill/decode 吞吐、请求与槽位状态等，支持自动发现本地 llama-server 进程，当前版本为 0.2.8，提供独立安装器和 Cargo 两种安装方式，采用 Apache 2.0 许可证。
推荐理由：一个面向 llama.cpp 本地推理的终端监控工具，详细说明了指标读取方式和三大 GPU 厂商的适配做法，便于直接部署使用。
作者发布了本地 llama.cpp 模型基准测试套件，测试环境为 Tesla V100 32GB 加 RTX 3060 12GB 双 GPU，llama.cpp v9836（upstream-dflash 分支），统一 8K 上下文并开启 flash attention。结果显示 V100 上 MTP 推测解码带来明显收益，Qwopus3.6-27B-Coder-Compat 在 MTP n=3 下达 40.3 tok/s，比无推测快 29%；而 35B MoE 模型在 RTX 3060 上 MTP 反而拖慢速度（25.5 降至 16.9 tok/s），建议该卡用 no-spec 并开启 --cpu-moe。
推荐理由：作者在双 GPU 本地系统实测了 MTP 推测解码的适用边界，27B 密集模型受益而 35B MoE 反而变慢，结论可直接迁移到类似硬件选型。
/u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu，在六张 3090 纯 PCIe（无 NVLink、无 P2P）上跑 Qwen3.8-Flash-Next，250k 上下文 prefill 从 263 提到 2111 t/s（8 倍），六张 4090 上为 10 倍；单会话 250k decode 提速 2.3-3.3 倍，五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8，提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像，通过环境变量开启；附 n-gram 推测解码，代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试，代码经 LLM 编写并以实测验证，未向上游提 PR。
推荐理由：作者给出同机同模型的上下游对比数据和适用边界，读者可判断自己的 PCIe 多卡长上下文场景是否值得换用这个分支。
开源工具 Ratica 发布 beta 版，用本地 AI 模型在用户电脑上逐段翻译 PDF 书籍，并把译文写回原页面，保留标题、列表、表格、图片、颜色和公式，同时输出 EPUB。它通过 llama.cpp 运行 Gemma-4-E4B-it（Apache 2.0），支持 23 种语言互译并自动识别源语言，无需云端、账号或 API key，首次启动需下载约 5-6 GB 引擎和模型。在 6 GB 显存的入门级 GPU 上翻译 200 页约需 30-45 分钟，无 GPU 也可用但耗时数小时。已知限制包括暂不支持扫描版 PDF 的 OCR、图片内文字不翻译等，项目以 AGPL-3.0 协议开源。
推荐理由：这是一个完全本地运行、保留原版式的 PDF 翻译工具，隐私设计和模型选型对比方法对需要离线翻译整本书的读者有直接参考。