新闻、仓库与研究，按时间排列。
Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型，基于 GLM-5.3-Flash 的 abliterated 版本，提供 UD-Q4_K_XL 量化格式，支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法，llama.cpp 路线可启动 OpenAI 兼容的本地服务器。
Yii 官方发布 yiisoft/demo-summarizer，一个可运行的 Yii3 演示项目，支持上传 Markdown、HTML、PDF、DOCX 等文档，提取 markdown、生成本地摘要并跟踪处理进度。单次最多上传 20 个文件、每个 50 MB，文件存入 S3 兼容存储，任务经 yiisoft/queue 处理，默认通过 llama.cpp Docker 服务用 gemma-3-1b-it-Q4_K_M 模型（4096-token 上下文）做摘要，测试可切换确定性 mock 摘要。
一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本，语言模型约 5.9 GB，比 FP16 小约 9.3 倍，保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78，明显高于 IQ2_XXS 的 72.59，接近体积大三倍的 UD-Q4_K_XL；Apple M5 Max 笔记本上约 47 tok/s，支持 262K token 上下文，提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。
llama.cpp 的 probabilistic MTP PR（#27694）已合并，作者提醒用户更新 llama.cpp 尝试。实测 prose 生成解码提速约 14%，最优 draft-n-max / draft-p-min 与 greedy sampling 一致，测试在关闭 thinking 和 ngram-mod 的情况下进行，代码见 https://github.com/ggml-org/llama.cpp/pull/27694。
dadwritestech 发布开源工具 LlamaForge（MIT 许可），在浏览器中驱动 llama.cpp 官方 llama-server，提供模型加载、VRAM 适配评估、全部 200+ 服务器参数的界面化管理。支持一键安装（Windows/Linux/macOS）、llama-tts 语音、MCP server 接入 Claude Code 等智能体，并提供与 LM Studio、Ollama 的功能对比表；目前为早期预览，Windows + NVIDIA 是测试最充分的路径。
推荐理由：作者讲清了它如何驱动官方 llama.cpp 路由器、覆盖全部服务器参数，并与 LM Studio、Ollama 逐项对比，方便判断是否适合需要掌控感的本地部署用户。
Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查（uncensored） coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本，可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行，并支持以 OpenAI 兼容服务器方式部署。
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群，跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s，或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制，整体功耗负载下600-900W，下一步计划给每块板加装AIO水冷。
推荐理由：作者完整记录了4张矿卡集群的优化路径、实测速度与功耗，方法可迁移到类似多板推理部署场景。
Leeroy 是一个面向联邦分析师和技术用户的 Python 本地优先分析助手，通过 llama.cpp 加载可选的本地 GGUF 模型（如 Leeroy-3B-Instruct.Q4_K_M.gguf，默认 4096 上下文）。它基于 Streamlit 提供 Text Generation、Document Q&A、Semantic Search、Prompt Engineering 和 Data Management 五种模式，用 sentence-transformers 做向量检索，并将聊天历史、提示词、嵌入和导入数据持久化在 SQLite 中。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
一位用户在 r/LocalLLaMA 发帖求助：他目前用 llama.cpp 在 4GB VRAM 的 RTX 上跑本地模型，想找推理速度更高（tokens/sec）且不依赖 PyTorch 等重型库的替代方案。他表示调研后仍未找到合适选择——许多方案基于 Python 和 PyTorch，会在模型加载前就耗尽显存，其余或只支持非量化模型、已过时、面向 MNN 等其他设备，或只是没有实际实现的论文。
作者 /u/A-Rahim 发布免费开源 Mac 应用 DigUp，本地运行 Google DeepMind 的 EmbeddingGemma 2，用一句描述搜索文件中的文本、图片、音频和视频内容。应用使用 ggml-org 的 Q8_0 GGUF 模型（865 MB）跑在 llama.cpp Metal 上，搜索只加载约 250 MB 文本编码器，停止输入约十分之一秒出结果，索引峰值低于 2 GB，支持孟加拉语和阿拉伯语搜索，MIT 协议，需 Apple Silicon 和 macOS 14+，仓库为 https://github.com/ARahim3/DigUp。
推荐理由：作者开源了基于 EmbeddingGemma 2 的本地多模态文件搜索 Mac 应用，内存占用、延迟和隐私细节都写得具体，便于本地部署参考。
一位 Reddit r/LocalLLaMA 用户晒出 llama.cpp Vulkan 配置，在 AMD RX 6700 XT 12GB + R5 5600x、ctx 100,000 下运行 Tiel-Coder-35B-A3B 达到 30tps，希望在不改 q8/q4_k_xl 量化的前提下冲到 40tps。其测试显示 threads=6 优于 4/8/12，配置已开启 flash-attn、q8_0 KV cache、draft-mtp 推测解码与 DIO 加载，向社区征求进一步优化建议。
edgebites 在 Hugging Face 发布 MiniCPM5-2B-Abliterated 的 IQ4_XS 量化 GGUF 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行，支持以本地 OpenAI 兼容服务器或终端推理方式使用，也可接入 Pi、Hermes、OpenClaw 等 Agent。
thetahealth 在 GitHub 开源了 Mirobody，一个自托管 AI 健康数据引擎，将化验报告、可穿戴设备和基因文件整合为标准化记录，每项数值可追溯至原始文件。支持 Docker 一键部署加一个模型 key（OpenRouter、OpenAI、Gemini、Anthropic、DeepSeek 等），也可通过 llama.cpp 纯本地运行，无需 GPU 时首答约 2–3 分钟（Apple 芯片笔记本原生 llama-server 约 30 秒）。
推荐理由：项目给出了完整的部署路径、本地模型内存与耗时数字和术语解析测试通过数，读者可以照此评估自托管健康数据引擎的落地成本。
一位 Reddit 用户在 RTX 2060 6GB + 32GB DDR4 上用 llama.cpp 运行 Qwen3.6-35B-A3B Q4_K_M 量化模型，实现 131072 tokens 上下文和视觉能力。空 KV cache 时约 600 tok/s prefill、23 tok/s decode，约 90k context 时稳定在 485 tok/s prefill、15 tok/s decode。通过视觉投影器走 CPU（--no-mmproj-offload）和 MoE 专家层部分放 CPU（--n-cpu-moe 39），VRAM 占用控制在 ~5.2 GB 以内。
StickLLM 是一个可启动的隐私 AI USB，插入后启动锁定的 Debian live 环境，在本机或局域网手机上与本地 LLM 对话，无任何云端调用。默认会话为 RAM 覆盖、重启即清空，持久化配置和下载模型需显式确认；v0.2 增加配对码解锁浏览器聊天与 Models 菜单，内置 Qwen2.5-7B Q5（GGUF）。目前仅支持 AMD 桌面 CPU + 32 GB 内存 + NVIDIA RTX 3090（24 GB）主机，项目采用 MIT 许可。
该仓库发布了一套在 16GB Apple Silicon iMac/Mac mini 上完全本地运行 Hermes Agent 的方案，用 Qwen3 8B Q4_K_M 配 64K 上下文与 8-bit KV cache，无需 API 密钥、无云端。Hermes 硬性要求至少 64000 token 上下文，默认 f16 下 64K 注意力内存达 9.00 GiB 不可用，改用 q8_0 后降至 4.78 GiB，llama-server 总占用约 10.47 GiB，剩余约 5.53 GiB。
推荐理由：给出了16GB统一内存跑64K上下文的实测内存账本和完整部署脚本，方法可直接复用到类似的本地Agent配置。
mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型，默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行，支持启动 OpenAI 兼容服务器或终端推理，也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用，并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。
ImposterOnline 的 Pyrz-8B-Instruct-Uncensored-GGUF 已上线 Hugging Face，提供 Q4_K_M 量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地运行，也支持 Ollama、Docker、LM Studio 等方式，并能启动本地 OpenAI 兼容服务器供 Pi、Hermes、OpenClaw 等工具调用。
niakw/NiakVIO-Brain-LLM 是一个独立于 NiakVIO 生产仓库的离线修复诊断层，选用 Qwen2.5-Coder-3B-Instruct（Q4_K_M）经 llama.cpp 本地运行，无需第三方推理 API。在 25 例历史 benchmark 中，causal layer、canonical strategy、mutation 合规等均为 25/25，abstention-policy 合规 24/25，未通过的 1 例由生产端 force_abstain 策略兜底。LLM 仅作有限建议方，沙箱执行、验证与发布权限仍留在 niakw/NiakVIO。
llm 是一个 Emacs 库，为 elisp 代码提供与 LLM 交互的统一接口，让用户可自选本地或付费 API 的模型。它抽象了聊天（支持同步、异步、流式响应及图像等多媒体输入）、tool use、embeddings 和提示词构建等能力，不支持的功能会触发 'not-implemented 信号。已接入的提供商包括 OpenAI、OpenAI 兼容 API、OpenRouter 和 Azure OpenAI，ellama、magit-gptcommit、ekg 等包均在其上构建。
GitHub 开源项目 DOC-OC v6 用统一视觉语言模型管线替代传统多级 OCR 级联，可离线提取印度多学委会（CBSE、ICSE、UP、Haryana 等）成绩单。优化后的 Gemma-4-E2B 平均延迟从 27.12s 降至 6.28s（4.32x 加速），JSON Schema 遵循率与人名、分数精度均达 100%，VRAM 占用 3.2 GB，每页成本 $0.00。其 C++ GBNF 约束解码使 JSON 语法错误在物理上不可能发生，并通过自愈算术校验总分。
Python 库 typevet 发布 0.2.0 版本（pre-1.0），可向模型提出 Noul（是否）、Choice（单标签）、Score（评分）三类问题，并基于 next-token 概率返回类型化答案，输出需通过用户提供的 JSON Schema。已验证 Gemma 4 31B 在 vLLM（单张 H100 80GB）和 llama.cpp 上的运行收据，H100 并发 64 下 Banking77 480 条记录耗时 12.1 秒（39.6 条/秒、0 错误）。库已上架 PyPI，支持 pip 安装，需 Python 3.12+。
GitHub 用户 yuhanbae 发布了 llm-compute 仓库，描述为基于 llama.cpp 的面向 pi 的无审查 LLM 推理算力。仓库目前 0 stars、0 watchers、0 forks，无 Releases、Packages 和 Contributors 信息，仅包含 .github/workflows 目录。
mradermacher 在 Hugging Face 上提供 Ostrich-27B-261008-Qwen3.8-Abliterated-i1-GGUF 模型，支持 Q2_K 等量化格式。用户可通过 llama.cpp 本地部署，兼容 LM Studio、Ollama、Pi、Docker Model Runner、Lemonade 等工具，并提供 OpenAI 兼容的本地服务器。
L-Forster 发布开源项目 OpenJet，一个自托管的本地 AI 编码智能体，可连接 Ollama、LM Studio、llama.cpp 或自动按硬件配置 GGUF 模型，支持文件编辑、审批式 shell 命令、MCP 工具、持久会话和 Python SDK 嵌入。RTX 3090 上 Qwen3.8-27B Q4_K_M 经 MTP 达 70 tok/s，配合 megakernel 引擎推理模式约 1.5 倍解码提速；Slipstream 模式用云端模型规划、本地模型执行，目标编排器 token 占比 20%。核心采用 AGPL-3.0 许可。
推荐理由：本地编码智能体把模型运行时、agent 循环和硬件配置整合成一键部署，还给出 RTX 3090 上的实测 tok/s 数据可对照。
GitHub 上的 UtopikLab/llm-rig 仓库收录了 192.168.1.0/24 子网 Homelab 的本地 LLM 与图像工具 POC 配置。推理节点采用 2× Tesla P40（R740xd），以 llama.cpp + Ollama 运行 GGUF INT8/Q4_K_M 模型；因 P40 FP16 性能差，ComfyUI 图像生成建议用 RTX 3080 或 CPU。仓库按 POC 分文件夹，各含独立 README 与安装脚本，仅覆盖本地推理/图像栈，不含其余三个 Homelab 节点。
LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。
推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。
QuantForge 是一个面向本地 LLM 的自动化实验工具，可将 FP16 checkpoint 批量量化为带质量指标的 GGUF 量化集，并与 llama.cpp 配合使用。它支持 Q4_0 到 Q8_0、Q2_K 到 Q6_K 及 IQ1_S 到 IQ4_NL 等量化格式，提供 imatrix 校准语料预设、基于 FP16 基线的 delta perplexity 评测、Pareto 权衡分析 SVG 图表和硬件自动调优。工具以 Typer CLI 和 FastAPI 仪表盘双界面提供，可直接拉取模型并将量化套件发布到 Hugging Face Hub。
sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本，使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型，也可在 Llama.cpp 中自行编译并推理，server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。
Kujira 在 Hugging Face 发布 Underdog-Saluki-27B-1.0-MTP 的 abliterated GGUF 版，仅改动第 35–36 层的 4 个张量，其余 862 个张量与原文件字节级一致，未做训练。有害提示词拒绝率从 99% 降到 1%（开思考时 78% 到 2%），英语困惑度上升 1.6%、日语上升 1.8%，速度和显存与 MTP 版相同，约 58–62 tok/s，12 GB 显卡可用 40K 上下文。消融方法未公开。
推荐理由：原文列出消融改动的具体张量、拒绝率前后对比和困惑度变化，读者可以评估这个去对齐版本的代价。
AeteX Interactive 发布 BuddyChat XP，一个面向 llama.cpp 的 Windows XP 时代聊天前端，默认人格 Buddy 模仿 2007 年 AIM/MSN Messenger 风格。它可对接本地 llama serve 或任何 OpenAI 兼容 API，内置对话历史、跨聊天记忆和 IM 音效，支持 Python、Node.js 等三种浏览器管线自动切换。文档推荐搭配 8B 参数、约 1.15 GB 内存的 1-bit 模型 Bonsai-8B，甚至能在 Windows XP SP3 老硬件上运行，项目采用 MIT License 开源。
lium-localmaxxing 是一款 Windows 工具，可在租用的 Lium GPU 上用一条脚本自动复现 Lium LocalMaxxing 排行榜结果，共 7 个 boards、20 项验证测试，完整验证约 45–60 分钟。它自动使用 vLLM 和 llama.cpp 两种引擎配方，实时显示每百万 token 的生成成本和 GPU 利用率，结果导出为 CSV 和 PDF 报告，无需编程经验。
s1line1 在 GitHub 发布 home-llm-gateway，用 Rust 实现边缘 LLM 网关，把 NAT 后、无公网入口的本地模型（Ollama / vLLM / llama.cpp）暴露成公网 OpenAI 兼容 API。架构为 cloud-gateway 加 edge-agent，通过 QUIC + mTLS 反向拨号隧道，无需 frp / ngrok 与反向代理，支持 SSE 流式与取消传播、按 model 的感知路由、argon2id 身份校验缓存等。项目包含 368 个通过的测试、k6 压测脚本与 React 管理面板，MIT 许可；协议级去重（EXACTLY_ONCE）与 TCP 降级等项仍是提案、未实现。
推荐理由：README 给出了完整架构与实测数据，读者可以借这套设计了解内网模型安全暴露成公网 OpenAI API 的工程做法。
Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型，多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列，其中部分版本仅消融第 22 至 52 层（0 起始索引）。模型提供 Q2_K_L 至 Q8_0_L 等量化格式，支持上下文长度 262144，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行。官方提示安全过滤已显著降低，建议仅用于研究和测试环境。
GitHub仓库AdnanSattar/llmlocal发布了一个CPU优先的OpenAI兼容本地LLM API服务器，默认通过llama.cpp子进程运行GGUF量化模型，默认模型为Qwen3-1.7B-Q4_K_M，提供/v1/chat/completions、/v1/completions、/v1/models等端点，支持SSE流式输出和混合推理模型的thinking开关（LLM_REASONING_FORMAT=deepseek使推理过程单独返回不混入答案），默认上下文窗口8192。
gpupool 是一个基于 llama.cpp 的控制平面，能把分散在多台机器上的空闲 VRAM 池化，按层拆分模型跨 GPU 和服务器部署，并对外提供单个 OpenAI 兼容 URL。它支持多模型优先级与抢占、KV cache 量化共享、投机解码、Hugging Face 到 GGUF 的内置转换，估计器与已发布的 Q4_K_M GGUF 文件体积误差在 4% 以内；文档提醒 RPC 端口无认证，需在私网或 VPN 内使用。
推荐理由：gpupool 把多台机器的空闲 VRAM 池化成一个 OpenAI 兼容端点，文档给出具体放置方案和显存估算精度，便于评估能否复用自家零散 GPU。
Reddit 用户 /u/Distinct-Pie2389 发布了名为 llm-tune 的 Agent 技能，用于为自己的硬件寻找本地 LLM 的最佳运行设置。支持 Dense、MoE、hybrid MoE/Mamba 架构，覆盖 NVIDIA、AMD、Intel Arc 与 Apple Silicon（MLX），支持 llama.cpp、Ollama、vLLM 引擎，可调量化、上下文/KV cache、GPU offloading、MTP、采样、推理和 agent harness 设置，并测量 VRAM/RAM 占用、tokens/sec、context recall 和输出质量。目前仅在 RTX 4090 上实测，作者征集更多 GPU 环境的反馈和基准结果。
mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型，提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器（含 Web UI），或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。
Sparky 让开发团队在 DGX Spark 等 GPU 节点上自助加载和调优 LLM 推理引擎，支持 vLLM 和 llama.cpp 风格的部分 GPU offload，Aphrodite 支持已列入计划。v0.1.0 基本完成 AD/LDAP 认证、RBAC 权限分层、审计日志和 Dashboard UI，v0.2.0 的裸金属后端与 sparky-agent setup 已在真实 DGX Spark 上端到端验证，包括加载推理引擎处理请求后干净卸载。两者唯一剩余项均为 Docker 后端的 GPU passthrough 验证，而 CDI passthrough 属 Podman 专属、不在 Sparky 范围内。