新闻、仓库与研究，按时间排列。
GitHub 仓库 liyang53719/hetero_cnn_llm_aha 展示一个异构 CNN/LLM 加速器，集成 Gemmini INT8/CNN Matrix、Revision8B-B 512-lane BF16/FP32 Matrix、固定功能 Attention/Norm/SFU、Stanford AHA 可编程 sidecar 及 Sequence Memory/iDMA 复合单元。main@11483e8 将 958 节点图作为单一 split，绑定 338 个 GGUF payload，28 层运行零调度器回退；后端目前为 GGML 后端背后的主机软件仿真，下一步是逐层 21-command 真实 RTL/设备传输 canary，目标覆盖全部 588 条命令。
RinkusKhan 在 GitHub 发布 GENGHIS 协议，将本地网络中的闲置设备（GPU 笔记本、mini-PC、树莓派、eGPU 等）组成算力与内存池，通过层切分让多设备协同运行单机装不下的大模型。方案复用 llama.cpp 的 RPC 传输，由协调器按各设备实测吞吐、空闲内存与链路延迟规划分区并在设备增减时自愈。实测显示推理受延迟而非带宽约束：同一 RTX 5060 Ti 经 1 GbE 供队为 38 t/s，改接 Thunderbolt 后达 228 t/s；Pi 5 有线比 Wi-Fi 快 29%（7.6→9.7 t/s）。
推荐理由：原文给出实测数据说明层切分方案受链路延迟制约，同一 RTX 5060 Ti 在 1 GbE 与 Thunderbolt 下速度差近 6 倍。
Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版，体积仅 11.90 GB（2.85 BPW），可在 16GB GPU 上运行，并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238，较 BF16 基线仅升 7.06%，达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩，输出头采用 Q6_K 保障语法稳定性。
Reddit 用户 /u/oppoftemp27 发现，在四台 AMD 主机上，llama.cpp 官方 ROCm 预编译版（b11327）从未真正使用 GPU，服务启动正常、/health 显示绿色，实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5，而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4，后端库加载失败后 llama-server 静默改用 CPU，控制台无报错，-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时，比值约 1.0 说明在跑 CPU，远低于 0.5 说明 GPU 正常工作。
推荐理由：作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因，以及用 CPU 对照跑分检测该问题的可复用方法。
Hugging Face 的 Merve 在开发者大会上做了关于 llama.cpp 的演讲，涵盖本地 AI 生态基础概念，包括 prefill 与 decode 的区别、内存类型以及投机解码（speculative decoding）等内容。演讲资料已公开分享，作者请求使用者注明出处。
Hugging Face 上架 jingamin/OpenAI-gpt-oss-20B-GPT5.1-5.2-DISTILL-Heretic-Uncensored-MXFP4.i1-Q5_K_M.gguf 模型，为 gpt-oss-20B 的无审查蒸馏量化版本。
网友在 RTX 3060 12GB + RTX 3070 8GB 双卡、48GB DDR4 的 Windows llama.cpp 环境下，用 Glimmer 30B IQ4_XS 主模型搭配 Glimmer 30B DFlash Q4_0 草稿模型实测推理速度。
hertz-ai 在 GitHub 开源 HART OS，一个把本地推理作为系统服务提供的 AI 原生操作系统运行时，通过 llama.cpp 和 GGUF 权重支持 CUDA、ROCm、Metal、Vulkan 和纯 CPU，API 兼容 OpenAI 协议，监听 :6777/v1/chat/completions。
推荐理由：README 把各硬件档位能跑什么、哪些测试还没跑绿、学习代码闭源等局限都写清了，读者可以据此判断这个 AI 原生 OS 的实际边界。
huihui-ai 基于 Aleph-Alpha/Kolibri-1 制作了去审查（abliterated）版本，完全用 llama.cpp 的 GGUF 完成，不依赖 Transformers。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
llama.cpp 仓库提交 PR #29535，为 K2 Horizon 增加 dense 与 MoVA 支持。该模型上月曾在 r/LocalLLaMA 被讨论，此 PR 由 bitalov 提交。
OpenMycel 发布 expo-llama，一个基于 Swift 和 llama.cpp 的 Expo 原生模块，可在 iPhone 上完全离线加载 GGUF 模型并逐 token 流式生成。
推荐理由：原文给出完整的 API、会话缓存机制和架构决策说明，开发者可直接评估在 iOS 上离线跑 GGUF 模型的可行性。
BrendanJamesLynskey 在 GitHub 发布本地 LLM 部署系列讲稿，含 11 篇已上线内容，覆盖 Ollama、vLLM、llama.cpp。
推荐理由：作者把 Ollama、vLLM、llama.cpp 等本地部署方案整理成带交互工具的系列讲稿，覆盖量化、多卡并行与生产模式，可按需查阅。
Google DeepMind 开放 EmbeddingGemma 2 嵌入模型权重，总参数 740M，将文本（含代码）、图像、视频和音频统一映射到 768 维向量空间。
hollowc2 在 GitHub 发布 Blockhead 原型，一个以 CobbleBob 身份加入 Minecraft Java 服务器的 TypeScript/Mineflayer Agent，由本地 llama.cpp 模型读取主人聊天并从固定工具集中选择，模型只输出经验证的工具调用，不生成代码、命令或方块坐标，实际工作由确定性技能完成。支持可恢复任务与目标、采集/建造/地形工程等能力，优先级为安全/自维护高于主人任务高于后台工作，需 Node.js 20+ 与 llama.cpp 兼容端点，附只读 Dashboard 与 TUI，项目仍在积极开发中。
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
SaturnHeaven 发布 Gemma-4-Queen-31B-it 的 rank-64 abliteration LoRA 适配器 GGUF 版，基于 Heretic v1.2.0 的 ARA 方法对 attn.o_proj 的去对齐差值做 SVD 截断近似，用于角色扮演和创意写作时减少拒绝和免责声明。
推荐理由：作者给出了 rank-64 近似的重构保真度指标和源模型拒绝率对比，读者可据此判断这个 LoRA 适配器去对齐的可靠程度。
开源应用 talkdude 发布 1.4 版，提供 Android、Windows 和 Linux 平台的免费私有 AI 聊天伴侣，无需账号、无聊天限制、可离线运行。
推荐理由：原文详细列出了内置模型、内存占用、记忆机制和隐私架构，读者可据此评估这款离线 AI 伴侣是否适合自己设备。
一位用户在 Reddit r/LocalLLaMA 反映，使用 llama serve 和 llama server 的 webui 进行长对话时，模型在上下文仅使用 13% 的情况下开始遗忘内容并反复问同一个问题，纠正道歉后仍重复。发帖者怀疑是 CLI 参数或 cache 设置问题，正在寻求原因。
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF，实测拒绝率 0/465，主打直接回答、无拒绝行为和最少前导语。
推荐理由：原文给出 0/465 拒绝率实测和各量化的 FastMTP 加速数据，读者可据此判断这个 Aggressive 去对齐版本的实际表现。
pepuscz 在 GitHub 发布 strix-halo-llm 仓库，提供面向 128 GiB AMD Ryzen AI Max+ 395 / Radeon 8060S（Strix Halo）主机的合格本地 LLM 部署方案、基准测试和固定的 Ansible 配方。
推荐理由：仓库给出 Qwen 与 DeepSeek 在 128 GiB Strix Halo 上的实测对比和固定 Ansible 配方，四槽位方案带来 1.96 倍检索提速，可直接复用。
GitHub 项目 dlroqa/Lightweight 发布 Hermes CPU Inference Gateway，一个仅依赖 CPU 和内存的本地 LLM 推理平台，提供 OpenAI 兼容网关、GGUF 模型管理和桌面 UI，全程不使用 GPU。
推荐理由：原文给出了实测细节，包括无 GPU 的 CPU 推理网关在 Qwen3-1.7B 上跑通完整 agent 循环，以及调度与内存准入的具体设计。
作者发布一个 MoE offloading 研究补丁：路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取，其余用已在 VRAM 的次优专家替换，使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。
推荐理由：作者实测了 MoE 专家缺失时的替换策略，给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据，可复现。
Reddit 用户开发了 Terminal Soliloquy，一个连接 llama.cpp 的终端艺术装置，以复古荧光屏风格实时展示模型在上下文窗口填满时的独白，模型会反思自身有限的“寿命”。上下文耗尽后可配置为冻结、重启或退出，作者已将其装进 1960 年代便携电视内的 Raspberry Pi 显示屏全屏运行，仓库和配置说明已公开。
一位 Reddit r/LocalLLaMA 用户在双 gfx1030（RX 6800/6800 XT）上测试 Qwen3.8 27B（unsloth q6_k）性能。
dollarbr 发布 mobileLM，一个本地优先、运行在手机上的 AI Agent 应用，基于 PrivateLM 的端侧引擎，支持 llama.cpp 的 GGUF 模型和 LiteRT-LM 的 .litertlm 模型，无需云端推理。
推荐理由：原文详细说明了本地推理引擎、24 个内置工具和签名变更的升级注意事项，读者可据此判断是否安装及如何迁移。
该 GitHub 仓库测试在两张 Tesla P100-PCIE-16GB（共 32 GB VRAM、llama.cpp CUDA 12.6 sm_60 构建）上哪个本地 LLM 综合表现最佳，覆盖准确率、编辑、工具调用、速度与调优及 AIOS planner 测试，时间为 2026 年 9–10 月。
coddy-project 在 GitHub 发布 Coddy，一个打包为单个静态 Go 二进制的通用 Agent 工具，提供终端 TUI、编辑器 ACP 接入、OpenAI 兼容 API 与内嵌 Web UI、Telegram 网关、cron 调度器、swarm 中继和远程模式，各接入面共享 ~/.coddy 下的会话。
推荐理由：原文完整列出了各接入面、运行模式与安装方式，读者可以据此判断这个单二进制 Agent 框架是否覆盖自己的使用场景。
作者实测 Orange Pi 5 Plus（RK3588、16GB）运行本地大模型的表现，发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速，Qwen 2.5 1.5B 达 14.5 tok/s，而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。
推荐理由：作者用同一块板子实测了线程数、NPU 与散热的取舍，给出了各档模型的 tok/s 和温度数据，可迁移到其他 RK3588 部署场景。
/u/ExxploreCraft 在 RTX 4060 Ti 8 GB 加 64 GB 内存的 PC 上，用 Claude (Opus 5.5) 逐项调优 llama.cpp 配置，推理速度达默认设置的 2 到 9 倍。
推荐理由：作者逐项调整配置并给出实测数据，MoE 专家放内存、显示移到 iGPU、原生 Linux 等做法可直接迁移到类似 8 GB 卡环境。
huihui-ai 的 Qwen3-Coder-Next-abliterated 模型现提供基于 llama.cpp b7966 的 imatrix GGUF 量化版本，涵盖 Q8_0（84.81GB）到 IQ1_M（17.19GB）共 26 种规格，其中 Q4_K_M（48.56GB）等多档被标注为推荐。
llama.cpp 是基于 ggml 库的开源推理项目，目标是在本地和云端多种硬件上以最小配置实现 LLM 与 VLM 的 SOTA 推理性能。
martindye 开源了 TTSTT，一个完全本地运行的语音助手技术栈，链路为麦克风 → Kyutai STT 1B（GPU）→ DeepSeek Harness（DSH）语音会话（qwen3.8-27b 经 llama.cpp）→ Pocket TTS（CPU，INT4）→ 扬声器。
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
作者在 AMD 7950X（4x 双通道 DDR5-5600，128GB）上把内存从 3600MHz 超到 4800MHz，带宽提升 36%，在 Intel B70（32GB）的 llama.cpp 定制 SYCL 后端上跑放不进显存的 MoE 模型获得小幅提升：PP 约增 10%、TG 约增 5%，且上下文越深收益越大，pp2048 @ d8192 提升 14.0%。
推荐理由：作者给出了 DDR5 超频前后各档上下文的 PP/TG 实测数据，读者可据此估算自己 MoE 本地部署能从内存超频拿到多少收益。
marc-ramsey 在 GitHub 开源 Model Arkestra，通过 YAML 配置按需在本地 GPU 和云端启动 LLM 推理引擎，默认运行 llama.cpp，支持 ROCm、Vulkan RADV、CUDA、CPU 后端及 Podman/Docker 容器。
推荐理由：原文完整给出了 YAML 配置、后端映射和远程联邦的用法，读者可以直接照着在自家 GPU 机器上部署。
delebash 发布 just-llm-runner，一个供 JustVoice 和 JustWrite 共用的本地 LLM 运行核心库，可检测硬件、管理并推荐 GGUF 模型，下载预编译 llama.cpp（内置 CUDA 运行时，无需安装 toolkit）并启动 OpenAI 兼容的 llama-server。
GitHub 项目 Poster-chan AI 发布，把个人云、Jellyfin 兼容媒体服务器和本地 AI 推理整合进一个自托管节点，数据以加密 Nostr 事件存在自建 relay 上，支持网页、桌面、Android 和 CalDAV/CardDAV 客户端。
推荐理由：把个人云、Jellyfin 兼容媒体服务器和本地 llama.cpp 推理整合进一个自托管节点，数据以加密 Nostr 事件存储，适合想替换云服务又保留 GPU 能力的读者。
作者在双 AMD Radeon Instinct MI50（gfx906，合计 32GB 显存，功耗限制 145W）上对比了 llama.cpp 的 ROCm 10.2（TheRock tarball。
jimdawdy-hub 发布 Local-LLM-Launcher-GUI，一个基于 vLLM 和 llama.cpp 的浏览器本地控制面板，用于在自有硬件上下载和运行大语言模型。
推荐理由：作者基于 vllm-cli 做出带内存预估和红绿灯提示的本地模型启动面板，对不想反复试错参数的本地部署用户有直接参考。